批量下线无效任务或表 - 大数据开发治理平台 DataWorks

对于数据治理过程中的无效任务或表，数据治理中心为您提供完整的下线方案，包含下线风险评估、下线通知推送、下线过程管理等全流程功能，为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等问题，同时提供批量下线功能，方便统一管理和执行，为您提升下线效率。

背景信息

与传统直接下线操作相比，优雅下线增加了下线影响分析、下线过程管理等流程。在各个阶段支持通过多种方式给相关人员发送下线任务通知。

操作	下线方式	对比	说明
步骤二：选择下线对象	直接下线	在运维页面查找需要下线的任务，暂停（冻结）选中任务，然后直接下线任务。	直接下线：任务无法进行影响面与风险查看，并且有选错任务的可能性。优雅下线：通过节点ID、血缘或表进行选择，并且会对下线对象进行影响评估及说明。
步骤二：选择下线对象	优雅下线	可以选择下线对象，并评估影响面和风险，支持您手动选择下线对象或系统自动下线对象
步骤三：配置处理流程	直接下线	无	直接下线：无法通知至任务相关人员。优雅下线：可对下线流程进行多层处理，并且每步都支持推送消息至相关人员。
步骤三：配置处理流程	优雅下线	可以将流程的每个处理阶段通过系统内提示、邮件、钉钉群机器人和Webhook通知至指定人员。	直接下线：无法通知至任务相关人员。优雅下线：可对下线流程进行多层处理，并且每步都支持推送消息至相关人员。
步骤四：定义计划执行方式	直接下线	无	直接下线：一旦单击下线后，任务对象就已经下线，无法撤销。优雅下线：可根据不同的任务场景，选择不同的触发方式，给需要下线的任务留下撤销时间。
步骤四：定义计划执行方式	优雅下线	人工触发步骤执行自动触发步骤执行
步骤五：查看并管理下线计划	直接下线	无	直接下线：直接下线选中任务，无缓冲，容易导致错误下线，从而导致业务流程报错。优雅下线：让任务下线有了缓冲区，可在发现报错的第一时间进行取消、回滚等操作。
步骤五：查看并管理下线计划	优雅下线	可以查看已创建的下线计划详情，并对下线计划中添加的各个子任务进行查看执行详情、取消、回滚等操作

使用限制

仅空间管理员、租户级数据治理管理员/工作空间级数据治理管理员及运维人员可创建下线计划。角色添加详情请参见添加空间成员并管理成员角色权限。
下线计划仅支持添加单个工作空间下的待下线对象。
仅阿里云主账号、授予AliyunDataWorksFullAccess权限的RAM用户、空间管理员可对下线计划进行全部操作。运维人员只能操作自己创建的下线计划，对于其他下线计划仅拥有读权限。租户级数据治理管理员/工作空间级数据治理管理员只能进行计划的创建、配置和删除，无法进行无权限任务的启动执行。
一个下线计划中最多可添加200个下线对象。
优雅下线功能支持在下线任务步骤前对任务操作进行回滚，在完成下线步骤前对表操作进行回滚。

注意事项

已经处在下线计划中的对象不能被选择下线（即一个对象只能存在于一个下线计划中）。
特殊类型的对象不能被选择下线。例如，工作空间的根节点、下线计划所创建的虚拟节点等。
待下线对象存在下游依赖时，若受影响的下游对象未在规定时间内主动移除与待下线对象的调度依赖，系统将会再生成一个虚拟节点，将下游任务挂到虚拟节点上。
各类型节点实际支持的步骤请以产品界面提示为准。
优雅下线仅可对真实下线前的操作做回滚，

优雅下线操作步骤

步骤一：新建下线计划

进入数据治理。
1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。
2. 单击顶部菜单栏左侧的图标，选择全部产品 > 数据治理 > 数据治理中心。
单击顶部菜单栏的治理工作台，默认进入治理项问题页面。
单击左侧导航栏的优雅下线。
在页面上方工作空间下拉框中选择待下线对象所在的工作空间，下拉列表中仅展示您已加入的工作空间。
若您需要加入某个工作空间，可联系该空间管理员进行添加，详情请参见添加空间成员并管理成员角色权限。
单击优雅下线页面中的新建计划。
您还可以在治理项问题列表，对于需要下线的任务，单击操作列的创建下线计划，进入新建下线计划页面。

步骤二：选择下线对象

配置下线对象

您可以在下线对象区域，根据需求选择下线对象，包括已发布的任务或表：

下线任务：支持通过添加下线对象或通过血缘导入两种方式添加下线任务。
- 添加下线对象：根据任务节点ID添加任务对象。
- 通过血缘导入：选择某一任务，按照血缘层级进行圈选相应任务。
  说明
  - 任务节点ID可在任务配置页面打开调度配置中的基础属性模块查找到。
  - 任务节点ID也可以在运维页面周期任务运维 > 周期任务页面查看。
下线表：支持添加下线对象添加下线表。

说明

已经处在下线计划中的对象不能被选择下线（即一个对象只能存在于一个下线计划中）。
特殊类型的对象不能被选择下线。例如，工作空间的根节点、下线计划所创建的虚拟节点等。

下线对象主要信息说明

信息名	说明
下线影响评估	低：表或任务近一月内的产出表未被消费使用。高：表或任务节点近一月内的产出表被消费使用。
影响项说明	对下线影响评估进行说明。
产出表被消费	任务对象的产出表消费情况。
表产出任务	表对象的产出任务，单击可弹出任务信息。
影响基线数/最高等级	表对象产出任务的基线数与基线最高等级。任务对象的基线数与基线最高等级。说明任务基线监控详情可参见基线管理。

步骤三：配置处理流程

在添加完下线对象后，您可以对整体的下线流程进行精细化的配置，包括启动下线、延迟调度、暂停调度、下线任务、重命名产出表、重设置表生命周期、删除产出表、完成下线共八个阶段。

流程项	流程说明	场景推荐
启动下线	用于启动优雅下线任务，该流程默认勾选，不可取消。
延迟调度	用于将待下线对象的定时时间延长，让待下线对象及其下游对象产出的表数据延迟产出。	上游平台数据未产生场景下延迟调度，保证任务正常运行。
暂停调度	用于将待下线对象的状态设置为暂停（冻结），即在运维中心 > 周期任务界面中的该任务置为冻结状态，待下线对象及其下游对象将不再产出表数据。	某业务暂停但流程需要保留的场景下，可暂停调度。
下线任务	用于将需要下线的对象进行下线处理，第二天不再生成实例，已生成的实例调度类型都会被置为空跑，不会再运行。默认勾选，可取消。	某节点或某流程不再使用的场景下使用。
重命名产出表	对任务对象或表对象的产出表进行重命名。	对象下线后，但需要确保产出数据表可辨认出数据表已下线对象的产出表场景下使用。
重设置表生命周期	对任务对象或表对象的产出表重新设置生命周期。	对象下线后，但需要保留产出表一段时间的场景下使用。说明仅支持MaxCompute表。
删除产出表	删除任务对象或表对象的产出表。	对象下线后，不再需要产出表的场景下使用。
完成下线	用于结束优雅下线任务，该流程默认勾选，不可取消。

说明

优雅下线计划流程会按顺序依次执行，每一阶段均支持您自主选择是否执行该阶段，若您不勾选某步骤，将默认跳过该步骤执行，直接进入下一阶段。
优雅下线计划支持系统内提示、邮件、钉钉机器人等方式发送给指定人员。钉钉机器人的相关配置，详情请参见：场景实践：发送报警消息至钉钉群。系统内提示信息，请前往数据治理中心 > 治理工作台 > 我的待办 > 治理提醒页面进行查看。

步骤四：定义计划执行方式

设置下线计划各个阶段执行方式，您可选择人工触发步骤执行或自动触发步骤执行。

人工触发步骤执行。
- 说明：下线流程的每一个步骤，需要下线计划创建者人工确认后，才能进入下一个步骤。
- 使用场景推荐：该业务流程任务或数据表在业务流程中较关键的情况下使用。
自动触发步骤执行。
- 说明：下线流程的每一个步骤，按照配置的静默时间，到期后，进入下一个步骤。
- 使用场景推荐：需要大批量下线业务流程，且业务流程重要性较低的情况下使用。

步骤五：查看并管理下线计划

您可以在优雅下线界面查看下线计划列表，并可执行、取消或删除下线计划中的全部对象。

说明

取消下线计划，仅取消执行中的任务，已完成下线的任务不受影响。
删除下线计划时，系统将先取消执行中的任务，已完成下线的任务不受影响，取消成功后将会删除该下线计划。删除后该操作不可逆。

您还可以单击操作列的执行详情查看下线计划的配置详情，同时，您可以对下线计划中的单个下线任务进行如下操作：

功能	说明
查看执行详情	查看单个任务下线详情，包括流程执行进度、状态及各流程执行详情，同时您还可以对当前任务的下线流程进行取消、回滚等操作。取消任务：您可以取消当前任务下线流程中未完成的步骤。回滚任务：您可以将当前任务的所有下线步骤回滚到初始状态，不支持单个步骤的回滚操作。说明如果下线计划已取消，则不支持回滚操作。如果子步骤在执行中，则不支持回滚操作。下线任务步骤后不可以回滚任务，优雅下线计划完成后不可以进行回滚操作。
前往运维	快速进入生产运维中心，查看任务的运维详情。
前往编辑	快速进入数据开发界面，编辑任务。

附录：优雅下线最佳实践

优雅下线为已发布任务下线提供了更便捷的方式，此附录将以DataWorks大数据体验 > ETL工作流模板 > 网站用户行为分析模板为例为您演示任务优雅下线和表优雅下线的实践教程。

前提条件

DataWorks已创建标准空间。
空间内已绑定MaxCompute数据源。

步骤一：准备业务流程（可选）

准备网站用户行为分析任务流程（可选）

本步骤旨在快速创建一个已上线的业务流程，如果您已经拥有已上线的任务，可忽略此步骤。

添加业务流程。
1. 登录DataWorks控制台，点击左侧导航栏的大数据体验 > ETL工作流模板，进入ETL工作流模板页面。
2. 在ETL工作流模板页面选择网站用户行为分析业务流程，单击查看详情进入模板页面，然后单击载入模板。
3. 在载入模板面板内，选择对应的工作空间，MaxCompute配置内选择数据源名称下拉框选择业务流程所需工作空间，并选择对应的调度资源组与集成资源组。
4. 载入方式选择同名覆盖，发布规则可直接勾选自动发布。
查看业务流程。
1. 所有任务导入成功后，可单击前往查看来查看已导空间的网站用户行为分析工作流。
2. 确认任务完全导入后，在页面上部菜单中切换至运维中心 > 周期任务运维 > 周期任务页面，确认导入的网站用户行为分析业务流程是否已发布。

步骤二：新建优雅下线计划

确保当前空间内已有发布任务，或已完成步骤一：准备业务流程（可选），可以进行下线操作。

目标。
将网站用户行为分析业务流程整个业务流程下线，并删除生产环境业务产出的表。
进入优雅下线。
1. 在DataWorks空间内，单击左上角打开菜单，选择数据治理 > 数据治理中心进入治理评估页面。
2. 在治理评估页面单击页面上方菜单的治理工作台切换，然后单击自动化治理 > 优雅下线进入优雅下线页面。

优雅下线基本配置。

此处创建优雅下线将下线步骤一：准备业务流程（可选）准备的网站用户行为分析业务流程，或下线您在当前空间内的已发布的流程或任务。以下操作步骤以下线网站用户行为分析业务流程为例，采用通过血缘导入和表下线的进行展示。

单击新建计划进入详情配置页面，以下为详情配置的详细说明：

模块	配置项		配置内容		图例
基础信息	工作空间		选择导入网站用户行为分析业务流程的空间或需要下线任务的空间。说明仅展示您为管理员和运维角色的工作空间
	计划名称		为优雅下线计划自定义命名。
	计划描述		为优雅下线计划添加描述。
下线对象	任务	添加下线对象	单击添加下线对象后会出现添加任务对话框，在对话框内可以使用任务ID来查找您需要下线的对象。
		通过血缘导入	单击通过血缘导入后会出现添加任务对话框，在对话框内可配置以下内容来选择任务。任务：选择需要下线的任务。本案例需要下线网站用户行为分析整个业务流程，所以可以选择该任务的根节点任务。血缘类型：勾选任务血缘。圈选层级：可按照当前任务层级选择。说明圈选层级最高支持6级。配置好内容后，单击搜索，可以搜索到圈选的所有任务，可以检查是否都是需要下线的任务，然后单击确认保存圈选记录。
	表	添加下线对象	数据源类型：MaxCompute。	项目：生产环境所绑定的MaxCompute项目。表名：生产环境项目内的表名。责任人：仅展示您具备工作空间管理员角色的工作空间下的成员。可输入文字搜索更多用户。是否有产出任务：所选表是否有产出任务。基线任务产出表：填写基线等级，0代表无基线。
			数据源类型：E-MapReduce。	集群：生产环境所绑定的EMR集群。数据库：集群下的数据库。表名：生产环境项目内的表名。责任人：仅展示您具备工作空间管理员角色的工作空间下的成员。可输入文字搜索更多用户。是否有产出任务：所选表是否有产出任务。

本案例以任务和表的方式，通过任务 > 通过血缘导入和表 > 添加下线对象，全自动触发步骤执行进行下线。

创建任务下线对象和表下线对象

在下线对象模块选择任务 > 通过血缘导入选择网站用户行为分析流程的所有任务后，单击确认即可进入下一步处理流程的配置。

配置项	配置内容
任务	选择网站用户行为分析业务流程的虚拟父节点用户行为分析案例说明。
圈选层级	选择6级，以搜索到网站用户行为分析业务流程的所有节点。

圈选需要下线的任务的节点，单击确定，添加所选任务节点。

在下线对象模块选择表 > 添加下线对象选择创建的网站用户行为分析业务流程中的表名，单击确认后即可进入下一步。

以网站用户行为分析中新建的ods_user_info_d表为例。

配置项	配置内容
数据源类型	MaxCompute。
项目	DataWorks空间中绑定的生产环境的MaxCompute项目。
表名	填写在网站用户行为分析中新建的`ods_user_info_d`表。说明如需要多选表，可用`,`隔开各个表明即可。

单击搜索后，即可搜索到生产环境下的ods_user_info_d，勾选该表，单击确认即可。

配置处理流程。
添加下线对象后处理，即可配置处理流程。处理流程按顺序进行启动下线、延迟调度、暂停调度、下线任务、重命名产出表、重设置表生命周期、删除产出表、完成下线。可根据您对业务的需求进行配置，必配置内容可参见操作步骤中的步骤三：配置处理流程。
- 启动下线为默认勾选，是启动优雅下线的步骤。
- 勾选下线任务，并配置发送通知与通知人员，以及静默时长。
- 勾选重设置表生命周期，配置调整表的生命周期，并配置发送通知与通知人员，以及静默时长。
- 勾选删除产出表，并配置发送通知与通知人员。
- 完成下线为默认勾选。
说明
- 下线任务：流程为默认勾选，若下线对象为表时，则为下线该输出表对应的节点任务。
- 重设置表生命周期：只有在下线对象为MaxCompute表的情况下可勾选，EMR表不支持重设置表生命周期。
- 静默时长：
  - 说明：当前阶段执行后，等待多长时间可进行下一步操作。以暂停调度为例，任务暂停调度到达静默时长后，才可进行下一步操作。
  - 推荐场景：对象下线的每一个阶段需要所有通知人员知晓的情况。
配置执行方式。
执行方式共有以下两种选择，本案例选择全自动触发步骤执行。
- 人工触发步骤执行：下线流程的每一个步骤，需要计划创建者人工确认执行后，才能进入下一个步骤。
- 全自动触发步骤执行：下线流程的每一个步骤，按照配置的静默时长，到期后，进入下一个步骤。
完成创建。
完成创建方式共有两种选择，本案例选择创建。
- 创建：创建优雅下线计划，并自动跳转至执行详情页面，手动勾选需要下线任务，单击批量执行，执行下线计划。
- 创建并执行：创建优雅下线计划，并自动跳转至执行详情页面，开始执行。

步骤三：查看优雅下线计划执行详情

进入优雅下线。
1. 在DataWorks空间内，单击左上角打开菜单，选择数据治理 > 数据治理中心进入治理评估页面。
2. 在治理评估页面单击页面上方菜单的治理工作台切换，然后单击自动化治理 > 优雅下线进入优雅下线页面。
查看计划执行详情。
已创建计划可根据计划名称、创建人、计划状态、治理对象类型以及我创建的计划来查询已有的下线计划。
1. 根据过滤条件找到已创建的网站用户行为分析优雅下线计划，在操作列可以看到以下操作项。
  - 执行详情：跳转至该计划执行详情页面。
  - 执行：开始执行所选优雅下线计划。
  - 取消：取消所选优雅下线计划的执行。
  - 删除：删除所选计划。
2. 单击网站用户行为分析优雅下线计划操作列的执行详情，跳转至该计划详情页面。
执行详情
执行详情内可查看网站用户行为分析优雅下线计划的计划信息、下线流程、下线对象。
- 计划信息：展示所选优雅下线计划的工作空间、创建人、创建时间、下线类型、任务个数、下线状态、流程执行方式和快照时间信息。
- 下线流程：展示流程中各个流程阶段的任务数量。
- 下线对象：
  展示下线计划中所有任务的序号、任务ID、任务名称、影响项说明、产出表个数、执行进度、执行步骤、步骤状态、责任人、影响基线数/最高等级、直接下游、正常调度下游、跨工作空间下游、任务类型、整体状态等信息。
  在操作列给出了单个任务的三项操作
  - 执行详情：跳转至该任务的流程详情页面，可查看流程各个步骤的详细信息，以及回滚任务、取消任务、以及对流程步骤进行重试或跳过当前步骤。
  - 前往运维：跳转至该任务的生产环境运维界面。
    说明
    已完成下线的任务不会再在生产环境运维界面展示。
    下线对象为表时，没有前往运维操作按钮。
  - 取消：取消该任务的下线流程。