大数据开发治理平台 DataWorks：周期工作流编排

一、准备计算资源与数据

1. 在目标工作空间中绑定MaxCompute为计算资源。

2. 在MaxCompute中，创建一张如下结构的表，用以存放结果。

   -- 创建一个简单的结果表
   CREATE TABLE IF NOT EXISTS dw_order_count_test (
       order_date STRING,
       total_count BIGINT
   ) 
   PARTITIONED BY (ds STRING); -- 以 ds 为分区，存放每天的统计结果

二、新建周期工作流

1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

   若按钮显示为数据开发，进入的是旧版数据开发，请勿选择。

2. 单击左侧导航栏，在项目目录右侧单击 > 新建工作流，进入新建工作流页面。

3. 在新建工作流对话框，选择调度类型为周期调度，输入相关信息（例如，名称为minimal_daily_demo）并完成创建。

三、编排工作流：拖拽节点与连线依赖

1. 在打开的工作流画布中，从左侧组件面板拖入一个虚拟节点，命名为 start_node。

   虚拟节点仅用于定义业务起点，不会真正执行。

2. 拖入一个 MaxCompute SQL 节点，命名为 count_orders。

3. 鼠标点击 start_node 底部的圆点，拉线连接到count_orders的顶部，构建简单的加工链路。

四、开发节点代码

1. 双击打开count_orders节点，进入节点代码编辑器。

2. 编写节点的业务逻辑代码（此处使用模拟统计数据）。

   -- bizdate 是定义的调度变量，需在调度配置中指定含义
   INSERT OVERWRITE TABLE dw_order_count_test PARTITION (ds='${bizdate}')
   SELECT 
       '${bizdate}' as order_date,
       COUNT(*) as total_count
   FROM (SELECT 1 as id UNION ALL SELECT 2 as id) t; -- 模拟数据

   具体节点开发，请参见MaxCompute SQL节点。

3. 点击节点编辑器顶部的保存按钮，完成保存。

五、配置调度周期&参数

1. 回到工作流，在工作流画布的右侧，点击调度配置 > 调度时间标签页：

   1. 设置调度周期为日；

   2. 设置调度时间为00:05（即每天凌晨 0 点 5 分运行）。

2. 在 count_orders 节点的编辑器右侧，设置调度配置 > 调度参数 ，添加参数名为bizdate且对应参数值为$[yyyymmdd-1]（这表示“当前日期减一天”，即昨天）。

六、单节点调试 + 工作流整体调试

1. count_orders节点调试：

   1. 配置调试参数：单击节点编辑页右侧的运行配置。

      1. 在计算资源中选择步骤一准备的MaxCompute计算资源。

      2. 在脚本参数中，填写本次运行值，默认为当前日期的前一天。

   2. 调试运行任务：单击工具栏中的运行按钮，此时将使用您在运行配置中的调试参数运行节点。

   3. 当运行效果符合预期之后，点击右上角的同步至调度，将运行配置同步至调度配置。

2. 工作流整体调试：

   1. 返回工作流画布，单击顶部工具栏的图标。

   2. 在弹出的对话框中，填写工作流的本次运行值（例如今天20260120，bizdate应该被替换为20260119）。

七、发布到生产

1. 返回工作流，单击顶部工具栏的按钮。

2. 在发布面板中，系统会进行依赖和配置检查。确认无误后，单击开始发布生产，选择发布方式为全量发布。

3. 发布成功后，前往运维中心，查看周期任务列表是否存在该工作流。

节点/工作流编排

复杂编排：流程控制

说明

分支/归并节点、for-each/do-while节点仅支持DataWorks标准版及以上版本。

流程控制类节点是实现数据开发从任务集成向业务编排跨越的核心组件。它突破传统有向无环图（DAG）仅能表达单一线性依赖的局限，通过一系列精密的逻辑控制节点，赋予数据工作流的逻辑表达能力。

节点名称	节点描述
虚拟节点	作为空跑节点，不执行实际计算，用于统筹管理多个子任务，作为工作流的起始节点。例如，在商品订单分析工作流中，使用名为 workshop 的虚拟节点作为整个工作流的起点，统一挂载两个离线同步任务，使数据流转路径更清晰。 说明 若单节点开发，则需要使用工作空间根节点作为起始依赖节点。
分支节点	根据上游结果判断走不同分支逻辑。例如，检查每日订单总额。若总额为 0，则触发告警节点并停止后续计算；若总额大于 0，则继续执行报表生成节点。
归并节点	对多个分支的执行结果进行归并，解决下游依赖挂载问题。例如，财务结算任务依赖“正常结算”和“补账逻辑”两个分支，归并节点确保无论走哪个分支，只要逻辑闭环后即触发最后的报表归档。
遍历节点 (for-each)	遍历赋值节点传递的结果集，对每个元素执行下游操作。例如，针对赋值节点获取的 31 个省份名称，循环执行 31 次数据清洗任务，每次处理一个省份的数据分区。
循环节点 (do-while)	循环控制，直到满足条件之后继续下一步。例如，每隔 10 分钟调用一次外部接口查询数据同步状态。若返回值为“处理中”，则继续循环；若返回“完成”，则退出循环启动后续加工。

更多详情，请参见新版数据开发通用节点。

复杂编排：状态感知与外部联动

说明

Check节点仅支持DataWorks专业版及以上版本；其他节点仅支持DataWorks企业版。

该类节点实现状态感知与条件判定的核心组件。它不仅负责精准判定工作流所依赖的物理资源或前置任务是否准备就绪，还通过与第三方系统的交互联动，打破了数据平台与业务系统间的通信壁垒。

节点名称	节点描述
HTTP触发器	接收外部系统HTTP请求，触发DataWorks任务运行。例如，上游业务系统完成日结后，调用HTTP接口触发DataWorks的T+1数据加工流程。
Check节点	监控外部资源（如OSS文件、MaxCompute分区）是否就绪，就绪后触发下游任务。例如，等待OSS中当日日志文件上传完成，Check节点检测到文件存在后，启动日志解析任务。
依赖检查节点	通过主动轮询、逻辑组合与跨周期/跨空间依赖是否就绪，就绪后触发下游任务 ，实现对复杂调度触发条件的精准控制。例如，日周期调度节点等待前一日全部24个小时任务完成。

更多详情，请参见新版数据开发通用节点。

封装子工作流实现逻辑复用

周期工作流支持通过SUB_PROCESS节点将一段稳定通用的子任务链路封装成一个可复用的模块（子工作流），供其他工作流引用。例如，电商、广告和IoT业务线可共用一个标准化处理流程，包括数据清洗、汇总统计、数据质量等。该流程可封装为可被引用的子工作流，提升开发效率。

操作路径：

1. 在计划被引用的工作流child_workflow，将工作流属性设置为可被引用，此时该工作流变成子工作流。

2. 在主工作流中，拖入SUB_PROCESS节点，选择引用的工作流为child_workflow。

子工作流具有以下约束：

• 内部性：该工作流及其所有内部节点，不能配置任何对外部任务的依赖。

• 隔离性：该工作流不能被任何外部任务直接设置为依赖。

• 被动触发：发布后不会自动生成调度实例。它仅在被其他工作流的 SUB_PROCESS 节点调用时才会执行。

  更多详情，请参见SUB_PROCESS节点。

调度依赖设置

调度依赖是保障数据加工顺序性、一致性与准确性的核心机制。它通过定时时间满足与上游成功触发的双重逻辑，将孤立的任务连接成有序的数据生产线。当编排工作流内的节点时，节点之间默认建立调度依赖。除了工作流内节点上下游的依赖之外，还可通过调度依赖设置更多复杂的依赖。

更多详情，请参见调度依赖。

参数设计与流转

DataWorks 新版数据开发支持四种层级的参数传递机制，并可通过节点上下文参数实现灵活的跨节点动态数据传递。按作用域从低到高依次为：

调度周期设置

调度周期仅支持在工作流级别设置。工作流内部节点只能设置延迟执行时间，该时间是基于工作流定义的定时时间进行累加计算。

单节点调试

单节点调试侧重于验证单个节点内部的代码逻辑，例如快速验证一段 SQL 语句、Python 脚本或数据集成同步任务的正确性。该模式仅运行当前节点，不触发上下游依赖关系。

1. 在节点右侧运行配置中配置如下参数：

   参数名称	描述
   计算资源	选择绑定的计算资源。若无可用计算资源，可在下拉框中选择新建计算资源。 重要 需确保计算资源和资源组网络连通，更多信息请参见网络连通方案。
   资源组	选择绑定计算资源时已通过测试连通性的资源组。部分节点支持在资源组上配置自定义镜像，以扩展运行环境。
   （可选）数据集	部分节点（例如，Shell、Python等）支持使用数据集，以访问存储在OSS或NAS中的非结构化数据。
   （可选）脚本参数	在配置节点内容时，通过${参数名}的方式定义变量，需要在脚本参数处配置参数名、参数值信息，任务运行时会将它动态替换为真实的取值。详情请参见调度参数来源及其表达式。
   （可选）关联角色	部分节点（例如，Shell、Python等）支持配置关联角色，以访问其他云产品资源。

2. 在节点上方工具栏，单击保存并运行节点任务。

3. 在节点下方查看运行日志，并查看运行结果。

工作流调试

工作流调试侧重于验证整个业务链路中多个节点间的数据依赖、参数传递及执行顺序是否正确。当完成单节点调试后，可进行部分链路调试或整体工作流调试。

1. 在工作流的 DAG 画布页面，点击页面顶部工具栏的运行按钮。也可选中节点，右击选择运行到该节点或从该节点运行，实现局部验证。

2. 在弹出的对话框中，为工作流内所有节点变量（如 ${bizdate}）统一赋予本次调试的临时值。

3. 系统将严格按照 DAG 图定义的依赖关系，从上到下依次执行。在画布上实时观察节点状态，并可单击任意节点查看运行日志。

4. 此时，可点击画布左侧返回按钮，返回至工作流开发状态。

   右侧运行历史展示工作流的所有调试运行记录。

克隆工作流

克隆工作流可快速完整地复制一个现有的工作流，包括其内部所有节点、代码和依赖关系，生成一个全新的、独立的工作流。操作入口在项目目录，右键单击目标工作流，选择克隆。

克隆操作极易引入潜在风险，因为它复制了几乎所有配置。在提交和发布克隆后的工作流之前，务必逐一检查以下配置，这被称为“环境隔离”检查：

1. 产出表与目标数据源：克隆的工作流代码会和原工作流写入完全相同的目标表。必须修改代码中的目标表名（例如，从 ods_user_table 改为 dev_ods_user_table），或修改节点输出配置，以防止多个任务操作同一个表，引起数据冲突。

2. 上游依赖：检查工作流的上游依赖配置。克隆后的工作流默认仍会依赖原始的上游任务。确认这是否符合你的预期，否则可能导致数据链路混乱或任务空跑。

3. 参数配置：检查工作流及内部节点的自定义参数，特别是涉及日期分区（如 ${bizdate}）、输入/输出路径等参数，确保它们在新环境下是正确的。

除了克隆工作流之外，同时支持工作流内的节点克隆，但不支持跨工作流的节点复制。

版本管理

版本管理自动记录工作流的每一次变更，支持查看、对比历史版本，并在必要时快速回滚到任意一个历史状态，是保障任务稳定性和支持团队协作的关键功能。

在工作流画布右侧，可以找到版本面板。在版本面板中，你会看到两种记录，理解它们的区别至关重要：

• 开发记录：每次在画布上点击保存时生成。它只是一个开发过程中的快照，用于防止代码意外丢失。它不会影响线上正在运行的任务。

• 发布记录：当工作流被成功发布到生产环境后生成。这才是线上调度系统实际执行的版本。线上任务出现问题时，我们主要关注发布记录进行回滚。

典型应用场景

• 故障快速回滚：当线上任务因代码变更而出错时，可通过还原功能，一键将工作流恢复到上一个稳定的发布版本，最大限度缩短故障时间。

• 变更审计与追溯：需要排查某个逻辑是什么时候、由谁修改的时，可以通过版本列表和对比功能，清晰地追溯每一次代码变更。

• 代码找回：当不小心删除了部分代码逻辑且未保存时，可以从最近的开发记录中将其还原。

重要注意事项

• 还原操作会覆盖当前开发区：执行还原操作，会用你所选的历史版本内容，直接覆盖掉当前画布上的所有代码和配置。强烈建议在执行还原前，如果当前画布上有未提交的有效修改，请先将其手动复制到本地文本编辑器中进行备份。

• 还原后需要重新发布：还原操作仅仅是将代码恢复到了开发态。这个恢复后的版本不会自动同步到线上。你必须手动发布，回滚才能在生产环境中正式生效。

发布与运维

• 节点/工作流发布：完成工作流开发之后，将节点/工作流发布至生产环境，此时开发环境的节点将生成生产环境对应的周期任务。详情请参见节点/工作流发布。

• 节点/工作流运维：生产环境的工作流，将根据调度配置进行周期性调度。前往运维中心查看周期工作流的调度情况并执行相关运维操作。详情请参见：周期任务基本运维操作、补数据实例运维。

任务运行机制

在调度场景下，工作流整体是否返回成功状态，会受到内部任务运行状态的影响。

工作流的整体成功与否，由其内部节点的最终状态决定，遵循以下规则：

• 失败：只要有一个关键节点运行失败，整个工作流实例通常会置为失败。

• 冻结/暂停：工作流内部有节点被手动冻结或暂停，且该节点是后续节点的上游，会导致链路中断，工作流整体也会被置为失败。

• 归并（Join）节点：如果工作流使用了归并节点，其上游分支中即使有节点失败，只要归并节点自身逻辑判断可以成功，整个工作流也可能返回“成功”。因此，需谨慎设计归并节点的上游检查，防止“带病运行”。

特殊场景说明：

• 冻结工作流任务的补数据实例时，工作流实例将会被置为成功状态。

• 补数据场景下判断任务无法执行时，工作流会被置为失败状态。