全部产品
Search
文档中心

大数据开发治理平台 DataWorks:任务调度配置

更新时间:Dec 04, 2024

若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。

前提条件

  • 已创建节点。DataWorks基于节点进行任务开发,不同类型的引擎任务在DataWorks上被封装为不同类型的节点,您可根据业务需要,选择合适的节点使用。详情请参见通用开发流程

  • 已开启工作空间调度开关。仅当DataWorks工作空间开启启用调度周期开关后,工作空间中的任务才可以根据其配置自动调度运行。您需进入工作空间的调度设置页面,开启相应开关,详情请参见调度设置

注意事项

  • 任务的调度配置仅用于定义任务调度运行时的相关属性,任务需通过发布流程发布至生产环境后,才会根据该配置进行最终调度。

  • 调度时间仅定义任务预期执行时间,其实际执行时间还受上游执行情况控制,关于任务执行条件说明,详情请参见任务运行诊断

  • DataWorks支持多种类型任务互相依赖,操作前,建议您先查看必读:复杂依赖场景调度配置原则与示例文档了解DataWorks在该场景下预设依赖的情况。

  • DataWorks上,调度任务会根据调度类型及周期数生成相应的实例(例如,小时调度任务每天会根据周期数产生相应数量的小时实例),并通过周期实例的方式自动调度运行该任务。

  • 在使用调度参数的情况下,DataWorks调度任务各周期代码入参由该周期对应的定时时间以及您调度参数表达式最终决定。各周期代码入参与调度参数配置与替换的关系,调度参数支持的格式

进入调度配置页面

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 进入调度配置页面。

    1. 在数据开发(DataStudio)界面,您需找到目标节点,进入该节点的编辑页面。

    2. 单击节点编辑页面右侧导航栏的调度配置,进入节点调度配置页面。

配置节点调度属性

在节点的调度配置页面,您需根据下表配置节点的调度属性。

配置项

说明

基础属性

包括节点的名称、ID、类型、责任人等。

  • 节点ID:该节点的唯一标识,将在节点提交后生成。

  • 责任人:默认为节点的创建人。您也可选择当前工作空间中的成员作为责任人。

(可选)参数

用于定义节点调度时使用的参数。DataWorks提供内置参数及自定义参数,可供任务在调度时实现参数动态赋值。

说明

若您在编辑节点代码时,在代码中定义了变量,需在此处对该变量进行赋值。

时间属性

DataWorks上任务调度将通过生成对应实例来执行,此处用于定义任务在生产环境的周期调度方式。

  • 实例生成方式:定义该任务在生产环境生成实例的时间。

  • 调度类型:定义该任务在生产环境的运行状态。

  • 调度日历:用于定义任务调度日期及调度方式。DataWorks为您提供了通用场景的默认日历,同时,为满足更灵活的调度时间配置需求,也支持您自定义调度日历。自定义调度日历,详情请参见配置调度日历

  • 调度周期:定义该任务的调度频率,即多久执行一次任务。

  • 定时调度时间:定义该任务预期的运行时间。

  • 超时定义:定义该任务执行超过多长时间会自动退出。

  • 重跑属性:定义该任务自动调度时是否可重跑。

  • 出错自动重跑:定义该任务自动调度失败且可重跑时,自动重跑的频率。

  • 生效日期:定义该任务在什么时间段内调度。超过生效日期的任务将不再生成实例。

资源属性

用于定义该任务发布至生产环境调度运行时使用的调度资源组。

调度依赖

用于定义该任务的上下游依赖关系。通过依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。您可使用自动解析快速设置节点依赖,也可手动设置节点的依赖关系。

  • 当节点为业务流程的根节点,或该节点无其他节点依赖时,若您希望快速发布调度任务,可选择设置该节点依赖工作空间根节点。

  • 当业务流程包含多个输入或多个输出,或工作空间业务较复杂时,可选择使用虚拟节点统筹管理业务流程。例如,通过虚拟节点来控制该业务流程的调度时间。

说明
  • 当您的节点属于同一个业务流程时,也可通过业务流程面板,使用手动拉线方式设置各个节点的依赖关系。

  • 工作空间创建成功后,平台将自动生成一个工作空间根节点(即Root虚拟节点)。通常,您可将该节点作为整体调度业务流程运行的起始节点。

    • 该节点的命名格式为工作空间名称_root

    • 该节点会在工作空间创建成功后的第二天00:00点定时运行。

    • 该节点运行时会空跑(即平台直接返回运行成功,不会真实执行任务),不占用调度资源,不收取任何费用。

    虚拟节点介绍,请参见虚拟节点;节点空跑说明,请参见空跑

(可选)节点上下文

用于定义上下游任务间的参数传递,定义后,可在下游节点中使用该参数获取上游节点传递过来的值。

后续:提交并测试运行节点

任务调度属性配置完成后,您可提交节点并根据需要测试运行节点的调度配置是否符合预期,详情请参见任务调试流程。调试无误后,可将节点发布至生产环境进行周期性调度。后续可在生产环境进行任务的相关运维操作,详情请参见周期任务基本运维操作