全部产品
Search
文档中心

大数据开发治理平台 DataWorks:配置任务调度

更新时间:Nov 13, 2024

本文以配置任务write_result的调度周期为周调度为例,为您介绍如何设置DataWorks的调度属性和依赖属性。

前提条件

  • 已创建虚拟节点(start)和ODPS SQL节点(insert_data,详情请参见创建业务流程

  • 已创建同步节点write_result生成的同步任务,详情请参见创建同步任务

背景信息

DataWorks具有强大的调度能力,支持根据时间、依赖关系的触发机制。DataWorks可以为您保障每日千万级别的任务,根据DAG关系准确、准时运行,并且支持分钟、小时、天、周和月多种调度周期配置,详情请参见时间属性配置说明

配置时间属性

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 在相应的业务流程下,双击打开离线同步节点write_result的编辑页面。

  3. 单击编辑页面右侧导航栏的调度配置

    说明

    手动业务流程中创建的节点需要手动触发,无法通过调度执行。

  4. 时间属性区域,配置任务的调度时间属性。

    image.png

    参数

    描述

    实例生成方式

    包括T+1次日生成发布后即时生成。详情请参见实例生成方式:发布后即时生成实例

    调度类型

    • 正常调度:按照调度周期配置的定时时间启动调度,正常执行任务(即会真实跑数据)。

    • 暂停调度:按照调度周期配置的定时时间启动调度,但节点状态被置为暂停(即不会真实跑数据)。

    • 空跑调度:按照调度周期配置的定时时间启动调度,但该节点为空跑状态(即不会真实跑数据)。

    调度周期

    节点的运行周期(年、月、周、日、小时和分钟),此处示例设置每周一、周二的00:00点启动调度。

    cron表达式

    根据您配置的调度时间默认显示,不可以更改。

    超时定义

    当任务运行时长超过超时时间,任务将自动终止运行。

    • 超时时间对周期实例、补数据实例、测试实例均生效。

    • 超时时间默认值为3~7天,系统根据实际负载情况动态调整默认的任务超时时间,范围为3~7天不等。

    说明
    • 超时定义最大值可设置为168小时。

    • 由于任务执行时间过长而导致任务超时终止,仍会收取该任务产生的流量、计算等费用。

    重跑属性

    包括运行成功或失败后皆可重跑运行成功后不可重跑,运行失败后可以重跑运行成功或失败后皆不可重跑

    失败自动重跑

    如果重跑属性设置为运行成功或失败后皆可重跑运行成功后不可重跑,运行失败后可以重跑时,会显示该属性,可以配置任务出错自动重跑。如果设置为运行成功或失败后皆不可重跑,则不会显示该属性,即任务出错不会自动重跑。

    重跑次数

    当勾选出错自动重跑后,您需要配置重跑次数

    重跑间隔

    当勾选出错自动重跑后,您需要配置重跑间隔。默认每次重跑的间隔为30分钟,最小支持设置为1分钟,最大支持设置为30分钟。

    生效日期

    节点的有效日期,请根据自身需求进行设置。

    更多时间属性介绍,详情请参见时间属性配置说明

配置调度依赖

依赖属性中可以配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。

例如,当前节点的实例将在上游insert_data节点的实例运行完毕后,才会触发执行。

说明

从业务维度看,节点依赖关系设置就是下游节点等待上游节点产出表数据后,下游节点再对该表数据进行下一步操作,比如对上游产出的表数据进行进一步清洗,或者将上游清洗的结果表数据回流至其他数据库,但这些都需要等待上游节点执行成功(上游节点产出表数据)后才可以进行的操作,节点依赖关系的设置,保障的就是下游节点执行时,依赖的上游数据已经产出。关于调度依赖的逻辑说明详情,您可以参考文档:调度依赖配置指引

在调度系统中,每一个工作空间中默认会创建一个工作空间名称_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。

提交并发布任务

  1. write_result节点的编辑页面,单击工具栏中的保存图标,保存节点。

  2. 提交任务。

    说明

    您需要设置节点的重跑属性依赖的上游节点,才可以提交任务。

    1. 单击工具栏中的提交图标。

    2. 提交对话框中,输入变更描述

    3. 单击确认

    如果您使用的是标准模式的工作空间,提交成功后,开发环境便有了该同步任务,如果需要将其发布至生产环境进行周期性调度请单击左上角的任务发布在此界面将同步任务发布至生产环境。具体操作请参见发布任务

    同步任务只有提交至调度系统中,才会从第二天开始,自动根据调度属性配置的周期,在各时间点生成实例,并定时运行。

    说明

    如果是23:30以后提交的同步任务,则调度系统从第3天开始,才会自动周期生成实例并定时运行。

后续步骤

现在,您已经学习了如何设置离线同步任务的调度属性和依赖关系,您可以继续下一个教程。在该教程中,您将学习如何对提交的任务进行周期运维,并查看日志排错。详情请参见运行及排错