全部产品
Search
文档中心

大数据开发治理平台 DataWorks:查看并管理周期任务

更新时间:Nov 18, 2024

周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在运维中心 > 周期任务页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情,并管理周期任务。

背景信息

  • 周期任务的创建、发布、运行、暂停调度、下线等任务运维操作说明详情请参见:周期任务基本运维操作

  • DataWorks每晚会根据周期任务自动生成第二天待运行的周期实例,同时支持您手动触发周期任务,分别生成补数据实例测试实例,您可以通过生成的实例查看任务的运行详情。

使用限制

仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。版本升级详情请参见DataWorks版本服务计费说明

注意事项

  • 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

  • 任务的变更均需执行发布操作,发布成功后该变更才会在生产环境中生效。发布时可能存在发布失败、发布流程被阻塞或发布版本不符合预期等情况,因此,建议您在任务发布后,进入运维中心 > 周期任务界面进行排查:

    • 通过DAG图查看任务的上下游依赖关系是否正确。

    • 通过节点详情查看生产环境中该任务的参数配置等是否符合预期。

进入周期任务页面

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 进入运维中心后,在左侧导航栏,单击周期任务运维 > 周期任务。进入周期任务页面,查看周期任务列表或DAG图。

查看周期任务列表

周期任务列表为您展示任务提交到调度系统后的调度任务列表,您可以对任务进行相关的运维操作。周期任务列表

操作

描述

筛选

在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。

您可以根据任务名称/ID任务类型责任人调度资源组Region解决方案标签业务流程数据源类型数据源名称基线优先级调度周期工作流等条件进行精确筛选。

说明
  • 暂停(冻结)节点:冻结状态的任务不会自动调度,并且会阻塞其下游任务运行。即暂停(冻结)的周期任务将产生冻结状态的实例,冻结状态的实例将不会调度运行,并且会阻塞其下游任务运行。

  • 孤立节点:指当前任务没有依赖任何父节点,这类型任务不会自动调度运行,如果该孤立节点下游依赖较多,则会影响下游任务的运行。详情请参见:场景:节点孤立

  • 过期节点:不在有效期内的节点将不会生成实例,且不会运行。

任务列表

在上图的模块②区域,以列表方式为您展示满足过滤条件的周期任务。

单个任务操作

在上图的模块③区域,您可以对周期任务进行如下操作:

  • DAG图:DAG图为您展示周期任务的上下游依赖关系,您可以在DAG图中对任务进行相关操作。详情请参见:查看周期任务DAG图

  • 测试:用于测试周期任务的运行是否符合预期,执行测试操作后,将产生测试实例,您可以通过测试实例页面查看此次测试任务的运行情况,详情请参见执行测试并查看测试实例

    说明

    测试会真实跑数据,请谨慎操作。

  • 补数据:用于对周期任务执行补历史数据或未来时间段数据的操作,执行补数据操作后将产生补数据实例,您可以通过补数据实例页面查看此次补数据任务的运行情况,详情请参见执行补数据并查看补数据实例(新版)

  • 更多

    • 暂停(冻结):当任务及其下游任务一段时间内不需要运行时,您可以选择暂停(冻结)任务。

      说明

      请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

    • 恢复(解冻):用于恢复冻结状态的周期任务。

    • 修改责任人:用于修改当前任务的责任人。

    • 修改调度资源组:用于修改调度任务运行所使用的调度资源组。

    • 修改标签:可修改、新增以及解绑该调度任务资产的标签,若需要对标签进行统一管理,请前往标签管理

    • 配置质量监控:用于为当前任务配置质量监控规则,当任务运行时可以对数据进行校验。详情请参见:数据质量概述

    • 查看实例:单击后将跳转至当前任务生成的周期实例页面。

    • 查看血缘:用于查看当前任务的血缘信息。

    • 查看周期任务详情,用于查看任务的基本属性,相关参数介绍详情请参见:查看节点详情

    • 添加规则监控:用于自定义报警规则,帮助您监控周期任务每日的运行状态。配置完成后,您可以在智能监控 > 规则管理页面查看此次添加的监控规则。详情请参见:规则管理

    • 添加到基线监控:用于将当前任务添加至基线上,基线使用详情请参见:智能基线概述

批量操作

在上图的模块④区域,您可以批量选择任务,进行暂停(冻结)恢复(解冻)修改责任人修改调度资源组操作等操作。

每页条数展示

在上图的模块⑤区域,您可以修改每页展示的条数,最大支持每页展示200条。

查看周期任务DAG图

在列表模式下单击周期任务名称或操作栏中的DAG图,即可打开该任务的DAG图,DAG图默认展示当前任务的一层父节点和一层子节点,您可以通过DAG图面板的菜单栏查看更多的上下游依赖,同时支持您右键单击任务进行相关操作。周期任务

功能

描述

DAG面板功能

在上图的模块①区域,支持您对DAG图进行节点聚合下游分析调整DAG图显示样式的操作。详情请参见:附录:DAG图功能介绍

  • 节点聚合:支持您按任务状态、所属工作空间、责任人、优先级等维度进行任务聚合。

  • 下游分析:当周期任务的数量或层级过多时,您可以进行下游分析功能,统计当前任务影响的下游任务数。

  • 调整DAG图显示样式:您可以根据实际需要,单击右上角的功能图标,调整DAG图的显示样式。

单个任务操作

在上图的模块②区域,您可以对目标任务执行相关操作。

  • 展开父节点:支持按照层级展开当前任务的上游任务,最多支持展开6级。您可以通过该功能了解哪些任务将影响当前任务的数据产出。

  • 展开子节点:支持按照层级展开当前任务的下游任务,最多支持展开6级。您可以通过该功能了解当前任务将影响哪些任务的数据产出。

  • 查看代码:用于确认生产环境当前任务的代码详情。若不符合预期,请确认当前任务的最新版本是否已经发布成功。生产任务上线请参见:发布任务

  • 编辑节点:单击后即可跳转至数据开发页面打开当前任务。

说明

其他操作请参考查看周期任务列表

单个任务详情

在上图的模块3区域。您可以查看任务属性,并可以单击展开详情查看当前任务的详细属性、上下文参数、操作日志、代码等信息,详情请参见:查看节点详情

查看节点详情

支持您查看生产环境中周期任务的属性(调度参数、所使用的资源组等)及代码是否符合预期。

2

功能

描述

属性

您可以查看任务在生产环境的调度属性。界面参数详情请参见:调度配置

说明

当数据开发界面与生成运维中心周期任务界面的参数配置不一致时,建议您优先确认任务变更后,是否发布成功。

  • 规则监控:您可以查看当前实例关联的监控规则情况,支持您单击右侧的新建快速创建任务运行状态监控规则,详情请参见规则管理

    说明

    此处仅支持查看监控任务运行状态的规则关联详情,不支持查看数据质量监控规则。

  • 基线监控:您可以查看当前实例关联的基线情况,支持您单击右侧的新建快速创建基线,详情请参见基线管理

    说明

    基线规则配置后第二天会在周期任务界面展示。规则配置当天若要确认基线规则是否已成功创建,您可前往智能基线 > 基线管理页面查看。

上下文

为您展示当前任务的输入参数和输出参数,上下文功能相关介绍详情请参见:配置节点上下文

操作日志

用于查看任务的操作记录,包括:操作时间、操作人、具体操作等。

代码

用于查看生产环境当前任务的最新代码。当代码不符合预期时,请确认任务的最新版本是否已经发布成功。详情请参见:发布任务