全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建手动任务

更新时间:Nov 13, 2024

您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。

使用说明

  • 若任务不需要发布生产环境操作生产环境引擎,您可选择新建临时查询文件

  • 手动任务仅支持手动触发执行,不支持自动调度。

  • 手动任务可通过拉线设置执行顺序,但该操作并非设置调度依赖。

  • 手动业务流程与调度业务流程仅存在部分差异,界面功能认识可参见数据开发功能索引

进入手动业务流程功能界面

您需要前往DataStudio(数据开发) > 手动业务流程页面,通过手动业务流程创建手动触发执行的任务。

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 数据开发页面左侧导航栏选择手动业务流程。若您界面没有该菜单,请参见改变布局:定制化展示模块手动添加。

新建手动业务流程

DataWorks以业务流程为中心组织数据开发,通过各类型开发节点的容器看板,将相关工具、优化及管理操作围绕看板对象进行组织,使开发管理更加方便智能。您可根据业务需求,将同类型业务统一放置在一个业务流程。具体步骤如下:

  1. 创建业务流程。您可以使用如下两种方式创建:

    • 方式一:鼠标悬停至创建业务流程图标,单击新建业务流程

    • 方式二:右键单击数据开发左侧目录树的业务流程,选择新建业务流程

  2. 配置业务流程的名称及描述,单击新建

更多关于业务流程的使用,请参见创建并管理业务流程

新建手动业务

业务流程提供目录树列表与可视化两种方式新建任务。

  1. 新建手动任务。

    • 方式一:基于目录树创建。

      1. 在目录树的业务流程中找到上述步骤一创建的业务流程。

      2. 右键单击所需引擎,在新建节点下选择合适节点。

    • 方式二:基于业务流程面板创建。

      1. 在目录树的业务流程中找到上述步骤一创建的业务流程。

      2. 双击该业务流程,进入业务流程面板。

      3. 在面板左侧导航栏单击所需节点,或将所需节点类型拖拽至面板。

  2. 配置节点引擎实例、名称等信息。

  3. 定义任务代码。

    您需要根据您选择的引擎类型,结合引擎语法,编辑该任务执行逻辑。若需要代码动态入参,您可通过${变量名}的方式定义代码中的变量,并可在后续设置任务属性阶段,为该变量赋值默认参数。此操作与调度任务定义代码变量的方式一致。

    说明

    部分节点的调度参数配置存在差异(例如,通用Shell节点中的变量只能以$1、$2、$3...命名),详情请参见各类型节点的调度参数配置示例

(可选)设置手动任务执行顺序

手动业务流程中的任务不一定需要定义任务执行顺序,但您也可以在手动业务流程面板中通过拉线的方式设置其上下游执行顺序。没有上下游执行顺序的任务在运行整个业务流程时,将同时触发执行。存在上下游执行顺序的任务在点击业务流程运行后,将按照上下游顺序依次执行。

执行顺序

设置手动任务属性

若任务需要在生产环境操作生产环境引擎数据,您可以在节点右侧定义手动任务在生产环境执行时的相关属性。该属性与调度任务属性作用一致。设置属性如下:

属性

描述

基础属性

节点的名称、ID、类型、责任人会自动展示,此处无需单独配置。

说明
  • 责任人默认为当前登录用户,您可以根据实际需求进行修改。仅支持选择当前工作空间中的成员作为责任人。

  • 节点提交后会自动生成ID。

参数

用于定义节点运行时使用的参数。

说明

DataWorks提供内置参数及相关自定义参数,可供任务调度时实现参数动态赋值。若在代码开发时定义了变量,您可在此处对该变量进行赋值。

资源属性

用于配置任务发布至生产环境后使用哪个资源组下发任务。该配置下拉选择的为当前工作空间可用的调度资源组。建议您选择购买使用DataWorks的Serverless资源组。详情请参见新增和使用Serverless资源组

调试运行手动业务

您可通过单个节点编辑页面工具栏中的调试按钮调试调试当前任务。您也可通过业务流程面板的调试运行按钮调试整个手动业务流程。

说明

此操作一般将通过您个人账号在开发环境的数据源项目中执行相关操作,关于数据源的更多信息,您可前往工作空间管理 > 数据源 > 数据源列表页面查看,详情请参见创建并管理数据源

(可选)定义流程参数

当手动业务流程中存在同名变量,并且该变量可进行统一赋值的情况下,您可点开业务流程面板定义使用流程参数。定义完成后,您可通过运行业务流程并为流程参数赋值的方式查看该赋值结果下的手动任务执行情况。

您可为流程参数设置默认值,也可只定义流程参数名称,在生产环境每次执行时单独进行赋值。

提交并发布手动任务

若需要发布生产环境执行该手动任务,您可以保存节点的配置,并提交发布至运维中心,提交发布的操作请参见发布任务。发布操作并非一定成功,请确认任务最终发布的状态。

发布成功后,您可以前往运维中心 > 手动任务运维路径,查看刚才发布的手动任务。

生产环境运行手动任务

手动任务仅支持手动触发执行,不支持自动调度。您可在需要运行手动任务时,单击运维中心 > 手动任务运维,进入手动任务页面,找到该目标手动任务并对其执行运行操作,支持运行整个业务流程与业务流程下部分节点、并指定运行时间。

说明

手动任务最长执行3天,超过3天DataWorks将自动停止执行,任务将失败退出。

  • 流程参数赋值:若手动业务流程存在流程参数,您可在每次执行时通过为流程参数赋值,统一为该业务流程下代码中同名变量赋值。该配置仅在定义了流程参数的情况下出现。

  • 任务执行顺序:任务执行顺序与设置手动任务执行顺序(可选)阶段的说明一致。具体如下:

    • 没有上下游执行顺序的任务在运行整个业务流程时,将同时触发执行。

    • 存在上下游执行顺序的任务在点击业务流程运行后,将按照上下游顺序依次执行。上下游

生产环境任务的运行操作都将生成实例,手动任务运行后将生成手动实例,您可在手动任务运维 > 手动实例手动实例页面查看手动任务实际执行结果。