全部产品
Search
文档中心

大数据开发治理平台 DataWorks:参数节点

更新时间:Nov 20, 2024

参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数和实现参数在任务节点中传递,支持常量参数、变量参数和透传上游节点的参数,需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。

背景信息

参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理的场景。

  • 跨节点传参

    当数据开发的业务流程中,某个下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以使用参数节点,将下游节点需要获取的所有参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。

    跨节点传参以上图为例,sql_7节点需要获取sql_1、sql_3、sql_4节点的输出参数,此时您可以新增一个参数节点,作为sql_1、sql_3、sql_4的下游节点,并将所有sql_7所需参数添加至参数节点中,将sql_7挂载在此参数节点下游,则sql_7可直接通过参数节点获取到所有所需参数。

  • 参数管理

    当数据开发的业务流程中,下游节点的任务需要使用某些常量参数、变量参数时,您可以使用参数节点,将下游节点需要使用的参数均添加至参数节点中,需使用参数的下游节点直接挂在参数节点之下,即可获取使用所需参数,便于整个业务流程中对所有使用的参数进行统一管理。

    参数管理以上图为例,sql_3、sql_4、sql_5、sql_7节点均需使用参数,此时您可以新增一个参数节点,将各个下游节点使用的参数都添加至参数节点中,将需要使用参数的节点挂在此参数节点下游。

注意事项

某个任务节点引用参数节点中的参数时,需在业务流程中处于参数节点的直接下游,将参数节点作为本节点的上游依赖。

使用限制

支持的地域:华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。

新建参数节点

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 数据开发页面,鼠标悬停至新建图标,单击新建节点 > 通用 > 参数节点

    您也可以打开相应的业务流程,右键单击通用,选择新建节点 > 参数节点

  3. 新建节点对话框中,输入名称,并选择路径

  4. 单击确认

配置调度

参数节点创建完成后,您可根据参数节点的应用场景完成参数节点的调度配置。

调度配置包括节点的基础属性、时间属性、资源属性和调度依赖。由于参数节点不运行数据开发任务,仅用于参数管理和透传参数,因此参数节点的调度配置需重点关注调度依赖的配置:

  • 任务节点使用参数节点中的参数时,需作为参数节点的下游依赖。

  • 产生透传参数的上游节点需作为参数节点的上游依赖。

配置调度的详细操作步骤可参见配置基础属性时间属性配置说明配置资源属性配置同周期调度依赖等章节。

添加参数

完成参数节点的调度配置后,您可将需要管理、需要透传的参数添加至参数节点中,便于后续管理使用。操作步骤如下。

  1. 在参数节点的编辑页面单击新增参数

  2. 完成参数名类型取值描述的配置后,单击保存

    添加参数参数类型包括常量变量透传变量

    • 常量:参数取值为一个固定值。

    • 变量:参数取值为变量,如果您需要使用系统时间等这类变量参数时,添加参数的参数类型需选择为变量。变量参数的详细介绍可参见调度参数支持的格式

    • 透传变量:透传变量主要用于将上游节点的产出参数透传至下游节点,参数取值可选择参数节点调度依赖中上游依赖节点的所有输出参数。

后续步骤:下游节点使用参数

完成参数节点的配置后,您可以在下游节点中直接使用参数节点中的参数,统一管理参数,提高下游节点任务开发效率。

参数节点的下游节点使用参数时,需要在节点上下文配置里引用上游节点参数,然后才能在任务代码中引用参数。

  1. 设置下游节点的上下文配置。

    在下游节点的调度配置 > 节点上下文本节点输入中,单击添加,将需要使用的参数添加进来。节点上下文其中:

    • 参数名:需要使用的参数的名称,您可以在参数节点中查看参数名。

    • 取值来源:选择取用哪个参数节点中的哪个参数。

      当内容较长看不全时,您可以将鼠标悬浮在可选的取值来源上,查看完整的参数来源信息。可选的参数取值来源为本节点上游节点中的所有参数,格式为节点输出名称:参数名称,您可以根据后缀参数名称快速找到参数对应的取值来源。

  2. 在下游节点的代码编辑时,直接使用参数。