参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数和实现参数在任务节点中传递,支持常量参数、变量参数和透传上游节点的参数,需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。
背景信息
参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理的场景。
跨节点传参
当数据开发的业务流程中,某个下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以使用参数节点,将下游节点需要获取的所有参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。
以上图为例,sql_7节点需要获取sql_1、sql_3、sql_4节点的输出参数,此时您可以新增一个参数节点,作为sql_1、sql_3、sql_4的下游节点,并将所有sql_7所需参数添加至参数节点中,将sql_7挂载在此参数节点下游,则sql_7可直接通过参数节点获取到所有所需参数。
参数管理
当数据开发的业务流程中,下游节点的任务需要使用某些常量参数、变量参数时,您可以使用参数节点,将下游节点需要使用的参数均添加至参数节点中,需使用参数的下游节点直接挂在参数节点之下,即可获取使用所需参数,便于整个业务流程中对所有使用的参数进行统一管理。
以上图为例,sql_3、sql_4、sql_5、sql_7节点均需使用参数,此时您可以新增一个参数节点,将各个下游节点使用的参数都添加至参数节点中,将需要使用参数的节点挂在此参数节点下游。
注意事项
某个任务节点引用参数节点中的参数时,需在业务流程中处于参数节点的直接下游,将参数节点作为本节点的上游依赖。
使用限制
支持的地域:华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。
新建参数节点
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在数据开发页面,鼠标悬停至图标,单击 。
您也可以打开相应的业务流程,右键单击通用,选择
。在新建节点对话框中,输入名称,并选择路径。
单击确认。
配置调度
参数节点创建完成后,您可根据参数节点的应用场景完成参数节点的调度配置。
调度配置包括节点的基础属性、时间属性、资源属性和调度依赖。由于参数节点不运行数据开发任务,仅用于参数管理和透传参数,因此参数节点的调度配置需重点关注调度依赖的配置:
任务节点使用参数节点中的参数时,需作为参数节点的下游依赖。
产生透传参数的上游节点需作为参数节点的上游依赖。
添加参数
完成参数节点的调度配置后,您可将需要管理、需要透传的参数添加至参数节点中,便于后续管理使用。操作步骤如下。
在参数节点的编辑页面单击新增参数。
完成参数名、类型、取值、描述的配置后,单击保存。
参数类型包括常量、变量和透传变量。
常量:参数取值为一个固定值。
变量:参数取值为变量,如果您需要使用系统时间等这类变量参数时,添加参数的参数类型需选择为变量。变量参数的详细介绍可参见调度参数支持的格式。
透传变量:透传变量主要用于将上游节点的产出参数透传至下游节点,参数取值可选择参数节点调度依赖中上游依赖节点的所有输出参数。
后续步骤:下游节点使用参数
完成参数节点的配置后,您可以在下游节点中直接使用参数节点中的参数,统一管理参数,提高下游节点任务开发效率。
参数节点的下游节点使用参数时,需要在节点上下文配置里引用上游节点参数,然后才能在任务代码中引用参数。
设置下游节点的上下文配置。
在下游节点的
的本节点输入中,单击添加,将需要使用的参数添加进来。其中:参数名:需要使用的参数的名称,您可以在参数节点中查看参数名。
取值来源:选择取用哪个参数节点中的哪个参数。
当内容较长看不全时,您可以将鼠标悬浮在可选的取值来源上,查看完整的参数来源信息。可选的参数取值来源为本节点上游节点中的所有参数,格式为节点输出名称:参数名称,您可以根据后缀参数名称快速找到参数对应的取值来源。
在下游节点的代码编辑时,直接使用参数。