除通用Shell节点、PyODPS节点外,其他类型节点均可参考SQL类型节点(例如,ODPS SQL)的配置方式定义参数并为参数赋值。通用Shell节点、PyODPS节点的调度参数使用存在部分差异。本文为您介绍各类型节点的调度参数配置示例。
SQL类型节点及离线同步节点
SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似,可供多数节点参考使用。本文以ODPS SQL节点为例,为您展示如何为系统内置变量及自定义参数赋值,并在代码中进行调用。如上图,在参数赋值区域为参数赋值,然后进入代码调用区域引用系统内置变量var1、var3,自定义参数var2、var4,常量var5。赋值示例如下:
说明 部分节点可能不支持使用调度参数。各节点是否支持使用调度参数,详情请参考具体的节点文档。
- 系统内置变量var1赋值取业务时间:
var1=$bizdate
- 系统内置变量var3赋值取定时时间:
var3=$cyctime
- 自定义参数var2赋值取业务时间:
var2=${yyyymmdd}
- 自定义参数var4赋值取定时时间:
var4=$[yyyymmddhh24:mi:ss]
- 常量var5参数赋值为abc:
var5=abc
PyODPS节点
为避免代码入侵,PyODPS节点不支持在代码中直接使用
配置及使用调度参数,详情请参见配置并使用调度参数,更多调度参数的赋值方式,详情请参见调度参数支持的格式。${param_name}
格式的字符串替换定义的变量。执行代码前,您需要从类型为dict(字典对象)的args
全局变量中获取调度参数。如上图,在参数赋值区域为参数赋值,然后进入代码调用区域引用内置参数var1,自定义参数var2、var3。添加字典对象后的参数为args['var1']
、args['var2']
、args['var3']
。赋值示例如下:- 内置参数var1赋值取业务时间:
var1=$bizdate
- 自定义参数var2赋值取业务时间:
var2=${yyyymmdd}
- 自定义参数var3赋值取业务时间:
var3=$[yyyymmdd]
通用Shell节点配置示例
通用Shell节点中的变量不允许自定义命名,只能以
$1
、$2
、$3
...命名(参数序号由小到大,依次递增),当参数的数量大于10时,请使用${10}
的方式声明变量。如上图,在参数赋值区域为参数赋值,然后进入代码调用区域定义内置参数$1,自定义参数$2、$3。赋值示例如下:说明 通用Shell节点仅支持使用表达式方式为参数赋值。多个参数赋值使用空格分隔,并且参数取值与定义参数时的顺序对应。例如,上图Shell节点定义的第一个参数为$1,则参数赋值区域序号第一的赋值内容
$bizdate
即为$1的参数取值。- 内置参数$1赋值取业务时间:
$bizdate
- 自定义参数$2赋值取业务时间:
${yyyymmdd}
- 自定义参数$3赋值取定时时间:
$[yyyymmdd]
离线同步示例
调度参数在数据集成的典型应用场景,详情请参见场景:调度参数在数据集成的典型应用场景。