调度参数只支持获取时间类型数据,部分节点(例如,离线同步节点)配置了调度参数后,调度参数的返回值不能直接使用,需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。
背景信息
调度参数支持的时间类型未覆盖所有的时间场景,如果您的业务需要使用特殊时间格式,则可以使用引擎函数进行处理。二次处理调度参数时,部分节点不支持直接使用函数转换参数返回结果。对于不支持直接使用函数转换的节点,您可以通过赋值节点进行相关处理。
直接使用函数,或通过赋值节点二次处理调度参数的典型场景如下:
- 直接使用函数二次处理调度参数本文以ODPS SQL节点为例,为您介绍直接使用函数二次处理调度参数的典型场景:
- 通过赋值节点二次处理调度参数
无法直接使用函数二次处理调度参数的节点,如果想直接使用时间戳或其他时间格式,则可以先通过赋值节点将时间类型数据进行相应转换,再将处理后的结果传递给该节点使用。赋值节点的使用,详情请参见赋值节点。
例如,如果离线同步节点需要使用时间戳类型字段进行增量同步,则可以先通过赋值节点使用函数将时间类型数据转换为时间戳,再传递给离线同步节点使用。
更多操作参考如下:
- ODPS SQL节点的调度参数配置操作,详情请参见配置及使用调度参数及SQL类型节点及离线同步节点。
- 更多调度参数的赋值,详情请参见调度参数概述。
- 跨天场景的调度参数配置,详情请参见调度参数往前取一个小时,如何处理跨天参数替换的问题。
获取上个月最后一天
使用调度参数
获取上个月最后一天
的配置及测试结果如下表。
参数配置 | 测试定时时间CYCTIME | 返回结果 |
---|---|---|
|
20210926000000 |
20210831 |
获取当前季度
使用调度参数
获取当前季度
的配置及测试结果如下表。
参数配置 | 测试定时时间CYCTIME | 返回结果 |
---|---|---|
|
20211025001700 |
4 |
获取定时时间15分钟前的年、月、日、小时、分钟
使用调度参数
获取定时时间15分钟前的年、月、日、小时、分钟
的配置及测试结果如下表。
参数配置 | 测试定时时间CYCTIME | 返回结果 |
---|---|---|
|
20210727000500 |
|
获取时间区间,调度间隔为1天
获取昨天
00:00:00
到今天00:00:00
的时间区间,调度间隔为1天。时间格式为yyyymmddhh24miss
,精确到秒。
说明 使用Kafka和LogHub离线同步指定时间区间的数据时,如需配置调度参数,则调度参数的日期格式为
yyyymmddhh24miss
,日期区间为左闭右开。详情请参见Kafka Reader和LogHub Reader。不同场景的数据增量同步,详情请参见数据增量同步。
调度参数的配置及测试结果如下表。
参数配置 | 测试定时时间CYCTIME | 返回结果 |
---|---|---|
|
20220117002300 |
|
获取时间区间,调度间隔为1小时
获取昨天
00:00:00
到今天00:00:00
的时间区间,调度间隔为1小时。时间格式为yyyymmddhh24miss
,精确到秒。
说明 使用Kafka和LogHub离线同步指定时间区间的数据时,如需配置调度参数,则调度参数的日期格式为
yyyymmddhh24miss
,日期区间为左闭右开。详情请参见Kafka Reader和LogHub Reader。不同场景的数据增量同步,详情请参见数据增量同步。
调度参数的配置及测试结果如下表。
参数配置 | 测试定时时间CYCTIME | 返回结果 |
---|---|---|
|
20220117002300 |
|