調度參數只支援擷取時間類型資料,部分節點(例如,離線同步節點)配置了調度參數後,調度參數的傳回值不能直接使用,需要進行函數轉換等二次處理。本文為您介紹二次處理調度參數返回結果的典型情境。
背景資訊
調度參數支援的時間類型未覆蓋所有的時間情境,如果您的業務需要使用特殊時間格式,則可以使用引擎函數進行處理。二次處理調度參數時,部分節點不支援直接使用函數轉換參數返回結果。對於不支援直接使用函數轉換的節點,您可以通過賦值節點進行相關處理。
直接使用函數,或通過賦值節點二次處理調度參數的典型情境如下:
- 直接使用函數二次處理調度參數本文以ODPS SQL節點為例,為您介紹直接使用函數二次處理調度參數的典型情境:
- 通過賦值節點二次處理調度參數
無法直接使用函數二次處理調度參數的節點,如果想直接使用時間戳或其他時間格式,則可以先通過賦值節點將時間類型資料進行相應轉換,再將處理後的結果傳遞給該節點使用。賦值節點的使用,詳情請參見賦值節點。
例如,如果離線同步節點需要使用時間戳類型欄位進行增量同步處理,則可以先通過賦值節點使用函數將時間類型資料轉換為時間戳記,再傳遞給離線同步節點使用。
更多操作參考如下:
- ODPS SQL節點的調度參數配置操作,詳情請參見配置並使用調度參數及SQL類型節點及離線同步節點。
- 更多調度參數的賦值,詳情請參見調度參數支援的格式。
- 跨天情境的調度參數配置,詳情請參見調度參數往前取一個小時,如何處理跨天參數替換的問題。
擷取上個月最後一天
使用調度參數
擷取上個月最後一天
的配置及測試結果如下表。參數配置 | 測試定時時間CYCTIME | 返回結果 |
| 20210926000000 | 20210831 |
擷取當前季度
使用調度參數
擷取當前季度
的配置及測試結果如下表。參數配置 | 測試定時時間CYCTIME | 返回結果 |
| 20211025001700 | 4 |
擷取定時時間15分鐘前的年、月、日、小時、分鐘
使用調度參數
擷取定時時間15分鐘前的年、月、日、小時、分鐘
的配置及測試結果如下表。參數配置 | 測試定時時間CYCTIME | 返回結果 |
| 20210727000500 |
|
擷取時間區間,調度間隔為1天
擷取昨天
00:00:00
到今天00:00:00
的時間區間,調度間隔為1天。時間格式為yyyymmddhh24miss
,精確到秒。說明 使用Kafka和LogHub離線同步指定時間區間的資料時,如需配置調度參數,則調度參數的日期格式為
yyyymmddhh24miss
,日期區間為左閉右開。詳情請參見Kafka Reader和LogHub(SLS) Reader。不同情境的資料增量同步處理,詳情請參見情境:配置增量資料離線同步任務。調度參數的配置及測試結果如下表。
參數配置 | 測試定時時間CYCTIME | 返回結果 |
| 20220117002300 |
|
擷取時間區間,調度間隔為1小時
擷取昨天
00:00:00
到今天00:00:00
的時間區間,調度間隔為1小時。時間格式為yyyymmddhh24miss
,精確到秒。說明 使用Kafka和LogHub離線同步指定時間區間的資料時,如需配置調度參數,則調度參數的日期格式為
yyyymmddhh24miss
,日期區間為左閉右開。詳情請參見Kafka Reader和LogHub(SLS) Reader。不同情境的資料增量同步處理,詳情請參見情境:配置增量資料離線同步任務。調度參數的配置及測試結果如下表。
參數配置 | 測試定時時間CYCTIME | 返回結果 |
| 20220117002300 |
|