任務編排的任務流依賴檢查節點可實現任務流自依賴或跨任務流間依賴,依賴的目標對象可以是某個任務流或任務節點。本文介紹配置任務流依賴檢查節點的步驟。
應用情境
跨任務流依賴:任務流A需要在任務流B運行成功後才能執行。
例如,每周一淩晨2點執行任務流A,訓練預測推薦模型。執行任務流A需要利用(任務流B產出的)上周一~周日的業務資料。
自依賴:任務流A需要在自己之前運行成功過,才能執行。
例如,每天的資料清洗任務(任務流A)是否執行,取決於上一次資料清洗是否成功。
注意事項
對於第一次建立的任務流,自依賴至少需要一個已經成功啟動並執行任務:
手動觸發任務流:選擇任務流依賴檢查節點下遊的節點,單擊試運行當前節點或從當前開始試運行,即可跳過任務流依賴檢查節點,產生運行成功的任務。
定時觸發任務流:在任務流詳情頁面,單擊表徵圖,選擇空跑選項。
說明空跑功能會產生一條成功的定時觸發記錄(不實際運行任務流)。
多重任務依賴的業務,需要重複單個任務依賴節點的配置操作,即可完成。比如節點D需要依賴節點A、B、C,需要配置D依賴A、D依賴B、D依賴C。配置操作,請參見下方的操作步驟。
操作步驟
- 登入Data Management 5.0。
在頂部功能表列中,選擇 。
說明若您使用的是極簡模式的控制台,請單擊控制台左上方的表徵圖,選擇
。單擊目標任務流名稱,進入任務流詳情頁面。
如需新增任務流,具體操作,請參見新增任務流。
在畫布左側任務類型列表中,拖拽任務流依賴檢查節點到畫布空白地區。
雙擊任務流依賴檢查節點。
進入任務流依賴檢查節點的配置頁面,配置如下資訊。
配置項
說明
任務流
搜尋並選擇目標任務流。
說明如果您選擇了當前的任務流,則可以實現自依賴。
如果您選擇的是其他任務流,則是跨任務流依賴。
依賴項
選擇依賴項,取值:
任務流:任務依賴的對象是目標任務流。
單個節點:任務依賴的對象是當前任務流中已存在的節點。
依賴配置
配置依賴任務流的期望檢查時間,包括開始時間位移點和結束時間位移點。
系統預設開始、結束時間是基於任務流程執行時間進行位移:
對於定時觸發的任務流,業務時間的計算基於調度時間計算的。
對於手動觸發的任務流,業務時間的計算基於手動觸發的那一刻。
依賴配置樣本:
按天且開始調度時間為7點的任務流A依賴按天且開始調度時間為7點的任務流B的上一個調度周期,任務流A的依賴檢查配置的開始時間位移點不變,結束時間位移點僅增加
+
1日。說明上一個調度周期是指最近一次完成調度的時間。調度時間查詢請參見配置調度。
按天且開始調度時間為8點的任務流A依賴按天且開始調度時間為7點的調度任務流B的上一個調度周期,任務流A的依賴檢查配置,開始不變,結束時間位移點增加
+
1日且減少-
1小時。按天且開始調度時間為8點10分的任務流A依賴按天且開始調度時間為7點的調度任務流B的上一個調度周期,任務流A的依賴檢查配置,開始不變,結束時間位移點增加
+
1日、減少-
1小時、減少-
10分。
說明您可在當前配置頁面上方,單擊預覽,在時間預覽對話方塊中,檢查任務流配置的時間是否符合預期、是否會使該節點運行成功。
執行個體檢查策略
目標任務流通過檢查的策略,取值:
最後一次成功:當目標任務流中的最後一個任務流依賴節點執行成功,則整個任務流通過了任務流依賴檢查。
全部成功:目標任務流的所有任務流依賴節點都執行成功,才能通過任務流依賴檢查。
指定單次成功:設定目標任務流的第幾次任務流依賴節點執行成功,可以通過任務流依賴檢查。
說明手動觸發任務流時,僅檢查手動觸發的任務。
定時觸發任務流時,僅檢查定時觸發的任務。
例如,任務流A曾經被手動觸發並成功運行,但沒有定時觸發過任務流A,進行任務流A的任務流依賴檢查時,試運行會成功,但定時觸發會失敗。
檢查類型
任務流期望檢查時間(包含開始時間和結束時間)的類型。
已耗用時間:若選擇已耗用時間,則開始、結束時間是基於任務流程執行時間進行位移。
業務時間:若選擇業務時間,則開始、結束時間是基於業務時間bizdate(預設為已耗用時間的前一天)進行位移。
單擊試運行。
如果執行日誌的最後一行出現
status SUCCEEDED
,表明任務試運行成功。如果執行日誌的最後一行出現
status FAILED
,表明任務試運行失敗。說明如果試運行失敗,在執行日誌中查看執行失敗的節點和原因,修改配置後重新嘗試。