本文為您介紹如何?節點的運行、營運,並通過查看日誌進行排錯。
背景資訊
在設定周期和依賴的操作中,您配置了每周二淩晨2點執行離線同步節點。提交節點後,需要到第2天才能看到調度系統自動執行的結果。DataWorks為您提供測試回合、補資料和周期運行三種觸發方式,協助您確認執行個體啟動並執行定時時間、相互依賴關係、資料結果產出是否符合預期。
測試回合:手動觸發方式。如果您僅需要確認單個節點的定時情況和運行,建議您使用測試回合。詳情請參見測試執行個體。
補資料運行:手動觸發方式。如果您需要確認多個節點的定時情況和相互依賴關係,或者需要從某個根節點開始重新執行資料分析計算,建議您使用補資料運行。詳情請參見執行補資料並查看補資料執行個體。
周期運行:系統自動觸發方式。提交成功的節點,調度系統在第二天0點起會自動觸發當天不同時間點的運行執行個體,並在定時時間達到時檢查各執行個體的上遊執行個體是否運行成功。如果定時時間已到並且上遊執行個體全部運行成功,則當前執行個體會自動觸發運行,無需人工幹預。詳情請參見查看周期執行個體。
手動觸發和自動調度的調度系統與周期產生執行個體的規則一致:
無論周期選擇小時、分鐘、日、月或周,節點在每一個日期都會產生對應的執行個體。
僅在指定日期的對應執行個體,會定時運行並產生作業記錄。
非指定日期的對應執行個體不會實際運行,而是在滿足運行條件時,將狀態直接轉換為成功,因此不會有作業記錄產生。
關於任務營運的更多操作和功能說明,請參見營運中心模組。
測試回合
單擊當前頁面左上方的表徵圖,選擇
,進入營運中心頁面。在左側導覽列,單擊
。在彈出的頁面中,找到目標節點,在操作列中單擊測試。
在煙霧測試 (Smoke Test)對話方塊中,輸入煙霧測試 (Smoke Test)名稱,並選擇業務日期,單擊確定。
自動跳轉至測試執行個體頁面,單擊相應的執行個體,即可在右側查看執行個體DAG圖。
按右鍵執行個體,您可以查看該執行個體的依賴關係和詳細資料,並進行終止運行、重跑等具體操作。
說明測試回合是手動觸發節點,只要到定時的時間,立即運行,自動忽略執行個體的上遊依賴關係。
根據前文所述的執行個體建置規則,配置為每周二淩晨2點啟動並執行節點write_result,測試回合時選擇的業務日期是周一(業務日期=運行日期-1),執行個體會在2點真正運行。如果不是周一,則執行個體在2點轉換為成功狀態,且沒有日誌產生。
補資料運行
如果需要確認多個節點的定時情況和相互依賴關係,或者需要從某個根節點開始重新執行資料分析計算,您可以進行補資料操作。
在營運中心頁面,單擊左側導覽列中的
。單擊目標節點右側操作列的
。配置補資料對話方塊中的參數,單擊確定。
參數
描述
補資料名稱
輸入補資料名稱。
選擇業務日期
選擇補資料的業務日期,業務日期為
運行日期-1
。當前任務
預設為當前節點,不可以更改。
是否並行
可以選擇不並行或指定允許幾組任務同時運行。
自動跳轉至補資料執行個體頁面,單擊相應的執行個體,即可看到執行個體DAG圖。
按右鍵執行個體,可以查看該執行個體的依賴關係和詳細資料,並進行終止運行、重跑等具體操作。
說明補資料任務的執行個體依賴前一天,例如補2017-09-15到2017-09-18時間段內的任務,如果15號的執行個體運行失敗了,則16號的執行個體也不會運行。
根據前文所述的執行個體建置規則,配置為每周二淩晨2點啟動並執行節點write_result,補資料運行時選擇的業務日期是周一(業務日期=運行日期-1),執行個體會在2點真正運行。如果不是周一,則執行個體在2點轉換為成功狀態,且沒有日誌產生。
周期自動運行
周期自動運行,由系統根據所有節點的調度配置自動觸發,所以頁面沒有操作入口。您可以通過以下兩種方式查看執行個體資訊和作業記錄:
在營運中心頁面,單擊左側導覽列中的write_result節點對應的執行個體後,右鍵查看執行個體資訊和作業記錄。
,選擇業務日期或運行日期等參數,搜尋選擇周期執行個體頁面中相應的節點執行個體並單擊,即可看到執行個體DAG圖。
按右鍵執行個體,可以查看該執行個體的依賴關係和詳細資料並進行終止運行、重跑等具體操作。
說明如果上遊節點未運行,下遊節點也不會運行。
如果節點的執行個體初始狀態為未運行,當定時時間到達時,調度系統會檢查該執行個體的全部上遊執行個體是否運行成功。
只有上遊執行個體全部運行成功,且定時時間到達的執行個體,才會被觸發運行。
處於未運行狀態的執行個體,請確認上遊執行個體已經全部成功且已到定時時間。