全部產品
Search
文件中心

DataWorks:查看並管理周期任務

更新時間:Jun 19, 2024

周期任務是指調度系統按照調度配置自動定時啟動並執行任務。您可以在營運中心 > 周期任務頁面查看當前工作空間下的定時調度的工作清單及生產環境調度任務配置詳情,並管理周期任務。

背景資訊

使用限制

僅DataWorks專業版及以上版本使用者才可以使用DAG圖的節點彙總、上遊分析、下遊分析功能。版本升級詳情請參見DataWorks版本服務計費說明

注意事項

  • 請勿操作projectname_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

  • 任務的變更均需執行發佈動作,發布成功後該變更才會在生產環境中生效。發布時可能存在發布失敗、發布流程被阻塞或發布版本不符合預期等情況,因此,建議您在任務發布後,進入營運中心 > 周期任務介面進行排查:

    • 通過DAG圖查看任務的上下遊依賴關係是否正確。

    • 通過節點詳情查看生產環境中該任務的參數配置等是否符合預期。

進入周期任務頁面

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

  2. 進入營運中心後,在左側導覽列,單擊周期任務營運 > 周期任務。進入周期任務頁面,查看周期工作清單或DAG圖。

查看周期工作清單

周期工作清單為您展示任務提交到調度系統後的調度工作清單,您可以對任務進行相關的營運操作。周期工作清單

操作

描述

篩選

在上圖的模組①地區,您可以通過篩選條件過濾需要查詢的任務。

您可以根據節點名稱節點ID解決方案商務程序節點類型責任人Region調度資源群組引擎類型引擎執行個體基準我的節點今日修改的節點暫停(凍結)節點孤立節點到期節點等條件進行精確篩選。

說明
  • 暫停(凍結)節點:凍結狀態的任務不會自動調度,並且會阻塞其下遊任務運行。即暫停(凍結)的周期任務將產生凍結狀態的執行個體,凍結狀態的執行個體將不會調度運行,並且會阻塞其下遊任務運行。

  • 孤立節點:指當前任務沒有依賴任何父節點,這類型任務不會自動調度運行,如果該孤立節點下遊依賴較多,則會影響下遊任務的運行。詳情請參見:情境:節點孤立

  • 到期節點:不在有效期間內的節點將不會產生執行個體,且不會運行。

工作清單

在上圖的模組②地區,以列表方式為您展示滿足過濾條件的周期任務。

單個任務操作

在上圖的模組③地區,您可以對周期任務進行如下操作:

  • DAG圖:DAG圖為您展示周期任務的上下遊依賴關係,您可以在DAG圖中對任務進行相關操作。詳情請參見:查看周期任務DAG圖

  • 測試:用於測試周期任務的運行是否符合預期,執行測試操作後,將產生測試執行個體,您可以通過測試執行個體頁面查看此次測試工作的運行情況,詳情請參見執行測試並查看測試執行個體

    說明

    測試會真實跑資料,請謹慎操作。

  • 補資料:用於對周期任務執行補歷史資料或未來時間段資料的操作,執行補資料操作後將產生補資料執行個體,您可以通過補資料執行個體頁面查看此次補資料任務的運行情況,詳情請參見執行補資料並查看補資料執行個體

  • 更多

    • 暫停(凍結):當任務及其下遊任務一段時間內不需要運行時,您可以選擇暫停(凍結)任務。

      說明

      請勿操作projectname_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

    • 恢複(解凍):用於恢複凍結狀態的周期任務。

    • 查看執行個體:單擊後將跳轉至當前任務產生的周期執行個體頁面。

    • 添加警示:用於自訂警示規則,協助您監控周期任務每日的運行狀態。配置完成後,您可以在智能監控 > 規則管理頁面查看此次添加的監控規則。詳情請參見:規則管理

    • 修改責任人:用於修改當前任務的責任人。

    • 添加到基準:用於將當前任務添加至基準上,基準使用詳情請參見:智能基準概述

    • 修改調度資源群組:用於修改調度任務運行所使用的調度資源群組。

    • 配置品質監控:用於為當前任務配置品質監控規則,當任務運行時可以對資料進行校正。詳情請參見:資料品質概述

    • 查看血緣:用於查看當前任務的血緣資訊。

    • 單擊查看節點詳情,用於查看任務的基本屬性,相關參數介紹詳情請參見:查看節點詳情

大量操作

在上圖的模組④地區,您可以批量選擇任務,進行修改責任人修改調度資源群組修改Data Integration資源群組暫停(凍結)恢複(解凍)等操作。同時,您可以單擊更多,大量新增規則監控基準監控

每頁條數展示

在上圖的模組⑤地區,您可以修改每頁展示的條數,最大支援每頁展示200條。

查看周期任務DAG圖

在列表模式下單擊周期任務名稱或操作欄中的DAG圖,即可開啟該任務的DAG圖,DAG圖預設展示當前任務的一層父節點和一層子節點,您可以通過DAG圖面板的功能表列查看更多的上下遊依賴,同時支援您按右鍵任務進行相關操作。周期任務

功能

描述

DAG面板功能

在上圖的模組①地區,支援您對DAG圖進行節點彙總下遊分析調整DAG圖顯示樣式的操作。詳情請參見:附錄:DAG圖功能介紹

  • 節點彙總:支援您按任務狀態、所屬工作空間、責任人、優先順序等維度進行任務彙總。

  • 下遊分析:當周期任務的數量或層級過多時,您可以進行下遊分析功能,統計當前任務影響的下遊任務數。

  • 調整DAG圖顯示樣式:您可以根據實際需要,單擊右上方的功能表徵圖,調整DAG圖的顯示樣式。

單個任務操作

在上圖的模組②地區,您可以對目標任務執行相關操作。

  • 展開父節點:支援按照層級展開當前任務的上遊任務,最多支援展開6級。您可以通過該功能知道哪些任務將影響當前任務的資料產出。

  • 展開子節點:支援按照層級展開當前任務的下遊任務,最多支援展開6級。您可以通過該功能知道當前任務將影響哪些任務的資料產出。

  • 查看代碼:用於確認生產環境當前任務的代碼詳情。若不符合預期,請確認當前任務的最新版本是否已經發布成功。生產任務上線請參見:發布任務

  • 編輯節點:單擊後即可跳轉至資料開發頁面開啟當前任務。

說明

其他動作請參考查看周期工作清單

單個任務詳情

在上圖的模組5地區。您可以查看任務屬性,並可以單擊展開詳情查看當前任務的詳細屬性、上下文參數、動作記錄、代碼等資訊,詳情請參見:查看節點詳情

查看節點詳情

支援您查看生產環境中周期任務的屬性(調度參數、所使用的資源群組等)及代碼是否符合預期。

2

功能

描述

屬性

您可以查看任務在生產環境的調度屬性。介面參數詳情請參見:調度配置

說明

當資料開發介面與產生營運中心周期任務介面的參數配置不一致時,建議您優先確認任務變更後,是否發布成功。

  • 規則監控:您可以查看當前執行個體關聯的監控規則情況,支援您單擊右側的建立快速建立任務運行狀態監控規則,詳情請參見規則管理

    說明

    此處僅支援查看監控任務運行狀態的規則關聯詳情,不支援查看資料品質監控規則。

  • 基準監控:您可以查看當前執行個體關聯的基準情況,支援您單擊右側的建立快速建立基準,詳情請參見基準管理

    說明

    基準規則配置後第二天會在周期任務介面展示。規則配置當天若要確認基準規則是否已成功建立,您可前往智能基準 > 基準管理頁面查看。

上下文

為您展示當前任務的輸入參數和輸出參數,上下文功能相關介紹詳情請參見:配置節點上下文

動作記錄

用於查看任務的操作記錄,包括:操作時間、操作人、具體操作等。

代碼

用於查看生產環境當前任務的最新代碼。當代碼不符合預期時,請確認任務的最新版本是否已經發布成功。詳情請參見:發布任務