DataWorks：營運中心概述

營運中心功能模組

下表為營運中心各模組功能使用的簡單說明：

生產任務運行邏輯

• 周期任務營運

  當節點被提交發布至營運中心後，您可以在營運中心的周期任務中看到該節點（周期工作清單中的任務為所有周期性調度的任務），DataWorks每晚會產生第二天待啟動並執行周期執行個體，同時支援您手動觸發周期任務，分別產生補資料執行個體和測試執行個體。

  執行個體類型	應用情境	與周期任務的關係 （對應執行個體如何產生）	執行個體觸發方式 （對應執行個體如何觸發執行）	任務運行條件
  周期執行個體	周期性自動化進行ETL操作。	平台每晚根據某一時間點周期任務快照資訊自動產生第二天待啟動並執行周期執行個體。 說明 開發環境營運中心不會自動調度組建循環執行個體。	平台自動觸發周期執行個體執行。	以周期執行個體上的任務為例，任務開始運行前需滿足以下條件： 依賴的所有父節點執行個體狀態都為成功狀態。 已到達任務節點設定的任務定時已耗用時間。 調度資源充足。 本任務不是凍結狀態。 說明 營運中心中，不同的執行個體顏色代表執行個體處於不同的狀態中，執行個體運行狀態示意詳情可參考：附錄：執行個體狀態。
  補資料執行個體	需要對當前節點及下遊節點執行補過去某一時間段或未來某段時間的資料的操作，即需要對歷史或未來時間段的資料進行ETL操作。	人為針對當前周期任務手動觸發補資料操作，並產生補資料執行個體。	人為針對周期任務進行補資料操作後，會產生補資料執行個體，並同時觸發補資料執行個體執行。
  執行測試並查看測試執行個體	需要對當前周期任務進行測試，觀察執行結果是否符合預期。 說明 測試執行個體的運行其實際上也在真實執行代碼邏輯的。	人為針對當前周期任務手動觸發測試操作，並產生測試執行個體。	人為針對周期任務的進行測試操作後，會產生測試執行個體，並且同時觸發測試執行個體執行。

  您可以在周期任務營運下的周期執行個體面板、補資料執行個體面板、測試執行個體面板中查看各類執行個體的運行情況，根據執行個體的狀態瞭解資料產出是否異常，不同執行個體狀態的詳情請參見附錄：執行個體狀態。

  說明

  • 周期執行個體根據周期任務每晚（23：30~24：00）定時自動產生，測試執行個體、補資料執行個體根據補資料和測試操作時間點的周期任務手動觸發，因此補資料和測試會以最新的任務配置情況產生對應的執行個體。

  • 建立節點發布生產環境後，當晚會全量產生第二天待啟動並執行周期執行個體，但建立節點發布時，您可以通過節點調度配置，選擇執行個體產生方式來控制是否立即產生當天的周期執行個體，詳情請參考時間屬性配置說明。

• 手動任務營運

  當手動商務程序被提交發布至營運中心後，您可以在營運中心 > 手動任務營運 > 手動任務頁面中看到該節點，當您需要運行該手動商務程序時，可以在手動工作面板對該任務執行運行操作，手動觸發任務運行後，會產生手動執行個體，您可以在手動執行個體頁面查看該執行個體執行詳情。

• 即時任務營運

  當即時任務被提交發布至營運中心後，您可以在營運中心 > 即時任務營運頁面對即時任務進行啟動、下線及警示配置等相關操作，即時任務營運分為Realtime Compute任務和即時同步任務，您可以分別在即時任務營運下的Realtime Compute任務、即時同步任務頁面對其進行管理。詳情請參見：Realtime Compute任務運行與管理、即時同步任務運行與管理。

任務運行狀態監控：智能監控

任務運行資源監控與營運：自動營運

您可以使用智能監控 > 規則管理中的自訂規則，來對獨享資源群組使用率及獨享資源群組上等待的執行個體數設定監控警示，並且支援結合自動營運功能通過簡訊、郵件、DingTalk機器人等方式發送警示給責任人（節點責任人、指定責任人）。關於自訂規則使用詳情請參考規則管理。

自動營運功能支援通過自訂規則中的獨享資源群組監控規則，並在限定條件下對獨享資源群組進行營運操作來保障重要任務的順利運行，比如終止運行中的執行個體。詳情請參考自動營運。

任務運行問題定位：運行診斷

• 調度任務啟動並執行必要條件

  節點發布至營運中心後，任務開始運行前需滿足以下條件。

  說明

  當任務未運行時您可以使用智能診斷功能快速進行對問題進行定位與排查，詳情可參考文檔：智能診斷。

  1. 依賴的所有父節點執行個體狀態都為成功狀態

     配置節點依賴關係可以保障節點在運行時能取到正確的資料（讀取上遊表資料時，上遊表的最新資料已產生），避免當前節點讀取資料時，上遊表資料還未產出，導致當前節點讀取資料出現問題，所以，當節點存在上遊節點依賴時，當前節點的執行，需要等待所依賴的父節點都執行成功。詳情請參見：調度依賴配置指引。

     說明

     • 父節點非成功狀態包括父節點未運行、父節點狀態失敗、父節點被凍結（暫停）、父節點處於運行中。

     • 凍結狀態的節點將阻塞下遊節點執行。

  2. 已到達任務節點設定的定時已耗用時間

     資料開發中定義節點的調度屬性時，需要為節點設定調度環境下節點啟動並執行“理想時間”。

     • 噹噹前節點依賴的所有父節點都在當前節點設定的定時已耗用時間點前執行成功，那麼當父節點全都執行成功後，當前節點將進入等待狀態，待到達任務節點的定時時間後啟動運行。

     • 噹噹前節點依賴的所有父節點在當前節點設定的定時已耗用時間點後執行成功，那麼當父節點全都執行成功且有充足的調度資源時，當前節點將立即運行起來。

  3. 調度資源充足

     資料開發中定義節點的調度屬性時，您可以設定調度環境下節點運行所使用的獨享調度資源群組。同時，您也可以在營運中心的周期任務頁面進行修改。

     噹噹前節點所有的父節點運行成功，並且已經到達節點設定的定時已耗用時間時，如果節點指定的調度資源群組無可用資源時，節點進入等待資源的狀態，直到佔用該調度資源的任務執行成功，將資源釋放後啟動運行。

  4. 本任務不是凍結狀態

     如果當前節點處於凍結狀態，那麼節點滿足上述三個條件後仍不會運行，並導致依賴該周期執行個體的下遊執行個體無法運行。如果您需要解凍該節點，詳情請參見：任務凍結與解凍。

• 任務運行失敗原因診斷

  您可以使用智能診斷功能和DAG的上遊分析功能對未運行任務進行快速診斷。

  其中，智能診斷功能支援對未開始啟動並執行任務進行任務啟動並執行必要條件檢查，支援對運行失敗的任務進行原因分析並給出診斷建議等。

  智能診斷能力概覽：

  • 任務啟動並執行全鏈路診斷。包括父節點運行情況檢查、當前節點設定的定時時間檢查、調度資源詳情（任務使用的調度資源群組使用趨勢與任務排隊數，當前任務等待資源時哪些任務佔用資源）、任務執行詳情（任務出錯時提供原因分析與診斷建議）。

  • 當前執行個體的基本資料與執行個體啟動並執行關鍵時間點（上遊節點運行完成時間、當前節點設定的定時時間、開始等待調度資源時間、開始已耗用時間、運行成功時間）。

  • 當前節點影響的基準及其當Apsara Infrastructure Management Framework線執行個體運行情況。

  • 當前節點平均已耗用時間、開始執行時間、等待資源消耗時間趨勢圖及當前節點運行歷史的執行個體列表。

  關於智能診斷功能使用詳情請參見：智能診斷。

任務產出的表資料監控：資料品質

您可以使用資料品質功能對周期執行個體、補資料執行個體、測試執行個體產出的表資料進行監控。

周期任務在生產環境通過自動調度或手動觸發來運行，分別產生周期執行個體、補資料執行個體和測試執行個體，您可以對周期任務設定資料品質規則來監控周期任務產生的執行個體（周期執行個體、補資料執行個體、測試執行個體）運行後所產出的表資料是否符合預期。

資料品質通過表配置的分區運算式來匹配節點產出的表分區，資料品質規則關聯產出該表資料的調度節點，當節點運行後（營運中心中通過測試執行個體，補資料執行個體，周期執行個體的運行及重跑操作產出表資料），會觸發該資料品質規則校正，您可以設定規則的強弱來控制節點是否失敗退出，從而避免髒資料影響擴大，同時，您也可以通過訂閱規則來第一時間接收節點產出表資料異常的警示。詳情請參考文檔資料品質。

附錄：執行個體狀態

營運中心按照不同的顏色與標識來辨識任務正處於運行流程中的哪個階段，不同的執行個體顏色與標識代表執行個體處於不同的狀態下。不同的執行個體顏色與標識所對應的任務狀態如下所示。關於任務運行必要條件詳情請參見：任務運行問題定位：運行診斷。