您可以使用智能診斷功能對任務進行全鏈路分析,當任務運行不符合預期時,您可以使用該功能快速定位問題。
功能概述
智能診斷功能可以基於以下維度對任務進行診斷分析:
運行詳情:
檢查上遊任務運行情況:上遊任務運行失敗時,將阻塞當前任務的運行。智能診斷功能可以協助您迅速定位上遊任務運行失敗的原因。
檢查是否已到達任務設定的定時已耗用時間。
說明在資料開發模組中定義任務的調度屬性時,需要設定任務在調度環境中的預期已耗用時間,但任務實際已耗用時間可能由於上遊任務運行失敗等問題導致任務實際執行時間晚於任務定時時間。
檢查調度資源使用方式:您可以查看資源的使用方式及任務等待資源時佔用該資源的工作清單。
檢查任務執行情況:您可以查看任務的執行日誌、已關聯的資料品質規則執行詳情、任務的代碼詳情及診斷建議等資訊。
基本資料:支援您查看當前任務啟動並執行關鍵時間點。
歷史執行個體運行情況:支援您通過可視化圖表和列表方式查看當前任務近15天內的執行情況。
使用限制
僅DataWorks專業版及以上版本,支援使用運行診斷功能。您目前可以免費體驗,但建議您升級到專業版以擷取更多產品能力。版本升級詳情請參見:DataWorks各版本詳解。
運行診斷功能支援的地區如下:
華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、美國(矽谷)、美國(維吉尼亞)、阿聯酋(杜拜)。
進入智能診斷
進入營運中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入營運中心。
進入營運中心後,您可以通過以下兩種方式進入智能診斷頁面。
方法一:通過執行個體進入智能診斷。
在左側導覽列,單擊
或測試執行個體。找到目標執行個體,單擊基本資料列中的、或表徵圖,進入相應執行個體的智能診斷頁面。在左側導覽列,單擊
。找到目標執行個體,單擊基本資料列中的、或表徵圖,進入相應執行個體的智能診斷頁面。在執行個體列表模式下,單擊相應執行個體操作列的運行診斷。如果當前頁面非列表模式,您可單擊頁面中間的表徵圖返回列表模式。
在DAG模式下,按右鍵相應執行個體的DAG圖,選擇菜單中的運行診斷。如果當前頁面非DAG圖模式,您可單擊相應執行個體操作列的DAG圖,開啟執行個體的DAG圖。
在DAG模式下,單擊相應執行個體的DAG圖,在右下角的彈框中,單擊任務狀態右側的運行診斷。
方法二:在左側導覽列,單擊
進入智能診斷頁面。說明智能診斷只支援通過執行個體ID定位具體執行個體,您可通過執行個體詳情頁擷取執行個體ID。
運行詳情
DataWorks根據任務啟動並執行必要條件,將依次檢查上遊任務的運行狀態、當前任務設定的定時時間、調度資源的使用方式以及當前任務的執行情況:
上遊依賴
智能診斷的上遊依賴頁面,為您展示當前任務的上遊任務運行情況,如果上遊任務未運行成功,將阻塞當前任務運行,您可以單擊上遊任務操作列的運行診斷,定位上遊任務運行失敗的原因。
說明如果上遊任務為未運行狀態且上遊依賴層級較深時,建議您先通過DAG面板中的上遊分析功能,快速定位阻塞當前任務啟動並執行關鍵上遊任務,再通過智能診斷功能,診斷該關鍵任務未啟動並執行原因,提升營運效率。
定時檢查
定時檢查將為您檢查當前任務的定時時間是否已到。僅當上遊依賴檢查通過時,才會觸發該檢查。
調度資源
智能診斷的調度資源頁面,為您展示資源使用趨勢。如果當前任務該檢查未通過,則表示當前任務運行時所使用的調度資源不足,任務將進入等待資源狀態,直到佔用該調度資源的任務執行結束,釋放資源後,才會啟動當前任務的運行。您可以根據資源使用趨勢,合理安排任務的定時時間,以錯峰運行。
功能
描述
調度資源資訊
為您展示前任務所使用的調度資源群組名稱、正在該資源群組上啟動並執行任務數以及該資源群組上正在等待啟動並執行任務數。
說明推薦使用Serverless資源群組來緩解資源緊張的情況。
如果使用公用調度資源群組,在每天0點~9點是DataWorks的任務高峰期,公用調度資源緊張,可能出現任務等待資源的情況。
診斷結果
為您展示當前任務執行情況。
資源使用趨勢
如果使用公用調度資源群組,則此處為您展示當前調度資源群組各時間段內的資源使用率,以及當前任務等待資源的耗時情況。
任務執行
任務執行為您展示當前任務的執行日誌、已關聯的資料品質規則執行詳情及代碼詳情等資訊,對於運行失敗的任務,智能診斷功能會根據日誌資訊,為您提供智能診斷建議,協助您快速擷取任務的出錯原因。
功能
描述
日誌
為您展示任務的詳細執行過程。
DQC
如果任務關聯了資料品質規則,在任務運行時,將觸發資料品質規則運行,您可在此處查看資料品質規則詳細執行情況。
代碼詳情
為您展示當前任務的代碼詳情。
基本資料
您可以在基本資料頁面查看當前任務啟動並執行關鍵時間點和基本資料,相關屬性的詳細介紹請參見:調度配置。
影響基準
您可以在影響基準頁面查看將當前任務納入監控範圍的基準列表及基準運行情況。智能基準詳情請參見:智能基準概述。
歷史執行個體
您可以在歷史執行個體頁面查看如下資訊:
當前任務各維度指標的變化趨勢:通過可視化圖表方式為您展示當前任務近15天內運行耗時、開始已耗用時間、等待資源耗時、完成時間的變化趨勢。
當前任務的歷史執行個體運行情況:通過列表方式為您展示當前任務的歷史執行個體運行詳情,包括執行個體開始時間、結束時間、運行時間長度、等待資源耗時等。支援您單擊操作列的運行診斷跳轉至對應執行個體的診斷詳情頁面。