您可以使用智能診斷功能對任務進行全鏈路分析,當任務運行不符合預期時,您可以使用該功能快速定位問題。
背景資訊
智能診斷功能可以基於以下維度對任務進行診斷分析:
使用限制
僅DataWorks專業版及以上版本,支援使用運行診斷功能。您目前可以免費體驗,但建議您升級到專業版以擷取更多產品能力。版本升級詳情請參見:DataWorks各版本詳解。
運行診斷功能支援的地區如下:華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、美國(矽谷)、美國(維吉尼亞)、阿聯酋(杜拜)。
進入智能診斷
進入營運中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入營運中心。
進入營運中心後,您可以通過以下兩種方式進入智能診斷頁面。
方法一:通過執行個體進入智能診斷。
找到左側導覽列中的
,單擊執行個體視角頁簽相應執行個體操作列的運行診斷,進入智能診斷頁面。找到左側導覽列中的
,單擊執行個體視角頁簽相應執行個體操作列的DAG圖,在DAG模式下,按右鍵相應執行個體的DAG圖,選擇菜單中的運行診斷,進入智能診斷頁面。
方法二:在左側導覽列,單擊
進入智能診斷頁面。智能診斷只支援通過執行個體ID定位具體執行個體。
查看運行詳情
DataWorks根據任務啟動並執行必要條件,將依次檢查上遊任務的運行狀態、當前任務設定的定時時間、調度資源的使用方式以及當前任務的執行情況。
上遊依賴
在上遊依賴頁面,智能診斷會檢查上遊任務的運行情況。若上遊任務未成功運行,當前任務將被阻塞。您可單擊上遊任務操作列的運行診斷,定位失敗原因。
如果上遊任務為未運行狀態且上遊依賴層級較深時,建議您先通過DAG面板中的上遊分析功能,快速定位阻塞當前任務啟動並執行關鍵上遊任務,再通過智能診斷功能,診斷該關鍵任務未啟動並執行原因,提升營運效率。
定時檢查
定時檢查將為您檢查當前任務是否已到達設定的定時已耗用時間。僅當上遊依賴檢查通過時,才會觸發該檢查。
在資料開發模組中定義任務的調度屬性時,需要設定任務在調度環境中的預期已耗用時間,但任務實際已耗用時間可能由於上遊任務運行失敗等問題導致任務實際執行時間晚於任務定時時間。
調度資源
智能診斷的調度資源頁面,為您展示資源使用方式及任務等待資源時佔用該資源的工作清單。如果任務檢查未通過,說明資源不足,任務將等待其他任務釋放資源後才能運行。您可以根據資源使用趨勢,合理安排任務的定時時間,以錯峰運行。
功能
描述
功能
描述
調度資源資訊
為您展示前任務所使用的調度資源群組名稱、當前在該資源群組上啟動並執行任務數以及該資源群組上正在等待啟動並執行任務數。
推薦使用Serverless資源群組來緩解資源緊張的情況。
如果使用公用調度資源群組,在每天0點到9點是DataWorks的任務高峰期,公用調度資源緊張,可能出現任務等待資源的情況。
診斷結果
為您展示當前任務執行情況。
資源使用趨勢
如果使用公用調度資源群組,則此處為您展示當前調度資源群組各時間段內的資源使用率,以及當前任務等待資源的耗時情況。
任務執行
任務執行為您展示當前任務的執行日誌、已關聯的資料品質規則執行詳情及代碼詳情等資訊,對於運行失敗的任務,智能診斷功能會根據日誌資訊,為您提供智能診斷建議,協助您快速擷取任務的出錯原因。
功能
描述
功能
描述
日誌
為您展示任務的詳細執行過程。
您可以在運行詳情的任務執行模組中,單擊日誌資訊中列印的EMR Web UI地址,跳轉並查看對應的EMR組件Web頁面,以及單擊右下角的智能診斷按鈕,跳轉至智能診斷,分析報錯資訊。
智能診斷
使用大模型對任務運行錯誤記錄檔進行分析。支援通義千問、DeepSeek大模型以及DW知識庫。
您可以通過通義千問、DeepSeek大模型對錯誤記錄檔進行分析,解析錯誤記錄檔建置錯誤分析、解決建議以及在DW知識庫查看推薦的解決方案。
在大模型完成錯誤記錄檔分析後,支援快捷進行修改代碼 、重跑執行個體 、執行個體置成功、修改執行個體調度資源群組、修改執行個體Data Integration資源群組、提交工單、表許可權申請等操作。
DQC
如果任務關聯了資料品質規則,在任務運行時,將觸發資料品質規則運行,您可在此處查看資料品質規則詳細執行情況。
代碼詳情
為您展示當前任務的代碼詳情。
查看基本資料
您可以在基本資料頁面查看當前任務啟動並執行關鍵時間點和基本資料,相關屬性的詳細介紹請參見:調度配置。
查看影響基準
您可以在影響基準頁面查看將當前任務納入監控範圍的基準列表及基準運行情況。智能基準詳情請參見:智能基準概述。
查看歷史執行個體
您可以在歷史執行個體頁面查看如下資訊:
當前任務各維度指標的變化趨勢:通過可視化圖表方式為您展示當前任務近15天內運行耗時、開始已耗用時間、等待資源耗時、完成時間的變化趨勢。
當前任務的歷史執行個體運行情況:通過列表方式為您展示當前任務的歷史執行個體運行詳情,包括執行個體開始時間、結束時間、運行時間長度、等待資源耗時等。支援您單擊操作列的運行診斷跳轉至對應執行個體的診斷詳情頁面。