營運中心DAG圖支援您查看節點的上下遊依賴關係,此外,還支援節點彙總、上下遊分析功能,協助您提高營運效率。本文為您介紹DAG圖的相關功能。
使用限制
僅DataWorks專業版及以上版本使用者才可以使用DAG圖的節點彙總、上遊分析、下遊分析功能。版本升級詳情請參見DataWorks版本服務計費說明。
DAG圖功能列表說明
單擊相應節點後的DAG圖,開啟該節點的DAG圖。您可以在DAG圖中進行如下操作(本文以周期執行個體的DAG圖為例):
節點彙總
當周期執行個體的節點數量或層級過多時,您可以按照節點狀態、工作空間、責任人、優先順序等維度進行節點彙總,查看指定目標維度節點數量。方便您瞭解各個維度節點的數量,合理分配並執行節點。以下樣本為您展示,節點不彙總及按優先順序彙總的顯示情況。
說明僅執行個體(包括自動調度的周期執行個體、手動觸發產生的補資料執行個體和測試執行個體)DAG圖可按照節點狀態維度進行節點彙總。
節點不彙總時,顯示如下圖所示。
節點按照優先順序彙總時,顯示如下圖所示。您可以快速瞭解到當前節點的子節點共有6個優先順序為1的節點。
上遊分析
周期執行個體通常存在上下遊依賴關係,如果目標節點長時間未運行,則您可以對其進行上遊節點分析,在DAG圖中查看阻塞當前節點啟動並執行上遊節點,快速定位並及時處理相關運行報錯,提升節點的執行效率。
說明僅執行個體(包括自動調度的周期執行個體、手動觸發產生的補資料執行個體和測試執行個體)DAG圖支援進行上遊分析。
僅支援對未啟動並執行節點執行上遊分析操作。最多展示6層。如果您希望展示更多層級,請單擊左上方的繼續分析。
上遊分析可協助您快速找到當前節點所依賴的父節點中仍處於未運行成功狀態的節點,這些節點可能處於運行中、運行失敗、等待時間等、等待資源或凍結(暫停)等狀態,父節點處於這些狀態時將阻塞下遊節點運行。
樣本2_節點長時間未運行,則您可以選中該節點,單擊左上方的上遊分析。分析結果得出,導致阻塞當前節點啟動並執行上遊節點為資料表同步及指標統計,如下圖所示。通過該分析結果,您可以快速定位阻塞節點,並及時處理相關報錯。
說明後續操作:
您可以在定位到關鍵執行個體後,再基於彙總項進行過濾,查看影響當前節點資料產出的關鍵執行個體所在工作空間,或節點責任人等,協助您提高營運效率。
定位到阻塞當前執行個體啟動並執行關鍵執行個體後,您還可以右鍵該執行個體,選擇運行診斷功能快速分析當前執行個體未運行成功的原因。詳情請參見:智能診斷。
下遊分析
展開DAG圖時,預設展示三層,包括當前節點及當前節點的一層父節點與一層子節點。當周期執行個體的節點數或層級過多時,無法直觀查看節點影響範圍。您可以使用下遊分析功能,通過節點狀態、工作空間、責任人、優先順序等維度進行篩選,統計不同層級目標維度節點數,或統計所有層級目標維度節點總數。
說明彙總狀態下進行合并或分層展示:單擊下遊分析後,預設按照責任人彙總,統計所有層級該維度節點總數量。
不彙總、成組展示:不彙總情境下,若下遊節點超過10個將預設成組展示。該方式下,您可以比較直觀地看到節點的業務影響。
不成組展示:不彙總情境下,單擊拆分組,可對成組的節點進行拆分查看,該方式下,您可以直觀地瞭解到所有節點的上下遊關係。
下遊分析使用分層展示下遊節點分析結果時,最多展示6層。如果您希望展示更多層級,請單擊左上方的繼續分析。
樣本對tag節點進行下遊分析,結果如下:
合并:按照當前彙總維度對當前已分析的下遊進行合并。非彙總狀態下,將對下遊節點進行成組展示。樣本使用合并方式,並按照所屬工作空間彙總,將所有下遊節點合并至同一層,展示所屬不同工作空間的節點數量。
分層:按照當前彙總維度對當前已分析的下遊進行分層展示。樣本使用分層方式,並按照所屬工作空間彙總,在不同層級展示不同工作空間的節點數量。
選擇DAG圖的顯示樣式。
您可以根據實際需要,單擊DAG圖所在介面右上方的功能表徵圖,調整DAG圖的顯示樣式。例如,全屏展示、適配螢幕展示等。
樣本對0_2節點的下遊節點,展示拆分組及成組的DAG圖。
拆分組的DAG圖如下所示。通過該方式,您可以直觀地瞭解到所有節點的上下遊關係。
成組的DAG圖如下所示。通過該方式,以每行呈現5個節點,有序地為您展示下遊節點,方便您快速擷取下遊節點的總數量。
DAG圖為您展示節點上下遊依賴關係,其中實線為同周期依賴,虛線為跨周期依賴。還支援您按右鍵目標節點,執行相關操作。按右鍵目標節點,執行相關操作。下圖以周期執行個體為例。
操作
描述
展開父節點/子節點
當一個商務程序有3個及以上節點時,營運中心展示節點時會自動隱藏節點。您可以通過展開父子層級查看全部節點的內容。
查看作業記錄
查看當前執行個體正在運行、成功、失敗等狀態的作業記錄。
說明公用調度資源群組執行個體保留一個月,日誌保留一周。
獨享調度資源群組執行個體、日誌保留一個月。
運行診斷
DataWorks營運中心為您提供運行診斷功能,協助您掌握節點啟動並執行全鏈路資訊,以迅速定位問題。詳情請參見智能診斷。
查看代碼
查看當前執行個體的代碼。
編輯節點
單擊後,即可跳轉至資料開發頁面,對當前節點的內容進行修改。
查看血緣
查看當前執行個體的血緣關係。
查看更多詳情
單擊後,即可查看當前節點的屬性、上下文、作業記錄、動作記錄和代碼等資訊。
終止運行
僅等待運行、運行中狀態的執行個體可以進行終止啟動並執行操作。進行此操作後,該執行個體將變為失敗狀態。
重跑
可以重跑某節點,節點執行成功後可以觸發下遊未運行狀態節點的調度。常用於處理出錯節點和漏跑節點。
說明僅支援重跑未運行、成功和失敗狀態的節點。
重跑下遊
可以重跑某節點及其下遊節點,需要您自訂勾選,勾選的節點將被重跑,節點執行成功後可以觸發下遊未運行狀態節點的調度。常用於處理資料修複。
說明僅支援勾選未運行、完成和失敗狀態的節點,如果勾選了其它狀態的節點,頁面會提示已選節點中包含不符合運行條件的節點,並禁止提交運行。
置成功
將當前執行個體的狀態改為成功,並運行下遊未運行狀態的節點。常用於處理出錯節點。
說明僅支援將狀態為失敗的節點置成功,不能置成功商務程序。
續跑
節點執行失敗後,可以續跑此節點。僅MaxCompute類型節點支援該功能。
說明2021年1月之前購買的獨享調度資源群組,如果需要升級您可以單擊申請連結或掃描下方二維碼加入DataWorksDingTalk交流群進行售前售後諮詢,諮詢可直接@智能機器人,值班時間段內也可直接聯絡值班人員。DataWorksDingTalk交流群二維碼如下。
緊急操作
當前執行個體在非常緊急的情況下的操作,緊急操作只對當前節點本次有效。
選擇去除依賴,即可解除當前節點的依賴關係。常用於上遊失敗並與此執行個體沒有資料關係時,
暫停(凍結)
周期執行個體中的凍結只針對當前執行個體,且正在運行中的執行個體。凍結的周期執行個體不自動調度運行(不會真實跑資料),並且會阻塞它的下遊節點執行(下遊節點都不會自動調度)。
情境樣本:如果您小時節點每小時調度一次,當天產生24個小時執行個體,如果其中一個小時執行個體不需要執行,您可以選擇凍結該執行個體,凍結其中一個小時執行個體不會影響其他執行個體執行。
恢複(解凍)
可以將凍結狀態的執行個體解凍。
如果該執行個體還未運行,則上遊節點運行完畢後,會自動運行。
如果上遊節點都運行完畢,則該節點會直接被置為失敗。需手動重跑後,方會正常運行。
說明解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天的執行個體仍會是凍結狀態。
單擊執行個體,頁面右下角會顯示執行個體詳情的彈框,單擊彈框中的展開詳情可以查看單個執行個體詳情。下圖以周期執行個體為例。
功能
描述
屬性
您可以在此頁簽查看任務在生產環境的調度屬性。介面參數詳情請參見:調度配置。
節點ID和執行個體ID的關係:
對於小時或分鐘調度的節點任務,您可基於節點ID定位該節點當天產生的所有小時或分鐘執行個體,若要定位到某個具體的小時或分鐘執行個體,您可通過執行個體ID進行精準定位。
任務狀態解讀:任務狀態與任務運行有關,若任務處於未運行、等待時間、等待資源、凍結等狀態時,您可以通過運行診斷來快速定位問題。
等待資源耗時:當任務出現長時間等待資源的情況,您可以使用運行診斷功能定位當前任務運行時,哪些任務在佔用資源,快速找到異常任務進行排查。
運行時間長度過長:當任務已耗用時間與歷史運行情況相比明顯變長,您可參考以下情境進行處理。
非同步任務:可諮詢對應引擎負責人。
離線同步任務:可能任務某個階段執行較慢或處於長時間等待資源狀態。詳情請參見:如何排查離線同步任務已耗用時間長的問題?。
規則監控:您可以查看當前執行個體關聯的監控規則情況,支援您單擊右側的建立快速建立任務運行狀態監控規則,詳情請參見規則管理。
說明此處僅支援查看監控任務運行狀態的規則關聯詳情,不支援查看資料品質監控規則。
基準監控:您可以查看當前執行個體關聯的基準情況,支援您單擊右側的建立快速建立基準,詳情請參見基準管理。
上下文
為您展示當前任務的所有輸入參數和輸出參數,詳情請參見:配置節點上下文。
作業記錄
用於查看任務詳細執行過程。
動作記錄
用於查看任務或執行個體的操作記錄(時間、操作人、具體操作)。
代碼
用於查看生產環境當前任務的最新代碼。若不符合預期,請確認任務最新版本是否已經發布成功。詳情請參見:發布任務。