智能基準能夠及時捕捉導致基準上的任務無法按時完成的異常情況並提前預警,保障複雜依賴情境下重要資料能在預期時間內順利產出,協助您降低配置成本、避免無效警示、自動監控所有重要任務。
應用情境
管理工作優先順序。
在任務數量越來越多,而資源有限的情況下,當發生資源搶佔時,您可以將重要任務添加至基準上,並為基準設定較高的優先順序,以保證重要的任務可以優先分配到資源。
計算任務預計完成時間。
任務的運行受到資源和上遊任務運行情況的影響,您可以將任務添加至基準上,DataWorks將計算出該任務每天或每小時的預計完成時間,便於您查看任務的預計完成時間。
保障任務在承諾時間前運行完成。
您可以將任務添加至基準上,並設定基準承諾時間,當系統預測到基準上的任務無法在承諾時間前完成,或上遊任務出現錯誤或變慢的情況,將發送警示資訊,您可以根據警示資訊及時處理問題,保障任務在承諾時間前運行完成。
相關概念
基準:使用者將重要任務加到基準上並設定承諾時間後,系統將根據任務運行情況計算基準任務的預計完成時間。當系統判斷基準任務可能無法在承諾時間前完成,系統將觸發基準警示。
承諾時間:任務運行成功的最晚時間點。即面向資料應用,任務承諾在該時間點前完成。如果希望為營運人員預留一定的時間處理異常,您可以為基準設定預警餘量,則系統會將承諾時間-預警餘量
作為觸發警示的預警時間,判斷任務能否在預警時間前運行成功。
基準任務:被添加到基準上的任務。
基準執行個體:系統使用基準執行個體計算任務每次啟動並執行預計完成時間。基準執行個體的狀態包括:安全、預警、破線。
安全:預計完成時間<預警時間
。
預警:預警時間<預計完成時間<承諾時間
。
破線:預計完成時間>承諾時間
。
關鍵路徑:影響基準任務的多條路徑中,運行耗時最長的路徑。
事件:基準任務及其上遊任務出錯,或關鍵路徑上的任務變慢時,會產生事件。事件會影響基準任務的按時完成。
功能介紹
將重要任務添加到基準上後,DataWorks將根據基準的優先順序保障基準任務的資源,並根據基準任務的上下遊依賴關係確定監控範圍,根據該監控範圍內任務的運行情況觸發基準警示或事件警示。
根據基準任務K確定監控範圍。
建立一條基準:
指定添加到基準的任務K。
設定基準優先順序及警示策略參數。
根據監控範圍內任務的實際運行情況觸發基準警示或事件警示。
如上圖所示,智能基準的主要功能如下。
建立並管理基準。
您可以在基準管理頁面建立和管理基準:
基準建立及管理的操作詳情請參見基準管理。
確定監控範圍。
DataWorks會結合基準上任務的依賴關係確定需要監控的範圍,將可能影響基準資料產出的所有任務都進行監控。詳情請參見核心邏輯介紹:監控範圍。
觸發警示並發送警示資訊
基準警示。
DataWorks會根據基準配置的警示策略,結合任務運行實際情況自動觸發警示。系統將即時發送警示資訊至指定接收人。當預測到基準上任務無法在承諾時間內完成時,系統將會根據定義的警示方式發送基準警示資訊,詳情請參見核心邏輯介紹:基準警示。
事件警示。
監控範圍確定後,當基準任務及其上遊任務出錯,或關鍵路徑上的任務變慢時,將會產生相應的事件,並發送事件警示資訊,您可以在DataWorks的事件管理頁面查看當前已存在的事件列表,詳情請參見事件管理。
使用限制
僅DataWorks標準版及以上版本支援使用智能基準功能。低版本使用者請先升級到標準版或更高版本再使用該功能,詳情請參見:DataWorks各版本詳解。
核心邏輯介紹:監控範圍
基準建立完成後,某個任務被移動至基準後,智能基準不會監控基準上任務的所有上下遊任務,對該任務相關的上下遊監控範圍如下:
如上圖所示,假設整個DataWorks系統中存在6個任務節點,其中任務D和任務E屬於基準任務。同時,任務A和任務B對任務D和任務E的資料產出具有影響。因此,任務A、B、D和E均被納入監控範圍。在監控範圍內,如果任何任務出現異常(如出錯或響應變慢),均會被智能基準自動檢測到。而任務C和任務F則不在智能基準的監控之列。
核心邏輯介紹:基準警示
您可以將重要任務添加到基準上,設定基準承諾時間和預警餘量後:
核心邏輯介紹:事件警示
監控範圍確定後,當監控範圍內的任務出現異常時,智能監控會建置事件,並基於對該事件的分析觸發警示。任務的異常包括:
您可以進入事件管理頁面查看產生的事件詳情。
核心邏輯介紹:關鍵路徑與關鍵執行個體
基準上需要保障的任務,其依賴關係可能錯綜複雜,DataWorks提供甘特圖功能協助您快速定位阻塞基準上資料產出的關鍵路徑與關鍵執行個體,其中在影響基準任務產出的多條路徑中,耗時最長的路徑為基準關鍵路徑。
範例
甘特圖用於反映目標任務的關鍵執行路徑。以上述案例為例,關鍵路徑展示及異常捕獲時間如下所示: