周期執行個體是周期任務達到啟用調度所配置的周期性已耗用時間時,被自動調度的執行個體快照。您可以通過列表及DAG圖的方式,快速查看執行個體的詳細資料並執行相關操作。
注意事項
周期任務定時組建循環執行個體,執行個體會按最新的代碼運行任務。如果您的任務在執行個體產生後修改了代碼並重新提交發布,則未啟動並執行執行個體會拉取最新的代碼運行任務。
如果您需要監控任務的執行情況,需要先對該任務設定相應的監控規則,詳情請參見智能監控概述。對於配置了監控警示的任務,如果運行失敗但您未收到警示資訊,請檢查是否已在警示連絡人頁面配置了您的手機號碼與郵箱地址,詳情請參見警示資訊。
首次組建循環執行個體的時間與您選擇的執行個體產生方式有關,執行個體產生方式包括T+1次日產生和發布後即時產生,詳情請參見執行個體產生方式。
進入周期執行個體頁面
進入營運中心頁面。
在左側導覽列單擊,進入周期執行個體頁面。
在該頁面,您可通過不同視角查看執行個體的運行情況。
周期執行個體視角
單擊,進入周期執行個體視角營運介面。
查看執行個體列表
功能 | 描述 |
篩選指定條件的執行個體(地區1) | 您可通過篩選條件過濾出需要查詢的執行個體。
說明 預設篩選的業務日期是目前時間的前一天。 支援通過執行個體ID進行過濾,節點ID與執行個體ID的關係如下: 對於配置了監控警示的執行個體,您可勾選過去24h產生警示的節點,過濾目前時間點24小時內產生了警示的執行個體列表。過去24小時內產生過警示的執行個體,可通過單擊該執行個體DAG圖中的警示表徵圖查看警示詳情。詳情請參見智能監控概述。 篩選條件中的變慢節點表示指定業務日期內運行狀態為運行中的執行個體,同時已耗用時間大於過去10天平均值15分鐘的執行個體,會被判定為運行慢。如果歷史執行個體數小於4,則已耗用時間大於半小時的執行個體會被視為運行慢。
|
查看執行個體列表(地區2) | 該地區展示滿足過濾條件的執行個體列表,可查看執行個體的狀態、基本資料、已耗用時間等。 |
操作執行個體(地區3、4) | 您可對執行個體執行如下操作: DAG圖:展示周期執行個體的上下遊依賴關係,您可在DAG圖中進行相關操作。詳情請參見附錄:DAG圖功能介紹。 運行診斷:對任務進行全鏈路分析,當任務運行不符合預期時,可使用該功能定位問題。詳情請參見智能診斷。 重跑:對運行成功或失敗狀態的任務進行重跑,當任務執行成功後,可觸發下遊未運行任務的調度執行。常用於處理出錯節點和漏跑節點。 更多: 重跑下遊:對運行成功或失敗狀態的任務進行重跑下遊節點。您可自行選擇需要重跑的下遊任務,任務執行成功後可觸發下遊未運行狀態任務的調度。常用於處理資料修複。 置成功:用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。 終止運行:用於終止不需要啟動並執行任務,任務終止運行後,將失敗退出。僅支援對狀態為等待時間、等待資源和運行中的執行個體進行終止運行操作。 暫停(凍結):當前執行個體及其下遊執行個體都不需要執行的時候,可選擇使用此功能。周期執行個體中的凍結只針對當前執行個體,且正在運行中的執行個體。凍結的周期執行個體不自動調度運行(不會真實跑資料),並且會阻塞它的下遊節點執行(下遊任務都不會自動調度)。 恢複(解凍):用於將凍結狀態的執行個體解凍。
說明 解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。 查看血緣:查看當前執行個體的血緣資訊。 查看周期任務詳情:查看當前執行個體的基本資料。 查看作業記錄:任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄二:作業記錄參數介紹。 修改調度資源群組:修改當前執行個體運行所使用的調度資源群組。該操作不會同步修改執行個體所在周期任務的資源群組。
大量操作:若需要操作的執行個體較多,可在執行個體列表勾選相應執行個體,並在頁面底部按需執行批量終止運行、重跑等操作。
|
查看執行個體DAG
說明 DAG圖中同周期依賴的節點以實線的形式展示,跨周期依賴的節點都會以虛線的形式展示。詳情請參見依賴關係。
功能 | 描述 |
DAG面板功能 | 單擊任務後的DAG圖,開啟該任務的DAG圖。您可在圖中的1、2、3地區進行節點彙總、上下遊分析、調整介面顯示等操作,詳情請參見DAG圖功能介紹。 |
操作單個執行個體 | 按右鍵目標執行個體,即可執行如下操作: 展開父節點:查看當前節點的上遊任務,用於瞭解哪些節點將影響當前節點的資料產出。支援按照層級展開父節點,最多支援一次展開6級。
展開子節點:查看當前節點的下遊任務,用於瞭解當前節點將影響哪些節點的資料產出。支援按照層級展開子節點,最多支援一次展開6級。 查看作業記錄:任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄二:作業記錄參數介紹。 查看代碼:用於確認生產環境當前節點的代碼。若不符合預期,請確認節點最新版本是否已經發布成功。 編輯節點:單擊後即可跳轉至資料開發頁面開啟當前節點。 查看血緣:查看當前執行個體的血緣資訊。 查看更多詳情:查看執行個體的基本屬性、動作記錄、任務代碼等資訊。 查看周期任務:查看當前執行個體所屬的周期任務資訊。 前往任務360:進入資料治理中心,從任務關聯的基準列表、執行個體運行情況等多個維度全景瞭解任務運行詳情,進行任務治理。詳情請參見全景查看任務。 終止運行:用於終止不需要啟動並執行任務,任務終止運行後,將失敗退出。僅支援對狀態為等待時間、等待資源和運行中的執行個體進行終止運行操作。 重跑:對運行成功或失敗狀態的任務進行重跑,當任務執行成功後,可觸發下遊未運行任務的調度執行。常用於處理出錯節點和漏跑節點。 重跑下遊:對運行成功或失敗狀態的任務進行重跑下遊節點。您可自行選擇需要重跑的下遊任務,任務執行成功後可觸發下遊未運行狀態任務的調度。常用於處理資料修複。 置成功:用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。 續跑:用於續跑失敗狀態的任務,續跑將從任務執行失敗的位置繼續運行,即當任務中存在多段sql的情況下,續跑可從具體失敗的sql處重新運行該任務。 觸發DQC校正:若任務配置了資料品質規則,則可進行相關規則校正。 緊急操作:緊急操作只對當前節點本次有效。 去除依賴:對指定任務去除依賴,可通過該功能解除當前節點的依賴關係。常用於上遊失敗並與此執行個體沒有資料關係時,緊急去除任務的上遊依賴,使當前任務能夠運行起來。
說明 需要根據任務代碼、任務血緣確認該操作是否會對資料造成影響。 修改優先順序:執行個體任務的優先順序源於執行個體所在基準的優先順序,您可在此處根據需要重新設定,數值越大,優先順序越高。 強制重跑:用於強制重跑當前節點,支援對運行成功、運行失敗、未啟動並執行周期執行個體進行此操作,常用於資料修複。 強制重跑下遊:用於重刷業務日期昨天和前天的資料,僅支援對運行成功、運行失敗的周期執行個體進行此操作,常用於資料修複。詳情請參見附錄:強制重跑下遊。
說明 僅工作空間管理員、租用戶系統管理員、阿里雲主帳號可以發起強制重跑下遊的操作。 複製執行個體:可基於當前運行中狀態的執行個體(宿主執行個體),產生一個配置相同的新執行個體(複製執行個體)。新執行個體命名格式為dw_clone_節點名 。
暫停(凍結):當前執行個體及其下遊執行個體都不需要執行的時候,可選擇使用此功能。周期執行個體中的凍結只針對當前執行個體,且正在運行中的執行個體。凍結的周期執行個體不自動調度運行(不會真實跑資料),並且會阻塞它的下遊節點執行(下遊任務都不會自動調度)。 恢複(解凍):用於將凍結狀態的執行個體解凍。
說明 解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。
|
查看單個執行個體詳情 | 在上圖的模組4地區。您可以進行如下操作: |
商務程序視角
單擊,進入商務程序視角營運介面。
說明 商務程序視角下,僅展示商務程序內的依賴,如果存在跨商務程序、工作空間的依賴,您需要切換至周期執行個體視角進行查看。
查看商務程序列表
功能 | 描述 |
商務程序運行狀態概覽 | 商務程序列通過可視化表徵圖為您展示商務程序的運行狀態,列表模式中統計正常任務,即不包括空跑類型和凍結類型的任務,DAG面板中將會展示所有類型的任務。 :當前商務程序下,運行中狀態的執行個體個數。 :當前商務程序下,運行成功的執行個體個數。 :當前商務程序下,運行失敗的執行個體個數。 :當前商務程序下,非上述狀態的執行個體個數。
|
商務程序營運操作 | 您可以對商務程序進行如下操作: DAG圖:用於查看該商務程序DAG圖。商務程序視角下,將預設對該商務程序下的小時分鐘任務進行成組展示,商務程序視角下單個執行個體的操作與周期執行個體視角的操作一致。詳情請參見周期執行個體DAG。 重跑:用於重跑當前商務程序下所有任務或指定任務。 終止運行:用於終止當前運行中的商務程序。 凍結:用於凍結當前商務程序的運行,凍結後該商務程序下的執行個體將不會執行。 解凍:用於對凍結狀態的商務程序進行解凍操作,解凍後將預設商務程序為失敗狀態,您可重跑該商務程序。 置成功:用於置成功當前商務程序,置成功後商務程序下的節點將顯示為成功狀態。
|
附錄一:查看執行個體詳情
功能 | 描述 |
屬性 | 您可以在此頁簽查看任務在生產環境的調度屬性。介面參數詳情請參見:調度配置。 節點ID和執行個體ID的關係: 對於小時或分鐘調度的節點任務,您可基於節點ID定位該節點當天產生的所有小時或分鐘執行個體,若要定位到某個具體的小時或分鐘執行個體,您可通過執行個體ID進行精準定位。 任務狀態:任務狀態與任務運行有關,若任務處於未運行、等待時間、等待資源、凍結等狀態時,您可以通過運行診斷來快速定位問題。 等待資源耗時:當任務出現長時間等待資源的情況,您可以使用運行診斷功能定位當前任務運行時,哪些任務在佔用資源,快速找到異常任務進行排查。 運行時間長度:當任務已耗用時間與歷史運行情況相比明顯變長,您可參考以下情境進行處理。 規則監控:您可以查看當前執行個體關聯的監控規則情況,支援您單擊右側的建立快速建立任務運行狀態監控規則,詳情請參見規則管理。
說明 此處僅支援查看監控任務運行狀態的規則關聯詳情,不支援查看資料品質監控規則。 基準監控:您可以查看當前執行個體關聯的基準情況,支援您單擊右側的建立快速建立基準,詳情請參見基準管理。 標籤:此處展示您在標籤管理中自訂的標籤,如果當前節點存在待治理問題,也會以標籤形式展示,您可以前往資料治理中心查看詳情。
|
上下文 | 為您展示當前任務的所有輸入參數和輸出參數,詳情請參見配置節點上下文。 |
作業記錄 | 任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄二:作業記錄參數介紹。 |
動作記錄 | 用於查看任務或執行個體的操作記錄(時間、操作人、具體操作)。 |
代碼 | 用於查看生產環境當前任務的最新代碼。若不符合預期,請確認任務最新版本是否已經發布成功。詳情請參見發布任務。 |
附錄二:作業記錄參數介紹
任務啟動運行後,您可通過作業記錄查看任務的運行詳情,日誌中的核心參數介紹如下。
參數 | 描述 |
SKYNET_ONDUTY | 任務責任人。 |
SKYNET_PARAVALUE | 調度參數列表。 |
SKYNET_TASKID | 執行個體ID。 |
SKYNET_ID | 節點ID。 |
SKYNET_NODENAME | 節點名稱。 |
SKYNET_APPNAME | 工作空間名稱。 |
SKYNET_REGION | 工作空間所在地區。 |
SKYNET_CYCTIME | 節點的定時已耗用時間。 |