全部產品
Search
文件中心

DataWorks:查看周期執行個體

更新時間:Oct 24, 2024

周期執行個體是周期任務達到啟用調度所配置的周期性已耗用時間時,被自動調度的執行個體快照。您可以通過列表及DAG圖的方式,快速查看執行個體的詳細資料並執行相關操作。

使用須知

  • 正常任務:即真實執行代碼邏輯的任務,不包括空跑(調度屬性為空白跑的任務、調度任務在非調度時間範圍內產生的執行個體、分支節點分支未被選中的空跑任務、即時轉執行個體產生的到期任務等)與被凍結的任務。

  • 營運環境說明:在標準模式工作空間下,您可通過介面左上方切換開發營運中心和生產營運中心。任務在開發營運中心不會自動調度,即在周期執行個體面板中不會產生自動調度執行的周期執行個體。

  • 任務運行與問題定位

    • 調度任務運行需要滿足上遊任務運行成功、當前任務定時時間已到、調度資源充足、當前任務未凍結等條件,詳情請參見任務運行條件

    • 如果任務為未運行狀態,建議您先通過DAG面板中的上遊分析功能,快速定位阻塞當前任務啟動並執行關鍵上遊任務;再通過運行診斷功能,診斷關鍵執行個體未啟動並執行原因或存在的問題。若任務依賴較複雜,您可通過該功能快速定位問題,提升營運效率。

使用限制

  • 版本要求:

    • 僅DataWorks專業版及以上版本使用者才可以使用運行診斷功能,目前支援您免費體驗,但建議升級至專業版以擷取更多產品能力。詳情請參見智能診斷

    • 僅DataWorks專業版及以上版本使用者才可以使用DAG圖的節點彙總、上遊分析、下遊分析功能。詳情請參見DataWorks版本服務計費說明

  • 許可權管控:

    部分功能僅支援有營運許可權的使用者進行操作,如果功能入口置灰或者沒有功能入口,請進入管理中心 > 工作空間 > 空間成員頁面檢查目標使用者是否有營運許可權。詳情請參見進入管理中心空間級模組許可權管控

  • 功能限制:

    • 不支援手動刪除周期執行個體,執行個體在到期後(30天左右)平台將自動刪除。如果任務不需要再運行,可以選擇凍結執行個體。

    • 公用調度資源群組上執行的任務,其執行個體保留一個月(30天)、日誌保留一周(7天)。

    • 獨享調度資源群組上執行的任務,其執行個體、日誌保留一個月(30天)。

    • 運行完成狀態的執行個體,當日誌大於3M時,平台每天會定時清理。

注意事項

  • 周期任務定時組建循環執行個體,執行個體會按最新的代碼運行任務。如果您的任務在執行個體產生後修改了代碼並重新提交發布,則未啟動並執行執行個體會拉取最新的代碼運行任務。

  • 如果您需要監控任務的執行情況,需要先對該任務設定相應的監控規則,詳情請參見智能監控概述。對於配置了監控警示的任務,如果運行失敗但您未收到警示資訊,請檢查是否已在警示連絡人頁面配置了您的手機號碼與郵箱地址,詳情請參見警示資訊

  • 首次組建循環執行個體的時間與您選擇的執行個體產生方式有關,執行個體產生方式包括T+1次日產生發布後即時產生,詳情請參見執行個體產生方式

    說明

    手動重跑任務不會觸發自訂規則警示。

進入周期執行個體頁面

  1. 進入營運中心頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

  2. 在左側導覽列單擊周期任務營運 > 周期執行個體,進入周期執行個體頁面。

    在該頁面,您可通過不同視角查看執行個體的運行情況。

周期執行個體視角

單擊周期執行個體 > 執行個體視角,進入周期執行個體視角營運介面。

查看執行個體列表

周期執行個體

功能

描述

篩選指定條件的執行個體(地區1)

您可通過篩選條件過濾出需要查詢的執行個體。

說明
  • 預設篩選的業務日期是目前時間的前一天。

  • 支援通過執行個體ID進行過濾,節點ID與執行個體ID的關係如下:

    • 查看某小時或分鐘任務當天產生的小時或分鐘調度的執行個體,您可基於節點ID進行過濾。

    • 查看某小時或分鐘任務當天指定的小時或分鐘執行個體,您可通過執行個體ID進行精準過濾。

  • 對於配置了監控警示的執行個體,您可勾選過去24h產生警示的節點,過濾目前時間點24小時內產生了警示的執行個體列表。過去24小時內產生過警示的執行個體,可通過單擊該執行個體DAG圖中的警示表徵圖查看警示詳情。詳情請參見智能監控概述

  • 篩選條件中的變慢節點表示指定業務日期內運行狀態為運行中的執行個體,同時已耗用時間大於過去10天平均值15分鐘的執行個體,會被判定為運行慢。如果歷史執行個體數小於4,則已耗用時間大於半小時的執行個體會被視為運行慢。

查看執行個體列表(地區2)

該地區展示滿足過濾條件的執行個體列表,可查看執行個體的狀態、基本資料、已耗用時間等。

操作執行個體(地區3、4)

您可對執行個體執行如下操作:

  • DAG圖:展示周期執行個體的上下遊依賴關係,您可在DAG圖中進行相關操作。詳情請參見附錄:DAG圖功能介紹

  • 運行診斷:對任務進行全鏈路分析,當任務運行不符合預期時,可使用該功能定位問題。詳情請參見智能診斷

  • 重跑:對運行成功失敗狀態的任務進行重跑,當任務執行成功後,可觸發下遊未運行任務的調度執行。常用於處理出錯節點和漏跑節點。

  • 更多

    • 重跑下遊:對運行成功失敗狀態的任務進行重跑下遊節點。您可自行選擇需要重跑的下遊任務,任務執行成功後可觸發下遊未運行狀態任務的調度。常用於處理資料修複。

    • 置成功:用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。

    • 終止運行:用於終止不需要啟動並執行任務,任務終止運行後,將失敗退出。僅支援對狀態為等待時間等待資源運行中的執行個體進行終止運行操作。

    • 暫停(凍結):當前執行個體及其下遊執行個體都不需要執行的時候,可選擇使用此功能。周期執行個體中的凍結只針對當前執行個體,且正在運行中的執行個體。凍結的周期執行個體不自動調度運行(不會真實跑資料),並且會阻塞它的下遊節點執行(下遊任務都不會自動調度)。

      說明
      • 請勿操作projectname_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

      • 等待資源等待時間運行中(例如,節點代碼運行中、資料品質檢驗中)狀態不支援凍結操作。

    • 恢複(解凍):用於將凍結狀態的執行個體解凍。

      • 如果該執行個體還未運行,則上遊任務運行完畢後,會自動運行。

      • 如果上遊任務都運行完畢,則該任務會直接被置為失敗,需要手動重跑後,執行個體才會正常運行。

      說明

      解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。

    • 查看血緣:查看當前執行個體的血緣資訊。

    • 查看周期任務詳情:查看當前執行個體的基本資料。

    • 查看作業記錄任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄二:作業記錄參數介紹

    • 修改調度資源群組:修改當前執行個體運行所使用的調度資源群組。該操作不會同步修改執行個體所在周期任務的資源群組。

  • 大量操作:若需要操作的執行個體較多,可在執行個體列表勾選相應執行個體,並在頁面底部按需執行批量終止運行、重跑等操作。

查看執行個體DAG

周期執行個體

說明

DAG圖中同周期依賴的節點以實線的形式展示,跨周期依賴的節點都會以虛線的形式展示。詳情請參見依賴關係

功能

描述

DAG面板功能

單擊任務後的DAG圖,開啟該任務的DAG圖。您可在圖中的1、2、3地區進行節點彙總、上下遊分析、調整介面顯示等操作,詳情請參見DAG圖功能介紹

操作單個執行個體

按右鍵目標執行個體,即可執行如下操作:

  • 展開父節點:查看當前節點的上遊任務,用於瞭解哪些節點將影響當前節點的資料產出。支援按照層級展開父節點,最多支援一次展開6級。

  • 展開子節點:查看當前節點的下遊任務,用於瞭解當前節點將影響哪些節點的資料產出。支援按照層級展開子節點,最多支援一次展開6級。

  • 查看作業記錄任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄二:作業記錄參數介紹

  • 查看代碼:用於確認生產環境當前節點的代碼。若不符合預期,請確認節點最新版本是否已經發布成功。

  • 編輯節點:單擊後即可跳轉至資料開發頁面開啟當前節點。

  • 查看血緣:查看當前執行個體的血緣資訊。

  • 查看更多詳情:查看執行個體的基本屬性、動作記錄、任務代碼等資訊。

  • 查看周期任務:查看當前執行個體所屬的周期任務資訊。

  • 前往任務360:進入資料治理中心,從任務關聯的基準列表、執行個體運行情況等多個維度全景瞭解任務運行詳情,進行任務治理。詳情請參見全景查看任務

  • 終止運行:用於終止不需要啟動並執行任務,任務終止運行後,將失敗退出。僅支援對狀態為等待時間等待資源運行中的執行個體進行終止運行操作。

  • 重跑:對運行成功失敗狀態的任務進行重跑,當任務執行成功後,可觸發下遊未運行任務的調度執行。常用於處理出錯節點和漏跑節點。

  • 重跑下遊:對運行成功失敗狀態的任務進行重跑下遊節點。您可自行選擇需要重跑的下遊任務,任務執行成功後可觸發下遊未運行狀態任務的調度。常用於處理資料修複。

  • 置成功:用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。

  • 續跑:用於續跑失敗狀態的任務,續跑將從任務執行失敗的位置繼續運行,即當任務中存在多段sql的情況下,續跑可從具體失敗的sql處重新運行該任務。

    說明
    • 僅MaxCompute的SQL任務支援此操作。

    • 2021年1月之後購買的獨享調度資源群組,如果需要升級您需要先單擊申請連結加入“阿里雲巨量資料AI平台”交流群,再掃描下方二維碼加入DataWorks產品DingTalk交流群,進行售前售後諮詢,諮詢可直接@智能機器人,值班時間段內也可直接聯絡值班人員。支援人員二維碼

  • 觸發DQC校正:若任務配置了資料品質規則,則可進行相關規則校正。

  • 緊急操作:緊急操作只對當前節點本次有效。

    • 去除依賴:對指定任務去除依賴,可通過該功能解除當前節點的依賴關係。常用於上遊失敗並與此執行個體沒有資料關係時,緊急去除任務的上遊依賴,使當前任務能夠運行起來。

      說明

      需要根據任務代碼、任務血緣確認該操作是否會對資料造成影響。

    • 修改優先順序:執行個體任務的優先順序源於執行個體所在基準的優先順序,您可在此處根據需要重新設定,數值越大,優先順序越高。

    • 強制重跑:用於強制重跑當前節點,支援對運行成功、運行失敗、未啟動並執行周期執行個體進行此操作,常用於資料修複。

    • 強制重跑下遊:用於重刷業務日期昨天和前天的資料,僅支援對運行成功、運行失敗的周期執行個體進行此操作,常用於資料修複。詳情請參見附錄:強制重跑下遊

      說明

      僅工作空間管理員、租用戶系統管理員、阿里雲主帳號可以發起強制重跑下遊的操作。

    • 複製執行個體:可基於當前運行中狀態的執行個體(宿主執行個體),產生一個配置相同的新執行個體(複製執行個體)。新執行個體命名格式為dw_clone_節點名

      說明
      • 僅支援複製ODPS SQL類型節點執行個體,且每個執行個體只能複製一次。

      • 宿主執行個體與複製執行個體的執行邏輯:

        • 宿主執行個體與複製執行個體均處於運行中狀態。若宿主執行個體先運行成功,則複製執行個體將被停止運行;若複製執行個體先運行成功,則宿主執行個體將被停止運行共置為運行成功狀態。

        • 若當前任務的下遊任務存在複製執行個體,則重跑下遊不會觸發複製執行個體執行。

  • 暫停(凍結):當前執行個體及其下遊執行個體都不需要執行的時候,可選擇使用此功能。周期執行個體中的凍結只針對當前執行個體,且正在運行中的執行個體。凍結的周期執行個體不自動調度運行(不會真實跑資料),並且會阻塞它的下遊節點執行(下遊任務都不會自動調度)。

    說明
    • 請勿操作projectname_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

    • 等待資源等待時間運行中(例如,節點代碼運行中、資料品質檢驗中)狀態不支援凍結操作。

  • 恢複(解凍):用於將凍結狀態的執行個體解凍。

    • 如果該執行個體還未運行,則上遊任務運行完畢後,會自動運行。

    • 如果上遊任務都運行完畢,則該任務會直接被置為失敗,需要手動重跑後,執行個體才會正常運行。

    說明

    解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。

查看單個執行個體詳情

在上圖的模組4地區。您可以進行如下操作:

商務程序視角

單擊周期執行個體 > 商務程序視角,進入商務程序視角營運介面。

說明

商務程序視角下,僅展示商務程序內的依賴,如果存在跨商務程序、工作空間的依賴,您需要切換至周期執行個體視角進行查看。

查看商務程序列表

商務程序視角

功能

描述

商務程序運行狀態概覽

商務程序列通過可視化表徵圖為您展示商務程序的運行狀態,列表模式中統計正常任務,即不包括空跑類型和凍結類型的任務,DAG面板中將會展示所有類型的任務。

  • 運行中:當前商務程序下,運行中狀態的執行個體個數。

  • 成功:當前商務程序下,運行成功的執行個體個數。

  • 失敗:當前商務程序下,運行失敗的執行個體個數。

  • 其他:當前商務程序下,非上述狀態的執行個體個數。

商務程序營運操作

您可以對商務程序進行如下操作:

  • DAG圖:用於查看該商務程序DAG圖。商務程序視角下,將預設對該商務程序下的小時分鐘任務進行成組展示,商務程序視角下單個執行個體的操作與周期執行個體視角的操作一致。詳情請參見周期執行個體DAG小時分鐘

  • 重跑:用於重跑當前商務程序下所有任務或指定任務。

  • 終止運行:用於終止當前運行中的商務程序。

  • 凍結:用於凍結當前商務程序的運行,凍結後該商務程序下的執行個體將不會執行。

  • 解凍:用於對凍結狀態的商務程序進行解凍操作,解凍後將預設商務程序為失敗狀態,您可重跑該商務程序。

  • 置成功:用於置成功當前商務程序,置成功後商務程序下的節點將顯示為成功狀態。

附錄一:查看執行個體詳情

查看執行個體詳情

功能

描述

屬性

您可以在此頁簽查看任務在生產環境的調度屬性。介面參數詳情請參見:調度配置

  • 節點ID和執行個體ID的關係:

    對於小時或分鐘調度的節點任務,您可基於節點ID定位該節點當天產生的所有小時或分鐘執行個體,若要定位到某個具體的小時或分鐘執行個體,您可通過執行個體ID進行精準定位。

  • 任務狀態:任務狀態與任務運行有關,若任務處於未運行、等待時間、等待資源、凍結等狀態時,您可以通過運行診斷來快速定位問題。

  • 等待資源耗時:當任務出現長時間等待資源的情況,您可以使用運行診斷功能定位當前任務運行時,哪些任務在佔用資源,快速找到異常任務進行排查。

  • 運行時間長度:當任務已耗用時間與歷史運行情況相比明顯變長,您可參考以下情境進行處理。

  • 規則監控:您可以查看當前執行個體關聯的監控規則情況,支援您單擊右側的建立快速建立任務運行狀態監控規則,詳情請參見規則管理

    說明

    此處僅支援查看監控任務運行狀態的規則關聯詳情,不支援查看資料品質監控規則。

  • 基準監控:您可以查看當前執行個體關聯的基準情況,支援您單擊右側的建立快速建立基準,詳情請參見基準管理

  • 標籤:此處展示您在標籤管理中自訂的標籤,如果當前節點存在待治理問題,也會以標籤形式展示,您可以前往資料治理中心查看詳情。

上下文

為您展示當前任務的所有輸入參數和輸出參數,詳情請參見配置節點上下文

作業記錄

任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄二:作業記錄參數介紹

動作記錄

用於查看任務或執行個體的操作記錄(時間、操作人、具體操作)。

代碼

用於查看生產環境當前任務的最新代碼。若不符合預期,請確認任務最新版本是否已經發布成功。詳情請參見發布任務

附錄二:作業記錄參數介紹

任務啟動運行後,您可通過作業記錄查看任務的運行詳情,日誌中的核心參數介紹如下。

參數

描述

SKYNET_ONDUTY

任務責任人。

SKYNET_PARAVALUE

調度參數列表。

SKYNET_TASKID

執行個體ID。

SKYNET_ID

節點ID。

SKYNET_NODENAME

節點名稱。

SKYNET_APPNAME

工作空間名稱。

SKYNET_REGION

工作空間所在地區。

SKYNET_CYCTIME

節點的定時已耗用時間。

常見問題

更多常見問題,詳情請參見問題匯總