全部產品
Search
文件中心

DataWorks:執行測試並查看測試執行個體

更新時間:Jun 19, 2024

測試執行個體是對周期任務進行測試時產生的執行個體,您可以在測試執行個體介面,通過列表及DAG圖的方式快速查看執行個體的詳細資料。

背景資訊

您可以通過對周期任務執行測試操作,以驗證當前周期任務在生產環境的調度運行是否符合預期。測試操作將產生測試執行個體,您可以在測試執行個體介面查看執行個體運行情況。

說明

測試執行個體的運行會真實執行代碼邏輯,請謹慎操作。

使用限制

  • 功能使用限制:

    • 僅DataWorks專業版及以上版本使用者才可以使用運行診斷功能,目前支援您免費體驗,但建議升級至專業版以擷取更多產品能力。詳情請參見智能診斷

    • 僅DataWorks專業版及以上版本使用者才可以使用DAG圖的節點彙總、上遊分析、下遊分析功能。詳情請參見DataWorks版本服務計費說明

    • 部分功能僅支援有營運許可權的使用者進行操作,如果功能入口置灰或者沒有功能入口,請進入管理中心,單擊左側導覽列的工作空間 > 空間成員,在成員管理頁面檢查目標使用者是否有營運許可權。詳情請參見:空間級模組許可權管控

  • 日誌與執行個體使用限制:

    • 不支援手動刪除測試執行個體,執行個體在到期後(30天左右)平台將自動刪除。如果任務不需要再運行,可以選擇凍結執行個體。

    • 公用調度資源群組執行個體保留一個月(30天)、日誌保留一周(7天)。

    • 獨享調度資源群組任務執行個體、日誌保留一個月(30天)。

    • 完成狀態的執行個體日誌大於3M時,每天會定時進行清理。

執行測試操作並產生測試執行個體

  1. 進入營運中心。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

  2. 對周期任務執行測試操作。

    營運中心頁面,單擊左側導覽列周期任務營運 > 周期任務。進入周期任務頁面。您可以通過以下兩種方式對周期任務執行測試操作。

    • 方法一:在周期工作清單模式下,單擊相應任務操作列的測試。如果當前頁面非列表模式,您可單擊頁面中間的箭頭表徵圖返回列表模式。

    • 方法二:在DAG模式下,按右鍵相應執行個體的DAG圖,單擊菜單中的測試。如果當前頁面非DAG圖模式,您可單擊相應執行個體操作列的DAG圖,開啟該任務的DAG圖。

  3. 配置煙霧測試 (Smoke Test)相關參數。煙霧測試 (Smoke Test)

    參數

    說明

    煙霧測試 (Smoke Test)名稱

    您可以輸入煙霧測試 (Smoke Test)的名稱。

    選擇業務日期

    選擇需要進行測試的業務日期。

    說明
    • 業務日期選擇昨天之前,則立即執行任務。

    • 如果業務日期選擇昨天,則需等到任務定時時間才會執行任務。

查看測試執行個體列表

測試執行個體列表為您展示周期任務執行測試操作後產生的測試執行個體,您可以查看測試執行個體的執行情況,並對執行個體執行相關操作。

列表

操作

描述

篩選

在上圖的模組1地區,您可以通過篩選條件過濾出需要查詢的執行個體。

您可以根據節點名稱節點ID節點類型運行日期業務日期、調度資源群組我的節點我今天測試的節點暫停(凍結)等條件進行精確篩選。

說明

預設篩選的業務日期是目前時間的前一天。

工作清單

在上圖的模組2地區,以列表方式展示滿足過濾條件的測試執行個體。

操作

在上圖的模組3地區,您可以對測試執行個體進行相關操作:

  • DAG圖:DAG圖為您展示測試執行個體的上下遊依賴關係,您可以在DAG圖中進行相關操作。詳情請參見:附錄:DAG圖功能介紹

  • 去診斷(運行診斷):用於對任務進行全鏈路分析,當任務運行不符合預期時,您可以使用該功能定位問題。詳情請參見智能診斷

  • 重跑:用於對運行成功或運行失敗的任務進行重跑操作,當任務執行成功後可以觸發下遊未運行狀態任務的調度。常用於處理出錯節點和漏跑節點。

    說明

    僅支援重跑成功失敗狀態的任務。

  • 更多

    • 重跑下遊:用於對運行成功或運行失敗的任務進行重跑下遊節點的操作,您可以自行選擇需要重跑的下遊任務,任務執行成功後可以觸發下遊未運行狀態任務的調度。常用於處理資料修複。

      說明

      僅支援重跑成功失敗狀態的任務,如果勾選了其它狀態的任務,頁面會提示已選節點中包含不符合運行條件的節點,並禁止提交運行。

    • 置成功:用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。

    • 終止運行:用於終止不需要啟動並執行任務,任務終止運行後,將失敗退出。

      說明

      僅支援對狀態為等待時間等待資源運行中的執行個體進行終止運行操作。

    • 暫停(凍結):當任務及其下遊任務一段時間內不需要運行時,可選擇使用此功能。詳情請參見:管理周期任務

      說明

      請勿操作projectname_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

    • 恢複(解凍):用於將凍結狀態的執行個體解凍。

      • 如果該執行個體還未運行,則上遊任務運行完畢後,會自動運行。

      • 如果上遊任務都運行完畢,則該任務會直接被置為失敗,需要手動重跑後,執行個體才會正常運行。

      說明

      解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。

    • 查看血緣:查看當前執行個體的血緣資訊。

    • 查看節點詳情:查看當前執行個體的基本資料。

    • 查看作業記錄任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄:作業記錄參數介紹

大量操作

在上圖的模組4地區,您可以批量選擇任務,進行終止運行重跑置成功暫停(凍結)恢複(解凍)等操作。

每頁條數展示

在上圖的模組5地區,您可以修改每頁展示的條數,最大支援每頁展示200條。

測試執行個體DAG圖

在列表模式下單擊測試執行個體名稱或操作欄中的DAG圖,即可開啟該執行個體的DAG圖。您可以在DAG圖中,按右鍵執行個體進行相關操作。DAG圖

功能

描述

DAG面板功能

單擊相應任務後的DAG圖,開啟該任務的DAG圖。您可以在DAG圖中進行如下操作:

  • 搜尋:在上圖的模組1地區,您可以根據節點名稱節點ID執行個體ID執行個體名稱等過濾出需要查詢的執行個體。

  • 選擇DAG圖的顯示樣式:在上圖模組2地區,您可以根據實際需要,單擊DAG圖所在介面右上方的功能表徵圖,調整DAG圖的顯示樣式。從左至右依次為:重新整理節點狀態放大DAG畫布縮小DAG畫布當前畫布中各節點與畫布按照1:1比例布局根據當前視窗大小自動適配布局

單個執行個體操作

您可以按右鍵目標節點,執行相關操作。

  • 查看代碼:用於確認生產環境當前節點的代碼。若不符合預期,請確認節點最新版本是否已經發布成功。

  • 編輯節點:單擊後即可跳轉至資料開發頁面開啟當前節點。

說明

其他動作請參考查看測試執行個體列表

單個執行個體詳情

在上圖的模組4地區。您可以進行如下操作:

  • 查看日誌任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄:作業記錄參數介紹

  • 展開詳情:用於查看當前任務屬性、上下文、作業記錄、動作記錄、代碼等資訊。詳情請參見:查看執行個體詳情

查看執行個體詳情

在DAG圖模式下,單擊對應執行個體,在右下角彈出的彈出中單擊展開詳情,將為您彈出執行個體詳情頁面,您可以查看當前執行個體的屬性、上下文、作業記錄、動作記錄、代碼等詳細資料。

查看執行個體詳情

功能

描述

屬性

您可以在此頁簽查看任務在生產環境的調度屬性。介面參數介紹詳情請參見:配置資源屬性

  • 任務狀態解讀:任務狀態與任務運行有關,若任務處於未運行、等待時間、等待資源、凍結等狀態時,您可以參考任務運行條件進行排查。

  • 等待資源耗時:當任務出現長時間等待資源的情況,您可以使用智能診斷功能定位當前任務運行時,哪些任務在佔用資源,快速找到異常任務進行排查。

  • 運行時間長度過長:當任務已耗用時間與歷史運行情況相比明顯變長,您可參考以下情境進行處理。

  • 規則監控:您可以查看當前執行個體關聯的監控規則情況,支援您單擊右側的建立快速建立任務運行狀態監控規則,詳情請參見規則管理

    說明

    此處僅支援查看監控任務運行狀態的規則關聯詳情,不支援查看資料品質監控規則。

  • 基準監控:您可以查看當前執行個體關聯的基準情況,支援您單擊右側的建立快速建立基準,詳情請參見基準管理

上下文

為您展示當前任務的所有輸入參數和輸出參數,內容相關的功能介紹詳情請參見:配置節點上下文

作業記錄

任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄:作業記錄參數介紹

動作記錄

用於查看任務或執行個體的操作記錄(時間、操作人、具體操作)。

代碼

用於查看生產環境當前任務的最新代碼。若不符合預期,請確認任務最新版本是否已經發布成功。詳情請參見:發布任務

任務運行問題定位

如果任務運行不符合預期,您可以通過運行診斷功能,診斷任務未啟動並執行原因或存在的問題。