全部產品
Search
文件中心

DataWorks:虛擬節點

更新時間:Jun 19, 2024

虛擬節點屬於控制類節點,它是不產生任何資料的空跑節點(即調度到該節點時,系統直接返回成功,不會真正執行、不會佔用資源或阻塞下遊節點運行),通常作為商務程序的統籌起始節點,或商務程序中多個分支節點的匯總輸出節點使用。本文為您介紹虛擬節點的應用情境及建立使用。

應用情境

虛擬節點通常用於如下情境:

  • 複雜依賴情境下的業務管理

    當您的實際業務包含多個商務程序時,為了商務程序與商務程序之間便於管理,建議每個商務程序都使用虛擬節點設定一個空跑的統籌起始節點,使資料流轉路徑更加清晰。業務管理

  • 調度無血緣關係的節點

    當商務程序中的最終輸出節點有多個分支輸入節點,且輸入節點沒有依賴關係時,您需要將虛擬節點作為多個輸入節點的上遊,將工作空間根節點作為虛擬節點的上遊,實現工作空間根節點調度該虛擬節點,虛擬節點調度下遊業務節點。當整個商務程序需要統一調度時間時,您也可以使用該方式指定虛擬節點的定時時間,來控制各分支節點的最早調度已耗用時間。

    說明

    工作空間根節點作為上遊依賴時,不會呈現在商務程序面板中。您可以在任務提交發布後,進入營運中心查看。營運中心詳情請參見周期任務基本營運操作

    樣本如下。調度無血緣依賴節點oss_資料同步_dqcrds_資料同步_dqc節點不存在血緣關係,不能根據血緣關係來設定節點的調度依賴。此時,您可使用虛擬節點(workshop_start_dqc)作為統籌起始節點,統一調度下遊無血緣關係的分支節點,當下遊分支節點滿足運行條件時便會啟動運行。

    說明

    通過離線同步將其他資料來源中的資料同步至DataWorks,對於DataWorks上接收同步資料的表來說,在DataWorks側不存在上遊血緣關係。

  • 管理多分支結果的商務程序,實現跨商務程序的調度依賴

    包含多個分支結果的商務程序如果要實現跨商務程序依賴,您需要使用虛擬節點對多個分支節點進行匯總,再手動將該匯總節點的輸出作為下遊商務程序統籌起始節點的輸入,以此方式實現跨商務程序依賴。詳情請參見跨商務程序配置調度依賴

    說明

    一個商務程序存在多個分支結果時,您需要建立一個虛擬節點(例如,商務程序_end_虛擬節點),商務程序_end_虛擬節點依賴上遊多個分支結果,當商務程序_end_虛擬節點執行成功,則表示該商務程序執行完成。

建立並使用虛擬節點

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 建立商務程序

    如果您已有商務程序,則可以忽略該步驟。

    1. 滑鼠移至上方至建立表徵圖,選擇建立商務程序

    2. 建立商務程序對話方塊,輸入業務名稱

    3. 單擊建立

  3. 建立虛擬節點。

    1. 滑鼠移至上方至image.png表徵圖,選擇建立節點 > 通用 > 虛擬節點

      您也可以找到相應的商務程序,按右鍵商務程序,選擇建立節點 > 通用 > 虛擬節點

    2. 建立節點對話方塊中,輸入名稱,並選擇節點類型路徑

      說明

      節點名稱必須是大小寫字母、中文、數字、底線(_)和小數點(.),且不能超過128個字元。

    3. 單擊確認,進入虛擬節點編輯頁面。

  4. 任務調度配置。

    如果您需要周期性執行建立的節點任務,可以單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊:

  5. 提交並發布節點任務。

    1. 單擊工具列中的儲存表徵圖,儲存節點。

    2. 單擊工具列中的提交表徵圖,提交節點任務。

    3. 提交新版本對話方塊中,輸入變更描述

    4. 單擊確定

    如果您使用的是標準模式的工作空間,任務提交成功後,需要將任務發布至生產環境進行發布。請單擊頂部功能表列左側的任務發布。具體操作請參見發布任務

  6. 查看周期調度任務。

    1. 單擊編輯介面右上方的營運,進入生產環境營運中心。

    2. 查看啟動並執行周期調度任務,詳情請參見查看並管理周期任務

    如果您需要查看更多周期調度任務詳情,可單擊頂部功能表列的營運中心,詳情請參見營運中心概述