全部產品
Search
文件中心

DataWorks:節點調度配置

更新時間:Dec 21, 2024

若任務需要周期性調度運行,您需定義該任務的調度相關屬性,包括調度周期、調度依賴、調度參數等。本文為您介紹調度配置的相關內容。

前提條件

  • 已建立節點。DataWorks基於節點進行任務開發,不同類型的引擎任務在DataWorks上被封裝為不同類型的節點,您可根據業務需要,選擇合適的節點使用。詳情請參見通用開發流程

  • 已開啟工作空間調度開關。僅當DataWorks工作空間開啟啟用調度周期開關後,工作空間中的任務才可以根據其配置自動調度運行。您需進入工作空間的調度設定頁面,開啟相應開關,詳情請參見調度設定

注意事項

  • 任務的調度配置僅用於定義任務調度運行時的相關屬性,任務需通過發布流程發布至生產環境後,才會根據該配置進行最終調度。

  • 調度時間僅定義任務預期執行時間,其實際執行時間還受上遊執行情況控制,關於任務執行條件說明,詳情請參見任務運行診斷

  • DataWorks支援多種類型任務互相依賴,操作前,建議您先查看必讀:複雜依賴情境調度配置原則與樣本文檔瞭解DataWorks在該情境下預設依賴的情況。

  • DataWorks上,調度任務會根據調度類型及周期數產生相應的執行個體(例如,小時調度任務每天會根據周期數產生相應數量的小時執行個體),並通過周期執行個體的方式自動調度運行該任務。

  • 在使用調度參數的情況下,DataWorks調度任務各周期代碼入參由該周期對應的定時時間以及您調度參數運算式最終決定。各周期代碼入參與調度參數配置與替換的關係,調度參數支援的格式

進入調度配置頁面

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 進入調度配置頁面。

    1. 在資料開發(DataStudio)介面,您需找到目標節點,進入該節點的編輯頁面。

    2. 單擊節點編輯頁面右側導覽列的調度配置,進入節點調度配置頁面。

配置節點調度屬性

在節點的調度配置頁面,您需根據下表配置節點的調度屬性。

配置項

說明

基礎屬性

包括節點的名稱、ID、類型、責任人等。

  • 節點ID:該節點的唯一標識,將在節點提交後產生。

  • 責任人:預設為節點的建立人。您也可選擇當前工作空間中的成員作為責任人。

(可選)參數

用於定義節點調度時使用的參數。DataWorks提供內建參數及自訂參數,可供任務在調度時實現參數動態賦值。

說明

若您在編輯節點代碼時,在代碼中定義了變數,需在此處對該變數進行賦值。

時間屬性

DataWorks上任務調度將通過產生對應執行個體來執行,此處用於定義任務在生產環境的周期調度方式。

  • 執行個體產生方式:定義該任務在生產環境產生執行個體的時間。

  • 調度類型:定義該任務在生產環境的運行狀態。

  • 調度日曆:用於定義任務調度日期及調度方式。DataWorks為您提供了通用情境的預設日曆,同時,為滿足更靈活的調度時間配置需求,也支援您自訂調度日曆。自訂調度日曆,詳情請參見配置調度日曆

  • 調度周期:定義該任務的調度頻率,即多久執行一次任務。

  • 定時調度時間:定義該任務預期的已耗用時間。

  • 逾時定義:定義該任務執行超過多長時間會自動結束。

  • 重跑屬性:定義該任務自動調度時是否可重跑。

  • 出錯自動重跑:定義該任務自動調度失敗且可重跑時,自動重跑的頻率。

  • 生效日期:定義該任務在什麼時間段內調度。超過生效日期的任務將不再產生執行個體。

資源屬性

用於定義該任務發布至生產環境調度運行時使用的調度資源群組。

調度依賴

用於定義該任務的上下遊依賴關係。通過依賴關係有序調度運行上下遊節點,即當上遊節點運行成功後,下遊節點才會啟動運行,保障適時的產出有效業務資料。您可使用自動解析快速設定節點依賴,也可手動設定節點的依賴關係。

  • 當節點為商務程序的根節點,或該節點無其他節點依賴時,若您希望快速發布調度任務,可選擇設定該節點依賴工作空間根節點。

  • 當商務程序包含多個輸入或多個輸出,或工作空間業務較複雜時,可選擇使用虛擬節點統籌管理商務程序。例如,通過虛擬節點來控制該商務程序的調度時間。

說明
  • 當您的節點屬於同一個商務程序時,也可通過商務程序面板,使用手動拉線方式設定各個節點的依賴關係。

  • 工作空間建立成功後,平台將自動產生一個工作空間根節點(即Root虛擬節點)。通常,您可將該節點作為整體調度商務程序啟動並執行起始節點。

    • 該節點的命名格式為工作空間名稱_root

    • 該節點會在工作空間建立成功後的第二天00:00點定時運行。

    • 該節點運行時會空跑(即平台直接返回運行成功,不會真實執行任務),不佔用調度資源,不收取任何費用。

    虛擬節點介紹,請參見虛擬節點;節點空跑說明,請參見空跑

(可選)節點上下文

用於定義上下遊任務間的參數傳遞,定義後,可在下遊節點中使用該參數擷取上遊節點傳遞過來的值。

後續:提交並測試回合節點

任務調度屬性配置完成後,您可提交節點並根據需要測試回合節點的調度配置是否符合預期,詳情請參見任務調試流程。調試無誤後,可將節點發布至生產環境進行周期性調度。後續可在生產環境進行任務的相關營運操作,詳情請參見周期任務基本營運操作