參數節點是一種特殊的虛擬節點,用於管理商務程序中的參數和實現參數在任務節點中傳遞,支援常量參數、變數參數和透傳上遊節點的參數,需要引用參數的節點直接依賴參數節點即可。本文為您介紹如何建立參數節點,引導您高效使用DataWorks進行資料開發。
背景資訊
參數節點本質上是一種虛擬節點,不會運行資料計算任務產生資料,主要用於跨節點傳參、參數管理的情境。
跨節點傳參
當資料開發的商務程序中,某個下遊節點的任務需要擷取多個、多級上遊節點的輸出參數時,您可以使用參數節點,將下遊節點需要擷取的所有參數統一添加至參數節點中,後續下遊節點可直接掛在參數節點之下,即可擷取到所有所需參數。
以上圖為例,sql_7節點需要擷取sql_1、sql_3、sql_4節點的輸出參數,此時您可以新增一個參數節點,作為sql_1、sql_3、sql_4的下遊節點,並將所有sql_7所需參數添加至參數節點中,將sql_7掛載在此參數節點下遊,則sql_7可直接通過參數節點擷取到所有所需參數。
參數管理
當資料開發的商務程序中,下遊節點的任務需要使用某些常量參數、變數參數時,您可以使用參數節點,將下遊節點需要使用的參數均添加至參數節點中,需使用參數的下遊節點直接掛在參數節點之下,即可擷取使用所需參數,便於整個商務程序中對所有使用的參數進行統一管理。
以上圖為例,sql_3、sql_4、sql_5、sql_7節點均需使用參數,此時您可以新增一個參數節點,將各個下遊節點使用的參數都添加至參數節點中,將需要使用參數的節點掛在此參數節點下遊。
注意事項
某個任務節點引用參數節點中的參數時,需在商務程序中處於參數節點的直接下遊,將參數節點作為本節點的上遊依賴。
使用限制
支援的地區:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)。
建立參數節點
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
在資料開發頁面,滑鼠移至上方至表徵圖,單擊 。
您也可以開啟相應的商務程序,按右鍵通用,選擇
。在建立節點對話方塊中,輸入名稱,並選擇路徑。
單擊確認。
配置調度
參數節點建立完成後,您可根據參數節點的應用情境完成參數節點的調度配置。
調度配置包括節點的基礎屬性、時間屬性、資源屬性和調度依賴。由於參數節點不運行資料開發工作單位,僅用於參數管理和透傳參數,因此參數節點的調度配置需重點關注調度依賴的配置:
任務節點使用參數節點中的參數時,需作為參數節點的下遊依賴。
產生透傳參數的上遊節點需作為參數節點的上遊依賴。
添加參數
完成參數節點的調度配置後,您可將需要管理、需要透傳的參數添加至參數節點中,便於後續管理使用。操作步驟如下。
在參數節點的編輯頁面單擊新增參數。
完成參數名、類型、取值、描述的配置後,單擊儲存。
參數類型包括常量、變數和透傳變數。
常量:參數取值為一個固定值。
變數:參數取值為變數,如果您需要使用系統時間等這類變數參數時,添加參數的參數類型需選擇為變數。變數參數的詳細介紹可參見調度參數支援的格式。
透傳變數:透傳變數主要用於將上遊節點的產出參數透傳至下遊節點,參數取值可選擇參數節點調度依賴中上遊依賴節點的所有輸出參數。
後續步驟:下遊節點使用參數
完成參數節點的配置後,您可以在下遊節點中直接使用參數節點中的參數,統一管理參數,提高下遊節點任務開發效率。
參數節點的下遊節點使用參數時,需要在節點上下文配置裡引用上遊節點參數,然後才能在任務代碼中引用參數。
設定下遊節點的上下文配置。
在下遊節點的
的本節點輸入中,單擊添加,將需要使用的參數添加進來。其中:參數名:需要使用的參數的名稱,您可以在參數節點中查看參數名。
取值來源:選擇取用哪個參數節點中的哪個參數。
當內容較長看不全時,您可以將滑鼠懸浮在可選的取值來源上,查看完整的參數來源資訊。可選的參數取值來源為本節點上遊節點中的所有參數,格式為節點輸出名稱:參數名稱,您可以根據尾碼參數名稱快速找到參數對應的取值來源。
在下遊節點的代碼編輯時,直接使用參數。