本文為您介紹如何建立商務程序,在商務程序中建立節點並配置依賴關係。完成建立後,您可以利用資料開發功能,對工作空間的資料進行深入分析和計算。
前提條件
開始本操作前,請確保您已經在工作空間中準備好業務資料表bank_data和其中的資料,以及結果表result_table。詳情請參見建表並上傳資料。
背景資訊
DataWorks的資料開發功能支援在商務程序中,通過可視化拖拽來完成節點間的依賴設定。您可以通過操作商務程序的方式,實現對資料的處理和相互依賴。一個工作空間下支援建立多個商務程序,詳情請參見建立商務程序。
建立商務程序
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
在資料開發頁面,滑鼠移至上方至表徵圖,單擊建立商務程序。
在建立商務程序對話方塊中,輸入業務名稱和描述。
單擊建立。
建立節點並配置依賴關係
在商務程序中建立一個虛擬節點(start)和ODPS SQL節點(insert_data),並配置依賴關係為insert_data依賴於start。
虛擬節點屬於控制類型節點,在商務程序運行過程中,不會對資料產生任何影響,僅用於實現對下遊節點的營運控制。
虛擬節點在被其他節點依賴的情況下,如果被營運人員手動設定為運行失敗,則下遊未啟動並執行節點將因此無法被觸發運行。在營運過程中,可以防止上遊的錯誤資料進一步擴散。
商務程序中,虛擬節點的上遊節點通常會被設定為工作空間根節點。工作空間根節點的格式為
工作空間名稱_root
。DataWorks會為節點自動添加一個節點名的輸出,結構為工作空間名稱.節點名稱。如果一個工作空間下有兩個同名的節點,請修改其中一個節點的節點輸出。
建議您在設計商務程序時,預設建立一個虛擬節點作為商務程序的根節點,來控制整個商務程序。設計商務程序的操作如下:
雙擊商務程序名稱進入開發面板,單擊通用>虛擬節點。
您也可以用滑鼠拖拽虛擬節點至右側的開發面板。
在建立節點對話方塊中,選擇相應的路徑,輸入節點名稱為start,單擊確認。
以同樣的操作建立ODPS SQL節點,命名為insert_data。
通過拖拽連線,設定start節點為insert_data節點的上遊節點。
配置虛擬節點的上遊依賴
在商務程序中,虛擬節點通常作為整個商務程序的控制器,是商務程序中所有節點的上遊節點。
通常使用工作空間根節點作為虛擬節點依賴的上遊節點:
雙擊虛擬節點名稱,進入節點的編輯頁面。
單擊節點編輯頁面右側的調度配置。
在調度依賴地區,單擊使用工作空間根節點,設定虛擬節點的上遊節點為工作空間根節點。
儲存並提交節點。
重要您需要設定節點的重跑屬性和依賴的上遊節點,才可以提交節點。
單擊工具列中的表徵圖,儲存節點。
單擊工具列中的表徵圖。
在提交對話方塊中,輸入變更描述。
單擊確認。
編輯和運行ODPS SQL節點
本節將在ODPS_SQL節點insert_data中,通過SQL代碼,查詢不同學曆的單身人士貸款買房的數量並儲存結果,以便後續節點繼續分析或展現。
開啟ODPS SQL節點的編輯頁面,輸入下述代碼。
具體文法說明請參見SQL概述。
INSERT OVERWRITE TABLE result_table --插入資料至result_table中。 SELECT education , COUNT(marital) AS num FROM bank_data WHERE housing = 'yes' AND marital = 'single' GROUP BY education;
按右鍵代碼中的bank_data,選中刪除輸入。
建表並上傳資料中建立的bank_data表為非周期性調度產出的表,您可以在select非周期性調度產出表的節點代碼編輯頁,右鍵相應的表名,進行刪除輸入的操作。您也可以在代碼的最上方添加一條規則的注釋,操作完成後自動解析將不會解析該依賴。
說明由於DataWorks的調度依賴主要保障的是調度節點定時更新的表資料,通過節點調度依賴保障下遊取數沒有問題,所以不是DataWorks平台上調度更新的表,平台無法監控。當存在非周期性調度生產資料的表,有節點select這類表資料時,您需要手動刪除通過select自動產生的依賴的上遊節點配置。
單擊工具列中的表徵圖,防止代碼丟失。
單擊表徵圖。
運行結束後,即可在頁面下方查看作業記錄和結果。
提交商務程序
運行並調試ODPS_SQL節點insert_data後,返回商務程序頁面。
單擊表徵圖。
在提交對話方塊中,選擇需要提交的節點,輸入變更描述,選擇是否強制修改,並選中忽略輸入輸出不一致的警示。
單擊提交。
商務程序提交後,即可在商務程序下的節點列表查看節點提交狀態。如果節點名稱左側存在表徵圖,表示該節點未提交;如果不存在表徵圖,表示該節點已提交。
後續步驟
現在,您已經學習了如何建立和提交商務程序,您可以繼續下一個教程。在該教程中,您將學習如何通過建立同步任務,將資料迴流至不同類型的資料來源中。詳情請參見建立同步任務。