DataWorks的商務程序開發結構滿足根據業務視角來組織資料開發工作單位的需求,也提供了周期商務程序和手動商務程序兩種,以滿足需要周期性調度和無需周期性調度手動觸發啟動並執行情境。本文為您介紹如何建立、設計、提交和查看商務程序,以及批量修改或刪除商務程序中的節點。
背景資訊
一個工作空間可以支援多種類型的計算引擎,也可以包含多個商務程序,一個商務程序是多種類型對象的集合,對象的類型包括Data Integration、MaxCompute、Hologres、EMR等引擎節點(例如MaxCompute的SQL節點、MaxCompute表節點)。
每種物件類型對應一個獨立的檔案夾,在每個物件類型檔案夾下,支援繼續建立子檔案夾。為了便於管理,建議子檔案夾的層數不要超過4層。 如果超過4層,可能說明您規劃的商務程序結構過於複雜,建議將該商務程序拆分成兩個或多個商務程序,並將相關的商務程序收納到一個解決方案中進行管理,提升工作效率。
周期商務程序與手動商務程序
DataWorks提供了周期商務程序和手動商務程序兩種,以滿足需要周期性調度和無需周期性調度手動觸發啟動並執行情境,這兩類商務程序均可以在資料開發(DataStudio)中開發對應的開發工作單位,然後提交到營運中心實現在生產環境運行,對比區分如下。
對比項 | 周期商務程序 | 手動商務程序 |
適用情境 | 這個商務程序下的所有資料開發工作單位後續都需要周期性自動運行。 | 這個商務程序下的所有資料開發工作單位後續都需要手動觸發運行,無需周期性自動運行。 |
運行方式 | 周期性自動運行 | 手動觸發 |
任務開發配置要點 | 需要配置周期性調度的參數:如周期性調度的定時時間、節點的調度依賴關係等。 | 由於任務是手動觸發運行,因此無需配置與周期性調度相關的參數,如父節點的依賴、本節點的輸出、定時時間等。 說明 除手動商務程序無需配置的這些配置要點,其他的配置參數與周期商務程序的配置完全一致,後續文檔的任務開發配置均以周期商務程序的情境為例,手動商務程序中的任務,同樣的配置參數配置方式一致。 |
建立入口 |
如果您在左側導覽列沒有找到對應的入口,可參考情境:資料開發定製化展示文檔設定DataStudio展示的模組。
建立周期商務程序
資料開發基於商務程序下對應的開發組件進行具體開發操作,所以您建立節點前需要先建立商務程序。建立商務程序前,您可以參考下文的設計商務程序章節,結合自身的業務情況,先規劃設計好符合自身業務訴求的商務程序。以下為建立周期商務程序的詳細步驟。
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
滑鼠移至上方至表徵圖,單擊建立商務程序。
在建立商務程序對話方塊中,輸入業務名稱和描述。
單擊建立。
建立完成後:
您可以在商務程序下的對應引擎下開始任務開發工作,可參考下文的開發商務邏輯瞭解通用的任務開發思路
任務開發完成後,您可以直接提交商務程序,將任務提交發布至生產環境,詳情請參見提交商務程序。
同時您也可以在各頁面對商務程序並進行管理操作,詳情請參見查看所有的商務程序、刪除商務程序中的節點、快速複製商務程序、快速匯入匯出多個商務程序至其他DataWorks工作空間或其他開源引擎。
設計商務程序
代碼開發都基於商務程序進行操作,您可以在具體的商務程序分類樹選擇具體引擎下的開發組件,建立節點進行開發(列表模式),同時,您也可以選擇雙擊具體的商務程序名,進入商務程序面板進行可視化拖拽式多引擎任務混合編排(基於DAG圖可視化拖拽方式)。進行商務程序設計時:
開發商務邏輯
DataWorks將引擎能力進行封裝,您可以基於引擎節點進行資料開發,無需接觸複雜的引擎命令列,同時您也可以結合平台提供的通用類型節點進行複雜邏輯處理。
提交商務程序
標準模式工作空間下,資料開發介面僅作為節點任務的開發與測試頁面,如果您需要將代碼發布到生產環境,您可以批量提交該商務程序下的節點,並進入任務發布介面批量發布該商務程序下的節點項。
商務程序設計並完成測試後,單擊工具列中的表徵圖。
在提交對話方塊中,選中需要提交的節點,輸入備忘資訊,並根據業務需求選擇是否忽略輸入輸出不一致的警示。如果您的輸入輸出內容和代碼血緣分析不匹配時,當不勾選忽略輸入輸出不一致的警示,會產生相應的警示提示,詳情請參見提交節點時提示:輸入輸出和代碼血緣分析不匹配。
單擊提交。
說明如果您的節點已經提交過,在不改變節點內容的情況下,無法再次選擇節點。此時輸入備忘後單擊提交即可,節點屬性等改動會被正常提交。
任務發布,詳情請參見標準模式工作空間任務發布流程。
查看商務程序運行歷史
您可進入資料開發(DataStudio)的運行歷史頁面,查看當前登入帳號近三天在資料開發介面運行過的所有任務記錄。
任務在資料開發(DataStudio)運行後,將下發至對應引擎的服務執行,即使在任務運行過程中,您不小心將任務關閉,該任務仍會繼續執行。您可進入運行歷史頁面,查看任務作業記錄或停止已經下發執行的任務。
查看所有的商務程序
在資料開發頁面,按右鍵商務程序,選擇全部商務程序看板,查看該工作空間下所有的商務程序。
單擊某個看板,即可進入相應的商務程序看板。
基於解決方案管理商務程序
您可以自訂群組合商務程序為一個解決方案,解決方案支援:
包含多個商務程序。
解決方案之間可以複用相同的商務程序。
自訂群組合而成的解決方案,可以讓您進行沈浸式開發。
通過解決方案管理商務程序時,您可以:
在DataStudio介面左側導覽列底部單擊表徵圖,預設進入
頁面,檔案管理模組選擇顯示解決方案。通過解決方案修改面板大量新增商務程序。
刪除商務程序中的節點
通過批量功能刪除
如果您需要批量修改任務調度屬性(例如,批量修改任務使用的資源群組),或批量提交評審等操作,您可以使用大量操作功能,大量操作支援使用節點類型、商務程序、調度資源群組等條件進行篩選,批量處理目標節點。
大量操作僅修改開發環境該任務屬性,若需要任務變更操作在生產環境生效,您需要在大量操作後,前往任務發布介面將這些修改操作發布至生產環境執行。
在資料開發頁面,單擊商務程序後的表徵圖,進入工作清單頁面。
修改或刪除目標節點。
您可以根據節點名稱/ID、節點類型、商務程序等條件,篩選相應類型的節點。
選中需要處理的部分或全部節點。
修改或刪除目標節點。
修改目標節點:當前僅支援批量修改目標節點的責任人及調度資源群組。單擊修改責任人或修改調度資源群組進行修改。
當修改對話方塊中,強制修改參數配置為是時,您可以修改所有選中的節點,當該參數配置為否時,您只能修改自己鎖定的節點,而不能修改他人鎖定的節點。
刪除目標節點:單擊
,刪除選中的節點。當刪除節點對話方塊中,強制移除參數配置為是時,您可以刪除所有選中的節點,當該參數配置為否時,您只能刪除自己鎖定的節點,而不能刪除他人鎖定的節點。
通過節點群組功能刪除
使用節點群組功能可以實現建立、引用、拆分及刪除節點群組,詳情請參見使用節點群組。
快速複製商務程序
您可以通過節點群組的功能快速將某一個商務程序組成一個節點群組,然後在新商務程序中引用該節點群組,詳情可參見使用節點群組。
快速匯入匯出多個商務程序至其他DataWorks工作空間或其他開源引擎
如果您需要快速、大量匯出DataWorks工作空間的多個商務程序,並將商務程序匯入至其他DataWorks工作空間,則可以使用DataWorks的遷移助手功能,詳情請參見概述。