全部產品
Search
文件中心

DataWorks:建立商務程序

更新時間:Jun 19, 2024

DataWorks的商務程序開發結構滿足根據業務視角來組織資料開發工作單位的需求,也提供了周期商務程序手動商務程序兩種,以滿足需要周期性調度和無需周期性調度手動觸發啟動並執行情境。本文為您介紹如何建立、設計、提交和查看商務程序,以及批量修改或刪除商務程序中的節點。

背景資訊

一個工作空間可以支援多種類型的計算引擎,也可以包含多個商務程序,一個商務程序是多種類型對象的集合,對象的類型包括Data Integration、MaxCompute、Hologres、EMR等引擎節點(例如MaxCompute的SQL節點、MaxCompute表節點)。

每種物件類型對應一個獨立的檔案夾,在每個物件類型檔案夾下,支援繼續建立子檔案夾。為了便於管理,建議子檔案夾的層數不要超過4層。 如果超過4層,可能說明您規劃的商務程序結構過於複雜,建議將該商務程序拆分成兩個或多個商務程序,並將相關的商務程序收納到一個解決方案中進行管理,提升工作效率。

周期商務程序與手動商務程序

DataWorks提供了周期商務程序手動商務程序兩種,以滿足需要周期性調度和無需周期性調度手動觸發啟動並執行情境,這兩類商務程序均可以在資料開發(DataStudio)中開發對應的開發工作單位,然後提交到營運中心實現在生產環境運行,對比區分如下。

對比項

周期商務程序

手動商務程序

適用情境

這個商務程序下的所有資料開發工作單位後續都需要周期性自動運行。

這個商務程序下的所有資料開發工作單位後續都需要手動觸發運行,無需周期性自動運行。

運行方式

周期性自動運行

手動觸發

任務開發配置要點

需要配置周期性調度的參數:如周期性調度的定時時間、節點的調度依賴關係等。

由於任務是手動觸發運行,因此無需配置與周期性調度相關的參數,如父節點的依賴、本節點的輸出、定時時間等。

說明

除手動商務程序無需配置的這些配置要點,其他的配置參數與周期商務程序的配置完全一致,後續文檔的任務開發配置均以周期商務程序的情境為例,手動商務程序中的任務,同樣的配置參數配置方式一致。

建立入口

商務程序

手動商務程序

說明

如果您在左側導覽列沒有找到對應的入口,可參考情境:資料開發定製化展示文檔設定DataStudio展示的模組。

建立周期商務程序

資料開發基於商務程序下對應的開發組件進行具體開發操作,所以您建立節點前需要先建立商務程序。建立商務程序前,您可以參考下文的設計商務程序章節,結合自身的業務情況,先規劃設計好符合自身業務訴求的商務程序。以下為建立周期商務程序的詳細步驟。

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 滑鼠移至上方至建立表徵圖,單擊建立商務程序

    商務程序

  3. 建立商務程序對話方塊中,輸入業務名稱描述

  4. 單擊建立

建立完成後:

設計商務程序

代碼開發都基於商務程序進行操作,您可以在具體的商務程序分類樹選擇具體引擎下的開發組件,建立節點進行開發(列表模式),同時,您也可以選擇雙擊具體的商務程序名,進入商務程序面板進行可視化拖拽式多引擎任務混合編排(基於DAG圖可視化拖拽方式)。開發組織圖進行商務程序設計時:

  • 當商務程序中節點個數較多時可能會影響實際運行,建議單個商務程序下節點總數不要超過100個。

    說明

    商務程序中最多建立1000個節點。

  • DAG圖模式下,您可以通過拖拽依賴線的方式設定節點調度依賴。當然,您也可以進入節點的調度配置介面,來手動編輯節點依賴關係。詳情請參見調度依賴配置指引

  • 列表模式下建立的節點,其商務程序可根據代碼血緣關係來設定節點調度依賴,詳情請參見調度依賴配置指引

開發商務邏輯

DataWorks將引擎能力進行封裝,您可以基於引擎節點進行資料開發,無需接觸複雜的引擎命令列,同時您也可以結合平台提供的通用類型節點進行複雜邏輯處理。

在商務程序內,您可以基於同步和引擎計算節點等進行具體的商務程序開發。

  • 您可以在Data Integration下,通過離線同步和即時同步群組件節點,來將某個資料庫的資料同步到另一個資料庫。

  • 您可以基於商務程序對應引擎分組下的資料開發節點來進行具體的資料清洗工作,例如MaxCompute引擎下的ODPS SQL節點,如果代碼開發過程中需要用到資源或函數,DataWorks也支援您通過可視化的方式來建立資源節點、建立函數節點。

說明
  • 目前DataWorks對引擎能力的封裝、產品層面對開發能力的支援情況請參見資料開發概述

  • 節點的調度依賴,調度屬性相關配置請參見調度配置

提交商務程序

標準模式工作空間下,資料開發介面僅作為節點任務的開發與測試頁面,如果您需要將代碼發布到生產環境,您可以批量提交該商務程序下的節點,並進入任務發布介面批量發布該商務程序下的節點項。

  1. 商務程序設計並完成測試後,單擊工具列中的提交表徵圖。

  2. 提交對話方塊中,選中需要提交的節點,輸入備忘資訊,並根據業務需求選擇是否忽略輸入輸出不一致的警示。如果您的輸入輸出內容和代碼血緣分析不匹配時,當不勾選忽略輸入輸出不一致的警示,會產生相應的警示提示,詳情請參見提交節點時提示:輸入輸出和代碼血緣分析不匹配

  3. 單擊提交

    說明

    如果您的節點已經提交過,在不改變節點內容的情況下,無法再次選擇節點。此時輸入備忘後單擊提交即可,節點屬性等改動會被正常提交。

  4. 任務發布,詳情請參見標準模式工作空間任務發布流程

查看商務程序運行歷史

您可進入資料開發(DataStudio)的運行歷史頁面,查看當前登入帳號近三天在資料開發介面運行過的所有任務記錄。

任務在資料開發(DataStudio)運行後,將下發至對應引擎的服務執行,即使在任務運行過程中,您不小心將任務關閉,該任務仍會繼續執行。您可進入運行歷史頁面,查看任務作業記錄或停止已經下發執行的任務。

查看所有的商務程序

資料開發頁面,按右鍵商務程序,選擇全部商務程序看板,查看該工作空間下所有的商務程序。全部商務程序

單擊某個看板,即可進入相應的商務程序看板。查看商務程序

基於解決方案管理商務程序

您可以自訂群組合商務程序為一個解決方案,解決方案支援:

  • 包含多個商務程序。

  • 解決方案之間可以複用相同的商務程序。

  • 自訂群組合而成的解決方案,可以讓您進行沈浸式開發。

通過解決方案管理商務程序時,您可以:

  • 在DataStudio介面左側導覽列底部單擊設定表徵圖,預設進入設定 > 個人設定頁面,檔案管理模組選擇顯示解決方案添加解決方案

  • 通過解決方案修改面板大量新增商務程序。修改解決方案

刪除商務程序中的節點

通過批量功能刪除

如果您需要批量修改任務調度屬性(例如,批量修改任務使用的資源群組),或批量提交評審等操作,您可以使用大量操作功能,大量操作支援使用節點類型、商務程序、調度資源群組等條件進行篩選,批量處理目標節點。

說明

大量操作僅修改開發環境該任務屬性,若需要任務變更操作在生產環境生效,您需要在大量操作後,前往任務發布介面將這些修改操作發布至生產環境執行。

  1. 資料開發頁面,單擊商務程序後的工作清單表徵圖,進入工作清單頁面。進入工作清單

  2. 修改或刪除目標節點。修改或刪除目標任務

    1. 您可以根據節點名稱/ID節點類型商務程序等條件,篩選相應類型的節點。

    2. 選中需要處理的部分或全部節點。

    3. 修改或刪除目標節點。

      • 修改目標節點:當前僅支援批量修改目標節點的責任人及調度資源群組。單擊修改責任人修改調度資源群組進行修改。

        當修改對話方塊中,強制修改參數配置為時,您可以修改所有選中的節點,當該參數配置為時,您只能修改自己鎖定的節點,而不能修改他人鎖定的節點。

      • 刪除目標節點:單擊更多 > 刪除,刪除選中的節點。

        刪除節點對話方塊中,強制移除參數配置為時,您可以刪除所有選中的節點,當該參數配置為時,您只能刪除自己鎖定的節點,而不能刪除他人鎖定的節點。

通過節點群組功能刪除

使用節點群組功能可以實現建立、引用、拆分及刪除節點群組,詳情請參見使用節點群組

快速複製商務程序

您可以通過節點群組的功能快速將某一個商務程序組成一個節點群組,然後在新商務程序中引用該節點群組,詳情可參見使用節點群組

快速匯入匯出多個商務程序至其他DataWorks工作空間或其他開源引擎

如果您需要快速、大量匯出DataWorks工作空間的多個商務程序,並將商務程序匯入至其他DataWorks工作空間,則可以使用DataWorks的遷移助手功能,詳情請參見概述