您可以在DataWorks的資料開發(DataStudio)模組建立手動任務,並在生產環境的營運中心管理手動任務。本文為您介紹如何建立手動任務,並將手動任務發布到生產環境。
使用說明
進入手動商務程序功能介面
您需要前往
頁面,通過手動商務程序建立手動觸發執行的任務。進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
在資料開發頁面左側導覽列選擇手動商務程序。若您介面沒有該菜單,請參見改變布局:定製化展示模組手動添加。
建立手動商務程序
DataWorks以商務程序為中心組織資料開發,通過各類型開發節點的容器看板,將相關工具、最佳化及管理操作圍繞看板對象進行組織,使開發管理更加方便智能。您可根據業務需求,將同類型業務統一放置在一個商務程序。具體步驟如下:
建立商務程序。您可以使用如下兩種方式建立:
方式一:滑鼠移至上方至表徵圖,單擊建立商務程序。
方式二:按右鍵資料開發左側分類樹的商務程序,選擇建立商務程序。
配置商務程序的名稱及描述,單擊建立。
更多關於商務程序的使用,請參見建立並管理商務程序。
建立手動業務
商務程序提供分類樹列表與可視化兩種方式建立任務。
建立手動任務。
方式一:基於分類樹建立。
在分類樹的商務程序中找到上述步驟一建立的商務程序。
按右鍵所需引擎,在建立節點下選擇合適節點。
方式二:基於商務程序面板建立。
在分類樹的商務程序中找到上述步驟一建立的商務程序。
雙擊該商務程序,進入商務程序面板。
在面板左側導覽列單擊所需節點,或將所需節點類型拖拽至面板。
配置節點引擎執行個體、名稱等資訊。
定義任務代碼。
您需要根據您選擇的引擎類型,結合引擎文法,編輯該任務執行邏輯。若需要代碼動態入參,您可通過${變數名}的方式定義代碼中的變數,並可在後續設定任務屬性階段,為該變數賦值預設參數。此操作與調度任務定義代碼變數的方式一致。
說明部分節點的調度參數配置存在差異(例如,通用Shell節點中的變數只能以$1、$2、$3...命名),詳情請參見各類型節點的調度參數配置樣本。
(可選)設定手動任務執行順序
手動商務程序中的任務不一定需要定義任務執行順序,但您也可以在手動商務程序面板中通過拉線的方式設定其上下遊執行順序。沒有上下遊執行順序的任務在運行整個商務程序時,將同時觸發執行。存在上下遊執行順序的任務在點擊商務程序運行後,將按照上下遊順序依次執行。
設定手動任務屬性
若任務需要在生產環境操作生產環境引擎資料,您可以在節點右側定義手動任務在生產環境執行時的相關屬性。該屬性與調度任務屬性作用一致。設定屬性如下:
屬性 | 描述 |
節點的名稱、ID、類型、責任人會自動展示,此處無需單獨配置。 說明
| |
用於定義節點運行時使用的參數。 說明 DataWorks提供內建參數及相關自訂參數,可供任務調度時實現參數動態賦值。若在代碼開發時定義了變數,您可在此處對該變數進行賦值。 | |
用於配置任務發布至生產環境後使用哪個資源群組下發任務。該配置下拉選擇的為當前工作空間可用的調度資源群組。建議您選擇購買使用DataWorks的Serverless資源群組。詳情請參見新增和使用Serverless資源群組。 |
調試運行手動業務
您可通過單個節點編輯頁面工具列中的與調試當前任務。您也可通過商務程序面板的運行按鈕調試整個手動商務程序。
此操作一般將通過您個人帳號在開發環境的資料來源專案中執行相關操作,關於資料來源的更多資訊,您可前往建立並管理資料來源。
頁面查看,詳情請參見(可選)定義流程參數
當手動商務程序中存在同名變數,並且該變數可進行統一賦值的情況下,您可點開商務程序面板定義使用流程參數。定義完成後,您可通過運行商務程序並為流程參數賦值的方式查看該賦值結果下的手動任務執行情況。
您可為流程參數設定預設值,也可只定義流程參數名稱,在生產環境每次執行時單獨進行賦值。
提交並發布手動任務
若需要發布生產環境執行該手動任務,您可以儲存節點的配置,並提交發布至營運中心,提交發布的操作請參見發布任務。發佈動作並非一定成功,請確認任務最終發布的狀態。
發布成功後,您可以前往
路徑,查看剛才發布的手動任務。生產環境運行手動任務
手動任務僅支援手動觸發執行,不支援自動調度。您可在需要運行手動任務時,單擊手動任務頁面,找到該目標手動任務並對其執行運行操作,支援運行整個商務程序與商務程序下部分節點、並指定已耗用時間。
,進入手動任務最長執行3天,超過3天DataWorks將自動停止執行,任務將失敗退出。
流程參數賦值:若手動商務程序存在流程參數,您可在每次執行時通過為流程參數賦值,統一為該商務程序下代碼中同名變數賦值。該配置僅在定義了流程參數的情況下出現。
任務執行順序:任務執行順序與設定手動任務執行順序(可選)階段的說明一致。具體如下:
沒有上下遊執行順序的任務在運行整個商務程序時,將同時觸發執行。
存在上下遊執行順序的任務在點擊商務程序運行後,將按照上下遊順序依次執行。
生產環境任務的運行操作都將產生執行個體,手動任務運行後將產生手動執行個體,您可在手動執行個體頁面查看手動任務實際執行結果。
的