全部產品
Search
文件中心

DataWorks:通用開發流程

更新時間:Jun 19, 2024

DataWorks將不同類型引擎任務封裝為不同節點,通過建立節點來產生資料開發工作單位。同時,資料開發(DataStudio)支援使用資源、函數、以及不同的邏輯處理節點開發複雜任務。本文將為您介紹資料開發工作單位的通用開發流程。

前提條件

進入資料開發

登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

進入資料開發後,您可根據下文流程建立所需任務。

開發流程

資料開發工作單位的通用開發流程如下。指令碼開發流程

步驟

描述

相關文檔

步驟一:建立商務程序

DataWorks資料開發基於商務程序組織與開發代碼,您需先建立商務程序,才可進行後續的開發工作。

建立商務程序

步驟二:建立資料表

DataWorks支援使用可視化方式建立表,並以目錄結構在介面展示。同時,支援對建立的表執行相關管理操作。

進行資料開發前,您需先在引擎建立用於存放未經處理資料的表、接收資料清洗結果的表。具體建立哪種類型的表,請以實際使用為準。

步驟三:建立並上傳資源(可選)

DataWorks支援將文字檔、JAR壓縮包等,作為不同類型的資源上傳至指定計算引擎,在開發過程中讀取使用。若開發過程需使用資源,您可通過DataWorks可視化方式上傳資源,並進行後續資源管理操作。

說明

在DataWorks中支援建立資源的引擎,以及支援的資源類型,請以實際使用介面為準。

步驟四:建立調度節點

DataWorks基於節點進行任務開發,不同類型的引擎任務在DataWorks上被封裝為不同類型的節點。您可根據業務需要,選擇合適的節點開發引擎任務。

同時,支援便捷的節點管理操作。例如,使用節點群組批量複製節點;通過資源回收筒快速恢複已刪除節點。

DataWorks支援如下多類引擎:

各類引擎的不同任務可選用不同類型的節點,各引擎的節點詳細列表請參見DataWorks節點合集

步驟五:節點引用資源(可選)

在DataWorks中使用資源,需先將資源載入至節點的運行環境,載入後才可在節點中使用。

步驟六:註冊函數(可選)

若開發過程需使用函數,您可通過DataWorks可視化方式註冊函數。註冊函數前,請先將註冊函數需使用的資源上傳至DataWorks。

說明

在DataWorks中支援註冊函數的引擎,請以實際使用介面為準。

步驟七:編輯節點代碼

根據節點類型,在節點編輯頁面通過對應引擎與資料庫文法編寫業務代碼。不同節點所使用的文法可能存在差異,具體請以實際使用為準。

說明

代碼編輯完成後,請儘快儲存(儲存),避免代碼丟失。

DataWorks支援的節點列表詳情請參見DataWorks節點合集

常用引擎的使用說明:

後續:調試代碼及配置調度

任務代碼開發完成後,您可根據需要執行如下操作:

  • 調試代碼:根據業務需求調試運行單個任務,或調試運行整個商務程序,並在調試完成後查看運行結果,詳情請參見任務調試流程

  • 配置調度:進行節點的調度配置,後續節點將按照該配置周期性調度執行。詳情請參見任務調度配置

  • 提交發布任務:任務開發完成後,需提交至對應環境調度執行。如果您使用的是標準模式的工作空間,提交成功後,需單擊右上方的發布,發布任務,操作詳情請參見發布任務

  • 營運任務:任務發布完成後將預設展示在生產環境營運中心,您可前往生產環境營運中心查看生產環境任務的運行情況,並對生產任務執行相關營運操作。詳情請參見營運中心概述