DataWorks將不同類型引擎任務封裝為不同節點,通過建立節點來產生資料開發工作單位。同時,資料開發(DataStudio)支援使用資源、函數、以及不同的邏輯處理節點開發複雜任務。本文將為您介紹資料開發工作單位的通用開發流程。
前提條件
已綁定所需資料來源。詳情請參見開發前準備:綁定資料來源或叢集。
已擁有開發角色許可權。授權詳情請參見增加空間成員並管理成員角色許可權。
進入資料開發
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
進入資料開發後,您可根據下文流程建立所需任務。
開發流程
資料開發工作單位的通用開發流程如下。
步驟 | 描述 | 相關文檔 |
步驟一:建立商務程序 | DataWorks資料開發基於商務程序組織與開發代碼,您需先建立商務程序,才可進行後續的開發工作。 | |
步驟二:建立資料表 | DataWorks支援使用可視化方式建立表,並以目錄結構在介面展示。同時,支援對建立的表執行相關管理操作。 進行資料開發前,您需先在引擎建立用於存放未經處理資料的表、接收資料清洗結果的表。具體建立哪種類型的表,請以實際使用為準。 | |
步驟三:建立並上傳資源(可選) | DataWorks支援將文字檔、JAR壓縮包等,作為不同類型的資源上傳至指定計算引擎,在開發過程中讀取使用。若開發過程需使用資源,您可通過DataWorks可視化方式上傳資源,並進行後續資源管理操作。 說明 在DataWorks中支援建立資源的引擎,以及支援的資源類型,請以實際使用介面為準。 | |
步驟四:建立調度節點 | DataWorks基於節點進行任務開發,不同類型的引擎任務在DataWorks上被封裝為不同類型的節點。您可根據業務需要,選擇合適的節點開發引擎任務。 同時,支援便捷的節點管理操作。例如,使用節點群組批量複製節點;通過資源回收筒快速恢複已刪除節點。 | DataWorks支援如下多類引擎: 各類引擎的不同任務可選用不同類型的節點,各引擎的節點詳細列表請參見DataWorks節點合集。 節點管理操作請參見: |
步驟五:節點引用資源(可選) | 在DataWorks中使用資源,需先將資源載入至節點的運行環境,載入後才可在節點中使用。 | |
步驟六:註冊函數(可選) | 若開發過程需使用函數,您可通過DataWorks可視化方式註冊函數。註冊函數前,請先將註冊函數需使用的資源上傳至DataWorks。 說明 在DataWorks中支援註冊函數的引擎,請以實際使用介面為準。 | |
步驟七:編輯節點代碼 | 根據節點類型,在節點編輯頁面通過對應引擎與資料庫文法編寫業務代碼。不同節點所使用的文法可能存在差異,具體請以實際使用為準。 說明 代碼編輯完成後,請儘快儲存(),避免代碼丟失。 | DataWorks支援的節點列表詳情請參見DataWorks節點合集。 常用引擎的使用說明: |