全部產品
Search
文件中心

DataWorks:建立並管理MaxCompute節點

更新時間:Jun 19, 2024

DataWorks為您提供多種MaxCompute節點,便於您根據需要開發不同類型的MaxCompute任務,並為您提供豐富的節點調度配置,協助您靈活設定MaxCompute任務的調度,本文為您介紹建立並管理MaxCompute節點的通用操作指導。

前提條件

  • 已建立商務程序。

    資料開發(DataStudio)基於商務程序對不同開發引擎進行具體開發操作,所以您建立節點前需要先建立商務程序,操作詳情請參見建立商務程序

  • 已建立MaxCompute資料來源並綁定至資料開發(DataStudio)。

    建立MaxCompute相關節點並開發MaxCompute任務前,您需先將MaxCompute專案建立為DataWorks工作空間的MaxCompute資料來源,並綁定至資料開發(DataStudio),作為開發MaxCompute任務的底層引擎。操作詳情請參見建立MaxCompute資料來源開發前準備:綁定資料來源或叢集

  • 進行MaxCompute對應任務開發的帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員

建立MaxCompute節點

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 以ODPS SQL節點為例,為您介紹建立節點的操作。

    image.png

    1. 右鍵某個商務程序,選擇建立節點 > MaxCompute > ODPS SQL

      說明

      您也可以單擊頂部建立按鈕,根據介面提示選擇建立MaxCompute節點。

    2. 在彈框中配置節點的名稱,完成後單擊確認,完成MaxCompute節點建立操作,後續您即可在節點中進行對應MaxCompute任務開發與配置。

開發MaxCompute任務

當前DataWorks支援多種MaxCompute節點類型,便於您開發不同類型的MaxCompute任務。

節點類型

適用的情境

任務開發指導

ODPS SQL

開發MaxCompute的SQL任務。

開發ODPS SQL任務

SQL元件節點

開發MaxCompute的SQL任務。

在實際業務實踐中,存在大量類似的SQL代碼過程,過程中輸入表和輸出表的結構一致或結構類型相容,僅名稱不同。此時,組件的開發人員可將該SQL過程抽象為一個SQL元件節點,將可變的輸入表抽象為輸入參數,可變的輸出表抽象為輸出參數,實現SQL代碼的複用。

SQL組件概述

PyODPS 3

開發MaxCompute的PyODPS任務,PyODPS 3節點底層Python語言版本為Python 3。

開發PyODPS 3任務

PyODPS 2

開發MaxCompute的PyODPS任務,PyODPS 2節點底層Python語言版本為Python 2。

開發PyODPS 2任務

ODPS Spark

開發MaxCompute的Spark任務。

開發ODPS Spark任務

ODPS Script

開發MaxCompute的SQL指令碼類的任務。

開發ODPS Script任務

ODPS MR

開發MaxCompute的MapReduce任務。

開發ODPS MR任務

開發MaxCompute任務:能力增強

除上述通用的MaxCompute任務開發能力外,DataWorks還為您提供表、資源、函數的能力支援,便於您高效開展MaxCompute任務開發工作。

  • MaxCompute表能力:支援在DataWorks上通過介面化的操作,快捷建立表、查看錶資訊、管理表等,詳情請參見建立並使用MaxCompute表表管理

  • MaxCompute函數與資源能力:

    • 在DataWorks上開發MaxCompute任務時,支援直接使用MaxCompute的內建函數,當前MaxCompute內建函數列表請參見使用內建函數

    • 支援將您的自訂函數通過DataWorks建立為MaxCompute資源並註冊為MaxCompute函數,供後續開發MaxCompute任務時直接調用,自訂函數的使用請參見建立並使用MaxCompute資源建立並使用自訂函數

    • 支援將本地開發的資源套件通過本地上傳的方式上傳至DataWorks,或直接在DataWorks建立資源。

      DataWorks支援將文字檔、Python代碼以及.zip.tgz.tar.gz.tar.jar等壓縮包,作為不同類型的資源上傳至MaxCompute,在使用者自訂函數UDF及MapReduce的運行過程中讀取、使用。資源的上傳與使用詳情請參見建立並使用MaxCompute資源

任務開發後處理

當您完成當前節點的任務開發後,通常您可進行以下操作。

  • 調度配置:配置節點的周期性調度屬性。任務需要周期性調度運行時,您需要設定節點後續實際運行過程中的重跑屬性、調度依賴關係等,操作詳情請參見任務調度屬性配置概述

  • 任務調試:對當前節點的代碼進行測試回合,確認代碼邏輯符合預期,操作詳情請參見任務調試流程

  • 任務發布:完成所有開發相關操作後,您需要將所有任務節點進行發布,發布後節點即會根據調度配置結果進行周期性運行,操作詳情請參見發布任務

節點管理

建立完成節點後,您可以對節點進行編輯、刪除等操作,也可將多個節點群組成節點群組給其他商務程序直接引用。節點的其他管理操作請參見使用節點群組