DataWorks為您提供多種MaxCompute節點,便於您根據需要開發不同類型的MaxCompute任務,並為您提供豐富的節點調度配置,協助您靈活設定MaxCompute任務的調度,本文為您介紹建立並管理MaxCompute節點的通用操作指導。
前提條件
已建立商務程序。
資料開發(DataStudio)基於商務程序對不同開發引擎進行具體開發操作,所以您建立節點前需要先建立商務程序,操作詳情請參見建立商務程序。
已建立MaxCompute資料來源並綁定至資料開發(DataStudio)。
建立MaxCompute相關節點並開發MaxCompute任務前,您需先將MaxCompute專案建立為DataWorks工作空間的MaxCompute資料來源,並綁定至資料開發(DataStudio),作為開發MaxCompute任務的底層引擎。操作詳情請參見建立MaxCompute資料來源、開發前準備:綁定資料來源或叢集。
進行MaxCompute對應任務開發的帳號已被添加至對應工作空間中,並具有開發或空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員。
建立MaxCompute節點
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
以ODPS SQL節點為例,為您介紹建立節點的操作。
右鍵某個商務程序,選擇
。說明您也可以單擊頂部建立按鈕,根據介面提示選擇建立MaxCompute節點。
在彈框中配置節點的名稱,完成後單擊確認,完成MaxCompute節點建立操作,後續您即可在節點中進行對應MaxCompute任務開發與配置。
開發MaxCompute任務
當前DataWorks支援多種MaxCompute節點類型,便於您開發不同類型的MaxCompute任務。
節點類型 | 適用的情境 | 任務開發指導 |
ODPS SQL | 開發MaxCompute的SQL任務。 | |
SQL元件節點 | 開發MaxCompute的SQL任務。 在實際業務實踐中,存在大量類似的SQL代碼過程,過程中輸入表和輸出表的結構一致或結構類型相容,僅名稱不同。此時,組件的開發人員可將該SQL過程抽象為一個SQL元件節點,將可變的輸入表抽象為輸入參數,可變的輸出表抽象為輸出參數,實現SQL代碼的複用。 | |
PyODPS 3 | 開發MaxCompute的PyODPS任務,PyODPS 3節點底層Python語言版本為Python 3。 | |
PyODPS 2 | 開發MaxCompute的PyODPS任務,PyODPS 2節點底層Python語言版本為Python 2。 | |
ODPS Spark | 開發MaxCompute的Spark任務。 | |
ODPS Script | 開發MaxCompute的SQL指令碼類的任務。 | |
ODPS MR | 開發MaxCompute的MapReduce任務。 |
開發MaxCompute任務:能力增強
除上述通用的MaxCompute任務開發能力外,DataWorks還為您提供表、資源、函數的能力支援,便於您高效開展MaxCompute任務開發工作。
MaxCompute表能力:支援在DataWorks上通過介面化的操作,快捷建立表、查看錶資訊、管理表等,詳情請參見建立並使用MaxCompute表、表管理。
MaxCompute函數與資源能力:
在DataWorks上開發MaxCompute任務時,支援直接使用MaxCompute的內建函數,當前MaxCompute內建函數列表請參見使用內建函數。
支援將您的自訂函數通過DataWorks建立為MaxCompute資源並註冊為MaxCompute函數,供後續開發MaxCompute任務時直接調用,自訂函數的使用請參見建立並使用MaxCompute資源、建立並使用自訂函數。
支援將本地開發的資源套件通過本地上傳的方式上傳至DataWorks,或直接在DataWorks建立資源。
DataWorks支援將文字檔、Python代碼以及.zip、.tgz、.tar.gz、.tar、.jar等壓縮包,作為不同類型的資源上傳至MaxCompute,在使用者自訂函數UDF及MapReduce的運行過程中讀取、使用。資源的上傳與使用詳情請參見建立並使用MaxCompute資源。
任務開發後處理
當您完成當前節點的任務開發後,通常您可進行以下操作。
調度配置:配置節點的周期性調度屬性。任務需要周期性調度運行時,您需要設定節點後續實際運行過程中的重跑屬性、調度依賴關係等,操作詳情請參見任務調度屬性配置概述。
任務調試:對當前節點的代碼進行測試回合,確認代碼邏輯符合預期,操作詳情請參見任務調試流程。
任務發布:完成所有開發相關操作後,您需要將所有任務節點進行發布,發布後節點即會根據調度配置結果進行周期性運行,操作詳情請參見發布任務。
節點管理
建立完成節點後,您可以對節點進行編輯、刪除等操作,也可將多個節點群組成節點群組給其他商務程序直接引用。節點的其他管理操作請參見使用節點群組。