若您要使用DataWorks進行MaxCompute任務的開發、管理,需先將您的MaxCompute專案綁定為DataWorks的MaxCompute計算資源。綁定完成後,可在DataWorks的各功能模組使用該計算資源串連MaxCompute專案,進行相應的資料同步、資料開發、資料分析等操作。
使用限制
地區限制:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)。
當MaxCompute專案和DataWorks工作空間屬於同地區、同阿里雲帳號時,MaxCompute才可建立為計算資源。
許可權限制:
產品
操作人
具備許可權說明
DataWorks側
阿里雲主帳號
無需額外授權。
阿里雲RAM帳號/RAM角色
僅擁有營運和空間管理員角色的空間成員,或擁有
AliyunDataWorksFullAccess許可權的空間成員可建立計算資源,您為空白間成員授權即可。MaxCompute側
阿里雲RAM帳號/RAM角色
綁定計算資源時:需擁有MaxCompute的odps:ListProjects許可權,以及目標MaxCompute專案的Super_Administrator許可權。
當作為預設訪問身份時:需擁有MaxCompute專案的admin或super_administrator許可權,當計算資源綁定完成後,該帳號或角色將會被MaxCompute生產專案添加為Role_Project_Scheduler角色。
當前工作空間下的生產資料,均歸屬於建立計算資源時所指定的生產環境預設訪問身份。其他帳號如需操作及訪問生產表,需在資訊安全中心申請相關許可權。
前提條件
已開通與DataWorks地區一致的MaxCompute產品,並建立MaxCompute專案。
DataWorks已建立工作空間,操作者使用的RAM帳號已加入工作空間並設定為工作空間管理員角色。
說明DataWorks的工作空間分為簡單模式工作空間和標準模式工作空間,在建立空間時需注意簡單模式和標準模式的區別。
已為工作空間綁定資源群組,且確保網路連通。
使用Serverless資源群組時,只需確保MaxCompute計算資源與Serverless資源群組連通性正常即可。
使用舊版獨享型資源群組時,需確保MaxCompute計算資源與對應情境下的獨享調度資源群組連通性正常。
新版資料開發:綁定MaxCompute計算資源
為使用新版資料開發(Data Studio)的工作空間綁定MaxCompute計算資源。
進入計算資源清單頁
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
在左側導覽列單擊計算資源,進入計算資源清單頁。
綁定MaxCompute計算資源
在計算資源清單頁,配置綁定MaxCompute計算資源。
選擇綁定計算資源類型。
單擊綁定計算資源,進入綁定計算資源頁面。
在綁定計算資源頁面選擇計算資源類型為MaxCompute,進入綁定MaxCompute計算資源配置頁面。
配置MaxCompute計算資源。
在綁定MaxCompute計算資源配置頁面,根據下表內容進行相應配置。
參數
說明
MaxCompute專案
選擇需要綁定的MaxCompute專案,您可以建立MaxCompute內部專案或建立MaxCompute外部項目,建立完成後,選擇建立的新專案即可。
預設訪問身份
定義在當前工作空間下,用什麼身份訪問該MaxCompute專案。
開發環境:當前僅支援使用執行者身份訪問。
生產環境:支援使用阿里雲主帳號、阿里雲RAM子帳號和阿里雲RAM角色訪問。
說明僅阿里雲主帳號及擁有AdministratorAccess角色許可權的使用者或角色可選擇所有身份訪問。
當前工作空間下的生產資料,均歸屬於建立計算資源時所指定的生產環境預設訪問身份。其他帳號如需操作及訪問生產表,需在資訊安全中心申請相關許可權。相關介紹及操作,請參見MaxCompute資料存取權限控制、核准中心概述。
Endpoint
指定DataWorks通過該計算資源訪問MaxCompute專案的Endpoint地址。包括訪問MaxCompute服務的Endpoint地址,以及上傳、下載本地或雲端運算資源資料的Tunnel服務地址。支援以下兩種配置:
自動適配:DataWorks根據實際情況自動適配,建議選擇該項。
自訂配置:自訂情況下,您需手動設定MaxCompute Endpoint及Tunnel Endpoint,不同地區,Endpoint不同。
計算資源執行個體名
用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。
測試連通性。
在串連配置地區,請選擇DataWorks用於運行MaxCompute任務的資源群組,並單擊測試連通性以確保資源群組可以正常訪問您的MaxCompute專案。詳情請參見網路連通方案概述。
說明如無可用的資源群組,您可以新增和並綁定Serverless資源群組到工作空間之後,再到工作空間的計算資源中測試與計算資源的連通性。
單擊確認,完成MaxCompute計算資源配置。
說明綁定完成後,系統將自動在當前工作空間的資料來源中同步建立一個同名的MaxCompute資料來源。
計算資源綁定成功後平台會進行訪問身份授權,即將訪問身份帳號添加至MaxCompute專案中,並為該身份映射MaxCompute對應的許可權。在授權完成前,連通性測試可能會產生連通無許可權報錯,該情境下,儲存計算資源後,您需稍作等待。
舊版資料開發:綁定MaxCompute計算資源
為未使用新版資料開發(Data Studio)的工作空間綁定MaxCompute計算資源。
進入計算資源清單頁
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入資料開發。
在左側導覽列單擊
表徵圖,進入計算資源列表頁。
綁定MaxCompute計算資源
在計算資源清單頁,配置綁定MaxCompute計算資源。
選擇綁定計算資源類型。
單擊建立計算資源,進入建立計算資源頁面。
在建立計算資源頁面選擇計算資源類型為MaxCompute,進入建立計算資源配置頁面。
配置MaxCompute計算資源。
在建立計算資源配置頁面,根據下表內容進行相應配置。
參數
說明
認證方式
建立的計算資源僅支援通過阿里雲帳號及阿里雲RAM角色進行認證。
所屬雲帳號
只有添加當前阿里雲主帳號下的MaxCompute專案才可作為當前工作空間的計算資源。
MaxCompute專案名稱
選擇需要綁定的MaxCompute專案,若無目標專案,則需建立MaxCompute專案。
地區
選擇MaxCompute專案所在的地區,若選擇的MaxCompute專案與當前工作空間不在同一地區,則無法將MaxCompute專案建立為計算資源。
預設訪問身份
定義在當前工作空間下,用什麼身份訪問該計算資源。
開發環境:當前僅支援使用執行者身份訪問。
生產環境:支援使用阿里雲主帳號、阿里雲RAM使用者(即子帳號)、阿里雲RAM角色訪問。
說明僅阿里雲主帳號及擁有AdministratorAccess角色許可權的使用者或角色可選擇所有身份訪問。
當前工作空間下的生產資料,均歸屬於建立計算資源時所指定的生產環境預設訪問身份。其他帳號如需操作及訪問生產表,需在資訊安全中心申請相關許可權。相關介紹及操作,請參見MaxCompute資料存取權限控制、核准中心概述。
Endpoint
指定DataWorks通過該計算資源訪問MaxCompute專案的Endpoint地址。包括訪問MaxCompute服務的Endpoint地址,以及上傳、下載本地或雲端運算資源資料的Tunnel服務地址。支援以下兩種配置:
自動適配:DataWorks根據實際情況自動適配,建議選擇該項。
自訂配置:自訂情況下,您需手動設定MaxCompute Endpoint及Tunnel Endpoint,不同地區,Endpoint不同。
測試連通性。
在串連配置地區,請選擇DataWorks用於運行MaxCompute任務的資源群組,並單擊測試連通性以確保資源群組可以正常訪問您的MaxCompute專案。詳情請參見網路連通方案概述。
說明如無可用的資源群組,您可以新增和並綁定Serverless資源群組到工作空間之後,再到工作空間的計算資源中測試與計算資源的連通性。
單擊建立計算資源並綁定資料開發,完成MaxCompute計算資源配置。
說明綁定完成後,系統將自動在當前工作空間的資料來源中同步建立一個同名的MaxCompute資料來源。
計算資源綁定成功後平台會進行訪問身份授權,即將訪問身份帳號添加至MaxCompute專案中,並為該身份映射MaxCompute對應的許可權。在授權完成前,連通性測試可能會產生連通無許可權報錯,該情境下,儲存計算資源後,您需稍作等待。
後續操作
完成MaxCompute計算資源綁定後,將為工作空間自動建立MaxCompute資料來源,您可在Data Integration中使用該資料來源,以及進行資料庫節點(新版資料開發)或資料庫節點(舊版資料開發)中使用。
常見問題
問題詳情:MaxCompute計算資源在進行調度時出現
connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpoint報錯。解決方式:檢查MaxCompute計算資源的Endpoint配置是否正確,填寫與資源地區相同的地區的VPC Endpoint。
問題詳情:進行計算資源連通性測試時,出現
You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}報錯。解決方式:檢查您的MaxCompute專案狀態是否正常,如處於凍結停服狀態,您可在MaxCompute控制台對您所需綁定的MaxCompute專案進行恢複。