當您在MaxCompute中需要對大規模資料進行傳輸且對傳輸穩定性和延遲有要求時,您可以使用獨享Data Transmission Service資源群組。獨享Data Transmission Service資源群組可以提供更高的資料轉送速度和更好的網路條件,以減少傳輸時間並提高效率。本文為您介紹如何購買、使用獨享Data Transmission Service資源群組。
背景資訊
MaxCompute當前在各個地區均為您提供了免費的公用Data Transmission Service資源群組,為該地區下所有客戶提供Data Transmission Service,同時也為您提供了獨享Data Transmission Service資源群組(訂用帳戶),以提供更好的資料同步穩定性和同步的並發數。兩類資源群組的對比介紹如下。
資源群組類型 | 費用說明 | 支援的地區 | 使用注意事項 |
公用Data Transmission Service資源群組 | 免費 | 當前MaxCompute的所有地區 |
|
獨享Data Transmission Service資源群組(訂用帳戶) | 訂用帳戶,按購買並發數的數量計費,計費詳情見下文獨享Data Transmission Service資源群組定價。 |
| 購買獨享Data Transmission Service資源群組後,MaxCompute會保障您的資源獨享,購買的資源會完全鎖定僅供您使用,其它租戶不能使用。保障了資料轉送資源的獨享性,也提高資料轉送的穩定性。 |
檢查網路與地區條件
購買使用獨享資料服務資源群組前,您需要檢查當前的網路和地區條件是否滿足要求,獨享輸出傳輸服務資源群組在資料轉送上對網路和地區有以下限制:
只支援雲上VPC網路訪問,暫時不支援公用網路訪問。
只支援同地區的Data Transmission Service,暫時不支援跨地區的Data Transmission Service,您需要根據資料轉送任務的地區購買對應地區的資源群組。
Data Transmission Service其他使用限制請參考Data Transmission Service使用限制。
購買獨享資料服務資源群組
登入MaxCompute控制台,在左上方選擇地區後,在左側導覽列選擇工作區 > 配額(Quota)管理。
在Quota管理頁面單擊新購Quota,進入資源購買頁面,並根據介面提示配置購買參數。其中關鍵參數如下。
參數名稱
說明
規格類型
選擇Data Transmission Service。
Data Transmission Service並發
選擇您要購買的並發數。
說明目前並發數是50並發起賣,增量購買需要是1的整數倍。
單擊立即購買,根據介面提示勾選服務合約並支付費用,完成資源群組的購買。
購買完成後返回控制台,在Quota管理頁面將會出現一個Quota類型為傳輸服務的Quota組,在該Quota組上可以進行變更配置、降配和續約操作,升級與降配的策略請參見升級與降配。
使用獨享資料服務資源群組
在進行資料轉送或Data Integration作業時,您可以根據不同的業務需求,靈活指定作業使用的獨享資料服務資源群組,以提高資料處理效率。
通過本地用戶端(odpscmd)或其他串連工具訪問MaxCompute專案,啟用獨享Data Transmission Service資源群組。
setproject odps.tunnel.enable.quota.route.v2=true;
說明請確保您的MaxCompute SDK版本已升級為V0.45或以上版本。
授權。
當前針對作業層級指定Quota功能的鑒權預設是所有帳號(包括阿里雲帳號)和角色都沒有許可權,需要進行授權操作。
新增角色。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列單擊租戶管理。
在租戶管理頁面,單擊角色管理。
在角色管理頁簽,單擊新增角色。
在新增角色對話方塊,自訂角色名稱和使用如下權限原則內容。
{ "Statement": [{ "Action": [ "odps:List", "odps:Usage"], "Effect": "Allow", "Resource": ["acs:odps:*:regions/*/quotas/*"]}], "Version": "1" }
參數說明如下。
參數
說明
Action
指定被授予的操作許可權名稱。單次授權可以指定多個操作,可根據實際情況自行添加操作許可權名稱。當有多個操作時,多個操作名稱之間使用半形逗號(,)分隔。操作取值請參見MaxCompute許可權。
說明權限原則參數的詳細內容請參見權限原則基本元素。
Resource
指定被授權的資源範圍,格式為
["acs:odps:Tenant/${tenant_id}:regions/${region_id}/quotas/${quota_name}"]
。["acs:odps:*:regions/*/quotas/*"]
含義為當前租戶下所有Region下的所有Quota,可根據實際情況自行選擇具體Region和Quota。單擊確定,完成新增角色。
將角色授權給需要進行作業層級指定Quota的帳號。
說明預設主帳號或者擁有賬戶層級(tenant)Super_Administrator的子帳號可進行授權操作。
由於授權對象的差別,會出現如下兩種情境。
對阿里雲帳號授權。
目前需要通過如下命令對阿里雲帳號授權。
--將阿里雲帳號加到租戶內並給阿里雲帳號授權角色 Add tenant user <Aliyun$xxxx>; Grant tenant role <role_name> to user <Aliyun$xxxx>; --查看租戶role/user的許可權 Show grants for tenant role <role_name>; Show grants for tenant user <user_name>; Show principals for tenant [role] <role_name>;
對RAM使用者授權。
在MaxCompute控制台左側導覽列,單擊租戶管理>使用者管理。
在對應RAM使用者的操作列,單擊修改角色。
在編輯角色對話方塊,選擇待添加角色地區中的目標角色至已添加角色地區。
單擊確定,完成授權。
在Data Transmission Service任務的SDK中手工指定Quota組。
--使用Quota名稱為XXX的資源群組進行Data Transmission Service。 final TableTunnel tunnel = new TableTunnel(odps); tunnel.getConfig().setQuotaName("xxx"); TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName); --可以擷取到session實際在使用的資源群組 up.getQuotaName();
您可以登入,在配額(Quota)管理列表中,查看並複製對應的
QuotaName
,例如:ot_42854300324****_169821756****_p#ot_42854300324****_169821756****
。
查看資源群組指標
您可以查看當前Data Transmission Service(訂用帳戶)獨享資源群組的使用方式,在Quota管理對應的獨享資源群組上單擊資源消耗後,進入指標查看頁面。
指標名稱 | 說明 |
請求並發數 | 當前資源群組請求並發的曲線圖,包括上傳、下載和總並發數。 |
輸送量(B/S) | 當前資源群組輸送量的曲線圖,包括上傳和下載。 |
表訪問熱度(並發數) | 選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源群組裡使用Tunnel Batch方式上傳的testtable表的並發數曲線圖。 |
訪問來源IP(B/S) | 選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源群組裡使用Tunnel Batch方式上傳的testtable表的各訪問來源IP每秒傳輸的資料量曲線圖。 |
錯誤個數 | 當前資源群組發生500和429錯誤的個數曲線圖。 |
其他動作
您可通過MaxCompute控制台按照以下步驟進行資源群組配置。
通過MaxCompute控制台進行資源群組配置的功能,預計北京時間2024年9月30日下線。為避免下線後資源群組配置失效,建議您恢複預設配置(Data Transmission Service資源群組設定為default),並參考使用獨享資料服務資源群組進行資源群組配置。
登入,在左上方選擇地區後,在左側導覽列選擇
。在專案管理頁面選擇您要綁定Quota組的專案,單擊操作列的管理後,單擊基礎屬性地區的編輯。
在Data Transmission Service下拉式清單中選擇您需要繫結資料傳輸服務資源群組。
可以綁定預設公用資源群組(default),也可以選擇購買的獨享資源群組。
Data Transmission Service資源群組
是否開啟成預設Data Transmission Service
說明
default
-
預設資源群組:公用Data Transmission Service資源群組。
即該專案下所有發起的資料轉送任務都將使用公用Data Transmission Service資源群組,並且不能使用獨享資源群組。
獨享資源群組
是
預設資源群組:獨享Data Transmission Service資源群組。
單個任務資源群組切換:在SDK或者Data Integration中提交任務時手工指定QuotaName為目標資源群組。
否
預設資源群組:公用Data Transmission Service資源群組。
單個任務資源群組切換:在SDK或者Data Integration中提交任務時手工指定QuotaName為獨享資源群組的名稱。