全部產品
Search
文件中心

MaxCompute:購買與使用獨享Data Transmission Service資源群組

更新時間:Nov 21, 2024

當您在MaxCompute中需要對大規模資料進行傳輸且對傳輸穩定性和延遲有要求時,您可以使用獨享Data Transmission Service資源群組。獨享Data Transmission Service資源群組可以提供更高的資料轉送速度和更好的網路條件,以減少傳輸時間並提高效率。本文為您介紹如何購買、使用獨享Data Transmission Service資源群組。

背景資訊

MaxCompute當前在各個地區均為您提供了免費的公用Data Transmission Service資源群組,為該地區下所有客戶提供Data Transmission Service,同時也為您提供了獨享Data Transmission Service資源群組(訂用帳戶),以提供更好的資料同步穩定性和同步的並發數。兩類資源群組的對比介紹如下。

資源群組類型

費用說明

支援的地區

使用注意事項

公用Data Transmission Service資源群組

免費

當前MaxCompute的所有地區

  • 資源有限。

    由於架構設計的限制,Data Transmission Service共用資源組天然不能給每個租戶保障資源,在特殊時間段極小機率下,使用者可能會擷取不到共用資源組的資源,導致使用者作業提交失敗。

  • 可使用最大並發數受限。

    為了保障公用資源可提供穩定的服務,對每個客戶可使用的最大並發數做了限制,且不同地區下最大並發數限制值不同。

獨享Data Transmission Service資源群組(訂用帳戶)

訂用帳戶,按購買並發數的數量計費,計費詳情見下文獨享Data Transmission Service資源群組定價

  • 華東1(杭州)

  • 華北2(北京)

  • 華東2(上海)

  • 華南1(深圳)

  • 中國香港

  • 新加坡

  • 印尼(雅加達)

  • 美國(維吉尼亞)

購買獨享Data Transmission Service資源群組後,MaxCompute會保障您的資源獨享,購買的資源會完全鎖定僅供您使用,其它租戶不能使用。保障了資料轉送資源的獨享性,也提高資料轉送的穩定性。

檢查網路與地區條件

購買使用獨享資料服務資源群組前,您需要檢查當前的網路和地區條件是否滿足要求,獨享輸出傳輸服務資源群組在資料轉送上對網路和地區有以下限制:

  • 只支援雲上VPC網路訪問,暫時不支援公用網路訪問。

  • 只支援同地區的Data Transmission Service,暫時不支援跨地區的Data Transmission Service,您需要根據資料轉送任務的地區購買對應地區的資源群組。

說明

Data Transmission Service其他使用限制請參考Data Transmission Service使用限制

購買獨享資料服務資源群組

  1. 登入MaxCompute控制台,在左上方選擇地區後,在左側導覽列選擇工作區 > 配額(Quota)管理

  2. Quota管理頁面單擊新購Quota,進入資源購買頁面,並根據介面提示配置購買參數。其中關鍵參數如下。

    參數名稱

    說明

    規格類型

    選擇Data Transmission Service

    Data Transmission Service並發

    選擇您要購買的並發數。

    說明

    目前並發數是50並發起賣,增量購買需要是1的整數倍。

  3. 單擊立即購買,根據介面提示勾選服務合約並支付費用,完成資源群組的購買。

    購買完成後返回控制台,在Quota管理頁面將會出現一個Quota類型傳輸服務的Quota組,在該Quota組上可以進行變更配置降配續約操作,升級與降配的策略請參見升級與降配

使用獨享資料服務資源群組

在進行資料轉送或Data Integration作業時,您可以根據不同的業務需求,靈活指定作業使用的獨享資料服務資源群組,以提高資料處理效率。

  1. 通過本地用戶端(odpscmd)或其他串連工具訪問MaxCompute專案,啟用獨享Data Transmission Service資源群組。

     setproject odps.tunnel.enable.quota.route.v2=true;
    說明

    請確保您的MaxCompute SDK版本已升級為V0.45或以上版本。

  2. 授權。

    當前針對作業層級指定Quota功能的鑒權預設是所有帳號(包括阿里雲帳號)和角色都沒有許可權,需要進行授權操作。

    1. 新增角色。

      1. 登入MaxCompute控制台,在左上方選擇地區。

      2. 在左側導覽列單擊租戶管理

      3. 租戶管理頁面,單擊角色管理

      4. 角色管理頁簽,單擊新增角色

      5. 新增角色對話方塊,自訂角色名稱和使用如下權限原則內容。

        {
            "Statement": [{
                    "Action": [
                        "odps:List",
                        "odps:Usage"],
                    "Effect": "Allow",
                    "Resource": ["acs:odps:*:regions/*/quotas/*"]}],
            "Version": "1"
        }

        參數說明如下。

        參數

        說明

        Action

        指定被授予的操作許可權名稱。單次授權可以指定多個操作,可根據實際情況自行添加操作許可權名稱。當有多個操作時,多個操作名稱之間使用半形逗號(,)分隔。操作取值請參見MaxCompute許可權

        說明

        權限原則參數的詳細內容請參見權限原則基本元素

        Resource

        指定被授權的資源範圍,格式為["acs:odps:Tenant/${tenant_id}:regions/${region_id}/quotas/${quota_name}"]

        ["acs:odps:*:regions/*/quotas/*"]含義為當前租戶下所有Region下的所有Quota,可根據實際情況自行選擇具體Region和Quota。

      6. 單擊確定,完成新增角色。

    2. 將角色授權給需要進行作業層級指定Quota的帳號。

      說明

      預設主帳號或者擁有賬戶層級(tenant)Super_Administrator的子帳號可進行授權操作。

      由於授權對象的差別,會出現如下兩種情境。

      • 對阿里雲帳號授權。

        目前需要通過如下命令對阿里雲帳號授權。

        --將阿里雲帳號加到租戶內並給阿里雲帳號授權角色
        Add tenant user <Aliyun$xxxx>;
        Grant tenant role <role_name> to user <Aliyun$xxxx>;
        --查看租戶role/user的許可權
        Show grants for tenant role <role_name>;
        Show grants for tenant user <user_name>;
        Show principals for tenant [role] <role_name>;
      • 對RAM使用者授權。

        1. MaxCompute控制台左側導覽列,單擊租戶管理>使用者管理

        2. 在對應RAM使用者的操作列,單擊修改角色

        3. 編輯角色對話方塊,選擇待添加角色地區中的目標角色至已添加角色地區。

        4. 單擊確定,完成授權。

  3. 在Data Transmission Service任務的SDK中手工指定Quota組。

    --使用Quota名稱為XXX的資源群組進行Data Transmission Service。
    final TableTunnel tunnel = new TableTunnel(odps);
    tunnel.getConfig().setQuotaName("xxx");
    TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName);
    
    --可以擷取到session實際在使用的資源群組
    up.getQuotaName();

    您可以登入,在配額(Quota)管理列表中,查看並複製對應的QuotaName,例如:ot_42854300324****_169821756****_p#ot_42854300324****_169821756****

    image.png

查看資源群組指標

您可以查看當前Data Transmission Service(訂用帳戶)獨享資源群組的使用方式,在Quota管理對應的獨享資源群組上單擊資源消耗後,進入指標查看頁面。

指標名稱

說明

請求並發數

當前資源群組請求並發的曲線圖,包括上傳、下載和總並發數。

輸送量(B/S)

當前資源群組輸送量的曲線圖,包括上傳和下載。

表訪問熱度(並發數)

選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源群組裡使用Tunnel Batch方式上傳的testtable表的並發數曲線圖。

訪問來源IP(B/S)

選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源群組裡使用Tunnel Batch方式上傳的testtable表的各訪問來源IP每秒傳輸的資料量曲線圖。

錯誤個數

當前資源群組發生500429錯誤的個數曲線圖。

其他動作

您可通過MaxCompute控制台按照以下步驟進行資源群組配置。

重要

通過MaxCompute控制台進行資源群組配置的功能,預計北京時間2024年9月30日下線。為避免下線後資源群組配置失效,建議您恢複預設配置(Data Transmission Service資源群組設定為default),並參考使用獨享資料服務資源群組進行資源群組配置。

  1. 登入,在左上方選擇地區後,在左側導覽列選擇工作區 > 專案管理

  2. 專案管理頁面選擇您要綁定Quota組的專案,單擊操作列的管理後,單擊基礎屬性地區的編輯

  3. Data Transmission Service下拉式清單中選擇您需要繫結資料傳輸服務資源群組。

    可以綁定預設公用資源群組(default),也可以選擇購買的獨享資源群組。

    Data Transmission Service資源群組

    是否開啟成預設Data Transmission Service

    說明

    default

    -

    預設資源群組:公用Data Transmission Service資源群組。

    即該專案下所有發起的資料轉送任務都將使用公用Data Transmission Service資源群組,並且不能使用獨享資源群組。

    獨享資源群組

    • 預設資源群組:獨享Data Transmission Service資源群組。

    • 單個任務資源群組切換:在SDK或者Data Integration中提交任務時手工指定QuotaName為目標資源群組。

    • 預設資源群組:公用Data Transmission Service資源群組。

    • 單個任務資源群組切換:在SDK或者Data Integration中提交任務時手工指定QuotaName為獨享資源群組的名稱。