全部產品
Search
文件中心

DataWorks:使用公用資源群組

更新時間:Sep 04, 2024

開通DataWorks時,DataWorks自動為您提供公用資源群組(包括公用調度資源群組、公用資料服務資源群組),可用於資料開發、運行測試等操作。公用資源群組被多個租戶共用,高峰期租戶間可能會存在搶佔資源的情況。本文為您介紹公用資源群組的概要資訊。

適用情境

公用資源群組建議在任務量相對較少、對任務時效性要求不高的情境下使用。

使用限制

公用資源群組由多個租戶共用,在高峰期無法保證穩定的資源分派。

說明
  • 公用調度資源群組最多支援40個調度任務同時運行,但在任務執行高峰期(通常為00:00~09:00)會存在資源搶佔情況,公用調度資源群組的並發任務數可能會小於該數值。

  • 公用資料服務資源群組無法滿足高頻率、高並發的調用。

如果您希望保障任務運行資源獨立且充足,建議開通使用獨享資源群組,具體如下表。

資源群組類型

描述

參考連結

獨享調度資源群組

在任務高並發執行且無法錯峰啟動並執行情況下,需要專有的計算資源來保障任務定時被調度運行時,建議使用DataWorks的獨享調度資源群組。

獨享調度資源群組計費說明:訂用帳戶

獨享Data Integration資源群組

在Data Integration任務高並發執行且無法錯峰啟動並執行情況下,企業需要專有的計算資源群組來保障資料快速、穩定地傳輸時,建議使用DataWorks的獨享Data Integration資源群組。

獨享Data Integration資源群組計費說明:訂用帳戶

獨享資料服務資源群組

在調用資料服務API需要高QPS和SLA保障的情況下,企業需要保障調用成功。同時,滿足高並發、高頻率的介面調用並及時返回結果資料時,建議使用DataWorks的獨享資料服務資源。

獨享資料服務資源群組計費說明:訂用帳戶

計費與相關操作

(1)計費說明

說明

購買DataWorks後,DataWorks會為您提供公用資源群組,無需您單獨購買。

根據公用資源群組執行個體費用、同步進程費用等計費項目收費。公用資源群組開通時支援隨用隨付的計費模式,計費詳情可參見:

(2)計費與欠費說明

DataWorks針對不同類型公用資源群組的計費及欠費處理情況存在差異,詳情請參見計費與欠費說明

使用公用資源群組

瞭解上述公用資源群組的適用情境及計費詳情後,您可以在Data Integration、資料開發等任務中選擇合適類型的資源群組使用。

說明
  • 在保證其它任務沒有使用公用資源群組的前提下,一個Data Integration任務的公用資源群組最多支援5個並發。在實際執行任務時,資源可能會被其它任務搶佔,所以最大並發數未必達到5個並發,並發數以實際運行情況為準。

  • 公用資源群組不支援調整記憶體大小,您可以調整並發數。

    記憶體的計算方式為:並發數*512MB

網路連通方案

DataWorks資源群組本質上為一組阿里雲ECS執行個體,在運行Data Integration、資料開發等任務時,需保障資源群組與資料來源之間的網路是連通的,且不會因為白名單等特殊安全訪問設定阻斷資源群組與資料來源之間的網路連通性。

  • 網路連通

    公用資源群組支援與阿里雲內部資料來源之間的訪問連通,資料來源所處的網路環境及其連通性支援情況如下。

    • 公用調度資源群組

      • 若要訪問公網地址,需要在工作空間配置介面配置沙箱白名單,配置沙箱白名單後仍無法訪問,請使用獨享調度資源群組。

      • 僅支援訪問無白名單存取控制的地址。訪問有白名單存取控制的地址,或訪問VPC地址,需要使用獨享調度資源群組。

      說明

      建議所有訪問外部地址的情境,均使用獨享調度資源群組。使用獨享調度資源群組,詳情請參見獨享調度資源群組

    • 公用資料服務資源群組

      資料來源所處的網路環境與資源群組的連通性支援情況如下。

      資料來源網路環境

      是否支援訪問

      資料來源處於公網環境

      支援

      資料來源處於傳統網路

      支援

      資料來源處於VPC網路

      不支援

  • 白名單設定

    公用調度資源群組為您提供任務安全沙箱功能,限制未知IP訪問資源群組。如果您的業務情境涉及訪問資源群組,需要將訪問資源群組的IP添加至安全沙箱白名單中。詳細操作請參見安全設定