開通DataWorks時,DataWorks自動為您提供公用資源群組(包括公用調度資源群組、公用資料服務資源群組),可用於資料開發、運行測試等操作。公用資源群組被多個租戶共用,高峰期租戶間可能會存在搶佔資源的情況。本文為您介紹公用資源群組的概要資訊。
適用情境
公用資源群組建議在任務量相對較少、對任務時效性要求不高的情境下使用。
使用限制
公用資源群組由多個租戶共用,在高峰期無法保證穩定的資源分派。
公用調度資源群組最多支援40個調度任務同時運行,但在任務執行高峰期(通常為00:00~09:00)會存在資源搶佔情況,公用調度資源群組的並發任務數可能會小於該數值。
公用資料服務資源群組無法滿足高頻率、高並發的調用。
如果您希望保障任務運行資源獨立且充足,建議開通使用獨享資源群組,具體如下表。
資源群組類型 | 描述 | 參考連結 |
獨享調度資源群組 | 在任務高並發執行且無法錯峰啟動並執行情況下,需要專有的計算資源來保障任務定時被調度運行時,建議使用DataWorks的獨享調度資源群組。 | |
獨享Data Integration資源群組 | 在Data Integration任務高並發執行且無法錯峰啟動並執行情況下,企業需要專有的計算資源群組來保障資料快速、穩定地傳輸時,建議使用DataWorks的獨享Data Integration資源群組。 | |
獨享資料服務資源群組 | 在調用資料服務API需要高QPS和SLA保障的情況下,企業需要保障調用成功。同時,滿足高並發、高頻率的介面調用並及時返回結果資料時,建議使用DataWorks的獨享資料服務資源。 |
計費與相關操作
(1)計費說明
購買DataWorks後,DataWorks會為您提供公用資源群組,無需您單獨購買。
根據公用資源群組執行個體費用、同步進程費用等計費項目收費。公用資源群組開通時支援隨用隨付的計費模式,計費詳情可參見:
(2)計費與欠費說明
DataWorks針對不同類型公用資源群組的計費及欠費處理情況存在差異,詳情請參見計費與欠費說明。
使用公用資源群組
瞭解上述公用資源群組的適用情境及計費詳情後,您可以在Data Integration、資料開發等任務中選擇合適類型的資源群組使用。
公用資源群組是一個公用資源集區,不保證任務可以及時得到資源並被調度執行。如果您需要任務得到高保證的運行,請使用獨享資源群組,詳情請參見新增和使用獨享Data Integration資源群組、新增和使用獨享調度資源群組。
打通網路時,如果您需要公用資源群組機器的相應資訊,請參見附錄:ECS自建資料庫的安全性群組配置和添加白名單。
在保證其它任務沒有使用公用資源群組的前提下,一個Data Integration任務的公用資源群組最多支援5個並發。在實際執行任務時,資源可能會被其它任務搶佔,所以最大並發數未必達到5個並發,並發數以實際運行情況為準。
公用資源群組不支援調整記憶體大小,您可以調整並發數。
記憶體的計算方式為:
並發數*512MB
。
網路連通方案
DataWorks資源群組本質上為一組阿里雲ECS執行個體,在運行Data Integration、資料開發等任務時,需保障資源群組與資料來源之間的網路是連通的,且不會因為白名單等特殊安全訪問設定阻斷資源群組與資料來源之間的網路連通性。
網路連通
公用資源群組支援與阿里雲內部資料來源之間的訪問連通,資料來源所處的網路環境及其連通性支援情況如下。
公用調度資源群組
若要訪問公網地址,需要在工作空間配置介面配置沙箱白名單,配置沙箱白名單後仍無法訪問,請使用獨享調度資源群組。
僅支援訪問無白名單存取控制的地址。訪問有白名單存取控制的地址,或訪問VPC地址,需要使用獨享調度資源群組。
說明建議所有訪問外部地址的情境,均使用獨享調度資源群組。使用獨享調度資源群組,詳情請參見獨享調度資源群組。
公用資料服務資源群組
資料來源所處的網路環境與資源群組的連通性支援情況如下。
資料來源網路環境
是否支援訪問
資料來源處於公網環境
支援
資料來源處於傳統網路
支援
資料來源處於VPC網路
不支援
白名單設定
公用調度資源群組為您提供任務安全沙箱功能,限制未知IP訪問資源群組。如果您的業務情境涉及訪問資源群組,需要將訪問資源群組的IP添加至安全沙箱白名單中。詳細操作請參見安全設定。