公用資源群組(包括公用調度資源群組、公用資料服務資源群組)在早期開通DataWorks時,用於資料開發、運行測試等操作。該類型資源群組被多個租戶共用,高峰期租戶間可能會存在搶佔資源的情況。本文為您介紹公用資源群組的概要資訊。
隨著產品迭代,公用資源群組已不再推薦使用,開通DataWorks時,系統會自動建立隨用隨付的Serverless資源群組,您可以通過一個Serverless資源群組完成資料同步、任務調度運行、調用及管理API服務等操作。更多資訊,請參見新增和使用Serverless資源群組。
適用情境
公用資源群組建議在任務量相對較少、對任務時效性要求不高的情境下使用。
使用限制
公用資源群組由多個租戶共用,在高峰期無法保證穩定的資源分派。
公用調度資源群組最多支援40個調度任務同時運行,但在任務執行高峰期(通常為00:00~09:00)會存在資源搶佔情況,公用調度資源群組的並發任務數可能會小於該數值。
公用資料服務資源群組無法滿足高頻率、高並發的調用。
如果您希望保障任務運行資源獨立且充足,建議購買Serverless資源群組,詳情請參見新增和使用Serverless資源群組。
計費與相關操作
計費說明
購買DataWorks後,DataWorks會為您提供公用資源群組,無需您單獨購買。
根據公用資源群組執行個體費用、同步進程費用等計費項目收費。公用資源群組開通時支援隨用隨付的計費模式,計費詳情可參見:
計費與欠費說明
DataWorks針對不同類型公用資源群組的計費及欠費處理情況存在差異,詳情請參見計費與欠費說明。
使用公用資源群組
瞭解上述公用資源群組的適用情境及計費詳情後,您可以在Data Integration、資料開發等任務中選擇合適類型的資源群組使用。
公用資源群組是一個公用資源集區,不保證任務可以及時得到資源並被調度執行。如果您需要任務得到高保證的運行,請使用Serverless資源群組,詳情請參見新增和使用Serverless資源群組。
打通網路時,如果您需要公用資源群組機器的相應資訊,請參見添加白名單、公用Data Integration資源群組白名單。
公用資源群組不支援網路的鏈路或白名單配置。如需為資源群組配置VPC打通或配置IP白名單,請使用Serverless資源群組。
在保證其它任務沒有使用公用資源群組的前提下,一個Data Integration任務的公用資源群組最多支援5個並發。在實際執行任務時,資源可能會被其它任務搶佔,所以最大並發數未必達到5個並發,並發數以實際運行情況為準。
公用資源群組不支援調整記憶體大小,您可以調整並發數。
記憶體的計算方式為:
並發數*512MB
。
網路連通方案
DataWorks資源群組本質上為一組阿里雲ECS執行個體,在運行Data Integration、資料開發等任務時,需保障資源群組與資料來源之間的網路是連通的,且不會因為白名單等特殊安全訪問設定阻斷資源群組與資料來源之間的網路連通性。
網路連通
公用資源群組支援與阿里雲內部資料來源之間的訪問連通,資料來源所處的網路環境及其連通性支援情況如下。
公用調度資源群組
若要訪問公網地址,需要在工作空間配置介面配置沙箱白名單,配置沙箱白名單後仍無法訪問,請使用Serverless資源群組。
僅支援訪問無白名單存取控制的地址。訪問有白名單存取控制的地址,或訪問VPC地址,需要使用Serverless資源群組。
說明建議所有訪問外部地址的情境,均使用Serverless資源群組。
公用資料服務資源群組
資料來源所處的網路環境與資源群組的連通性支援情況如下。
資料來源網路環境
是否支援訪問
資料來源處於公網環境
支援
資料來源處於傳統網路
支援
資料來源處於VPC網路
不支援
白名單設定
公用調度資源群組為您提供任務安全沙箱功能,限制未知IP訪問資源群組。如果您的業務情境涉及訪問資源群組,需要將訪問資源群組的IP添加至安全沙箱白名單中。詳細操作請參見安全設定。