DataWorks資源群組屬於DataWorks的基礎服務,為DataWorks上的各個功能模組提供計算資源,DataWorks資源群組是您正常使用DataWorks的前提。資源群組的狀態將影響到相關功能的穩定運行,資源群組的配額將影響任務或服務啟動並執行效率。本文為您介紹資源群組的各項屬性及特點。
背景資訊
為瞭解決舊版資源群組(公用調度資源群組、獨享Data Integration資源群組、獨享調度資源群組、獨享資料服務資源群組)計費邏輯複雜,購買管理不統一等使用者體驗問題,DataWorks於2024年06月10日起逐步在各大地區上線全新Serverless資源群組,所有DataWorks功能均可使用Serverless資源群組,計費邏輯清晰簡單,通過一個資源群組即可完成資料同步、任務調度運行、調用及管理API服務等操作。
DataWorks產品中使用的資源群組,若無特指舊版資源群組,均指Serverless資源群組,其用途為通用型。
Serverless資源群組可應用於Data Integration、資料調度以及資料服務。
Serverless資源群組特點
通用型:不區分用途,DataWorks任何能力都可以使用。
付費形式靈活:支援按量和訂用帳戶兩種付費形式。
支援運行中擴縮容:擴縮容時不影響已有任務的運行。
按需使用無浪費:用多少買多少,避免無效的資源浪費。最小購買粒度為2 CU。
高隔離性安全保障:屬於您的獨享資源,網路控制也完全由您自主控制,提升了安全性和隔離性。
Serverless資源群組計費方式
Serverless資源群組打破了傳統按規格計費方式,採用全新計費方式,以CU為計費單位(1 CU的效能 ≈ 1核CPU + 4GiB記憶體)。
調度任務:Serverless化,支援隨用隨付,按調度任務成功運行執行個體數階梯收費。
Data Integration、資料計算、資料服務等:支援隨用隨付和訂用帳戶。詳情請參見計費方式。
Serverless資源群組的更多計費詳情,請參見Serverless資源群組計費。
計費案例
假設華東1(杭州)地區某使用者每日淩晨需要通過DataWorks同步任務將業務庫MySQL資料同步至MaxCompute數倉,涉及20個同步任務,每個任務運行1小時。
如果使用Serverless資源群組:以每個任務每小時消耗1 CU為例,消耗資源如圖所示:
說明華東1(杭州)地區Serverless資源群組隨用隨付單價為
0.5 元/CU時
。華東1(杭州)地區Serverless資源群組隨用隨付單價為
0.077399 美元/CU時
。Serverless資源群組一天費用 = 單任務每小時CU消耗 × CU單價 × 任務個數 × 已耗用時間 = 1 CU × 0.5 元/CU時 × 20個 × 1 小時= 10 元。
Serverless資源群組一天費用 = 單任務每小時CU消耗 × CU單價 × 任務個數 × 已耗用時間 = 1 CU × 0.077399 美元/CU時 × 20個 × 1 小時 = 1.54798 美元。
如果使用原獨享Data Integration資源群組,獨享Data Integration資源群組最低購買4核 8GB規格,華東1(杭州)地區單價76.23美元/月,約合2.541美元/天。
結論
Serverless資源群組相比獨享Data Integration資源群組,不僅避免了不必要的資源浪費,而且價格便宜了約40%。
使用限制
僅華北2(北京)、華東2(上海)、華南1(深圳)、華東1(杭州)、中國(香港)、華北3(張家口)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、日本(東京)、英國(倫敦)、美國(矽谷)、德國(法蘭克福)、美國(維吉尼亞)地區支援使用Serverless資源群組。
已具備資源群組相關許可權:
僅擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess許可權的使用者可以購買資源群組。相關操作,請參見查看RAM使用者的許可權、為RAM使用者授權。
僅空間管理員可以進行資源群組歸屬空間綁定與修改的操作。
資源群組其他動作的許可權控制,請參見控制台實體物件級許可權管控策略。
一個Serverless隨用隨付資源群組最多可以使用500 CU。
說明Serverless資源群組的資料調度並發預設為50,最大可調整至200。此處配置的資料調度並發上限,僅用於控制可同時調度的任務數上限,最大支援200個任務執行個體並發執行。 與任務執行無關,不限制任務執行行為。
除了即時同步任務外,其它類型的任務,單個任務最多可以分配16 CU。
注意事項
您對DataWorks資源群組(包括Serverless資源群組和舊版資源群組)享有專屬使用權。相應地,任何通過這些資源群組執行或調度的代碼邏輯所產生的法律義務與責任,也將由您承擔。我們建議您在使用過程中,確保遵守相關法律法規,合理使用資源,以維護良好的社區環境與自身權益。
Serverless資源群組與舊版資源群組對比
對比項 | 舊版資源群組(獨享資源群組和公用資源群組) | Serverless資源群組 |
使用方法 | 按照功能進行區分,分為Data Integration、資料調度、資料服務三種資源群組。 | 各功能通用,不區分用途。 |
功能邊界 | DataWorks部分能力舊版資源群組不支援。 | 支援DataWorks的所有功能。 |
支援混用 | 不支援,不同類型之間無法混用。 | 支援,一個資源群組可以被所有功能(Data Integration、資料調度、資料服務)使用。 |
售賣形式 | 按照機器規格和台數收費。 最小需要購買一台4c8g,最小擴容步長為一台4c8g。 | 按照CU進行售賣。 最小需要購買2 CU,最小擴容步長為1 CU。 |
收費方式 |
| 支援訂用帳戶和隨用隨付兩種形式。 |
資源片段的浪費 | 機器規格只有有限幾種,因此每種機器上都會存在一定量的資源片段無法利用,造成資源浪費。 | 按需選擇合適CU數,避免了資源浪費。 |
擴縮容能力 |
| 直接對於資源群組CU數修改即可。 |
擴縮容時影響 | 影響已經在運行的任務。 | 已經運行的任務不受影響。 說明 升配、降配時不會對正在運行的任務產生影響。 |
網路安全性 | DataWorks代持公網出入口。多使用者共用,存在資源爭搶。 | 完全使用客戶自己的公網能力,行為可控。 |
發展趨勢 | 計劃未來下線。 | 成為DataWorks唯一正式的資源群組。 |
是否支援自訂鏡像 | 不支援。 | 支援自訂鏡像管理,能夠定製化構建任務執行所需組件的鏡像,滿足更多任務執行條件。 |
相關參考
Serverless資源群組的詳細計費說明,請參見Serverless資源群組計費。
如何購買和使用Serverless資源群組,請參見新增和使用Serverless資源群組。
已有舊版資源群組如何切換為Serverless資源群組,請參見舊版資源群組切換為Serverless資源群組。
如需在已建立的資料來源中使用該資源群組,請在該資料來源配置頁面進行測試連通性,詳情請參見建立並管理資料來源。
附錄:舊版資源群組
不推薦使用舊版資源群組(獨享資源群組和公用資源群組),相較於舊版資源群組,Serverless資源群組支援的能力更豐富、售賣方式更統一、能有效利用資源片段避免浪費,因此推薦您使用Serverless資源群組。