全部產品
Search
文件中心

DataWorks:資源群組管理

更新時間:Dec 12, 2024

DataWorks資源群組屬於DataWorks的基礎服務,為DataWorks上的各個功能模組提供計算資源,DataWorks資源群組是您正常使用DataWorks的前提。資源群組的狀態將影響到相關功能的穩定運行,資源群組的配額將影響任務或服務啟動並執行效率。本文為您介紹資源群組的各項屬性及特點。

背景資訊

為瞭解決舊版資源群組(公用調度資源群組、獨享Data Integration資源群組、獨享調度資源群組、獨享資料服務資源群組)計費邏輯複雜,購買管理不統一等使用者體驗問題,DataWorks於2024年06月10日起逐步在各大地區上線全新Serverless資源群組,所有DataWorks功能均可使用Serverless資源群組,計費邏輯清晰簡單,通過一個資源群組即可完成資料同步、任務調度運行、調用及管理API服務等操作。

說明
  • DataWorks產品中使用的資源群組,若無特指舊版資源群組,均指Serverless資源群組,其用途為通用型

  • Serverless資源群組可應用於Data Integration資料調度以及資料服務。

Serverless資源群組特點

  • 通用型:不區分用途,DataWorks任何能力都可以使用。

  • 付費形式靈活:支援按量和訂用帳戶兩種付費形式。

  • 支援運行中擴縮容:擴縮容時不影響已有任務的運行。

  • 按需使用無浪費:用多少買多少,避免無效的資源浪費。最小購買粒度為2 CU。

  • 高隔離性安全保障:屬於您的獨享資源,網路控制也完全由您自主控制,提升了安全性和隔離性。

Serverless資源群組計費方式

Serverless資源群組打破了傳統按規格計費方式,採用全新計費方式,以CU為計費單位(1 CU的效能 ≈ 1核CPU + 4GiB記憶體)。

Serverless資源群組的更多計費詳情,請參見Serverless資源群組計費

計費案例

假設華東1(杭州)地區某使用者每日淩晨需要通過DataWorks同步任務將業務庫MySQL資料同步至MaxCompute數倉,涉及20個同步任務,每個任務運行1小時。

  • 如果使用Serverless資源群組:以每個任務每小時消耗1 CU為例,消耗資源如圖所示:

    說明

    華東1(杭州)地區Serverless資源群組隨用隨付單價為0.5 元/CU時

    華東1(杭州)地區Serverless資源群組隨用隨付單價為0.077399 美元/CU時

    Serverless資源群組一天費用 = 單任務每小時CU消耗 × CU單價 × 任務個數 × 已耗用時間 = 1 CU × 0.5 元/CU時 × 20個 × 1 小時= 10 元。

    Serverless資源群組一天費用 = 單任務每小時CU消耗 × CU單價 × 任務個數 × 已耗用時間 = 1 CU × 0.077399 美元/CU時 × 20個 × 1 小時 = 1.54798 美元。

  • 如果使用原獨享Data Integration資源群組,獨享Data Integration資源群組最低購買4核 8GB規格,華東1(杭州)地區單價76.23美元/月,約合2.541美元/天。

結論

Serverless資源群組相比獨享Data Integration資源群組,不僅避免了不必要的資源浪費,而且價格便宜了約40%

使用限制

  • 僅華北2(北京)、華東2(上海)、華南1(深圳)、華東1(杭州)、中國(香港)、華北3(張家口)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、日本(東京)、英國(倫敦)、美國(矽谷)、德國(法蘭克福)、美國(維吉尼亞)地區支援使用Serverless資源群組。

  • 已具備資源群組相關許可權:

  • 一個Serverless隨用隨付資源群組最多可以使用500 CU。

    說明

    Serverless資源群組的資料調度並發預設為50,最大可調整至200。此處配置的資料調度並發上限,僅用於控制可同時調度的任務數上限,最大支援200個任務執行個體並發執行。 與任務執行無關,不限制任務執行行為。

  • 除了即時同步任務外,其它類型的任務,單個任務最多可以分配16 CU。

注意事項

您對DataWorks資源群組(包括Serverless資源群組和舊版資源群組)享有專屬使用權。相應地,任何通過這些資源群組執行或調度的代碼邏輯所產生的法律義務與責任,也將由您承擔。我們建議您在使用過程中,確保遵守相關法律法規,合理使用資源,以維護良好的社區環境與自身權益。

Serverless資源群組與舊版資源群組對比

對比項

舊版資源群組(獨享資源群組和公用資源群組)

Serverless資源群組

使用方法

按照功能進行區分,分為Data Integration、資料調度、資料服務三種資源群組。

各功能通用,不區分用途。

功能邊界

DataWorks部分能力舊版資源群組不支援。

支援DataWorks的所有功能。

支援混用

不支援,不同類型之間無法混用。

支援,一個資源群組可以被所有功能(Data Integration、資料調度、資料服務)使用。

售賣形式

按照機器規格和台數收費。

最小需要購買一台4c8g,最小擴容步長為一台4c8g。

按照CU進行售賣。

最小需要購買2 CU,最小擴容步長為1 CU。

收費方式

  • 獨享資源群組只有訂用帳戶一種方式。

  • 公用資源群組只有隨用隨付一種方式。

支援訂用帳戶和隨用隨付兩種形式。

資源片段的浪費

機器規格只有有限幾種,因此每種機器上都會存在一定量的資源片段無法利用,造成資源浪費。

按需選擇合適CU數,避免了資源浪費。

擴縮容能力

  • 升級或降級規格。

  • 增加或減少台數。

直接對於資源群組CU數修改即可。

擴縮容時影響

影響已經在運行任務

已經運行任務不受影響

說明

升配降配不會正在運行任務產生影響。

網路安全性

DataWorks代持公網出入口。多使用者共用,存在資源爭搶。

完全使用客戶自己的公網能力,行為可控。

發展趨勢

計劃未來下線。

成為DataWorks唯一正式的資源群組。

是否支援自訂鏡像

不支援。

支援自訂鏡像管理,能夠定製化構建任務執行所需組件的鏡像,滿足更多任務執行條件。

相關參考

附錄:舊版資源群組

說明

不推薦使用舊版資源群組(獨享資源群組和公用資源群組),相較於舊版資源群組,Serverless資源群組支援的能力更豐富、售賣方式更統一、能有效利用資源片段避免浪費,因此推薦您使用Serverless資源群組

舊版資源群組介紹

DataWorks舊版資源群組包括獨享資源群組公用資源群組,各資源群組根據任務調度、Data Integration、資料服務等不同的使用情境,細分為不同類型的資源群組,包括:獨享調度資源群組、獨享Data Integration資源群組、獨享資料服務資源群組、公用調度資源群組、公用資料服務資源群組。其中,DataWorks的調度資源群組用於保障任務的調度運行,Data Integration資源群組用於保障Data Integration任務中的資料轉送,資料服務資源群組用於保障API的調用。

資源群組類型

計費方式

資源群組描述

調度資源群組

Data Integration資源群組

資料服務資源群組

獨享資源群組

訂用帳戶

  • 屬於平台託管類型的資源群組,購買後將擁有該資源群組的獨立使用權。

  • 支援通過資源群組綁定工作空間的操作,實現各個工作空間的資源隔離。

  • 支援擴容、縮容、升配或規格變更等靈活配置。

獨享調度資源群組

獨享Data Integration資源群組

獨享資料服務資源群組

說明

僅華東2(上海)地區支援使用獨享資料服務資源群組

公用資源群組

隨用隨付

開通DataWorks時,阿里雲DataWorks會自動為使用者提供公用資源群組(公用資料服務資源群組和公用調度資源群組),公用資源群組為DataWorks租戶共用,任務運行高峰期可能出現等待資源的情況。

使用公用資源群組

-

使用公用資源群組

公用資源群組與獨享資源群組對比

調度資源群組

類別

公用調度資源群組

獨享調度資源群組

機器資源歸屬

由DataWorks維護,是所有租戶競爭使用的共用資源。

由DataWorks維護,是每個租戶獨佔使用的計算資源。

網路

無法保證網路連通,包括但不限於以下情境:

  • 資料來源處於公網環境中,但資料來源有白名單設定,限制了未知IP的訪問。

  • 資料來源處於阿里雲VPC網路環境中。

可通過網路設定連通複雜的網路環境。詳情請參見:獨享調度資源群組

任務執行時效性要求

DataWorks使用者共用,無法保障時效性。

租戶獨佔,可以控制資源群組執行的並發數,並保障任務按時執行。

適用情境

由於租戶共同擁有資源的使用權,所以任務量多時,容易造成空間內任務阻塞。僅適用於低並發、低頻率的調用情境。

租戶可以控制資源群組執行的並發數,並支援對資源群組進行擴縮容,規格變更等操作,滿足任務量大,且對任務時效性要求高的情境。

收費

隨用隨付,詳情請參見公用調度資源群組計費說明:隨用隨付

訂用帳戶,詳情請參見獨享調度資源群組計費說明:訂用帳戶

其他對比

  • 時效性要求:公用調度資源群組所有阿里雲DataWorks使用者共用,如果您的任務有時效要求,建議您選擇獨享調度資源群組。

  • 訪問非公網且有白名單限制的環境需求:公用資源群組不支援訪問非公網並且有白名單限制的環境,如果您有此類需求,建議您選擇使用獨享調度資源群組。

  • 任務量需求:日調度任務較多時,您可以選擇訂用帳戶獨享調度資源群組。

Data Integration資源群組

類別

獨享Data Integration資源群組

機器資源歸屬

由DataWorks維護,是每個租戶獨佔使用的計算資源。

網路

  • 擁有公網訪問能力。

  • 通過網路設定可以訪問任意網路環境下的資料庫。

支援的資料來源

全部資料來源。

任務執行時效性要求

租戶獨佔,可以控制資源群組執行的並發數,並保障任務按時執行。

適用情境

大量、重要的生產任務。

收費

訂用帳戶,詳情請參見獨享Data Integration資源群組計費說明:訂用帳戶

選擇指引

  • 時效性要求:在Data Integration任務高並發執行且無法錯峰啟動並執行情況下,企業需要獨享的計算資源來保障資料快速、穩定地傳輸,此時您可選擇使用獨享Data Integration資源群組。

  • 訪問內網環境的需求:獨享Data Integration資源群組擁有公網訪問能力,如果您的資料庫在公網內,獨享Data Integration資源群組支援您通過公網進行同步。部分資料庫由於其自身特性,無法通過公網直接同步處理,具體詳情請參見各個資料來源與外掛程式說明文檔:支援的資料來源與讀寫外掛程式

  • 訪問複雜環境的需求:當需要訪問複雜網路環境下的資料庫時,請選擇訂用帳戶獨享Data Integration資源群組。關於網路解決方案詳情請參見:網路連通方案

  • 即時同步需求:當進行資料即時同步時,您需要使用獨享Data Integration資源群組。

  • 自訂資料來源資源群組支援情況:部分資料來源僅支援使用獨享Data Integration資源群組,詳情請參見即時同步支援的資料來源

資料服務資源群組

公用資料服務資源群組為租戶共用資源。在對資料服務API進行高並發、高頻率的介面調用並需要及時返回資料結果的情況下,企業需要專有的計算資源來保障資料服務的可用性和穩定性。此種情境下建議您選擇DataWorks的獨享資料服務資源群組。計費詳情,請參見獨享資料服務資源群組計費說明:訂用帳戶資料服務

費用說明

各類資源群組的費用說明詳情請參見舊版資源群組計費

注意事項

  • 老使用者開通DataWorks時,DataWorks預設為您提供隨用隨付的公用資源群組,同時,支援您購買訂用帳戶獨享資源群組,或者升級為DataWorks標準版、專業版、企業版,將您的IDC機器作為DataWorks任務啟動並執行相關資源群組,詳情請參見舊版資源群組介紹

  • 不同類型的舊版資源群組用於不同執行階段的任務,本文以離線任務調度為例,為您介紹DataWorks離線任務下發機制,與任務運行過程中使用的資源群組。詳情請參見舊版資源群組任務下發機制

  • 在同一個執行階段,任務可選擇不同類型的資源群組,例如,離線任務調度可選擇訂用帳戶獨享調度資源群組,或隨用隨付公用調度資源群組,Data Integration離線任務執行可選擇訂用帳戶獨享Data Integration資源群組,更多詳情,請參見公用資源群組與獨享資源群組對比

  • DataWorks的公用資源群組、獨享資源群組均已預設接入Security Center免費版,為您提供伺服器異常登入檢測、DDoS攻擊檢測、主流類型的伺服器漏洞掃描等基礎的安全強化能力,詳情請參見Security Center免費版

舊版資源群組任務下發機制

DataWorks的離線任務通過調度資源群組下發至各引擎或伺服器資源上執行。例如,DataWorks通過調度資源群組將任務下發至MaxCompute引擎上執行。Data Integration離線同步任務通過調度資源群組將任務下發至Data Integration任務執行資源上執行。公用Data Integration資源群組