全部產品
Search
文件中心

DataWorks:舊版資源群組切換為Serverless資源群組

更新時間:Aug 10, 2024

如果您準備將DataWorks的舊版資源群組切換為Serverless資源群組,為了能夠平滑遷移,需要在切換前評估各項已有任務的資源消耗情況,然後切換到足夠承載所有任務的Serverless資源群組,本文為您提供了不同任務所需CU的評估樣本、切換前後可能的影響以及從舊版資源群組切換到Serverless資源群組的操作指導。

背景資訊

DataWorks支援獨享Data Integration資源群組、獨享調度資源群組和獨享資料服務資源群組,但這些資源群組需要根據實際情況分別購買和配置,為了加強DataWorks功能間的資源管理和統一使用者體驗,DataWorks推出Serverless資源群組,無需多次購買,一個Serverless資源群組即可在Data Integration、任務調度、資料服務功能間統一使用,簡化了資源群組的互動問題並提升了操作的一致性。

計費說明

操作步驟

步驟一:查詢待切換資源群組的任務

Data Integration

  • Data Integration頁面

    1. 進入Data Integration頁面。

      登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

    2. 在左側導覽列,單擊同步任務,然後在工作清單地區,篩選資源群組為待切換的Data Integration資源群組。

      image

  • 資料開發頁面

    1. 進入資料開發頁面。

      登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

    2. 在左側導覽列,單擊資料開發,找到目標商務程序,右鍵選擇大量操作

    3. 節點類型選擇為離線同步即時同步Data Integration資源群組選擇為待切換的Data Integration資源群組。

      image

調度任務

  1. 進入營運中心頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

  2. 在左側導覽列單擊周期任務營運 > 周期任務,篩選調度資源群組為待切換的調度資源群組。

    image

資料服務

  1. 進入資料服務頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料服務,在下拉框中選擇對應工作空間後單擊進入資料服務

  2. 在左側導覽列單擊服務開發,然後單擊image,進入大量操作頁面,篩選資源群組為待切換的資料服務資源群組。

    image

步驟二:切換前Serverless資源群組規格評估

您需要在切換前評估已有任務(同步任務、調度任務以及資料服務)的資源消耗情況,從而確定需要購買的Serverless資源群組的規格大小,確保Serverless資源群組能夠承載相關業務。

具體評估建議如下:

Data Integration

離線同步任務

  • 如果使用嚮導模式:

    離線同步任務並發配置

    Serverless資源群組

    4<=

    0.5 CU

    >=4

    (並發數−4)∗0.07+0.5 CU

  • 如果使用指令碼模式配置了JVM:

    設定--Xmx值

    Serverless資源群組

    1.8g<=

    0.5 CU

    value(單位g)

    value÷0.9÷4 CU

即時同步任務

同步任務類型

舊版資源群組規格

Serverless資源群組

MySQL即時同步

資料庫數1

4 vCPU 8 GiB

2.5 CU

資料庫數2~5

8 vCPU 16 GiB

4 CU

資料庫數6以上

12 vCPU 24 GiB

7 CU

DRDS(PolarDB-X 1.0)即時同步

12 vCPU 24 GiB

7 CU

kafka即時同步

4 vCPU 8 GiB

2.5 CU

其它類型單表層級即時任務

4 vCPU 8 GiB

2.5 CU

任務調度

  • 如果您的調度任務中包含計算任務(PyODPS2、EMR Hive等任務):計算任務將使用Serverless資源群組進行計算,請根據任務實際情況合理規劃資源群組CU規格。

    說明

    各計算任務的預設CU量,請參見:資料計算工作清單

  • 如果您的調度任務中不包含計算任務:Serverless資源群組支援的最大並發運行執行個體數上限為200,已滿足舊版資源群組所有規格的最大並發運行執行個體數,無需關注Serverless資源群組CU規格。

    舊版資源群組不同規格支援的最大並發運行執行個體數不同,具體如下:

    舊版資源群組

    Serverless資源群組

    規格

    最大並發運行執行個體數

    最大並發運行執行個體數

    4 vCPU 8 Gib

    16

    200

    8 vCPU 16 Gib

    32

    12 vCPU 24 Gib

    48

    16 vCPU 32 Gib

    64

    24 vCPU 48 Gib

    96

資料服務

最大每秒請求(QPS)

舊版資源群組規格

Serverless資源群組

服務可用性(SLA)

500

api.s2.small

4 CU

99.95%

1000

api.s2.medium

8 CU

2000

api.s2.large

16 CU

500

api.s1.small

4 CU

1000

api.s1.medium

8 CU

2000

api.s1.large

16 CU

說明

舊版資源群組規格api.s1.smallapi.s1.mediumapi.s1.large已停止售賣,如果您正在使用,請儘快切換資源群組。

步驟三:購買Serverless資源群組

根據已評估的Serverless資源群組規格大小,購買Serverless資源群組。具體請參見新增和使用Serverless資源群組

步驟四:切換為Serverless資源群組

後續步驟

切換Serverless資源群組後,如果原舊版資源群組確認不再使用,可將原資源群組退訂。具體操作,請參見通用參考:退訂訂用帳戶產品

附錄:資源群組切換後各任務計費項目對比

當您從舊版資源群組切換到Serverless資源群組時,任務執行涉及的計費項目會有所不同,以下以具體樣本為您介紹資源群組切換前後計費項目變化:

以調度配置了資料品質(DQC)規則的DataWorks計算型任務(如EMR Hive任務)為例,DataWorks將會收取調度費用代碼執行產生的計算費用資料品質執行個體費用以及資料品質規則校正SQL執行產生的資料計算費用

任務類型

資源群組

調度費用

代碼執行產生的計算費用

資料品質執行個體費用

資料品質規則校正SQL執行產生的資料計算費用

在DataWorks資源群組進行計算的任務

舊版資源群組

對號2

不涉及 (1)

對號2

不涉及 (1)

Serverless資源群組

對號2

對號2

對號2

對號2

不在DataWorks資源群組進行計算的任務

舊版資源群組

對號2

不涉及 (1)

對號2

不涉及 (1)

Serverless資源群組

對號2

不涉及 (1)

對號2

不涉及 (1)

說明

您可以查看附錄:計算型工作清單,判斷任務是否在DataWorks資源群組進行計算,不在該列表的任務都不會收取計算費用,例如:在MaxCompute中啟動並執行計算任務,不會在DataWorks資源群組中計算,因此不收取DataWorks資源群組計算費用。