如果您準備將DataWorks的舊版資源群組切換為Serverless資源群組,為了能夠平滑遷移,需要在切換前評估各項已有任務的資源消耗情況,然後切換到足夠承載所有任務的Serverless資源群組,本文為您提供了不同任務所需CU的評估樣本、切換前後可能的影響以及從舊版資源群組切換到Serverless資源群組的操作指導。
背景資訊
DataWorks支援獨享Data Integration資源群組、獨享調度資源群組和獨享資料服務資源群組,但這些資源群組需要根據實際情況分別購買和配置,為了加強DataWorks功能間的資源管理和統一使用者體驗,DataWorks推出Serverless資源群組,無需多次購買,一個Serverless資源群組即可在Data Integration、任務調度、資料服務功能間統一使用,簡化了資源群組的互動問題並提升了操作的一致性。
計費說明
切換前,舊版資源群組計費說明:舊版資源群組計費
切換後,Serverless資源群組計費說明:Serverless資源群組計費。
任務使用資源群組從舊版資源群組切換到Serverless資源群組後,計費項目可能存在變更,具體請參見附錄:資源群組切換後各任務計費項目對比。
由舊版資源群組切換為Serverless資源群組前,資料計算任務(PyODPS2、EMR Hive等)不會收取計算費用,切換為Serverless資源群組後,計算任務會收取計算費用。
操作步驟
步驟一:查詢待切換資源群組的任務
Data Integration
Data Integration頁面
進入Data Integration頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration。
在左側導覽列,單擊同步任務,然後在工作清單地區,篩選資源群組為待切換的Data Integration資源群組。
資料開發頁面
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
在左側導覽列,單擊資料開發,找到目標商務程序,右鍵選擇大量操作。
節點類型選擇為離線同步和即時同步,Data Integration資源群組選擇為待切換的Data Integration資源群組。
調度任務
進入營運中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入營運中心。
在左側導覽列單擊
,篩選調度資源群組為待切換的調度資源群組。
資料服務
進入資料服務頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料服務,在下拉框中選擇對應工作空間後單擊進入資料服務。
在左側導覽列單擊服務開發,然後單擊,進入大量操作頁面,篩選資源群組為待切換的資料服務資源群組。
步驟二:切換前Serverless資源群組規格評估
您需要在切換前評估已有任務(同步任務、調度任務以及資料服務)的資源消耗情況,從而確定需要購買的Serverless資源群組的規格大小,確保Serverless資源群組能夠承載相關業務。
具體評估建議如下:
Data Integration
離線同步任務
如果使用嚮導模式:
離線同步任務並發配置
Serverless資源群組
<4
0.5 CU
>=4
(並發數−4)∗0.07+0.5
CU如果使用指令碼模式配置了JVM:
設定--Xmx值
Serverless資源群組
1.8g<=
0.5 CU
value(單位g)
value÷0.9÷4
CU
即時同步任務
同步任務類型 | 舊版資源群組規格 | Serverless資源群組 | |
MySQL即時同步 | 資料庫數1 | 4 vCPU 8 GiB | 2.5 CU |
資料庫數2~5 | 8 vCPU 16 GiB | 4 CU | |
資料庫數6以上 | 12 vCPU 24 GiB | 7 CU | |
DRDS(PolarDB-X 1.0)即時同步 | 12 vCPU 24 GiB | 7 CU | |
kafka即時同步 | 4 vCPU 8 GiB | 2.5 CU | |
其它類型單表層級即時任務 | 4 vCPU 8 GiB | 2.5 CU |
任務調度
如果您的調度任務中包含計算任務(PyODPS2、EMR Hive等任務):計算任務將使用Serverless資源群組進行計算,請根據任務實際情況合理規劃資源群組CU規格。
說明各計算任務的預設CU量,請參見:資料計算工作清單。
如果您的調度任務中不包含計算任務:Serverless資源群組支援的最大並發運行執行個體數上限為200,已滿足舊版資源群組所有規格的最大並發運行執行個體數,無需關注Serverless資源群組CU規格。
舊版資源群組不同規格支援的最大並發運行執行個體數不同,具體如下:
舊版資源群組
Serverless資源群組
規格
最大並發運行執行個體數
最大並發運行執行個體數
4 vCPU 8 Gib
16
200
8 vCPU 16 Gib
32
12 vCPU 24 Gib
48
16 vCPU 32 Gib
64
24 vCPU 48 Gib
96
資料服務
最大每秒請求(QPS) | 舊版資源群組規格 | Serverless資源群組 | 服務可用性(SLA) |
500 | api.s2.small | 4 CU | 99.95% |
1000 | api.s2.medium | 8 CU | |
2000 | api.s2.large | 16 CU | |
500 | api.s1.small | 4 CU | |
1000 | api.s1.medium | 8 CU | |
2000 | api.s1.large | 16 CU |
舊版資源群組規格api.s1.small
、api.s1.medium
和api.s1.large
已停止售賣,如果您正在使用,請儘快切換資源群組。
步驟三:購買Serverless資源群組
根據已評估的Serverless資源群組規格大小,購買Serverless資源群組。具體請參見新增和使用Serverless資源群組。
步驟四:切換為Serverless資源群組
- 說明
切換Serverless資源群組後,DataWorks已經自動按照任務原來的配置設定推薦的CU數,如果需要手動設定資源群組需要的CU數量,具體推薦設定,請參見步驟二:切換前Serverless資源群組規格評估。
- 說明
調度任務會根據實際任務是否在DataWorks資源群組中進行計算,劃分部分資源群組額度用於計算任務,修改調度資源群組時,會同步修改任務計算所用的資源群組。
- 說明
切換前需要為資料服務設定配額。如果未設定資料服務配額,切換時將無法選擇到Serverless資源群組。為資料服務設定配額的具體操作,請參見配額管理。
後續步驟
切換Serverless資源群組後,如果原舊版資源群組確認不再使用,可將原資源群組退訂。具體操作,請參見通用參考:退訂訂用帳戶產品。
附錄:資源群組切換後各任務計費項目對比
當您從舊版資源群組切換到Serverless資源群組時,任務執行涉及的計費項目會有所不同,以下以具體樣本為您介紹資源群組切換前後計費項目變化:
以調度配置了資料品質(DQC)規則的DataWorks計算型任務(如EMR Hive
任務)為例,DataWorks將會收取調度費用、代碼執行產生的計算費用、資料品質執行個體費用以及資料品質規則校正SQL執行產生的資料計算費用。
任務類型 | 資源群組 | 調度費用 | 代碼執行產生的計算費用 | 資料品質執行個體費用 | 資料品質規則校正SQL執行產生的資料計算費用 |
在DataWorks資源群組進行計算的任務 | 舊版資源群組 | ||||
Serverless資源群組 | |||||
不在DataWorks資源群組進行計算的任務 | 舊版資源群組 | ||||
Serverless資源群組 |
您可以查看附錄:計算型工作清單,判斷任務是否在DataWorks資源群組進行計算,不在該列表的任務都不會收取計算費用,例如:在MaxCompute中啟動並執行計算任務,不會在DataWorks資源群組中計算,因此不收取DataWorks資源群組計算費用。