如果您准备将DataWorks的旧版资源组切换为Serverless资源组,为了能够平滑迁移,需要在切换前评估各项已有任务的资源消耗情况,然后切换到足够承载所有任务的Serverless资源组,本文为您提供了不同任务所需CU的评估示例、切换前后可能的影响以及从旧版资源组切换到Serverless资源组的操作指导。
背景信息
DataWorks支持独享数据集成资源组、独享调度资源组和独享数据服务资源组,但这些资源组需要根据实际情况分别购买和配置,为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出Serverless资源组,无需多次购买,一个Serverless资源组即可在数据集成、任务调度、数据服务功能间统一使用,简化了资源组的交互问题并提升了操作的一致性。
计费说明
切换前,旧版资源组计费说明:旧版资源组计费
切换后,Serverless资源组计费说明:Serverless资源组计费。
任务使用资源组从旧版资源组切换到Serverless资源组后,计费项可能存在变更,具体请参见附录:资源组切换后各任务计费项对比。
由旧版资源组切换为Serverless资源组前,数据计算任务(PyODPS2、EMR Hive等)不会收取计算费用,切换为Serverless资源组后,计算任务会收取计算费用。
操作步骤
步骤一:查询待切换资源组的任务
数据集成
数据集成页面
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成,在下拉框中选择对应工作空间后单击进入数据集成。
在左侧导航栏,单击同步任务,然后在任务列表区域,筛选资源组为待切换的数据集成资源组。
数据开发页面
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在左侧导航栏,单击数据开发,找到目标业务流程,右键选择批量操作。
节点类型选择为离线同步和实时同步,数据集成资源组选择为待切换的数据集成资源组。
调度任务
进入运维中心页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入运维中心。
在左侧导航栏单击
,筛选调度资源组为待切换的调度资源组。
数据服务
进入数据服务页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据服务,在下拉框中选择对应工作空间后单击进入数据服务。
在左侧导航栏单击服务开发,然后单击,进入批量操作页面,筛选资源组为待切换的数据服务资源组。
步骤二:切换前Serverless资源组规格评估
您需要在切换前评估已有任务(同步任务、调度任务以及数据服务)的资源消耗情况,从而确定需要购买的Serverless资源组的规格大小,确保Serverless资源组能够承载相关业务。
具体评估建议如下:
数据集成
离线同步任务
如果使用向导模式:
离线同步任务并发配置
Serverless资源组
<4
0.5 CU
>=4
(并发数−4)∗0.07+0.5
CU如果使用脚本模式配置了JVM:
设置--Xmx值
Serverless资源组
1.8g<=
0.5 CU
value(单位g)
value÷0.9÷4
CU
实时同步任务
同步任务类型 | 旧版资源组规格 | Serverless资源组 | |
MySQL实时同步 | 数据库数1 | 4 vCPU 8 GiB | 2.5 CU |
数据库数2~5 | 8 vCPU 16 GiB | 4 CU | |
数据库数6以上 | 12 vCPU 24 GiB | 7 CU | |
DRDS(PolarDB-X 1.0)实时同步 | 12 vCPU 24 GiB | 7 CU | |
kafka实时同步 | 4 vCPU 8 GiB | 2.5 CU | |
其它类型单表级别实时任务 | 4 vCPU 8 GiB | 2.5 CU |
任务调度
如果您的调度任务中包含计算任务(PyODPS2、EMR Hive等任务):计算任务将使用Serverless资源组进行计算,请根据任务实际情况合理规划资源组CU规格。
说明各计算任务的默认CU量,请参见:数据计算任务列表。
如果您的调度任务中不包含计算任务:Serverless资源组支持的最大并发运行实例数上限为200,已满足旧版资源组所有规格的最大并发运行实例数,无需关注Serverless资源组CU规格。
旧版资源组不同规格支持的最大并发运行实例数不同,具体如下:
旧版资源组
Serverless资源组
规格
最大并发运行实例数
最大并发运行实例数
4 vCPU 8 Gib
16
200
8 vCPU 16 Gib
32
12 vCPU 24 Gib
48
16 vCPU 32 Gib
64
24 vCPU 48 Gib
96
数据服务
最大每秒请求(QPS) | 旧版资源组规格 | Serverless资源组 | 服务可用性(SLA) |
500 | api.s2.small | 4 CU | 99.95% |
1000 | api.s2.medium | 8 CU | |
2000 | api.s2.large | 16 CU | |
500 | api.s1.small | 4 CU | |
1000 | api.s1.medium | 8 CU | |
2000 | api.s1.large | 16 CU |
旧版资源组规格api.s1.small
、api.s1.medium
和api.s1.large
已停止售卖,如果您正在使用,请尽快切换资源组。
步骤三:购买Serverless资源组
根据已评估的Serverless资源组规格大小,购买Serverless资源组。具体请参见新增和使用Serverless资源组。
步骤四:切换为Serverless资源组
后续步骤
切换Serverless资源组后,如果原旧版资源组确认不再使用,可将原资源组退订。具体操作,请参见通用参考:退订包年包月产品。
附录:资源组切换后各任务计费项对比
当您从旧版资源组切换到Serverless资源组时,任务执行涉及的计费项会有所不同,以下以具体示例为您介绍资源组切换前后计费项变化:
以调度配置了数据质量(DQC)规则的DataWorks计算型任务(如EMR Hive
任务)为例,DataWorks将会收取调度费用、代码执行产生的计算费用、数据质量实例费用以及数据质量规则校验SQL执行产生的数据计算费用。
任务类型 | 资源组 | 调度费用 | 代码执行产生的计算费用 | 数据质量实例费用 | 数据质量规则校验SQL执行产生的数据计算费用 |
在DataWorks资源组进行计算的任务 | 旧版资源组 | ||||
Serverless资源组 | |||||
不在DataWorks资源组进行计算的任务 | 旧版资源组 | ||||
Serverless资源组 |
您可以查看附录:计算型任务列表,判断任务是否在DataWorks资源组进行计算,不在该列表的任务都不会收取计算费用,例如:在MaxCompute中运行的计算任务,不会在DataWorks资源组中计算,因此不收取DataWorks资源组计算费用。