全部产品
Search
文档中心

大数据开发治理平台 DataWorks:旧版资源组切换为Serverless资源组

更新时间:Sep 26, 2024

如果您准备将DataWorks的旧版资源组切换为Serverless资源组,为了能够平滑迁移,需要在切换前评估各项已有任务的资源消耗情况,然后切换到足够承载所有任务的Serverless资源组,本文为您提供了不同任务所需CU的评估示例、切换前后可能的影响以及从旧版资源组切换到Serverless资源组的操作指导。

背景信息

DataWorks支持独享数据集成资源组、独享调度资源组和独享数据服务资源组,但这些资源组需要根据实际情况分别购买和配置,为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出Serverless资源组,无需多次购买,一个Serverless资源组即可在数据集成、任务调度、数据服务功能间统一使用,简化了资源组的交互问题并提升了操作的一致性。

计费说明

操作步骤

步骤一:查询待切换资源组的任务

数据集成

  • 数据集成页面

    1. 进入数据集成页面。

      登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成,在下拉框中选择对应工作空间后单击进入数据集成

    2. 在左侧导航栏,单击同步任务,然后在任务列表区域,筛选资源组为待切换的数据集成资源组。

      image

  • 数据开发页面

    1. 进入数据开发页面。

      登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

    2. 在左侧导航栏,单击数据开发,找到目标业务流程,右键选择批量操作

    3. 节点类型选择为离线同步实时同步数据集成资源组选择为待切换的数据集成资源组。

      image

调度任务

  1. 进入运维中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧导航栏单击周期任务运维 > 周期任务,筛选调度资源组为待切换的调度资源组。

    image

数据服务

  1. 进入数据服务页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据服务,在下拉框中选择对应工作空间后单击进入数据服务

  2. 在左侧导航栏单击服务开发,然后单击image,进入批量操作页面,筛选资源组为待切换的数据服务资源组。

    image

步骤二:切换前Serverless资源组规格评估

您需要在切换前评估已有任务(同步任务、调度任务以及数据服务)的资源消耗情况,从而确定需要购买的Serverless资源组的规格大小,确保Serverless资源组能够承载相关业务。

具体评估建议如下:

数据集成

离线同步任务

  • 如果使用向导模式:

    离线同步任务并发配置

    Serverless资源组

    <4

    0.5 CU

    >=4

    (并发数−4)∗0.07+0.5 CU

  • 如果使用脚本模式配置了JVM:

    设置--Xmx值

    Serverless资源组

    1.8g<=

    0.5 CU

    value(单位g)

    value÷0.9÷4 CU

实时同步任务

同步任务类型

旧版资源组规格

Serverless资源组

MySQL实时同步

数据库数1

4 vCPU 8 GiB

2.5 CU

数据库数2~5

8 vCPU 16 GiB

4 CU

数据库数6以上

12 vCPU 24 GiB

7 CU

DRDS(PolarDB-X 1.0)实时同步

12 vCPU 24 GiB

7 CU

kafka实时同步

4 vCPU 8 GiB

2.5 CU

其它类型单表级别实时任务

4 vCPU 8 GiB

2.5 CU

任务调度

  • 如果您的调度任务中包含计算任务(PyODPS2、EMR Hive等任务):计算任务将使用Serverless资源组进行计算,请根据任务实际情况合理规划资源组CU规格。

    说明

    各计算任务的默认CU量,请参见:数据计算任务列表

  • 如果您的调度任务中不包含计算任务:Serverless资源组支持的最大并发运行实例数上限为200,已满足旧版资源组所有规格的最大并发运行实例数,无需关注Serverless资源组CU规格。

    旧版资源组不同规格支持的最大并发运行实例数不同,具体如下:

    旧版资源组

    Serverless资源组

    规格

    最大并发运行实例数

    最大并发运行实例数

    4 vCPU 8 Gib

    16

    200

    8 vCPU 16 Gib

    32

    12 vCPU 24 Gib

    48

    16 vCPU 32 Gib

    64

    24 vCPU 48 Gib

    96

数据服务

最大每秒请求(QPS)

旧版资源组规格

Serverless资源组

服务可用性(SLA)

500

api.s2.small

4 CU

99.95%

1000

api.s2.medium

8 CU

2000

api.s2.large

16 CU

500

api.s1.small

4 CU

1000

api.s1.medium

8 CU

2000

api.s1.large

16 CU

说明

旧版资源组规格api.s1.smallapi.s1.mediumapi.s1.large已停止售卖,如果您正在使用,请尽快切换资源组。

步骤三:购买Serverless资源组

根据已评估的Serverless资源组规格大小,购买Serverless资源组。具体请参见新增和使用Serverless资源组

步骤四:切换为Serverless资源组

后续步骤

切换Serverless资源组后,如果原旧版资源组确认不再使用,可将原资源组退订。具体操作,请参见通用参考:退订包年包月产品

附录:资源组切换后各任务计费项对比

当您从旧版资源组切换到Serverless资源组时,任务执行涉及的计费项会有所不同,以下以具体示例为您介绍资源组切换前后计费项变化:

以调度配置了数据质量(DQC)规则的DataWorks计算型任务(如EMR Hive任务)为例,DataWorks将会收取调度费用代码执行产生的计算费用数据质量实例费用以及数据质量规则校验SQL执行产生的数据计算费用

任务类型

资源组

调度费用

代码执行产生的计算费用

数据质量实例费用

数据质量规则校验SQL执行产生的数据计算费用

在DataWorks资源组进行计算的任务

旧版资源组

对号2

不涉及 (1)

对号2

不涉及 (1)

Serverless资源组

对号2

对号2

对号2

对号2

不在DataWorks资源组进行计算的任务

旧版资源组

对号2

不涉及 (1)

对号2

不涉及 (1)

Serverless资源组

对号2

不涉及 (1)

对号2

不涉及 (1)

说明

您可以查看附录:计算型任务列表,判断任务是否在DataWorks资源组进行计算,不在该列表的任务都不会收取计算费用,例如:在MaxCompute中运行的计算任务,不会在DataWorks资源组中计算,因此不收取DataWorks资源组计算费用。