全部产品
Search
文档中心

大数据开发治理平台 DataWorks:数据计算计费说明

更新时间:Aug 14, 2024

DataWorks支持的各类型节点任务(例如,PyODPS、EMR Hive),一部分会通过调度下发至各引擎执行,另一部分直接在DataWorks的资源组上执行或通过DataWorks资源组启动资源再下发至引擎执行,任务代码执行时会占用一定计算资源,下发至计算引擎的任务由对应计算引擎收取数据计算费用。在DataWorks Serverless资源组执行的任务或通过Serverless资源组启动资源再下发至引擎执行的任务,会占用DataWoks资源组的计算资源,DataWorks会收取数据计算费用。本文为您介绍Serverless资源组运行数据计算任务的收费详情。

费用产生场景

使用Serverless资源组在以下模块运行计算型任务,会产生相应计算费用:

  • 数据开发:在数据开发(DataStudio)运行数据计算任务,任务代码执行将产生数据计算费用。

  • 数据质量:若数据计算任务配置了数据质量校验规则,执行规则校验的SQL将产生数据计算费用。

  • 数据分析:在数据分析运行Shell、Python等数据计算型任务时,将产生数据计算费用。

  • 运维中心:在运维中心运行数据计算任务。

DataWorks支持的计算型任务,请参见附录:计算型任务列表

说明

旧版资源组运行各类型节点任务不涉及数据计算费用。

Serverless资源组计费说明

Serverless资源组统一按照CU计费,1CU = 1核CPU + 4GiB内存

附录:计算型任务列表

如何判断计算型任务

您可进入数据开发(DataStudio)相应节点的编辑页面,通过右侧导航栏的调度配置 > 资源属性,查看当前任务的类型。

  • 计算型任务:在资源属性区域,需指定任务运行所需的调度CU。

    • 场景一:调度CU可自定义CU量。

      image

    • 场景二:调度CU仅支持配置为默认的CU量。

      image

  • 调度型任务:在资源属性区域,仅支持选择调度资源组,无需配置任务使用的CU量。

    image

计算型任务列表

使用Serverless资源组运行数据计算任务会消耗CU,涉及的默认CU及运行CU介绍如下:

  • 默认CU:每次运行任务时,平台根据任务类型分配的推荐CU量,低于该值可能无法保障任务的高效运行。

  • 运行CU:运行任务实际配置的CU量,平台默认填充为默认CU的值,您可按需调整。配置原则如下:

    • 最低配置为0.25CU,步长为0.25CU。若界面提示当前资源组的CU额度不足,可调整数据计算任务的CU配额。

    • 为避免资源配置不足或过量,请参考默认CU及数据计算任务的CU配额合理配置。详情请参见配额管理

说明

仅部分任务支持调整运行CU。例如:

  • Hologres SQL任务的运行CU无法调整,只能配置为0.25(即默认CU)。

  • PyODPS 2任务的运行CU默认为0.5,您可按需调整(例如,0.4、0.6等)。

示例:在数据开发(DataStudio)运行HologresSQL、PyODPS 2任务,运行CU如下。

image

DataWorks支持的计算型任务、各任务的默认CU量及运行CU的更改情况如下表。

数据源类型

任务类型

默认CU

运行CU是否可修改(Y:是/N:否)

MaxCompute

ODPS MR

0.5CU

Y

PyODPS 2

0.5CU

Y

PyODPS 3

0.5CU

Y

Hologres

Hologres SQL

0.25CU

N

一键MaxCompute表结构同步节点

0.25CU

Y

一键MaxCompute数据同步节点

0.25CU

Y

EMR

EMR Hive

0.25CU

N

EMR Presto

0.25CU

N

EMR Impala

0.25CU

N

EMR Trino

0.25CU

N

EMR MR

0.25CU

Y

EMR Spark SQL

0.25CU

N

EMR Spark

0.5CU

Y

EMR Spark Streaming

0.5CU

Y

EMR Shell

0.25CU

Y

CDH

CDH Hive

0.25CU

N

CDH Presto

0.25CU

N

CDH Impala

0.25CU

N

CDH Trino

0.25CU

N

CDH MR

0.25CU

Y

CDH Spark SQL

0.25CU

N

CDH Spark

0.5CU

Y

CDH Spark Streaming

0.5CU

Y

CDH Shell

0.25CU

Y

ADB for PostgreSQL

AnalyticDB for PostgreSQL

0.25CU

Y

AnalyticDB for MySQL

AnalyticDB for MySQL

0.25CU

Y

ClickHouse

ClickHouse SQL

0.25CU

N

通用

赋值节点

0.25CU

Y

循环结束节点

——

Y

Shell

0.25CU

Y

SSH节点

0.25CU

Y

FTP Check

0.25CU

N

MySQL

0.25CU

N

自定义节点

0.25CU

Y

算法

PAI DLC

0.25CU

N

相关文档