全部产品
Search
文档中心

大数据开发治理平台 DataWorks:使用公共资源组

更新时间:Sep 03, 2024

开通DataWorks时,DataWorks自动为您提供公共资源组(包括公共调度资源组、公共数据服务资源组),可用于数据开发、运行测试等操作。公共资源组被多个租户共享,高峰期租户间可能会存在抢占资源的情况。本文为您介绍公共资源组的概要信息。

适用场景

公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。

使用限制

公共资源组由多个租户共享,在高峰期无法保证稳定的资源分配。

说明
  • 公共调度资源组最多支持40个调度任务同时运行,但在任务执行高峰期(通常为00:00~09:00)会存在资源抢占情况,公共调度资源组的并发任务数可能会小于该数值。

  • 公共数据服务资源组无法满足高频率、高并发的调用。

如果您希望保障任务运行资源独立且充足,建议开通使用独享资源组,具体如下表。

资源组类型

描述

参考链接

独享调度资源组

在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议使用DataWorks的独享调度资源组。

独享调度资源组计费说明:包年包月

独享数据集成资源组

在数据集成任务高并发执行且无法错峰运行的情况下,企业需要专有的计算资源组来保障数据快速、稳定地传输时,建议使用DataWorks的独享数据集成资源组。

独享数据集成资源组计费说明:包年包月

独享数据服务资源组

在调用数据服务API需要高QPS和SLA保障的情况下,企业需要保障调用成功。同时,满足高并发、高频率的接口调用并及时返回结果数据时,建议使用DataWorks的独享数据服务资源。

独享数据服务资源组计费说明:包年包月

计费与相关操作

(1)计费说明

说明

购买DataWorks后,DataWorks会为您提供公共资源组,无需您单独购买。

根据公共资源组实例费用、同步进程费用等计费项收费。公共资源组开通时支持按量付费的计费模式,计费详情可参见:

(2)扣费与欠费说明

DataWorks针对不同类型公共资源组的扣费及欠费处理情况存在差异,详情请参见扣费与欠费说明

使用公共资源组

了解上述公共资源组的适用场景及计费详情后,您可以在数据集成、数据开发等任务中选择合适类型的资源组使用。

说明
  • 在保证其它任务没有使用公共资源组的前提下,一个数据集成任务的公共资源组最多支持5个并发。在实际执行任务时,资源可能会被其它任务抢占,所以最大并发数未必达到5个并发,并发数以实际运行情况为准。

  • 公共资源组不支持调整内存大小,您可以调整并发数。

    内存的计算方式为:并发数*512MB

网络连通方案

DataWorks资源组本质上为一组阿里云ECS实例,在运行数据集成、数据开发等任务时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。

  • 网络连通

    公共资源组支持与阿里云内部数据源之间的访问连通,数据源所处的网络环境及其连通性支持情况如下。

    • 公共调度资源组

      • 若要访问公网地址,需要在工作空间配置界面配置沙箱白名单,配置沙箱白名单后仍无法访问,请使用独享调度资源组。

      • 仅支持访问无白名单访问控制的地址。访问有白名单访问控制的地址,或访问VPC地址,需要使用独享调度资源组。

      说明

      建议所有访问外部地址的场景,均使用独享调度资源组。使用独享调度资源组,详情请参见独享调度资源组

    • 公共数据服务资源组

      数据源所处的网络环境与资源组的连通性支持情况如下。

      数据源网络环境

      是否支持访问

      数据源处于公网环境

      支持

      数据源处于经典网络

      支持

      数据源处于VPC网络

      不支持

  • 白名单设置

    公共调度资源组为您提供任务安全沙箱功能,限制未知IP访问资源组。如果您的业务场景涉及访问资源组,需要将访问资源组的IP添加至安全沙箱白名单中。详细操作请参见安全设置