新增和使用Serverless资源组 - 大数据开发治理平台 DataWorks

为了加强DataWorks功能间的资源管理和统一用户体验，DataWorks推出Serverless资源组，涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能，通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。本文档将详细介绍如何新增和使用Serverless资源组。

前提条件

您需要先了解Serverless资源组的规格性能、计费类型等细节，提前根据业务场景规划需购买的资源组规格和购买时长，详情请参见：DataWorks资源组概述、Serverless资源组计费。
仅华北2（北京）、华东2（上海）、华南1（深圳）、华东1（杭州）、中国（香港）、华北3（张家口）、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、日本（东京）、英国（伦敦）、美国（硅谷）、德国（法兰克福）、美国（弗吉尼亚）地域支持使用Serverless资源组。
已具备资源组相关权限：
- 仅拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户可以购买资源组。相关操作，请参见查看RAM用户的权限、为RAM用户授权。
- 仅空间管理员可以进行资源组归属空间绑定与修改的操作。
- 资源组其他操作的权限控制，请参见控制台实体对象级权限管控策略。
若您需要在虚商环境下使用Serverless通用型资源组，请先确认您所对应的提供商是否已支持售卖该商品。

Serverless资源组与旧版资源组对比

对比项	旧版资源组（独享资源组和公共资源组）	Serverless资源组
使用方法	按照功能进行区分，分为数据集成、数据调度、数据服务三种资源组。	各功能通用，不区分用途。
功能边界	DataWorks部分能力旧版资源组不支持。	支持DataWorks的所有功能。
支持混用	不支持，不同类型之间无法混用。	支持，一个资源组可以被所有功能（数据集成、数据调度、数据服务）使用。
售卖形式	按照机器规格和台数收费。最小需要购买一台4c8g，最小扩容步长为一台4c8g。	按照CU进行售卖。最小需要购买2 CU，最小扩容步长为1 CU。
收费方式	独享资源组只有包年包月一种方式。公共资源组只有按量付费一种方式。	支持包年包月和按量付费两种形式。
资源碎片的浪费	机器规格只有有限几种，因此每种机器上都会存在一定量的资源碎片无法利用，造成资源浪费。	按需选择合适CU数，避免了资源浪费。
扩缩容能力	升级或降级规格。增加或减少台数。	直接对于资源组CU数修改即可。
扩缩容时影响	影响已经在运行的任务。	已经运行的任务不受影响。说明升配、降配时不会对正在运行的任务产生影响。
网络安全性	DataWorks代持公网出入口。多用户共享，存在资源争抢。	完全使用客户自己的公网能力，行为可控。
发展趋势	计划未来下线。	成为DataWorks唯一正式的资源组。
是否支持自定义镜像	不支持。	支持自定义镜像管理，能够定制化构建任务执行所需组件的镜像，满足更多任务执行条件。

注意事项

为了确保资源组可以访问到数据源（目标网络环境下的数据库、数据服务或其他数据），请提前根据数据源情况，了解并完成网络连通。详情请参见网络连通方案。
重要
Serverless资源组可通过绑定专有网络的方式在内网访问复杂网络环境下的数据源或地址。但Serverless资源组默认不具备公网访问能力，如果需要通过公网访问数据源或网络，请为Serverless资源组绑定的VPC配置公网NAT网关和EIP。具体操作，请参见场景五：数据源在公网。
若VPC、V-Switch已绑定至DataWorks Serverless资源组，请勿随意变更VPC、V-Switch的环境，该操作可能导致DataWorks上的任务执行失败。
资源组不同计费方式（包年包月和按量付费）间不支持转换。例如，您通过包年包月方式购买的Serverless资源组，该资源组后续只能使用包年包月方式计费，不能转换为按量付费。

Serverless资源组计费

资源组相关计费，请参见Serverless资源组计费。

步骤一：新增Serverless资源组

进入资源组列表页面。
登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的资源组，进入资源组列表页面。

在独享资源组页签下单击新建资源组，进入Serverless资源组购买页面。

参数	说明
地域和可用区	选择地域，需要和DataWorks工作空间所在的地域一致。
付费模式	包年包月：预付费模式。按量付费：后付费模式。说明资源组不同计费方式（包年包月和按量付费）间不支持转换。例如，您通过包年包月方式购买的Serverless资源组，该资源组后续只能使用包年包月方式计费，不能转换为按量付费。您可以同时购买多个不同计费方式的资源组，以满足您的业务需求。
资源组规格	当付费模式为包年包月时，需要设置资源组规格。取值范围：2 CU ~ 99999999 CU。说明 `1 CU = 1核CPU + 4GiB内存`，具体购买建议及运行各任务需要的最低规格要求，请参见性能指标及购买建议。上限`99999999 CU`即表示购买规格无上限，但可能受库存影响，如库存不足时，请关注购买页面的提示。
资源组名称	设置资源组名称。
资源组备注	设置资源组备注说明。
专有网络（VPC）	根据资源组需要连通的专有网络来选择。数据源与Serverless资源组同账号同地域：配置数据源所在的VPC和交换机。数据源在其他复杂网络环境下：您还需通过VPN网关或高速通道等方式，将Serverless资源组绑定的VPC与数据源所在的VPC网络打通。详情请参见网络连通方案。说明如果下拉列表没有选项，需要前往VPC控制台进行创建。关于专有网络VPC的更多信息，详情请参见什么是专有网络。资源组支持绑定多个VPC，您可以在购买完成后为其绑定其他VPC。如果资源组付费模式为包年包月，则此处配置的VPC被应用于数据服务、数据计算和数据集成后，数据服务无法再新绑定专有网络或更换专有网络，请提前规划。若VPC、V-Switch已绑定至DataWorks Serverless资源组，请勿随意变更VPC、V-Switch的环境，该操作可能导致DataWorks上的任务执行失败。
交换机（V-Switch）
计费周期	当付费模式为包年包月时，需要设置计费周期。重要建议选中到期自动续费，可避免因资源到期停机或释放而影响业务。勾选后，自动续费周期为每月，在实例到期前会以实时价格自动扣费。
服务关联角色	关联服务角色，首次购买时需要创建服务关联角色（AliyunServiceRoleForDataWorks），后续会默认关联已创建的角色。说明服务关联角色（AliyunServiceRoleForDataWorks），用于访问专有网络VPC、弹性网卡ENI及安全组中的资源，该角色的更多权限细节，请参见DataWorks服务关联角色。

步骤二：为工作空间绑定资源组

创建资源组后，还需要将其与工作空间绑定，绑定完成后，才可以在目标工作空间创建各项任务时选择并使用Serverless资源组。

创建工作空间时绑定资源组
1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的工作空间，进入工作空间列表页面。
2. 单击创建工作空间，在创建工作空间页面，修改参数默认资源组配置的取值为已创建的目标资源组。
为已有工作空间绑定资源组
1. 进入资源组列表页面。
  登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的资源组，进入资源组列表页面。
2. 点击目标资源组右侧操作列的绑定工作空间，找到待绑定的工作空间后，单击操作列的绑定。

步骤三：网络连通

为了确保各项任务的顺利进行，您需要完成网络连通的相关配置，使资源组可以访问到数据源。具体请参见网络连通方案。

重要

Serverless资源组可通过绑定专有网络的方式在内网访问复杂网络环境下的数据源或地址。但Serverless资源组默认不具备公网访问能力，如果需要通过公网访问数据源或网络，请为Serverless资源组绑定的VPC配置公网NAT网关和EIP。具体操作，请参见场景五：数据源在公网。

资源组绑定的VPC支持配置DNS内网解析，从而允许DataWorks通过自定义内网域名访问数据源。以CDH集群为例，您可以为Serverless资源组绑定的VPC配置内网DNS解析，详情请参见获取CDH或CDP集群信息并配置网络连通。

步骤四：资源组配置项调整

配额管理

您可以为数据计算、数据集成和数据服务分别配置资源组的CU上限或CU保障，以确保各项任务能够顺利运行。

说明

按量付费资源组配置CU上限，防止资源使用过多。
包年包月资源组配置CU保障，设置最低CU保障额度。

进入资源组列表页面。
登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的资源组，进入资源组列表页面。
调整配额。
- 在资源组列表页调整。
  单击目标资源组操作列的 > 配额管理，然后修改不同用途的CU上限或CU保障取值。
- 在资源组详情页调整。
  在资源组列表页，单击目标资源组名称，进入资源组详情页面。在右上角单击配额管理，然后修改不同用途的CU上限或CU保障取值。

数据调度并发上限调整

在数据调度场景下，您可以手动设置任务并发上限，控制最大允许多少个任务同时执行。

说明

数据调度并发默认为50，最大可调整至200。

进入资源组列表页面。
登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的资源组，进入资源组列表页面。
调整数据调度并发上限。
- 在资源组列表页调整。
  单击目标资源组操作列的 > 数据调度并发上限，然后修改数据调度并发上限取值。
- 在资源组详情页调整。
  在资源组列表页，单击目标资源组名称，进入资源组详情页面。在右上角单击数据调度并发上限，然后修改数据调度并发上限取值。
说明
此处配置的数据调度并发上限，仅用于控制可同时调度的任务数上限，与任务执行无关，不限制任务执行行为。

下一步：为各项任务配置Serverless资源组

Serverless资源组创建并配置完成后，您需要为数据集成、数据调度、数据服务等任务配置资源组，以便在各项任务中应用Serverless资源组。具体操作，请参见通用参考：切换资源组。

大数据开发治理平台 DataWorks：新增和使用Serverless资源组