全部产品
Search
文档中心

大数据开发治理平台 DataWorks:新增和使用独享调度资源组

更新时间:May 30, 2024

您可根据业务场景需求选择购买合适规格的独享调度资源组,用于任务的调度运行。购买独享资源组后,在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。

前提条件

购买和使用独享调度资源组前:

  • 您需先了解独享调度资源组的规格性能(不同规格能同时跑多少任务)、计费类型(不同规格怎么收费)等细节,提前根据业务场景规划需购买的资源组规格和购买时长,详情请参见独享调度资源组计费说明:包年包月

  • (可选)如果独享调度资源组在后续的应用中可能涉及与数据源或其他网络环境的交互,例如,在调度场景下,需要通过Shell访问自建数据库或某个内部地址;或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时,您还需了解不同场景下,独享调度资源组与数据源间或引擎间的网络连通方案和白名单注意事项,详情请参见独享调度资源组

    说明

    如果您暂无连通数据库实例的需求,只是为了缓解因公共调度资源组的资源紧张,导致任务延迟的问题,则无需关注本文涉及的网络相关问题。您可以购买任意可用区的独享调度资源组,且无需进行网络相关配置操作。

  • 您需要先了解独享调度资源组适用场景,详情请参见独享调度资源组适用场景

操作流程

从购买至使用独享调度资源组,您需进行的主要操作流程如下。

步骤

描述

参考链接

1

独享资源组为包年包月服务,您需要单独购买。

购买资源组

2

独享资源组购买完成后默认不归属于任何工作空间,您可规划该资源组归属的工作空间,并将其与工作空间进行绑定。

绑定归属工作空间

3

若独享资源组需要访问VPC网络环境,您需要为其绑定与目标VPC网络环境数据源或地址网络连通的VPC。

(可选)绑定专有网络

4

若目标环境存在白名单控制,您需要在目标环境添加独享资源组的相关IP,保障独享资源组可访问目标环境。

(可选)添加白名单

5

为保障任务配置无误,建议您先前往数据源测试数据的连通性。

(可选)测试网络连通

6

独享资源组绑定工作空间后,任务不会自动切换使用独享资源组执行,您需要参考该步骤手动切换任务执行时使用的资源组。

切换调度资源组

7

查看资源组的使用与排队情况,与资源组的使用率及等待资源的实例数监控。

查看资源组使用率与资源组运维监控

8

若您需要在独享调度资源组上执行相关命令,例如安装PyODPS三方包等,您可参考该步骤使用运维助手功能进行操作。

(可选)使用运维助手在资源组上执行命令

注意事项

  • 仅主账号或拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess权限的RAM用户可以进行购买资源组的操作。

  • 仅空间管理员可以进行资源组归属空间绑定与修改的操作。

  • 资源组界面权限点详情请参见资源组权限管控策略

  • 创建自定义策略内容并授权操作参考详情请参见创建自定义策略(可选)

  • 4c8g类型的独享调度资源组最多支持绑定2个专有网络,其他规格的独享调度资源组最多支持绑定3个专有网络。

购买资源组

说明

仅拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess权限的用户可以进行购买资源组的操作。

  1. 登录DataWorks控制台

  2. 单击左侧导航栏资源组列表,在独享资源组页签下单击创建调度资源组,在购买页面根据业务需要配置相应的参数,配置要点如下。

    参数

    描述

    地域

    选择后续需要使用此独享资源组的地域。

    说明

    独享调度资源组不支持跨地域使用。例如,华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。

    独享资源类型

    选择为独享调度资源

    独享调度资源

    选择独享调度资源组的规格大小,不同规格的费用及最大并发运行实例数存在差异。详情请参见独享调度资源组计费说明:包年包月

    资源数量

    资源组中的机器数量。为保证生产环境的高可用性,资源数量建议选择为2个及2个以上。

    计费周期

    独享资源组为包年包月服务,为保障服务不中断,建议您勾选到期自动续费。资源组创建完后,您也可以前往阿里云续费管理页面,开启或取消自动续费服务。详情请参见通用参考:停止使用DataWorks商品

    资源名称

    设置资源组的名称,此名称需在租户内唯一,请避免重复,否则会导致在后续进行确定操作时报错。

    说明

    租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。

  3. 单击立即购买,根据界面提示进行付款等操作后即可完成购买独享调度资源组。

    购买后,DataWorks即开始初始化此独享资源组,当资源组状态为运行中后,独享资源组即已添加至控制台。

    说明

    独享资源组的初始化需要约20分钟,请您耐心等待其状态更新为运行中

独享资源组添加至控制台后,您需要为资源组绑定工作空间,才可以在任务的配置中选择使用此独享资源组。

绑定归属工作空间

说明

仅空间管理员可以进行资源组归属空间绑定与修改的操作。

独享调度资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择使用该独享资源组。一个独享调度资源组可以分配给多个工作空间使用,但不可跨地域使用,例如,上海地域的独享调度资源组仅可绑定上海地域的工作空间使用,不可绑定其他地域的工作空间。绑定归属工作空间的操作如下。

  1. 登录DataWorks控制台

  2. 资源组列表独享资源组页签下,单击相应资源组后的修改归属工作空间

  3. 修改归属工作空间单击对应工作空间后的绑定,即可将独享资源组绑定至此工作空间。

(可选)绑定专有网络

如果独享调度资源组在后续的应用中可能涉及与数据源或其他网络环境的交互,例如,在调度场景下,需要通过Shell访问自建数据库或某个内部地址;或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时,您还需进行以下绑定专有网络、白名单的相关配置。

独享资源组部署在DataWorks托管的专有网络中,您需要绑定自己的专有网络后,独享资源组才可与其他数据源连通。绑定专有网络的操作如下。

重要

4c8g类型的独享调度资源组最多支持绑定2个专有网络,其他规格的独享调度资源组最多支持绑定3个专有网络。

  1. 登录DataWorks控制台

  2. 资源组列表独享资源组页签下,单击相应资源组后的网络设置,进入绑定页面。

    绑定前,请首先使用阿里云主账号进行RAM授权(仅主账号有权限),让DataWorks拥有访问您的云资源的权限。

  3. 绑定专有网络VPC。

    1. 单击专有网络绑定页面左上方的新增绑定,在新增专有网络绑定对话框中,配置各项参数,不同网络环境下各参数的配置说明如下。

      说明

      阿里云实例、ECS自建等场景均可根据DataWorks工作空间与数据源是否同阿里云主账号来进行网络连通方案选择与配置。

      参数

      配置说明(数据源与独享资源同账号同地域)

      配置说明(数据源与独享资源在不同账号或不同地域)

      专有网络

      如果您的数据源与独享资源组在同一个阿里云账号下,建议配置为数据源所在的VPC。

      如果不在同一个阿里云账号下,则与不在同一地域场景一致。

      如果您的数据源与独享资源不在同一地域或不在同一个阿里云主账号下,您需要选择该账号下已与目标数据源所在环境网络打通的VPC。例如,数据源不在阿里云VPC网络环境中,您可单击创建专有网络,为独享资源组创建一个VPC。创建完成后这里配置为新建的VPC或选择已经与目标数据库网络打通的VPC。

      说明

      DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下,您还需通过VPN网关高速通道等方式,将独享资源组绑定的VPC与数据源所在VPC网络打通,并手动添加路由指向目标数据库IP,保障两个网络间可达。详情请参见配置资源组与网络连通

      可用区

      选择数据库所在可用区。

      选择已经与目标数据库网络联通的可用区。

      交换机

      专有网络配置为数据源所在VPC时,建议选择与数据源绑定的交换机。

      说明

      绑定数据源所在VPC后,绑定VPC下任意一个交换机,会自动添加路由至整个VPC网段,实现独享数据集成资源组在该VPC下网络可达。

      选择已经与目标数据库网络联通的交换机,若没有可用交换机,可单击创建交换机为独享资源组创建交换机。创建完成后这里配置为创建的交换机。

      安全组

      安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已有的安全组,或单击创建安全组为独享资源实例创建安全组。创建安全组的详细参数配置可参见添加安全组规则

    2. 单击确定,完成绑定VPC操作。

    说明

    如果数据源和独享资源组不在同一个地域,或不在同一个阿里云账号下,则您需要绑定专有网络后,再添加路由规则指向目标数据库IP地址。

  4. 可选:配置Host。

    如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。

    1. 单击Host配置,在Host配置页面左上方单击新增,在新增域名Host配置对话框中配置各项参数。参数说明如下。

      参数

      配置说明

      IP地址

      配置为数据源的实际IP地址。

      Host域名

      配置为数据源对外提供访问服务的Host域名。如果有多个Host域名时,可换行依次添加。

    2. 如果有多个IP地址需要添加,可继续单击新增继续添加。

      说明
      • 新增的Host配置中,IP、域名不能与之前配置的Host中的IP或域名重复。

      • 一个Host配置中,IP与域名为1对多的关系,即IP可以对应多个Host域名,但是同一个Host域名只能指向一个IP。

(可选)添加白名单

独享调度资源组和数据源同可用区时,如果同专有网络、交换机的情况下仍未连通网络,则可能是因为数据源有白名单限制。请添加以下内容至数据源的白名单列表中。

  • 使用内网连通数据源与独享资源组:添加独享资源组绑定专有网络时的交换机网段至数据源白名单中。

    您需要为独享资源组绑定专有网络后,进入DataWorks的资源组列表 > 独享资源组页面,单击相应资源组后的网络设置,查看交换机网段独享绑定的交换机网段

  • 使用公网连通数据源与独享资源组:添加独享资源组的EIP地址至数据源白名单中。查看独享资源组EIP

(可选)测试网络连通

以上网络配置完成之后,您需要通过以下方式测试资源组与数据源之间的网络连通性。

  1. 进入数据源页面。

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源 > 数据源列表,进入数据源页面。

  2. 单击相应数据源操作列的编辑

  3. 在数据源的编辑页面,单击相应数据调度资源组后的测试连通性,连通状态为可连通时,表示连通成功。任务调度

    说明
    • 不同类型数据源的配置界面存在差异,具体请以实际界面为准。

    • 若数据源分为开发环境和生产环境,则需分别测试不同环境数据源与资源组的网络连通性。

    • 更多网络环境下数据源与独享资源组的网络连通详情,请参见配置资源组与网络连通

切换调度资源组

操作环境

支持的切换操作

界面入口

切换生产环境资源组

批量切换

  1. 运维中心的左侧导航栏,单击周期任务运维 > 周期任务

  2. 勾选需要修改资源组的任务,单击底部菜单栏的修改调度资源组,即可批量修改。

批量切换

重要

虚拟节点、业务流程、人工智能平台PAI等任务类型不支持修改资源组,请勿选择。

切换开发环境资源组

  • 单个任务切换

  • 批量切换

进入DataStudio页面设置:

  • 单个任务切换

    进入目标节点的编辑页面,在调度配置 > 资源属性中即可修改。

  • 批量切换

    单击批量操作图标,勾选需要修改资源组的任务,单击底部菜单栏的更多 > 修改调度资源组,即可批量修改。批量修改

切换DataStudio调试资源组

单个任务切换

进入DataStudio单个节点代码编辑页面,点击工具栏中的切换按钮,切换代码调试阶段任务执行所用的调度资源组。

查看资源组使用率与资源组运维监控

您可在DataWorks管理控制台查看资源组的使用与排队情况,并支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。查看资源组使用率,详情请参见查看独享资源组的使用率,资源组监控,详情请参见创建自定义规则

(可选)使用运维助手在资源组上执行命令

在后续基于独享调度资源组实际开发过程中存在需要在独享调度资源组上执行相关命令的操作时,您可使用运维助手功能进行操作,例如安装PyODPS三方包等。运维助手的功能使用与入口,详情请参见运维助手