全部产品
Search
文档中心

大数据开发治理平台 DataWorks:资源组编排

更新时间:Aug 29, 2024

DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。本文为您介绍如何进行资源组编排。

前提条件

  • 资源组编排是基于业务流程使用的功能,因此您需要先创建业务流程。创建业务流程,详情请参见创建周期业务流程

  • 资源组编排是用于对当前工作空间使用的调度资源组进行快速合理分配,因此您需要先购买开通调度资源组。如需购买使用Serverless资源组,详情请参见新增和使用Serverless资源组

背景信息

资源组编排功能,用于在数据开发阶段批量修改指定业务流程下目标节点使用的调度资源组。不同规格的资源组支持的最大并发任务数不同,您可以根据实际业务需求,将目标节点分配至不同的资源组上运行。资源组规格及其支持的最大并发任务数,详情请参见Serverless资源组计费

说明

生产阶段批量修改调度资源组,详情请参见周期任务的批量操作功能

使用限制

  • DataWorks当前仅支持对周期任务使用的调度资源组进行编排。

  • 虚拟节点运行时不占用调度资源,因此虚拟节点不需要并且不支持修改调度资源组。

操作步骤

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 进入资源组编排页面。

    在数据开发页面,鼠标悬停至目标业务流程,单击业务流程后的资源组编排图标,进入该业务流程的资源组编排界面。

    说明

    资源组编排是基于业务流程使用的功能,因此您需要先定位至目标业务流程。

    资源组编排

  3. 编排资源组。

    说明
    • 当不同资源组下的目标节点需要切换至相同的资源组时,DataWorks支持对其进行同批次的统一编排操作。

    • 当目标节点需要切换至不同的资源组时,您需要分批次对其执行编排操作。

    编排资源组

    1. 可选:您可以通过节点名称节点类型引擎类型等条件进行筛选,查找指定条件的节点。

    2. 确认节点信息并勾选需要批量切换资源组的目标节点。

    3. 单击切换资源组,选择需要使用的目标资源组。

    4. 单击确定,完成资源组切换。

    资源组的其他操作如下:

    • 配置:Serverless资源组(推荐)或旧版独享调度资源组支持配置功能。单击资源组后的配置,即可跳转至DataWorks概览页面。单击左侧导航栏中的资源组列表前往资源组列表页面,在独享资源组Tab框中找到对应资源组,单击详情查看该资源组的详情,进行相关配置操作。

    • 购买调度资源组:如果当前工作空间没有可用的资源组,您可以单击购买调度资源组购买。

    • 切换单个节点的资源组:单击目标节点操作列的切换,即可修改该节点使用的调度资源组。

  4. 单击提交图标,提交资源组的编排操作。

  5. 发布资源组的编排操作。

    节点切换资源组后,您需要进入任务发布界面将节点的更新操作进行发布。发布后,节点在生产环境调度时才可以使用修改后的调度资源组。发布节点,详情请参见发布任务