全部产品
Search
文档中心

开源大数据平台E-MapReduce:管理节点组

更新时间:Dec 17, 2024

本文为您介绍DataLake、DataFlow、OLAP、DataServing和Custom集群如何新增、修改和删除节点组。

背景信息

节点组是您使用阿里云E-MapReduece服务对集群节点进行管理的核心单元,通常是由相同规格的ECS实例组成。您可以通过对节点组进行操作,批量管理一个组内的节点。您也可以根据业务规划,创建不同规格的实例组。例如,内存型实例节点(vCore : vMem = 1 vCPU : 8 GiB)用于大数据离线处理,计算型实例(vCore : vMem =1 vCPU : 2 GiB)用于模型训练。

Hadoop、Data Science和EMR Studio集群节点组的管理操作,请参见管理节点组(Hadoop、Data Science和EMR Studio集群)

使用限制

  • 本文操作仅适用于数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和自定义集群(Custom)场景的集群。

  • 付费类型按量付费抢占式实例的Task节点组不支持配置升级操作。

    配置升级的具体操作,请参见升级节点配置

新增节点组

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群操作列的节点管理

  2. 节点管理页面,单击新增节点组

  3. 新增节点组面板中,配置以下信息。

    参数

    描述

    节点组类型

    支持新增以下四种类型的节点组:

    • Core:核心类型节点组。

    • Task:计算类型节点组。

    • Gateway:任务类型节点组(仅EMR-5.10.1及以上版本的DataLake、DataFlow集群支持)。

    • Master-Extend:负载扩展组(仅EMR-3.51.1及以上版本,EMR-5.17.1及以上版本的高可用集群支持)。

      当集群Master节点负载较高时,您可以通过新增Master-Extend节点组将服务分散部署在不同的节点组上,来分担Master节点的压力。

      说明

      新增服务后,默认不会部署至Master-Extend节点组。如果您有部署诉求,可以在新增Master-Extend节点组时,按需勾选部署服务。

    付费类型

    当前节点组的付费类型。支持的付费类型有按量付费、抢占式实例和包年包月。

    说明

    仅Task节点组支持抢占式实例。

    节点组名称

    节点组名称不允许重复。

    部署服务

    仅Master-Extend节点组类型支持自定义部署服务。

    支持以下自定义部署的服务:

    • Hive:HiveMetaStore、HiveServer

    • Kyuubi:KyuubiServer

    • Spark:SparkHistoryServer、SparkThriftServer

    挂载公网

    可以选择是否为节点组开启公网。开启后,节点组内所有节点会挂载公网。

    交换机

    可以在新建节点组的时候设置交换机(同一VPC内)。节点组创建好之后不可更改。

    说明

    不支持设置非集群所在可用区的VPC下的交换机。

    附加安全组

    (可选)您可以为节点组关联更多安全组。

    您最多可以为该节点组关联4个附加安全组。

    实例类型

    根据您的实际情况选择实例。

    • 如果付费类型为包年包月,则只能选择一个类型。

    • 如果付费类型为按量付费或抢占式实例,且节点组类型为Task,则最多可以选择10个同vCPU和内存的实例作为备选。

    存储配置

    • 系统盘:根据需要选择ESSD云盘或者高效云盘。系统盘取值范围为60 ~ 500 GiB。推荐至少120 GiB。

    • 数据盘:根据需要选择ESSD云盘或者高效云盘。数据盘取值范围为40 ~ 32768 GiB。推荐至少80 GiB。

    说明

    当您选择ESSD云盘时,可以根据所选云盘的容量大小来设置不同的性能级别(PL级别),以满足不同的集群性能需求。默认的性能级别为PL1。根据云盘的容量范围,系统盘支持PL0、PL1和PL2三个性能级别的云盘规格,数据盘支持PL0、PL1、PL2和PL3四个性能级别的云盘规格。云盘的详细信息,请参见云盘概述

    资源预定策略

    说明

    节点组类型选择为TASK(任务实例组)付费类型按量付费时,支持配置该参数。

    资源预定策略支持关联您的ECS私有池,您可以前往ECS控制台进行资源预定。更多信息,请参见资源管家概述

    • 仅公有池(默认):直接使用公共资源池中的资源。

    • 私有池优先:如果您已经在ECS控制台上创建了自己的私有池,并希望使用这些预分配给特定项目或团队的资源,则可以选择此选项。在这种情况下,系统会先尝试从您指定的私有池中获取ECS实例;如果私有池内没有足够的可用资源,则会自动转向公共资源池以完成请求。

    • 指定私有池:指定一个具体的ECS私有池用于当前的EMR集群。

    自动补偿

    说明

    节点组类型选择为TASK(任务实例组)时,支持配置该参数。

    开启自动补偿功能后,EMR会自动监测当前节点组内节点运行状态。当发现异常时,EMR会自动释放异常节点,并扩容相同数量的节点。更多信息,请参见管理自动补偿

    扩缩容策略

    说明

    付费类型选择为抢占式实例时,支持配置该参数。

    • 优先级策略(默认)

      每个节点创建时,从第一个规格开始尝试购买,直到创建成功。最终购买的实例规格可能随库存变化而不同。

    • 成本优化策略

      扩容时弹性伸缩按vCPU单价从低到高尝试创建ECS实例,缩容时按vCPU单价从高到低尝试移除ECS实例。如果伸缩配置中计费方式选择抢占式实例,则优先创建抢占式实例。由于库存等原因无法创建各实例规格的抢占式实例时,再自动尝试创建按量付费实例。

      更多信息,请参见成本优化模式

    优雅下线

    说明

    仅部署了YARN服务的集群,支持配置该参数。

    开启优雅下线后,节点组缩容时会等待节点任务完成或超过设定的超时时间后,再缩容节点。您可以在YARN服务页面配置参数yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs,以修改优雅下线超时时间。

  4. 单击确定

    添加完成后,即可在节点管理页面查看到新增的节点组。

修改节点组

  1. 节点管理页面,单击目标节点组所在行的节点组名称

  2. 在弹出的节点组属性对话框中,您可以修改节点组的相关参数。

删除节点组

重要

当Task或Core类型的节点组的状态运行中,且节点数量为0时,可以删除节点组。

  1. 节点管理页面,单击目标节点组操作列的删除节点组

  2. 在弹出的对话框中,单击删除

成本优化模式

该模式下,您可以制定更详细的成本控制策略,在成本和稳定性之间进行调整和权衡。成本优化模式

参数

描述

组内最小按量节点数量

弹性伸缩组需要的按量实例的最小个数,当伸缩组中按量实例个数小于该值时,将优先创建按量实例。

按量节点所占比例

弹性伸缩组内最小按量节点数量满足之后,创建实例中按量实例所占的比例。

最低价的多个实例规格

指定最低价的多个实例规格种类数。当创建抢占实例时,将在这些规格种类中进行均衡分布。最大值为3。

抢占实例补偿

是否开启竞价实例的补偿机制。开启抢占实例补偿后,在竞价实例被回收前5分钟左右,将主动替换掉当前竞价实例。

当您不指定组内最小按量节点数量按量节点所占比例最低价的多个实例规格参数时,您创建的是普通成本优化伸缩组。否则,您创建的是成本优化混合实例伸缩组。成本优化混合实例伸缩组与普通成本优化伸缩组在接口和功能方面是完全兼容的。

对于成本优化混合实例伸缩组,您可以通过合理制定混合实例策略,以实现与普通成本优化伸缩组完全相同的行为。例如:
  • 普通成本优化伸缩组创建的全为按量实例

    指定组内最小按量节点数量=0,按量节点所占比例=100,最低价的多个实例规格=1。

  • 普通成本优化伸缩组优先创建竞价实例

    指定组内最小按量节点数量=0,按量节点所占比例=0,最低价的多个实例规格=1。

相关文档