全部产品
Search
文档中心

开源大数据平台E-MapReduce:开启部署集

更新时间:Mar 15, 2024

部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略,从而提升ECS实例的容灾能力和可用性。在创建EMR集群或新增节点组时,您可以选择是否启用部署集,并为不同节点组配置不同的部署集策略,从而提升集群的容灾能力和可用性。本文介绍如何在创建集群和新增节点组时开启加入部署集开关。

使用限制

  • 本文操作仅适用于新版数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和自定义集群(Custom)场景的集群。

  • 创建集群时配置的节点组部署集,创建完成后不支持更改。

  • 仅Master和Core类型的节点组支持加入部署集。

  • 最多支持20台ECS实例加入部署集。

  • 部署集支持的实例规格族信息:

    说明

    部分规格族只支持特定的部署集策略,您可以调用DescribeDeploymentSetSupportedInstanceTypeFamily获取各种部署集策略支持的实例规格族信息。

    部署策略

    支持的实例规格族

    高可用策略和部署集组高可用策略

    • g8i、g8y、g7se、g7a、g7、g7t、g7ne、g7nex、g6、g6e、g6a、g5、g5ne、sn2ne、sn2、sn1

    • c8i、c8y、c7se、c7、c7t、c7nex、c7a、c6、c6a、c6e、c5、ic5、sn1ne

    • r8y、r7、r7se、r7t、r7a、r6、r6e、r6a、re6、re6p、r5、re4、se1ne、se1

    • hfc7、hfg7、hfr7、hfc6、hfg6、hfr6、hfc5、hfg5

    • d3c、d2s、d2c、d1、d1ne、d1-c14d3、d1-c8d3

    • i3g、i3、i2、i2g、i2ne、i2gne、i1

    • ebmg5、ebmc7、ebmg7、ebmr7、sccgn6、scch5、scch5s、sccg5、sccg5s

    • e、t6、xn4、mn4、n4、e4、n2、n1、

    • gn6i

    网络低时延策略

    • g8a、g8i、g8ae、g8y

    • c8a、c8i、c8ae、c8y

    • r8a、r8i、r8ae、r8y

    • ebmc7、ebmg7、ebmr7

注意事项

  • 如果您的集群数据存储方案为本地HDFS存储方案,且Core节点使用了本地盘机型(大数据型、本地SSD),建议您为使用本地盘机型的Core节点组开启部署集功能来提升数据安全性。

  • 由于加入部署集后节点组的节点数会受到限制,所以请您谨慎选择是否为节点组开启加入部署集开关。

  • 如果创建集群时开启服务高可用开关,则Master节点会默认开启加入部署集开关。

  • EMR集群释放后会自动释放集群关联的部署集,请勿在EMR自动创建的部署集内手动添加其他ECS实例。

创建集群时开启加入部署集

  1. 进入EMR on ECS页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,单击EMR on ECS

    3. 在顶部菜单栏处,根据实际情况选择地域和资源组

  2. 单击上方的创建集群

  3. 在创建集群时的硬件配置阶段,如果节点组类型为Master或Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)将加入部署集。

    配置集群信息,具体请参见创建集群部署集

新建节点组时开启加入部署集

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,单击EMR on ECS

    3. 在顶部菜单栏处,根据实际情况选择地域和资源组

    4. EMR on ECS页面,单击目标集群操作列的节点管理

  2. 节点管理页面,单击新增节点组

  3. 新增节点组页面进行配置。如果节点组类型为Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)会加入部署集。

    新增节点组的详细信息,请参见新增节点组

    新建节点组

查看部署集

  1. 登录ECS管理控制台

  2. 在左侧导航栏,选择部署与弹性 > icon1 > 部署集

  3. 在页面左侧顶部,选择目标资源所在的资源组和地域。地域

  4. 在部署集页面,您可以查看集群关联的部署集信息,部署集命名规则为emr-${clusterId}-default。

    重要

    请勿操作EMR自动创建的部署集,以免影响集群正常运行。

    部署集

相关文档

如需详细了解部署集,请参见部署集概述