全部产品
Search
文档中心

开源大数据平台E-MapReduce:升级节点配置

更新时间:Nov 29, 2024

当节点组内ECS实例的规格(vCPU和内存)无法满足您的业务需求时,您可以使用配置升级功能提升ECS实例规格。本文为您介绍如何升级节点的配置。

前提条件

已创建集群,详情请参见创建集群

使用限制

  • 大数据型和本地SSD型ECS实例不支持升级配置。

  • 节点组内的ECS实例仅支持升级配置,不支持降低配置。

操作步骤

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群操作列的节点管理

  2. 节点管理页面,选择目标节点组操作列的more > 配置升级

  3. 修改需要升级的节点配置。

    1. 配置升级对话框中,根据您的需求修改相应的配置。

      参数

      说明

      实例类型

      选择目标实例类型。仅支持选择更高的实例规格。

      说明

      支持升级的实例规格以控制台实际展示为准。

      滚动重启

      • 不开启(默认):表示同时重启当前节点组内所有ECS实例。

      • 开启:表示当前节点组内一个ECS实例重启完成且该实例上的大数据服务全部恢复后再启动下一个ECS实例。

    2. 单击确定

      生成订单需要等待一定时间。

    3. 支付订单。

      支付完成后,控制台会显示为新实例规格,但实际并未生效,升配流程结束后才会生效。

      重要

      订单支付后开始配置升级流程,流程中会自动重启当前节点组内节点,请谨慎操作,避免影响线上业务。

  4. 可选:修改YARN服务配置。

    如果您的集群安装了YARN服务,则请按以下步骤手动修改YARN的配置,使YARN能够应用新增的集群资源。

    1. 在EMR控制台的集群服务页签,单击YARN区域的配置

    2. 集群默认配置下拉框中,选择节点组配置

      节点组配置

    3. 请选择节点组下拉框中,选择升级了节点配置的节点组。

      节点组

    4. 修改CPU配置。

      在搜索区域,搜索参数yarn.nodemanager.resource.cpu-vcores,并根据您的实际需求修改。

      如果是计算密集型场景,则建议调整该参数值与vCPU的比例为1:1;如果为混合型,则可以调整到1:2的比例内。

      例如,如果计算节点为32 vCore且为计算密集型场景,则调整yarn.nodemanager.resource.cpu-vcores的参数值为32;如果计算节点为32 vCore且为混合型场景,则可以调整yarn.nodemanager.resource.cpu-vcores的参数值在32~64之间。

    5. 修改内存配置。

      在搜索区域,搜索参数yarn.nodemanager.resource.memory-mb,修改参数值为节点内存*0.8,单位为MB。

      例如,如果内存是32 GB,则需配置yarn.nodemanager.resource.memory-mb为26214。

    6. 保存配置。

      1. 单击下方的保存

      2. 在弹出的对话框中,输入执行原因,单击保存

    7. 下发配置。

      1. 选择更多操作 > 配置

      2. 在弹出的对话框中,输入执行原因,单击确定

      3. 在弹出的对话框中,单击确定

        您可以单击上方的操作历史,待该任务状态显示为已完成之后重启配置。

    8. 重启配置。

      1. 选择更多操作 > 重启

      2. 在弹出的对话框中,输入执行原因,单击确定

      3. 在弹出的对话框中,单击确定

        您可以单击上方的操作历史,待该任务状态显示为已完成时,表示重启配置成功。

      重要

      建议业务低峰期时重启ResourceManager,组件重启过程中可能会有作业失败的情况发生。