当节点组内ECS实例的规格(vCPU和内存)无法满足您的业务需求时,您可以使用配置升级功能提升ECS实例规格。本文为您介绍如何升级节点的配置。
使用限制
- 仅E-MapReduce包年包月集群支持升级配置。
- 大数据型和本地SSD型ECS实例不支持升级配置。
- 节点组内的ECS实例仅支持升级配置,不支持降低配置。
操作步骤
- 进入节点管理页面。
- 登录EMR on ECS控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击目标集群操作列的节点管理。
- 在节点管理页面,选择目标节点组操作列的。
- 修改需要升级的节点配置。
- 在配置升级对话框中,根据您的需求修改相应的配置。
参数 | 说明 |
---|
实例类型 | 选择目标实例类型。仅支持选择更高的实例规格。 |
滚动重启 | - 不开启(默认):表示同时重启当前节点组内所有ECS实例。
- 开启:表示当前节点组内一个ECS实例重启完成且该实例上的大数据服务全部恢复后再启动下一个ECS实例。
|
- 单击确定。
生成订单需要等待一定时间。
- 支付订单。
支付完成后,控制台会显示为新实例规格,但实际并未生效,升配流程结束后才会生效。
重要 订单支付后开始配置升级流程,流程中会自动重启当前节点组内节点,请谨慎操作,避免影响线上业务。
- 可选:修改YARN服务配置。
如果您的集群安装了YARN服务,则请按以下步骤手动修改YARN的配置,使YARN能够应用新增的集群资源。
- 在EMR控制台的集群服务页签,单击YARN区域的配置。
- 在集群默认配置下拉框中,选择节点组配置。
- 在请选择节点组下拉框中,选择升级了节点配置的节点组。
- 修改CPU配置。
在搜索区域,搜索参数
yarn.nodemanager.resource.cpu-vcores,并根据您的实际需求修改。
如果是计算密集型场景,则建议调整该参数值与vCPU的比例为1:1;如果为混合型,则可以调整到1:2的比例内。
例如,如果计算节点为32 vCore且为计算密集型场景,则调整yarn.nodemanager.resource.cpu-vcores的参数值为32;如果计算节点为32 vCore且为混合型场景,则可以调整yarn.nodemanager.resource.cpu-vcores的参数值在32~64之间。
- 修改内存配置。
在搜索区域,搜索参数
yarn.nodemanager.resource.memory-mb,修改参数值为
节点内存*0.8
,单位为MB。
例如,如果内存是32 GB,则需配置yarn.nodemanager.resource.memory-mb为26214。
- 保存配置。
- 单击下方的保存。
- 在弹出的对话框中,输入执行原因,单击保存。
- 下发配置。
- 选择。
- 在弹出的对话框中,输入执行原因,单击确定。
- 在弹出的对话框中,单击确定。
您可以单击上方的操作历史,待该任务状态显示为已完成之后重启配置。
- 重启配置。
- 选择。
- 在弹出的对话框中,输入执行原因,单击确定。
- 在弹出的对话框中,单击确定。
您可以单击上方的操作历史,待该任务状态显示为已完成时,表示重启配置成功。
重要 建议业务低峰期时重启ResourceManager,组件重启过程中可能会有作业失败的情况发生。