全部产品
Search
文档中心

开源大数据平台E-MapReduce:管理自动补偿

更新时间:Mar 15, 2024

开启自动补偿功能后,当E-MapReduce(简称EMR)监测到您集群的ECS实例无法维持EMR上的引擎服务正常工作时,EMR的自动补偿功能会尝试为您新购ECS实例替换掉异常的ECS实例。

前提条件

已创建数据湖(DataLake)、实时数据流(DataFlow)或自定义场景(Custom)的集群,并部署了YARN服务,详情请参见创建集群

使用限制

仅付费类型为按量付费的Task节点组,支持该功能。

注意事项

  • 当集群出现以下情况时,自动补偿功能可能会失败:

    • 待替换的ECS实例出现系统问题。

    • 待替换的ECS实例开启了释放保护。

    • 待替换的ECS实例所属节点组的节点数小于或等于节点组限定的最小节点数。

  • 新补偿的ECS实例会在扩容流程中自动运行引导操作脚本,但是已经手动部署在待替换的ECS实例中的组件或服务,需要在补偿后的新购ECS实例上重新部署。

开启或关闭自动补偿

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群操作列的节点管理

  2. 节点管理页面,单击节点组名称。

  3. 在弹出的节点组属性面板中,可以开启或关闭自动补偿的开关。

    说明

    从2023年7月10日18:00(UTC+8)开始,新建按量付费的Task节点组时默认开启自动补偿开关。

  4. 在弹出的对话框中,单击确定

  5. 单击保存

查看自动补偿状态

节点管理页面,可以查看自动补偿状态。

如果节点组开启了自动补偿,且在一周内发生了自动补偿操作,则在自动补偿状态列中会展示发生的次数,将鼠标悬浮至次数上,在提示信息中单击前往查看事件详情,可查看事件详情。