如何开通EMRDoctor - 开源大数据平台E-MapReduce

E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则需要提交申请开通EMR Doctor功能。本文为您介绍如何开通EMR Doctor功能。

功能介绍

EMR Doctor是开源大数据集群的管家，提供了一站式的智能诊断和优化服务。通过EMR Doctor，您可以高效地运维大数据集群和服务，持续的优化集群的资源使用率，使集群处于健康稳定的状态，更好的为上层业务提供计算服务。

EMR Doctor目前提供两大块服务：

集群健康日报：对存储和计算引擎进行分析，对集群进行全面的体检，以日报的形式呈现集群的健康状态。
集群实时报告：实时扫描集群的计算任务和服务，找到可疑的问题，供运维人员进行问题排查。

说明

EMR Doctor功能是在EMR-3.41.0及之后、EMR-5.6.0及之后的版本发布的，其他版本的集群如果需要使用EMR Doctor功能，请参见开通流程进行操作。

开通影响

EMR Doctor功能不会影响您现有集群的任务，只进行必要的采集，例如任务metrics和event，然后在EMR后台进行分析和打分。

在安装阶段，您是无感知的，并且不影响正在运行和将要运行的任务。

安装过程中，由于EMR会对只保存而没有下发过的配置下发到集群中，所以请您优先评估是否有没下发的配置，并可能造成的影响。下发配置的服务涉及Hive、Spark、YARN和Tez中。

安装结束后，EMR会自动为您配置如下参数。

服务名称	配置文件	追加内容
Hive	hive-env.sh	追加环境变量。
YARN	mapred-site.xml	配置项名称：`yarn.app.mapreduce.am.command-opts`、`mapreduce.map.java.opts`、`mapreduce.reduce.java.opts` 配置项的值：`-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr`
YARN	yanr-env.sh	追加环境变量。
Spark	spark-defaults.conf	配置项名称：`spark.driver.extraJavaOptions`、`spark.executor.extraJavaOptions`、`spark.yarn.am.extraJavaOptions` 配置项的值：`-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark`
Tez	tez-site.xml	配置项名称：`tez.task.launch.cmd-opts`、`tez.am.launch.cmd-opts` 配置项的值：`-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez`

服务安装好后，阿里云EMR团队会通知您服务安装成功，需要您重启AppTimeline Server和HiveServer2以及Spark Thrift Server三个服务。EMR Doctor使用时的问题，请参见集群管理常见问题。

重要

您可以等待任务低峰和维护时间，重启以上三个服务。不重启以上服务也可以使用EMR Doctor功能，只是在此期间部分任务（例如Hive on MR）的采集会缺失部分内容。

开通流程

阿里云EMR Doctor团队提供了完善的服务安装支持，在整个的安装过程中保证了您的集群以及集群现有任务的稳定性不受到任何影响。

请使用钉钉搜索钉钉群号44846846加入钉钉群，阿里云EMR团队会安排工程师与您对接具体方案。
对接的工程师会对您的集群运行情况进行确认，并与您约定开通的时间。
EMR Doctor团队会在您指定时间对集群进行服务安装。
等待服务安装完毕后，您可以登录EMR控制台查看EMR Doctor分析得出的报告。

联系我们

阿里云EMR团队，针对此次功能开通提供了完善的安装支持，如有需要，请使用钉钉搜索钉钉群号44846846加入钉钉群，我们会安排工程师与您对接具体方案。