如何開通EMRDoctor - E-MapReduce

E-MapReduce（簡稱EMR）的資料湖（DataLake）、資料服務（DataServing）和自訂業務情境下的叢集預設提供EMR Doctor服務，如果您使用的是舊版資料湖情境下的Hadoop叢集類型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），則需要提交申請開通EMR Doctor功能。本文為您介紹如何開通EMR Doctor功能。

功能介紹

EMR Doctor是開源巨量資料叢集的管家，提供了一站式的智能診斷和最佳化服務。通過EMR Doctor，您可以高效地營運巨量資料叢集和服務，持續的最佳化叢集的資源使用率，使叢集處於健康穩定的狀態，更好的為上層業務提供計算服務。

EMR Doctor目前提供兩大塊服務：

叢集健康日報：對儲存和計算引擎進行分析，對叢集進行全面的體檢，以日報的形式呈現叢集的健康狀態。
叢集即時報告：即時掃描叢集的計算任務和服務，找到可疑的問題，供營運人員進行問題排查。

說明

EMR Doctor功能是在EMR-3.41.0及之後、EMR-5.6.0及之後的版本發布的，其他版本的叢集如果需要使用EMR Doctor功能，請參見開通流程進行操作。

開通影響

EMR Doctor功能不會影響您現有叢集的任務，只進行必要的採集，例如任務metrics和event，然後在EMR後台進行分析和打分。

在安裝階段，您是無感知的，並且不影響正在運行和將要啟動並執行任務。

安裝過程中，由於EMR會對只儲存而沒有下發過的配置下發到叢集中，所以請您優先評估是否有沒下發的配置，並可能造成的影響。下發配置的服務涉及Hive、Spark、YARN和Tez中。

安裝結束後，EMR會自動為您配置如下參數。

服務名稱	設定檔	追加內容
Hive	hive-env.sh	追加環境變數。
YARN	mapred-site.xml	配置項名稱：`yarn.app.mapreduce.am.command-opts`、`mapreduce.map.java.opts`、`mapreduce.reduce.java.opts` 配置項的值：`-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr`
YARN	yanr-env.sh	追加環境變數。
Spark	spark-defaults.conf	配置項名稱：`spark.driver.extraJavaOptions`、`spark.executor.extraJavaOptions`、`spark.yarn.am.extraJavaOptions` 配置項的值：`-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark`
Tez	tez-site.xml	配置項名稱：`tez.task.launch.cmd-opts`、`tez.am.launch.cmd-opts` 配置項的值：`-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez`

服務安裝好後，阿里雲EMR團隊會通知您服務安裝成功，需要您重啟AppTimeline Server和HiveServer2以及Spark Thrift Server三個服務。EMR Doctor使用時的問題，請參見叢集管理常見問題。

重要

您可以等待任務低峰和維護時間，重啟以上三個服務。不重啟以上服務也可以使用EMR Doctor功能，只是在此期間部分任務（例如Hive on MR）的採集會缺失部分內容。

開通流程

阿里雲EMR Doctor團隊提供了完善的服務安裝支援，在整個的安裝過程中保證了您的叢集以及叢集現有任務的穩定性不受到任何影響。

請使用DingTalk搜尋DingTalk群號44846846加入DingTalk群，阿里雲EMR團隊會安排工程師與您對接具體方案。
對接的工程師會對您的叢集運行情況進行確認，並與您約定開通的時間。
EMR Doctor團隊會在您指定時間對叢集進行服務安裝。
等待服務安裝完畢後，您可以登入EMR控制台查看EMR Doctor分析得出的報告。

聯絡我們

阿里雲EMR團隊，針對此次功能開通提供了完善的安裝支援，如有需要，請使用DingTalk搜尋DingTalk群號44846846加入DingTalk群，我們會安排工程師與您對接具體方案。