全部产品

开源大数据平台E-MapReduce：管理日志

更新时间：Mar 15, 2024

E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。

前提条件

已在EMR控制台上创建集群，具体操作请参见创建集群。
已开通SLS服务，具体操作请参见快速入门。

使用限制

本文操作仅适用于数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。
支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host（主机）。

注意事项

日志存储及索引流量费用等按照标准收费，由日志服务（SLS）单独收费，具体操作请参见计费项。
如果您使用的是RAM用户，请使用阿里云账号登录RAM控制台，为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限，具体操作请参见为RAM用户授权。

查询实时日志

进入日志管理页面。
1. 登录E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 在EMR on ECS页面，单击目标集群的集群ID。
4. 单击上方的日志管理页签。
配置日志投递范围。
1. 在日志管理页面，单击右侧的设置日志投递范围。
2. 在弹出的对话框中，配置日志存储的Project。
  您可以选择已有Project或者新建Project。
  重要
  Project一经选择不可变更。
3. 勾选需要日志投递的服务，单击确定。
查看服务日志。
1. 在请选择EMR服务下拉框中选择您需要查看日志的服务。
2. 在日志界面对日志进行分析。
  您可以指定时间段和查询语句进行实时查询。例如，可快速分析某一个字段在一段时间内的分布情况，您也可以按条件过滤或统计您希望查看的访问记录。

关闭日志投递

重要

关闭实时日志投递不会自动删除Project。因此，当您关闭日志投递后，为避免后续产生不必要的费用，请前往日志服务控制台删除开通日志投递时选择的Project。具体操作，请参见管理Project。

当您确认不再需要保留日志数据时，可以按照如下步骤关闭实时日志查询。

在日志管理页面，单击右侧的关闭日志投递。
在弹出的对话框中，单击OK。

管理SLS Project

您可以在日志管理页面，单击右侧的前往日志服务控制台，可以进入日志服务控制台。在SLS控制台您可以设置日志保存时间，并修改Logstore相关配置。

常见问题

Q：已开通SLS服务，并授权相关角色，为什么控制台还是提示“该资源暂未开启服务日志采集，请到EMR控制台对应集群的日志管理页面开启服务日志采集”？

log

A：当前集群并未设置投递日志的服务，请单击右侧的设置日志投递范围，完成日志投递范围的配置。