通过阿里云Logstash的日志功能,您可以输入关键字和设置时间范围,锁定需要查询的日志内容,快速定位集群问题,辅助集群运维。本文为您介绍如何查询日志以及常见日志的使用说明。
操作步骤
- 进入阿里云Elasticsearch控制台的Logstash页面。
- 进入目标实例。
- 在顶部菜单栏处,选择地域。
- 在Logstash实例中单击目标实例ID。
在左侧导航栏,单击日志查询,查看集群的运行日志。
阿里云Logstash支持4种类型的日志:主日志、慢日志、GC日志和调试日志。各类日志的说明和使用场景如下,更多详细信息请参见日志说明。
日志类型
说明
使用场景
主日志
集群的运行状态日志。
当您需要查看集群中各节点的运行状况及管道的运行情况,例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息时,可查看主日志进行排查。
重要如果您的业务侧出现问题,建议优先查看主日志和集群监控,排除集群自身的性能瓶颈或管道配置问题。
慢日志
耗时比较久的管道事件日志。当管道运行耗时超过指定阈值时,将在慢查询日志中打印相关信息。
重要为了方便后续排查与定位阿里云Logstash问题,YML文件配置中默认开启了慢日志,请不要移除该慢日志配置,详细信息请参见配置YML文件。
当您的业务出现写入慢的问题时,可查看慢日志进行排查。常见原因如下:
管道配置中的源端或目标端压力达到瓶颈:建议扩充源端或目标端资源。
Logstash的管道工作线程数配置太小:增加Logstash的管道批大小和工作线程数,详细信息请参见通过配置文件管理管道。
GC日志
垃圾回收器日志。显示所有JVM堆内存占用触发的垃圾回收情况,通过GC日志可获取详细的垃圾回收信息,包括Old GC、CMS GC、Full GC以及Minor GC等回收机制。
当集群出现性能瓶颈时,可通过GC日志获取详细的GC回收信息,查看是否存在耗时长或操作频繁的GC。
调试日志
管道处理后的输出数据。默认关闭,需要安装logstash-output-file_extend插件,并在output中配置file_extend参数进行开启。
需要在控制台上查看管道配置的输出结果,调试管道配置的场景。
在日志页面的搜索框中,输入查询条件,选择开始时间和结束时间,单击搜索。
阿里云Logstash最多支持查询连续7天内的日志,日志默认按时间倒序展示。支持基于Lucene的日志查询语法,详情请参见Query string syntax。
本文以查询content包含关键字running,level为INFO,host为172.16.xx.xx的Logstash主日志为例,示例查询条件为:
host:172.16.xx.xx AND level:info AND content:running
。重要查询条件中的
AND
必须为大写。如果结束时间为空,那么结束时间默认为当前时间。如果开始时间为空,那么开始时间默认为结束时间减去1小时。
搜索成功后,阿里云Logstash会根据您的查询条件返回日志查询结果,并展示在日志查询页面。
日志说明
主日志
主日志主要展示集群的运行日志,包括日志产生的时间、日志所在的节点IP和日志的详细信息。
参数 | 说明 |
时间 | 日志产生时间。 |
节点IP | 生成日志的节点的IP地址。 |
内容 | 日志的详细信息,主要由level、host、time和content组成:
|
GC日志
GC日志默认开启,包含日志产生的时间、所在节点的IP地址和日志内容。详细信息,请参见主日志。
慢日志
慢日志默认开启,您可在Logstash实例的YML配置中查看或修改默认的慢日志配置,详细信息请参见配置YML文件。
为方便后续排查与定位阿里云Logstash问题,请不要移除该慢日志配置。
调试日志
当Logstash管道配置出现错误时,可能导致输出数据结果不符合预期,需要反复去目标端确认数据格式,再返回控制台修改配置,这样会耗费大量的时间和人力。对于这种情况,您可以通过阿里云Logstash提供的管道配置调试功能,在管道配置完成后,直接在控制台上通过调试日志查看管道配置的输出结果,降低调试成本。详细信息,请参见使用Logstash管道配置调试功能。
调试日志默认关闭,您需要通过以下方式开启:
安装logstash-output-file_extend插件,具体操作请参见安装或卸载插件。
在管道配置的output中配置file_extend参数,具体操作请参见通过配置文件管理管道。
开启调试日志后,您可以在调试日志页签中,获取管道处理后的输出数据。