通過阿里雲Logstash的日誌功能,您可以輸入關鍵字和設定時間範圍,鎖定需要查詢的日誌內容,快速定位叢集問題,輔助叢集營運。本文為您介紹如何查詢日誌以及常見日誌的使用說明。
操作步驟
- 進入Elasticsearch控制台的Logstash頁面。
- 進入目標執行個體。
- 在頂部功能表列處,選擇地區。
- 在Logstash執行個體中單擊目標執行個體ID。
在左側導覽列,單擊日誌查詢,查看叢集的作業記錄。
阿里雲Logstash支援4種類型的日誌:主日誌、慢日誌、GC日誌和調試日誌。各類日誌的說明和使用情境如下,更多詳細資料請參見日誌說明。
日誌類型
說明
使用情境
主日誌
叢集的運行狀態日誌。
當您需要查看叢集中各節點的健全狀態及管道的運行情況,例如源端和目標端的連通性、建立或修改管道配置情況、管道啟動並執行錯誤資訊時,可查看主日誌進行排查。
重要如果您的業務側出現問題,建議優先查看主日誌和叢集監控,排除叢集自身的效能瓶頸或管道配置問題。
慢日誌
耗時比較久的管道事件記錄。當管道運行耗時超過指定閾值時,將在慢查詢日誌中列印相關資訊。
重要為了方便後續排查與定位阿里雲Logstash問題,YML檔案配置中預設開啟了慢日誌,請不要移除該慢日誌配置,詳細資料請參見配置YML檔案。
當您的業務出現寫入慢的問題時,可查看慢日誌進行排查。常見原因如下:
管道配置中的源端或目標端壓力達到瓶頸:建議擴充源端或目標端資源。
Logstash的管道背景工作執行緒數配置太小:增加Logstash的管道批大小和背景工作執行緒數,詳細資料請參見通過設定檔管理管道。
GC日誌
記憶體回收行程日誌。顯示所有JVM堆記憶體佔用觸發的記憶體回收情況,通過GC日誌可擷取詳細的記憶體回收資訊,包括Old GC、CMS GC、Full GC以及Minor GC等回收機制。
當叢集出現效能瓶頸時,可通過GC日誌擷取詳細的GC回收資訊,查看是否存在耗時間長度或操作頻繁的GC。
調試日誌
管道處理後的輸出資料。預設關閉,需要安裝logstash-output-file_extend外掛程式,並在output中配置file_extend參數進行開啟。
需要在控制台上查看管道配置的輸出結果,調試管道配置的情境。
在日誌頁面的搜尋方塊中,輸入查詢條件,選擇開始時間和結束時間,單擊搜尋。
阿里雲Logstash最多支援查詢連續7天內的日誌,日誌預設按時間倒序展示。支援基於Lucene的日誌查詢文法,詳情請參見Query string syntax。
本文以查詢content包含關鍵字running,level為INFO,host為172.16.xx.xx的Logstash主日誌為例,樣本查詢條件為:
host:172.16.xx.xx AND level:info AND content:running
。重要查詢條件中的
AND
必須為大寫。如果結束時間為空白,那麼結束時間預設為目前時間。如果開始時間為空白,那麼開始時間預設為結束時間減去1小時。
搜尋成功後,阿里雲Logstash會根據您的查詢條件返回日誌查詢結果,並展示在日誌查詢頁面。
日誌說明
主日誌
主日誌主要展示叢集的作業記錄,包括日誌產生的時間、日誌所在的節點IP和日誌的詳細資料。
參數 | 說明 |
時間 | 日誌產生時間。 |
節點IP | 組建記錄檔的節點的IP地址。 |
內容 | 日誌的詳細資料,主要由level、host、time和content組成:
|
GC日誌
GC日誌預設開啟,包含日誌產生的時間、所在節點的IP地址和日誌內容。詳細資料,請參見主日誌。
慢日誌
慢日誌預設開啟,您可在Logstash執行個體的YML配置中查看或修改預設的慢日誌配置,詳細資料請參見配置YML檔案。
為方便後續排查與定位阿里雲Logstash問題,請不要移除該慢日誌配置。
調試日誌
當Logstash管道配置出現錯誤時,可能導致輸出資料結果不符合預期,需要反覆去目標端確認資料格式,再返回控制台修改配置,這樣會耗費大量的時間和人力。對於這種情況,您可以通過阿里雲Logstash提供的管道配置調試功能,在管道配置完成後,直接在控制台上通過調試日誌查看管道配置的輸出結果,降低調試成本。詳細資料,請參見使用Logstash管道配置調試功能。
調試日誌預設關閉,您需要通過以下方式開啟:
開啟調試日誌後,您可以在調試日誌頁簽中,擷取管道處理後的輸出資料。