全部產品
Search
文件中心

Elasticsearch:查詢日誌

更新時間:Nov 16, 2024

通過阿里雲Logstash的日誌功能,您可以輸入關鍵字和設定時間範圍,鎖定需要查詢的日誌內容,快速定位叢集問題,輔助叢集營運。本文為您介紹如何查詢日誌以及常見日誌的使用說明。

操作步驟

  1. 進入Elasticsearch控制台的Logstash頁面
  2. 進入目標執行個體。
    1. 在頂部功能表列處,選擇地區。
    2. Logstash執行個體中單擊目標執行個體ID。
  3. 在左側導覽列,單擊日誌查詢,查看叢集的作業記錄。

    阿里雲Logstash支援4種類型的日誌:主日誌、慢日誌、GC日誌和調試日誌。各類日誌的說明和使用情境如下,更多詳細資料請參見日誌說明

    日誌類型

    說明

    使用情境

    主日誌

    叢集的運行狀態日誌。

    當您需要查看叢集中各節點的健全狀態及管道的運行情況,例如源端和目標端的連通性、建立或修改管道配置情況、管道啟動並執行錯誤資訊時,可查看主日誌進行排查。

    重要

    如果您的業務側出現問題,建議優先查看主日誌和叢集監控,排除叢集自身的效能瓶頸或管道配置問題。

    慢日誌

    耗時比較久的管道事件記錄。當管道運行耗時超過指定閾值時,將在慢查詢日誌中列印相關資訊。

    重要

    為了方便後續排查與定位阿里雲Logstash問題,YML檔案配置中預設開啟了慢日誌,請不要移除該慢日誌配置,詳細資料請參見配置YML檔案

    當您的業務出現寫入慢的問題時,可查看慢日誌進行排查。常見原因如下:

    • 管道配置中的源端或目標端壓力達到瓶頸:建議擴充源端或目標端資源。

    • Logstash的管道背景工作執行緒數配置太小:增加Logstash的管道批大小和背景工作執行緒數,詳細資料請參見通過設定檔管理管道

    GC日誌

    記憶體回收行程日誌。顯示所有JVM堆記憶體佔用觸發的記憶體回收情況,通過GC日誌可擷取詳細的記憶體回收資訊,包括Old GC、CMS GC、Full GC以及Minor GC等回收機制。

    當叢集出現效能瓶頸時,可通過GC日誌擷取詳細的GC回收資訊,查看是否存在耗時間長度或操作頻繁的GC。

    調試日誌

    管道處理後的輸出資料。預設關閉,需要安裝logstash-output-file_extend外掛程式,並在output中配置file_extend參數進行開啟。

    需要在控制台上查看管道配置的輸出結果,調試管道配置的情境。

  4. 在日誌頁面的搜尋方塊中,輸入查詢條件,選擇開始時間和結束時間,單擊搜尋

    阿里雲Logstash最多支援查詢連續7天內的日誌,日誌預設按時間倒序展示。支援基於Lucene的日誌查詢文法,詳情請參見Query string syntax

    本文以查詢content包含關鍵字runninglevelINFOhost172.16.xx.xx的Logstash主日誌為例,樣本查詢條件為:host:172.16.xx.xx AND level:info AND content:running

    重要
    • 查詢條件中的AND必須為大寫。

    • 如果結束時間為空白,那麼結束時間預設為目前時間。如果開始時間為空白,那麼開始時間預設為結束時間減去1小時。

    搜尋成功後,阿里雲Logstash會根據您的查詢條件返回日誌查詢結果,並展示在日誌查詢頁面。

日誌說明

主日誌

主日誌主要展示叢集的作業記錄,包括日誌產生的時間、日誌所在的節點IP和日誌的詳細資料。

參數

說明

時間

日誌產生時間。

節點IP

組建記錄檔的節點的IP地址。

內容

日誌的詳細資料,主要由levelhosttimecontent組成:

  • level:記錄層級。包括trace、debug、info、warn、error等。

    說明

    GC日誌沒有level

  • host:組建記錄檔的節點的IP地址。

  • time:日誌產生的時間。

  • content:日誌的主要內容。

GC日誌

GC日誌預設開啟,包含日誌產生的時間、所在節點的IP地址和日誌內容。詳細資料,請參見主日誌Logstash GC日誌

慢日誌

慢日誌預設開啟,您可在Logstash執行個體的YML配置中查看或修改預設的慢日誌配置,詳細資料請參見配置YML檔案

重要

為方便後續排查與定位阿里雲Logstash問題,請不要移除該慢日誌配置。

阿里雲Logstash慢日誌配置

調試日誌

當Logstash管道配置出現錯誤時,可能導致輸出資料結果不符合預期,需要反覆去目標端確認資料格式,再返回控制台修改配置,這樣會耗費大量的時間和人力。對於這種情況,您可以通過阿里雲Logstash提供的管道配置調試功能,在管道配置完成後,直接在控制台上通過調試日誌查看管道配置的輸出結果,降低調試成本。詳細資料,請參見使用Logstash管道配置調試功能

調試日誌預設關閉,您需要通過以下方式開啟:

  1. 安裝logstash-output-file_extend外掛程式,具體操作請參見安裝或卸載外掛程式

  2. 在管道配置的output中配置file_extend參數,具體操作請參見通過設定檔管理管道

開啟調試日誌後,您可以在調試日誌頁簽中,擷取管道處理後的輸出資料。Logstash調試日誌

相關文檔

ListLogstashLog