全部產品
Search
文件中心

Elasticsearch:通過自建Metricbeat收集系統指標資訊

更新時間:Jun 30, 2024

當您需要查看並分析一台機器的指標資訊時,可以使用Metricbeat採集該機器的指標資訊,推送到Elasticsearch上。然後在Kibana中搜尋分析,並產生對應的Dashborard。本文以Mac電腦為例,介紹具體的實現方法。

前提條件

您已完成以下操作:

  • 建立Elasticsearch執行個體。

    具體操作,請參見建立Elasticsearch執行個體

    說明

    如果您需要通過私網地址來訪問Elasticsearch執行個體,還需要購買一個與執行個體在相同地區和可用性區域,以及相同專用網路下的Elastic Compute Service執行個體。具體操作,請參見自訂購買執行個體

  • 下載Metricbeat:

背景資訊

Beats是一個集合了多種單一用途的資料擷取器的平台,這些採集器安裝後可用作輕量型代理,從成百上千或成千上萬台機器向Logstash或Elasticsearch執行個體發送資料。

Metricbeat是一個輕量級的指標採集器,可以從系統和服務中收集指標。從CPU到記憶體,從Redis到Nginx,Metricbeat能夠以一種輕量型的方式採集各種系統和服務的統計資料。

操作流程

  1. 配置Elasticsearch

  2. 配置Metricbeat

  3. 在Kibana中查看Dashboard

    說明

    您也可以參考本案例的操作流程,使用Metricbeat採集一台Linux系統或Windows系統電腦的指標資訊,並推送到Elasticsearch上。

配置Elasticsearch

  1. 進入Elasticsearch控制台的Logstash頁面
  2. 在左側導覽列,單擊Elasticsearch執行個體
  3. 進入目標執行個體。
    1. 在頂部功能表列處,選擇資源群組和地區。
    2. Elasticsearch執行個體中單擊目標執行個體ID。
  4. 在左側導覽列,單擊安全配置

  5. 開啟公網訪問開關,待配置生效後,單擊公網地址訪問白名單右側的修改,將您MAC機器對外的公網IP地址配置到公網地址訪問白名單中。

    配置ES公網地址訪問白名單

    重要

    如果您使用的是WIFI等網路,需要將公網出口的跳板機IP地址配置進去。如果擷取不到,建議配置0.0.0.0/1,128.0.0.0/1來開放儘可能多的IP地址(本篇以此為例)。需要注意這個配置將導致您的Elasticsearch服務完全暴露在公網中,需要先評估下是否可以接受這個風險。

  6. 在左側導覽列,單擊基本資料。在基本資料地區,擷取Elasticsearch執行個體的公網地址備用。

    擷取ES執行個體的公網地址

  7. 在左側導覽列,單擊ES叢集配置。在YML檔案配置地區,單擊右側的修改配置,將自動建立索引設定為允許自動建立索引

    允許自動建立索引

    警告

    此配置需要重啟Elasticsearch執行個體才會生效,為保證您的業務不受影響,請確認後再進行後續操作。

  8. 勾選該操作會重啟執行個體,請確認後操作,單擊確定

    重啟過程中,可在工作清單查看重啟進度。重啟完成後,即可完成執行個體的配置。

配置Metricbeat

  1. 將您下載的Metricbeat安裝包解壓縮,並進入Metricbeat檔案夾。

    進入Metricbeat檔案夾

  2. 開啟metricbeat.yml檔案,定位到Elasticsearch output部分,取消對應內容的注釋。

    編輯metricbeat.yml檔案

    參數

    說明

    hosts

    Elasticsearch執行個體的公網或私網地址(本文以公網地址為例)。

    protocol

    需要配置為http

    username

    預設是elastic

    password

    對應使用者的密碼。elastic使用者的密碼在建立執行個體時設定,如果忘記可重設。重設密碼的注意事項和操作步驟,請參見重設執行個體訪問密碼

  3. 執行以下命令,啟動Metricbeat。

    ./metricbeat -e -c metricbeat.yml

    Metricbeat啟動成功狀態

    啟動成功後,Metricbeat開始向Elasticsearch執行個體推送資料。

在Kibana中查看Dashboard

  1. 登入目標Elasticsearch執行個體的Kibana控制台。

    具體操作,請參見登入Kibana控制台

  2. 可選:在左側導覽列,單擊Management,按照以下步驟建立一個索引模式。
    重要 如果已經建立了索引模式,可忽略此步驟。
    1. Management頁面,單擊Kibana地區中的Index Patterns
    2. Create index pattern頁面,輸入索引模式名稱(待查詢的索引名稱)。
    3. 單擊Next step
      建立索引模式
    4. 單擊Create index pattern
  3. 在左側導覽列,單擊Dashboard

  4. Dashboard頁面查看相關資訊。

    • 各類相關指標列表各類相關指標列表

    • 單擊Metricbeat-cpu,查看CPU指標資訊Metricbeat-cpu指標資訊

      說明

      您可以將資料定義為5s重新整理一次,然後產生對應的報表,並接入WebHook進行異常警示。