通過自建Logstash遷移資料到阿里雲ES

（可選）步驟一：建立角色和使用者

自建Logstash訪問ES或在Kibana中查看Logstash監控時，需要使用ES的帳號，您可以使用elastic使用者或自建使用者。

步驟二：在ECS上安裝Logstash

1. 串連ECS執行個體。

   具體步驟請參見串連ECS執行個體。

2. 下載Logstash。

   進入Elastic官網，下載與阿里雲ES執行個體版本一致的Logstash。

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   說明

   下載Logstash7.4版本

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. 對下載的Logstash壓縮包進行解壓縮。

   以8.5.1版本為例。

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

步驟三：配置並執行Logstash遷移任務

1. 進入Logstash目錄。

   cd logstash-8.5.1

2. 建立conf檔案。

   touch test.conf

3. 配置test.conf檔案。

   配置樣本如下。

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   參數	說明

   參數	說明
   path	記錄檔的路徑。本文以/var/log/messages為例。
   hosts	阿里雲ES執行個體的訪問地址。instanceId為執行個體ID，可在執行個體的基本資料頁面擷取。例如：http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。
   index	檔案寫入目標ES中的索引名字，索引名字自訂。
   user	訪問阿里雲ES執行個體的帳號。 本文使用elastic。 重要 實際業務中建議使用自建使用者，使用elastic使用者會降低系統安全性。 使用者名稱上需要加英文引號（""），防止在啟動Logstash時，因出現特殊字元報錯。
   password	阿里雲ES執行個體帳號的密碼。 重要 密碼上需要加英文引號（""），防止在啟動Logstash時，因為特殊字元報錯。

   Logstash提供了豐富的input、filter、output外掛程式，只需要簡單的配置即可實現資料的流轉，詳情請參見官方設定檔結構文檔。

4. 啟動logstash。

   bin/logstash -f test.conf

   命令執行成功後，系統會自動通過Logstash擷取記錄檔的變化，並提交到阿里雲ES叢集。只要監控的記錄檔有新增內容，Logstash就會自動同步資料到ES叢集中。

步驟四：查看遷移成功的資料

1. 登入目標阿里雲ES執行個體的Kibana控制台。

   具體步驟，請參見登入Kibana控制台。

2. 單擊Kibana頁面左上方的表徵圖，選擇Management > 開發工具。

3. 在Kibana控制台中，執行以下命令。

   GET /logstash-*/_search

（可選）步驟五：監控Logstash節點

1. 進入Logstash安裝目錄的config檔案中。

   cd logstash-8.5.1/config

2. 配置logstash.yml檔案。

   1. 開啟logstash.yml檔案。

      vim logstash.yml

   2. 在logstash.yml檔案中，去掉以下幾個參數的注釋，並配置參數值。

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      參數	說明

      參數	說明
      xpack.monitoring.enable	預設為false，需要設定為true。
      xpack.monitoring.elasticsearch.username	您建立的Logstash監控帳號，本文使用elastic使用者。 重要 實際業務中建議使用自建使用者，使用elastic使用者會降低系統安全性。
      xpack.monitoring.elasticsearch.password	Logstash監控使用者的密碼。
      xpack.monitoring.elasticsearch.hosts	阿里雲ES執行個體的訪問地址。例如：http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。

3. 返回Logstash安裝目錄，啟動Logstash服務。

   cd ../
   bin/logstash -f test.conf

4. 登入目標阿里雲ES執行個體的Kibana控制台。

   具體步驟，請參見登入Kibana控制台。

5. 單擊Kibana頁面左上方的表徵圖，選擇Management > 堆棧監測。

6. （可選）在彈出的Create rules對話方塊，單擊OK。

7. 在叢集概覽頁面，查看Logstash監控資訊。