Elasticsearch：配置NAT公網資料轉送

背景資訊

由於阿里雲Logstash執行個體部署在Virtual Private Cloud下，如果源端或目標端任意一個與阿里雲Logstash不在同一VPC下（源端和目標端網路不通），會導致資料無法傳輸。在這種情況下，您可以使用阿里雲NAT Gateway的DNAT條目實現公網服務向Logstash節點推送資料，SNAT條目實現Logstash訪問公網，解決網路不通的問題。阿里雲NAT Gateway是一種網路位址轉譯服務，更多詳細資料請參見什麼是NAT Gateway。

前提條件

操作步驟

1. 進入Elasticsearch控制台的Logstash頁面。
2. 進入目標執行個體。
   1. 在頂部功能表列處，選擇地區。
   2. 在Logstash執行個體中單擊目標執行個體ID。
3. 在左側導覽列，單擊網路與安全。
4. 在網路設定地區，單擊前往配置NAT Gateway。
   關於NAT Gateway的詳細說明和配置流程，請參見建立和管理公網NAT Gateway執行個體。其中DNAT條目適用於公網服務向Logstash節點推送資料；SNAT條目適用於Logstash主動訪問公網。
5. 在NAT Gateway配置頁面，建立NAT Gateway。
   建立NAT Gateway時，所選的地區和VPC ID需要與阿里雲Logstash保持一致。詳細建立方法，請參見步驟一：建立公網NAT Gateway。
6. 綁定Elastic IP Address。
   1. 在NAT Gateway列表右側操作列下，選擇 > 綁定Elastic IP Address。
   2. 在綁定Elastic IP Address頁面，選擇從已有Elastic IP Address中選擇。
      如果還沒有EIP，可選擇新購Elastic IP Address並綁定，按照頁面提示完成綁定。
   3. 選擇可用的EIP，單擊確定。
      重要 一個NAT Gateway最多可綁定20個EIP（最多可綁定10個按流量計費的EIP，每個按流量計費的EIP的最大峰值不能超過200 Mbps），您可以提交工單申請更多配額。
7. 建立DNAT條目。
   1. 在NAT Gateway列表中，單擊對應網關右側操作列下的設定DNAT。
   2. 單擊DNAT管理頁簽。
   3. 在DNAT條目列表地區，單擊建立DNAT條目。
   4. 在建立DNAT條目頁面，填寫相關參數。

      參數	說明
      選擇公網IP地址	選擇一個可用的公網IP。 說明 用於建立SNAT條目的公網IP不能再用來建立DNAT條目。
      選擇私網IP地址	選擇通過手動輸入，輸入Logstash的IP地址。可在Logstash的基本資料頁面擷取，擷取方式請參見查看執行個體的基本資料。
      連接埠設定	選擇DNAT映射的方式： 任意連接埠：該方式屬於IP映射，相當於為目標Logstash執行個體配置了一個Elastic IP Address。任何訪問該公網IP的請求，都將轉寄到目標Logstash執行個體上。 具體連接埠：該方式屬於連接埠映射，NAT Gateway會將指定協議和連接埠訪問該公網IP的請求，轉寄到目標Logstash執行個體的指定連接埠上。 選擇具體連接埠後，請根據業務需求輸入公網連接埠（進行連接埠轉寄的外部連接埠）、私網連接埠（進行連接埠轉寄的內部連接埠）和協議類型（進行連接埠轉寄的協議類型）。
      條目名稱	輸入DNAT條目的名稱。 名稱長度為2~128個字元，以大小寫字母或中文開頭， 可包含數字、底線（_）和虛線（-）。

   5. 單擊確定建立，完成建立。
8. 建立SNAT條目。
   1. 返回NAT Gateway列表頁面，單擊對應網關右側操作列下的設定SNAT。
   2. 單擊SNAT管理頁簽。
   3. 在SNAT條目列表地區，單擊建立SNAT條目。
   4. 在建立SNAT條目頁面，單擊SNAT條目粒度地區的交換器粒度，並填寫相關參數。

      參數	說明
      選擇交換器	選擇Logstash所屬的專用網路中的交換器。該交換器下所有ECS執行個體，都將通過SNAT功能進行公網訪問。
      選擇公網IP地址	選擇用來提供互連網訪問的公網IP，支援選擇多個公網IP，多個公網IP構建SNAT IP位址集區。 當選擇多個公網IP地址配置SNAT IP位址集區時，請確保每個公網IP地址加入到一個共用頻寬中。詳細資料，請參見加入與移出共用頻寬。

      更多參數的詳細資料，請參見建立和管理SNAT條目。

   5. 單擊確定建立，完成建立。
9. 返回Logstash控制台，通過管道配置實現公網資料轉送。
   詳細資料，請參見通過設定檔管理管道。配置樣本如下：

   input {
       beats {
           port => 8000
           host => "118.11.xx.xx"
       }
   }
   filter {
   
   }
   output {
       elasticsearch {
           hosts => ["http://es-cn-o40xxxxxxxxxx****.elasticsearch.aliyuncs.com:9200"]
           index => "logstash_test_1"
           password => "es_password"
           user => "elastic"
       }
       file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
       }
   }

   假如管道配置的input為beats、output為elasticsearch，其中Beats所在伺服器與Logstash在同一VPC下，但Elasticsearch與Logstash不在同一VPC下，此時Logstash要將資料輸出到Elasticsearch（Logstash主動訪問公網），就需要先配置SNAT條目。

常見問題

• 如何將公網資料匯入或匯出到Logstash中？
• Logstash資料寫入問題排查方案