Elasticsearch：通過OSS將自建Elasticsearch資料移轉至阿里雲

操作流程

1. 步驟一：環境準備

   部署自建Elasticsearch叢集、建立OSS Bucket、建立Elasticsearch叢集。

2. 步驟二：安裝elasticsearch-repository-oss外掛程式

   在自建Elasticsearch叢集各節點中安裝elasticsearch-repository-oss外掛程式，外掛程式安裝後才可在自建Elasticsearch中建立OSS倉庫。

3. 步驟三：在自建Elasticsearch叢集中建立倉庫

   使用snapshot API在自建Elasticsearch叢集中建立快照備份倉庫。

4. 步驟四：為指定索引建立快照

   為需要遷移的索引建立快照，並將快照備份到已建立的倉庫中。

5. 步驟五：在Elasticsearch上建立相同倉庫

   在Elasticsearch的Kibana控制台中，使用snapshot API建立一個與自建Elasticsearch叢集相同的快照備份倉庫。

6. 步驟六：在Elasticsearch上恢複快照

   將倉庫中已備份的自建Elasticsearch叢集的快照恢複到Elasticsearch叢集中，完成資料移轉。

7. 步驟七：查看快照恢複結果

   快照恢複後，查看恢複的索引和索引資料。

步驟一：環境準備

1. 準備自建Elasticsearch叢集。

   如果您還沒有自建Elasticsearch叢集，建議您使用阿里雲ECS進行搭建，具體操作步驟請參見安裝並運行Elasticsearch。

   說明

   建議您使用同VPC下的阿里雲ECS搭建自建Elasticsearch叢集，通過自建伺服器搭建叢集可能存在網路不通的問題。

   本文以單節點叢集為例進行示範，版本為6.7.0。實際生產中您可以購買多個相同Virtual Private Cloud（Virtual Private Cloud）的ECS執行個體搭建多節點Elasticsearch叢集，購買ECS的具體步驟請參見自訂購買執行個體。

2. 開通OSS服務，並建立與部署自建Elasticsearch叢集的ECS執行個體相同地區的Bucket。

   具體操作步驟請參見開通OSS服務和建立儲存空間。

   重要

   請建立標準儲存類型的OSS Bucket，不支援Archive Storage類型。

3. 建立目標Elasticsearch執行個體，所選地區與您建立的Bucket相同。

   具體操作步驟請參見建立Elasticsearch執行個體。

步驟二：安裝elasticsearch-repository-oss外掛程式

1. 串連自建Elasticsearch叢集所在的ECS。

   具體操作請參見通過密碼或密鑰認證登入Linux執行個體。

   說明

   本文檔以普通使用者權限為例。

2. 下載elasticsearch-repository-oss外掛程式。

   本文使用6.7.0版本的外掛程式，要求JDK為11.0及以上版本。

   wget https://github.com/aliyun/elasticsearch-repository-oss/releases/download/v6.7.0/elasticsearch-repository-oss-6.7.0.zip

   說明

   如需擷取其他版本的elasticsearch-repository-oss外掛程式，可參見常見問題。

3. 將安裝包解壓到自建Elasticsearch各節點安裝路徑的plugins目錄下。

   sudo unzip -d /usr/local/elasticsearch-6.7.0/plugins/elasticsearch-repository-oss elasticsearch-repository-oss-6.7.0.zip

   您也可以使用命令方式安裝外掛程式。

   sudo ./bin/elasticsearch-plugin install file:///usr/local/elasticsearch-repository-oss-6.7.0.zip

4. 啟動自建Elasticsearch叢集各節點。

   cd /usr/local/elasticsearch-6.7.0
   ./bin/elasticsearch -d

步驟三：在自建Elasticsearch叢集中建立倉庫

串連自建Elasticsearch叢集所在的ECS，執行如下命令建立倉庫。

sudo curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName> -d' {"type": "oss", "settings": { "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",  "access_key_id": "<yourAccesskeyId>",  "secret_access_key":"<yourAccesskeySecret>", "bucket": "<yourBucketName>", "compress": true }}'

建立成功後，預期返回"acknowledge":true。

步驟四：為指定索引建立快照

curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName>/snapshot_1?pretty -d'
{
"indices": "index1,index2"
}'

<yourBackupName>為您在步驟三：在自建Elasticsearch叢集中建立倉庫中建立的倉庫名稱；index1和index2為您需要備份的索引名稱。快照建立成功後，預期返回"accepted" : true 。

快照建立過程中，您可以通過GET /_snapshot/<yourBackupName>/<yourSnapshotName>/_status命令查看指定快照的詳細資料。當返回結果中的state為SUCCESS時，表示快照已完成。

步驟五：在Elasticsearch上建立相同倉庫

1. 登入目標Elasticsearch執行個體的Kibana控制台，根據頁面提示進入Kibana首頁。
   登入Kibana控制台的具體操作，請參見登入Kibana控制台。

   說明 本文以Elasticsearch 6.7.0版本為例，其他版本操作可能略有差別，請以實際介面為準。
2. 在左側導覽列，單擊Dev Tools。

3. 在Console中執行以下命令，建立與自建Elasticsearch相同的倉庫。

   PUT _snapshot/<yourBackupName>
   {
       "type": "oss",
       "settings": {
           "endpoint": "oss-cn-hangzhou-internal.aliyuncs.com",
           "access_key_id": "<yourAccesskeyId>",
           "secret_access_key": "<yourAccesskeySecret>",
           "bucket": "<yourBucketName>",
           "compress": true
       }
   }

   <yourBackupName>和<yourBucketName>需要與步驟三：在自建Elasticsearch叢集中建立倉庫中保持一致。

步驟六：在Elasticsearch上恢複快照

POST _snapshot/es_backup/snapshot_1/_restore
{"indices":"*,-.monitoring*,-.security_audit*","ignore_unavailable":"true"}

命令執行成功，預期返回"accepted" : true。

POST _snapshot/es_backup/snapshot_1/_restore
{
  "indices":"index1",
  "rename_pattern": "index(.+)",
  "rename_replacement": "restored_index_$1"
}

步驟七：查看快照恢複結果

常見問題

Q：如何擷取其他版本的elasticsearch-repository-oss外掛程式？