Elasticsearch：通過reindex將自建ES資料移轉至阿里雲

通過reindex遷移資料，僅支援單可用性區域執行個體。如果您使用的是多可用性區域執行個體，建議採用如下方案將自建ES資料移轉至阿里雲：

• 如果源端資料量較大，建議採用OSS快照方式。具體操作，請參見通過OSS將自建Elasticsearch資料移轉至阿里雲。

• 如果需要對源端資料進行過濾，建議採用Logstash遷移方案。具體操作，請參見通過阿里雲Logstash將自建Elasticsearch資料移轉至阿里雲。

您已完成以下操作：

• 建立單可用性區域的阿里雲ES執行個體。

  具體操作請參見建立Elasticsearch執行個體。

• 準備自建ES叢集和待遷移的資料。

  如果您還沒有自建ES叢集，建議您使用阿里雲ECS進行搭建，具體操作步驟請參見安裝並運行Elasticsearch。自建ES叢集需要滿足以下條件：

  • 所在的ECS的網路類型必須是專用網路（不支援ClassicLink方式打通的ECS），且必須與阿里雲ES在同一個專用網路下。

  • 所在的ECS的安全性群組不能限制阿里雲ES執行個體的各節點IP（Kibana控制台可查看各節點的IP），且要開啟9200連接埠。

  • 能夠與阿里雲ES執行個體連通。可在執行指令碼的機器上，使用curl -XGET http://<host>:9200命令驗證。

    說明

    您可以通過任意一台機器執行文檔中的指令碼，前提是該機器可以同時訪問自建ES和阿里雲ES叢集的9200連接埠。

2020年10月阿里雲ES進行了網路架構調整，新網路架構下的叢集跨叢集reindex需依賴Privatelink打通阿里雲ES叢集私網。您可以參見下表，依據您的業務情境選擇解決方案進行處理。

以Python2為例，使用如下指令碼，在阿里雲ES叢集中大量建立自建ES叢集中需要遷移的索引。預設新建立的索引複本數為0。

#!/usr/bin/python
# -*- coding: UTF-8 -*-
# 檔案名稱：indiceCreate.py
import sys
import base64
import time
import httplib
import json
## 自建Elasticsearch叢集host。
oldClusterHost = "old-cluster.com"
## 自建Elasticsearch叢集使用者名稱，可為空白。
oldClusterUserName = "old-username"
## 自建Elasticsearch叢集密碼，可為空白。
oldClusterPassword = "old-password"
## Elasticsearch叢集host，可在Elasticsearch執行個體的基本資料頁面擷取。
newClusterHost = "new-cluster.com"
## Elasticsearch叢集使用者名稱。
newClusterUser = "elastic"
## Elasticsearch叢集密碼。
newClusterPassword = "new-password"
DEFAULT_REPLICAS = 0
def httpRequest(method, host, endpoint, params="", username="", password=""):
    conn = httplib.HTTPConnection(host)
    headers = {}
    if (username != "") :
        'Hello {name}, your age is {age} !'.format(name = 'Tom', age = '20')
        base64string = base64.encodestring('{username}:{password}'.format(username = username, password = password)).replace('\n', '')
        headers["Authorization"] = "Basic %s" % base64string;
    if "GET" == method:
        headers["Content-Type"] = "application/x-www-form-urlencoded"
        conn.request(method=method, url=endpoint, headers=headers)
    else :
        headers["Content-Type"] = "application/json"
        conn.request(method=method, url=endpoint, body=params, headers=headers)
    response = conn.getresponse()
    res = response.read()
    return res
def httpGet(host, endpoint, username="", password=""):
    return httpRequest("GET", host, endpoint, "", username, password)
def httpPost(host, endpoint, params, username="", password=""):
    return httpRequest("POST", host, endpoint, params, username, password)
def httpPut(host, endpoint, params, username="", password=""):
    return httpRequest("PUT", host, endpoint, params, username, password)
def getIndices(host, username="", password=""):
    endpoint = "/_cat/indices"
    indicesResult = httpGet(oldClusterHost, endpoint, oldClusterUserName, oldClusterPassword)
    indicesList = indicesResult.split("\n")
    indexList = []
    for indices in indicesList:
        if (indices.find("open") > 0):
            indexList.append(indices.split()[2])
    return indexList
def getSettings(index, host, username="", password=""):
    endpoint = "/" + index + "/_settings"
    indexSettings = httpGet(host, endpoint, username, password)
    print index + "  原始settings如下：\n" + indexSettings
    settingsDict = json.loads(indexSettings)
    ## 分區數預設和自建Elasticsearch叢集索引保持一致。
    number_of_shards = settingsDict[index]["settings"]["index"]["number_of_shards"]
    ## 副本數預設為0。
    number_of_replicas = DEFAULT_REPLICAS
    newSetting = "\"settings\": {\"number_of_shards\": %s, \"number_of_replicas\": %s}" % (number_of_shards, number_of_replicas)
    return newSetting
def getMapping(index, host, username="", password=""):
    endpoint = "/" + index + "/_mapping"
    indexMapping = httpGet(host, endpoint, username, password)
    print index + " 原始mapping如下：\n" + indexMapping
    mappingDict = json.loads(indexMapping)
    mappings = json.dumps(mappingDict[index]["mappings"])
    newMapping = "\"mappings\" : " + mappings
    return newMapping
def createIndexStatement(oldIndexName):
    settingStr = getSettings(oldIndexName, oldClusterHost, oldClusterUserName, oldClusterPassword)
    mappingStr = getMapping(oldIndexName, oldClusterHost, oldClusterUserName, oldClusterPassword)
    createstatement = "{\n" + str(settingStr) + ",\n" + str(mappingStr) + "\n}"
    return createstatement
def createIndex(oldIndexName, newIndexName=""):
    if (newIndexName == "") :
        newIndexName = oldIndexName
    createstatement = createIndexStatement(oldIndexName)
    print "新索引 " + newIndexName + " 的setting和mapping如下：\n" + createstatement
    endpoint = "/" + newIndexName
    createResult = httpPut(newClusterHost, endpoint, createstatement, newClusterUser, newClusterPassword)
    print "新索引 " + newIndexName + " 建立結果：" + createResult
## main
indexList = getIndices(oldClusterHost, oldClusterUserName, oldClusterPassword)
systemIndex = []
for index in indexList:
    if (index.startswith(".")):
        systemIndex.append(index)
    else :
        createIndex(index, index)
if (len(systemIndex) > 0) :
    for index in systemIndex:
        print index + " 或許是系統索引，不會重新建立，如有需要，請單獨處理～"

使用如下指令碼。

#!/bin/bash
# file:reindex.sh
indexName="您的索引名"
newClusterUser="Elasticsearch叢集使用者名稱"
newClusterPass="Elasticsearch叢集密碼"
newClusterHost="Elasticsearch叢集host"
oldClusterUser="自建Elasticsearch叢集使用者名稱"
oldClusterPass="自建Elasticsearch叢集密碼"
# 自建Elasticsearch叢集host必須是[scheme]://[host]:[port]，例如http://10.37.*.*:9200。
oldClusterHost="自建Elasticsearch叢集host"
curl -u ${newClusterUser}:${newClusterPass} -XPOST "http://${newClusterHost}/_reindex?pretty" -H "Content-Type: application/json" -d'{
    "source": {
        "remote": {
            "host": "'${oldClusterHost}'",
            "username": "'${oldClusterUser}'",
            "password": "'${oldClusterPass}'"
        },
        "index": "'${indexName}'",
        "query": {
            "match_all": {}
        }
    },
    "dest": {
       "index": "'${indexName}'"
    }
}'

資料量較大且無刪除操作時，可以使用滾動遷移的方式，減少停止寫服務的時間。滾動遷移需要有一個類似於更新時間的欄位代表新資料的寫時序。在資料移轉完成後，先停止業務寫操作，待reindex使用最近一次更新時間快速執行一次更新後，將讀寫業務切換到阿里雲ES叢集。

#!/bin/bash
# file: circleReindex.sh
# CONTROLLING STARTUP:
# 這是通過reindex操作遠程重建索引的指令碼，要求：
# 1. Elasticsearch叢集已經建立完索引，或者支援自動建立和動態映射。
# 2. Elasticsearch叢集必須在yml裡配置IP白名單，例如reindex.remote.whitelist: 172.16.**.**:9200。
# 3. host必須是[scheme]://[host]:[port]。
USAGE="Usage: sh circleReindex.sh <count>
       count: 執行次數，多次（負數為迴圈）增量執行或者單次執行
Example:
        sh circleReindex.sh 1
        sh circleReindex.sh 5
        sh circleReindex.sh -1"
indexName="您的索引名"
newClusterUser="Elasticsearch叢集使用者名稱"
newClusterPass="Elasticsearch叢集密碼"
oldClusterUser="自建Elasticsearch叢集使用者名稱"
oldClusterPass="自建Elasticsearch叢集密碼"
## http://myescluster.com
newClusterHost="Elasticsearch叢集host"
# 自建Elasticsearch叢集host必須是[scheme]://[host]:[port]，例如http://10.37.*.*:9200。
oldClusterHost="自建Elasticsearch叢集host"
timeField="更新時間欄位"
reindexTimes=0
lastTimestamp=0
curTimestamp=`date +%s`
hasError=false
function reIndexOP() {
    reindexTimes=$[${reindexTimes} + 1]
    curTimestamp=`date +%s`
    ret=`curl -u ${newClusterUser}:${newClusterPass} -XPOST "${newClusterHost}/_reindex?pretty" -H "Content-Type: application/json" -d '{
        "source": {
            "remote": {
                "host": "'${oldClusterHost}'",
                "username": "'${oldClusterUser}'",
                "password": "'${oldClusterPass}'"
            },
            "index": "'${indexName}'",
            "query": {
                "range" : {
                    "'${timeField}'" : {
                        "gte" : '${lastTimestamp}',
                        "lt" : '${curTimestamp}'
                    }
                }
            }
        },
        "dest": {
            "index": "'${indexName}'"
        }
    }'`
    lastTimestamp=${curTimestamp}
    echo "第${reindexTimes}次reIndex，本次更新截止時間 ${lastTimestamp} 結果：${ret}"
    if [[ ${ret} == *error* ]]; then
        hasError=true
        echo "本次執行異常，中斷後續執行操作～～，請檢查"
    fi
}
function start() {
    ## 負數就不停迴圈執行
    if [[ $1 -lt 0 ]]; then
        while :
        do
            reIndexOP
        done
    elif [[ $1 -gt 0 ]]; then
        k=0
        while [[ k -lt $1 ]] && [[ ${hasError} == false ]]; do
            reIndexOP
            let ++k
        done
    fi
}
## main 
if [ $# -lt 1 ]; then
    echo "$USAGE"
    exit 1
fi
echo "開始執行索引 ${indexName} 的 ReIndex操作"
start $1
echo "總共執行 ${reindexTimes} 次 reIndex 操作"

當資料量較大，且索引的Mapping中沒有定義更新時間的欄位時，需要由上遊業務修改代碼添加更新時間的欄位。添加完成後可以先將歷史資料移轉完，然後再使用上述第二種方案操作。

#!/bin/bash
# file:miss.sh
indexName="您的索引名"
newClusterUser="Elasticsearch叢集使用者名稱"
newClusterPass="Elasticsearch叢集密碼"
newClusterHost="Elasticsearch叢集host"
oldClusterUser="自建Elasticsearch叢集使用者名稱"
oldClusterPass="自建Elasticsearch叢集密碼"
# 自建Elasticsearch叢集host必須是[scheme]://[host]:[port]，例如http://10.37.*.*:9200
oldClusterHost="自建Elasticsearch叢集host"
timeField="updatetime"
curl -u ${newClusterUser}:${newClusterPass} -XPOST "http://${newClusterHost}/_reindex?pretty" -H "Content-Type: application/json" -d '{
    "source": {
        "remote": {
            "host": "'${oldClusterHost}'",
            "username": "'${oldClusterUser}'",
            "password": "'${oldClusterPass}'"
        },
        "index": "'${indexName}'",
        "query": {
            "bool": {
                "must_not": {
                    "exists": {
                        "field": "'${timeField}'"
                    }
                }
            }
        }
    },
    "dest": {
       "index": "'${indexName}'"
    }
}'