阿里云ES间跨集群reindex

场景说明

以下为阿里云ES间跨集群reindex的应用场景说明，请结合业务数据情况及所处网络架构进行选择。

• ES集群间迁移数据。

• 索引分片分配不合理，例如数据量太大分片数太少，可通过reindex重建索引。

• 索引中存在大量数据的情况下，需要修改索引mapping，可通过reindex复制索引数据。

前提条件

• 准备两个处于旧网络架构的阿里云Elasticsearch（ES）集群，这两个集群需在同一专有网络和虚拟交换机下运行。本文将使用6.7.0版本的实例作为本地集群，6.3.2版本的实例作为远程集群。

• 准备测试数据。

  • 本地集群

    在本地集群中创建目标索引。

    PUT dest
    {
      "settings": {
        "number_of_shards": 5,
        "number_of_replicas": 1
      }
    }

  • 远程集群

    在远程集群中准备待迁移的数据。本文使用快速入门章节中的数据测试，详细信息请参见快速入门。

    重要

    如果您使用的是7.0及以上版本的集群，需要将索引类型修改为_doc。

操作步骤

1. 登录阿里云Elasticsearch控制台。
2. 在左侧导航栏，单击Elasticsearch实例。
3. 进入目标实例。
   1. 在顶部菜单栏处，选择资源组和地域。
   2. 在Elasticsearch实例中单击目标实例ID。

4. 在本地集群中，配置reindex白名单。

   1. 在左侧导航栏，选择配置与管理 > ES集群配置。

   2. 在YML文件配置右侧，单击修改配置。

   3. 在其他Configure配置文本框中，输入reindex白名单。

      reindex白名单的配置格式与实例的可用区数量有关，具体如下：

      • 单可用区实例：白名单的格式为<远程集群的域名>:9200。例如：

        reindex.remote.whitelist: ["es-cn-09k1rgid9000g****.elasticsearch.aliyuncs.com:9200"]

      • 多可用区实例：白名单需要配置为实例中所有数据节点的IP地址与端口的组合。例如：

        reindex.remote.whitelist: ["10.0.xx.xx:9200","10.0.xx.xx:9200","10.0.xx.xx:9200","10.15.xx.xx:9200","10.15.xx.xx:9200","10.15.xx.xx:9200"]

        说明

        您可以在实例基本信息页面的节点可视化页签中，获取实例中所有数据节点的IP地址。详细信息，请参见查看节点的基本信息。

      更多关于reindex白名单的配置说明，请参见配置reindex白名单。

   4. 选中该操作会重启实例，请确认后操作，单击确定。

      确定后，Elasticsearch实例会重启。重启过程中，可在任务列表查看进度。重启成功后，即可完成配置。

5. 在本地集群中，调用reindex API重建索引。

   1. 登录目标阿里云Elasticsearch实例的Kibana控制台，根据页面提示进入Kibana主页。

      登录Kibana控制台的具体操作，请参见登录Kibana控制台。

      说明

      本文以阿里云Elasticsearch 6.7.0版本为例，其他版本操作可能略有差别，请以实际界面为准。

   2. 在左侧导航栏，单击Dev Tools。

   3. 在Console中，执行如下命令，重建索引。

      POST _reindex
      {
        "source": {
          "remote": {
            "host": "http://es-cn-09k1rgid9000g****.elasticsearch.aliyuncs.com:9200",
            "username": "elastic",
            "password": "your_password"
          },
          "index": "product_info",
          "query": {
            "match": {
              "productName": "理财"
            }
          }
        },
        "dest": {
          "index": "dest"
        }
      }

      类别	参数	说明

      类别	参数	说明
      source	host	远程集群的访问地址，必须包含支持协议、域名和端口信息，例如https://otherhost:9200。host配置格式与实例的可用区数量有关，具体如下： 单可用区实例：http://<实例的域名>:9200。 说明 实例的域名可在基本信息页面获取。详细信息，请参见查看实例的基本信息。 多可用区实例：http://<实例中任意数据节点的IP地址>:9200。
      	username	可选参数，如果您所请求的远程Elasticsearch服务需要使用Basic Authentication，请在请求中一并提供此参数信息。阿里云Elasticsearch实例的默认用户名为elastic。 重要 为确保安全性，通过Basic Authentication鉴权时建议使用HTTPS协议，否则密码信息将以文本形式进行传输。 对于阿里云Elasticsearch实例，需要开启HTTPS协议后，才可在host中使用HTTPS协议。开启HTTPS协议的具体操作请参见使用HTTPS协议。
      	password	用户对应的密码。阿里云Elasticsearch实例的elastic用户的密码在创建实例时设定，如果忘记可进行重置。重置密码的注意事项及具体操作，请参见重置实例访问密码。
      	index	远程集群中的源索引。
      	query	通过查询语法，指定待迁移的数据。详细信息，请参见Reindex API。
      dest	index	本地集群中的目标索引。

      说明

      从远程集群重建索引数据，不支持手动切片或自动切片。详细信息，请参见手动切片和自动切片。

      执行成功后，预期结果如下。

      {
        "took" : 51,
        "timed_out" : false,
        "total" : 2,
        "updated" : 2,
        "created" : 0,
        "deleted" : 0,
        "batches" : 1,
        "version_conflicts" : 0,
        "noops" : 0,
        "retries" : {
          "bulk" : 0,
          "search" : 0
        },
        "throttled_millis" : 0,
        "requests_per_second" : -1.0,
        "throttled_until_millis" : 0,
        "failures" : [ ]
      }

6. 查看迁移成功的数据。

   GET dest/_search

   预期结果如下：

   • 单可用区实例

   • 多可用区实例

总结

更多信息