全部产品
Search

搜索本产品

    检索分析服务Elasticsearch版：通过实例私网打通将自建Elasticsearch数据迁移至阿里云

    文档中心

    检索分析服务Elasticsearch版：通过实例私网打通将自建Elasticsearch数据迁移至阿里云

    更新时间：Mar 28, 2024

    本文主要介绍当您的阿里云Elasticsearch创建于新网络架构下时，如何通过实例私网连接打通网络后，使用reindex方式将ECS上自建的Elasticsearch中的数据迁移至阿里云Elasticsearch中，包括创建索引和迁移数据。

    前提条件

    • 自建Elasticsearch需要满足以下条件：

      • 所在的ECS的网络类型必须是专有网络（不支持Classiclink方式打通的ECS），且必须与阿里云Elasticsearch在同一个专有网络下。

      • 所在的ECS的安全组不能限制阿里云Elasticsearch实例的各节点IP（Kibana控制台可查看各节点的IP），且要开启9200端口。

      • 已经与阿里云Elasticsearch实例连通。可在执行脚本的机器上，使用curl -XGET http://<host>:9200验证。

        说明

        您可以通过任意一台机器执行文档中的脚本，前提是该机器可以同时访问自建Elasticsearch和阿里云Elasticsearch集群的9200端口。

      • 准备自建Elasticsearch索引数据，本文以下图中的source索引作为需要迁移的索引为例。source索引

    • 阿里云Elasticsearch需要满足以下条件：

      • 提前开启自动创建索引功能或者在阿里云Elasticsearch上创建好索引mappings、settings。

      • 未做白名单限制。

    使用限制

    2020年10月阿里云ES进行了网络架构调整，新网络架构下的集群跨集群reindex需依赖Privatelink打通阿里云ES集群私网。您可以参见下表，依据您的业务场景选择解决方案进行处理。

    说明

    2020年10月之前创建的ES集群属于旧网络架构，2020年10月及之后创建的ES集群属于新网络架构。

    使用场景

    ES集群所处网络架构

    解决方案

    阿里云ES集群间的数据迁移

    两个ES集群均创建于旧网络架构下。

    reindex方式：阿里云ES间跨集群reindex。

    其中一个ES集群创建于新网络架构下。

    说明

    另一个ES集群可以创建于新网络架构，也可以创建于旧网络架构。

    将ECS上自建的ES集群中的数据迁移至阿里云ES集群中

    阿里云ES集群创建于旧网络架构下。

    reindex方式：通过reindex将自建ES数据迁移至阿里云。

    阿里云ES集群创建于新网络架构下。

    reindex方式：通过实例私网打通将自建Elasticsearch数据迁移至阿里云。

    操作流程

    1. 步骤一：配置支持PrivateLink功能的负载均衡实例

      目前，仅支持PrivateLink功能的负载均衡实例作为终端节点服务的服务资源。通过PrivateLink实现在VPC间私网访问服务前，您需要创建支持PrivateLink功能的负载均衡实例，并配置相关监听信息。

    2. 步骤二：创建终端节点服务

      终端节点服务是可以被其他VPC通过创建终端节点建立私网连接的服务，待负载均衡实例配置完成后，您需要创建终端节点服务。

    3. 步骤三：配置阿里云Elasticsearch私网互通

      在Elasticsearch控制台关联阿里云Elasticsearch实例与步骤二中创建的终端节点服务。

    4. 步骤四：获取终端节点域名

      目标实例与终端节点服务关联成功后，即可获取终端节点域名，用于配置reindex白名单。

    5. 步骤五：配置reindex白名单

      在Elasticsearch控制台将步骤四中获取的域名配置到目标实例的reindex白名单中，进行授权。

    6. 步骤六：数据迁移

      完成以上步骤后，即完成源实例与目标实例间的网络互通，可以进行数据迁移。

    步骤一：配置支持PrivateLink功能的负载均衡实例

    1. 创建负载均衡实例。

      确保负载均衡实例的地域和后端添加的云服务器ECS的地域相同。详情请参见创建支持PrivateLink功能的负载均衡实例。

    2. 配置协议&监听。选择负载均衡协议为TCP，并配置端口号为9200。

      详情请参见配置协议&监听。

    3. 配置后端服务器，添加自建ES所在的ECS服务器，并配置端口号为9200。

      详情请参见配置后端服务器。

    4. 单击下一步，按需配置健康检查，本文以默认值为例。

    5. 配置完成后，单击提交，单击知道了，根据页面提示返回实例管理页面，查看后端ECS实例的健康检查状态。

      当后端ECS实例的健康检查状态为正常时，表示后端ECS实例可以正常处理负载均衡转发的请求了。

    步骤二：创建终端节点服务

    1. 登录终端节点服务控制台。

    2. 在顶部菜单栏处，选择要创建终端节点服务的地域。

      本文以华东1（杭州）为例。

    3. 单击创建终端节点服务，在服务创建页面，按需选择创建终端节点服务配置。

      具体操作和详细说明请参见创建和管理终端节点服务。本文使用的配置说明如下，未提及的参数按需选择或保持默认。

      参数

      说明

      选择服务资源

      选择要承载流量的可用区，然后选择与终端节点服务关联的负载均衡实例。

      负载均衡实例作为服务资源与终端节点服务关联，关联的负载均衡实例将接受来自您服务的用户的网络访问，终端节点服务的可用区与服务资源所在的主可用区一致。

      可以作为服务资源的负载均衡实例必须满足以下两个条件：

      • 网络类型为专有网络。

      • 功能特性为支持PrivateLink。

      自动接受终端节点连接

      选择是否自动接受终端节点的连接请求，建议选择是，取值含义如下：

      • 是：终端节点服务将自动接受终端节点的连接请求，通过终端节点能够访问服务。

      • 否：终端节点连接将处于已断开状态，等待服务管理员进行处理：

        • 如果服务管理员接受该终端节点对应的终端节点服务连接，通过终端节点将能够访问服务。

        • 如果服务管理员拒绝该终端节点对应的终端节点服务连接，通过终端节点无法访问服务。

      是否支持同可用区优先

      选择是否支持同可用区优先，建议选择是。

    4. 单击确定创建。

    步骤三：配置阿里云Elasticsearch私网互通

    1. 登录阿里云Elasticsearch控制台。
    2. 在左侧导航栏，单击Elasticsearch实例。
    3. 进入目标实例。
      1. 在顶部菜单栏处，选择资源组和地域。
      2. 在Elasticsearch实例中单击目标实例ID。

    4. 在左侧导航栏，选择配置与管理 > 安全配置。

    5. 在集群网络设置区域，单击配置实例私网连接右侧的修改。

    6. 在配置实例私网连接面板，单击+添加私网连接，选择步骤二中创建的终端节点服务和目标访问可用区，并选中系统提示信息。

      选择对应可用区

    7. 单击确认，终端节点服务主动连接终端节点，连接成功后会显示已连接。

      连接成功

    步骤四：获取终端节点域名

    执行完以上步骤后，需要获取终端节点域名用于配置reindex白名单。

    1. 在配置实例私网连接面板中，单击目标终端节点ID。

      单击终端节点ID

    2. 在终端节点连接页签，单击目标终端节点ID前的展开符图标，即可查看终端节点对应的域名。

      获取域名

    步骤五：配置reindex白名单

    重要

    该操作会触发集群重启，建议在业务低峰期进行。

    1. 登录阿里云Elasticsearch控制台。
    2. 在左侧导航栏，单击Elasticsearch实例。
    3. 进入目标实例。
      1. 在顶部菜单栏处，选择资源组和地域。
      2. 在Elasticsearch实例中单击目标实例ID。

    4. 在左侧导航栏，选择配置与管理 > ES集群配置。

    5. 在YML文件配置区域，单击右侧的修改配置。

    6. 在YML文件配置面板，修改其他Configure配置，将从步骤四中获取的域名配置至此处。

      代码示例：

      reindex.remote.whitelist: 'ep-bp1nitq0krp8yhcf****-cn-hangzhou-i.epsrv-bp1zczi0fgoc5qtv****.cn-hangzhou.privatelink.aliyuncs.com:9200'

      配置reindex白名单

    7. 单击确定。

    步骤六：数据迁移

    1. 在Kibana控制台的Dev Tools中执行如下命令，进行数据迁移。

      说明

      登录Kibana控制台的具体步骤请参见登录Kibana控制台。

      POST /_reindex?pretty
{

  "source": {

    "remote": {

      "host": "http://ep-bp1nitq0krp8yhcf****-cn-hangzhou-i.epsrv-bp1zczi0fgoc5qtv****.cn-hangzhou.privatelink.aliyuncs.com:9200",

      "username": "elastic",

      "password": "Elastic@123***"

    },

    "index": "source",
    "size": 5000

  },

  "dest": {

    "index": "dest"

  }

}

      更多信息说明请参见reindex api。

    2. 可选：在数据迁移过程中，如果您需要获取所有正在运行的reindex请求状态，请执行以下命令。

      GET _tasks?detailed=true&actions=*reindex

    3. 查看数据迁移结果。

      待数据迁移完成后，您可以通过执行以下命令查看数据迁移结果。

      GET _cat/indices?

      如果目标端索引test中显示健康状态正常并且数据大小正常，则证明数据迁移成功。数据迁移结果

    常见问题

    问题：单索引数据量比较大，数据同步速度比较慢时，如何处理？

    解决方法：

    • 由于reindex功能的底层实现原理是通过scroll方式实现的，所以您可以适当调大scroll size的大小或配置scroll slice，借助scroll并行化机制提升效率。详情请参见reindex api。

    • 如果源端数据量较大，建议采用OSS快照方式。详情请参见通过OSS将自建Elasticsearch数据迁移至阿里云。

    • 如果单索引数据量比较大，可以在迁移前将目标索引的副本数设置为0，刷新时间设置为-1，以加快数据同步速度。待数据迁移完成后，再修改回来。

      // 迁移索引数据前可以先将索引副本数设为0，不刷新，用于加快数据迁移速度。
curl -u user:password -XPUT 'http://<host:port>/indexName/_settings' -d' {
        "number_of_replicas" : 0,
        "refresh_interval" : "-1"
}'
// 索引数据迁移完成后，可以重置索引副本数为1，刷新时间1s（1s是默认值）。
curl -u user:password -XPUT 'http://<host:port>/indexName/_settings' -d' {
        "number_of_replicas" : 1,
        "refresh_interval" : "1s"
}'