全部产品
Search
文档中心

云消息队列 Kafka 版:迁移上云

更新时间:Aug 09, 2023

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务,用于自建实例或跨云云实例与云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。

前提条件

您已购买并部署云消息队列 Kafka 版实例,且该实例满足以下条件:

项目

说明

状态

服务中

版本

云消息队列 Kafka 版实例的版本必须满足以下任意一种要求:

  • 大版本为2.2.0,小版本为最新版本。

  • 大版本为2.6.2,小版本为最新版本。

说明

您可以在云消息队列 Kafka 版控制台实例详情页面的基础信息区域查看实例的运行状态和版本。

背景信息

迁移上云可以把源云消息队列 Kafka 版集群的元数据(Topic和Group配置信息)和消息数据同步到目标集群,迁移完成后目标集群的元数据与原集群的元数据保持一致并且持续更新。

使用限制

云消息队列 Kafka 版对迁移上云任务的限制如下:

项目

限制值

数量

单实例最多创建20个迁移任务。在单实例中迁移上云与Connector资源共享。

规格类型

创建实例迁移任务时,实例的规格类型需为专业版(高写版)专业版(高读版)

计费说明

云消息队列 Kafka 版的迁移上云组件处于公测阶段,且独立于云消息队列 Kafka 版实例,因此不会在云消息队列 Kafka 版侧产生费用。同时,阿里云不承诺迁移的SLA,使用迁移上云所依赖的其他产品的SLA和费用说明请以对应产品为准。

环境要求

如果您需要通过迁移上云功能将公网的自建实例的数据同步到云消息队列 Kafka 版或者跨地域将某个VPC内的云消息队列 Kafka 版的数据同步到另一个VPC的云消息队列 Kafka 版,您需要为该实例开启公网访问,然后在公网上进行数据同步。具体步骤,请参见开启公网访问(可选)

如果您需要将某个VPC内的数据通过迁移上云功能同步到另一个VPC的云消息队列 Kafka 版,华东1(杭州)和西南1(成都)地域支持自动打通VPC,其他地域需要手动打通VPC。具体步骤,请参见使用云企业网实现跨地域跨账号VPC互通(基础版)

开启公网访问(可选)

如需使用迁移上云功能跨地域访问其他阿里云服务或公网连接点,您需要开启公网访问。

  1. 为部署了云消息队列 Kafka 版实例的VPC 1创建NAT网关。

    更多信息,请参见创建和管理公网NAT网关实例

  2. 为创建的NAT网关绑定弹性公网IP。

    更多信息,请参见绑定ECS实例

  3. 为VPC 1下云消息队列 Kafka 版实例使用的交换机创建SNAT条目。

    更多信息,请参见创建和管理SNAT条目

创建并部署迁移上云任务

  1. 登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。

  2. 在左侧导航栏,单击迁移,然后单击迁移上云

  3. 迁移上云页签,单击创建任务

  4. 创建迁移上云任务面板,配置以下参数。

    1. 配置基本信息页签,配置任务名称目标实例,单击下一步

    2. 配置源服务页签,配置源服务参数,然后单击下一步

      • 源实例类型选择为VPC实例(云上自建实例/和VPC网络打通)时,配置以下参数。

        参数

        说明

        示例

        源地域

        选择源实例的地域信息。

        华东1(杭州)

        接入点

        配置源实例的接入点信息。

        192.168.XX.XX:9092

        VPC ID

        配置源实例的VPC ID。默认为源实例所在的VPC,您无需填写。

        vpc-test-c****

        vSwitch ID

        配置源实例的vSwitch ID。

        vsw-bp1gbjqsf53og****

        安全组

        选择源实例的安全组。

        alikafka_pre-cn-7mz2****

        安全协议

        选择源实例的安全协议。

        • PLAINTEXT

        • SASL_PLAINTEXT

          • SASL 用户名:填写SASL用户名。

          • SASL 密码:填写SASL密码。

          • Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。

        • SASL_SSL

          • SASL 用户名:填写SASL用户名。

          • SASL 密码:填写SASL密码。

          • Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。

          • ssl truststore文件:上传证书文件。

          • ssl truststore password:填写证书的密码。

          • ssl endpoint identification algorithm:属于一个SSL属性,用于指定验证服务器证书的算法。在SSL通信中,可以使用此参数来验证服务器的身份,以避免中间人攻击。可填写https、http、以及空字符串。

        PLAINTEXT

        任务数

        选择同步数据的任务数。取值说明如下:

        • 1

        • 6

        • 12

        12

        同步sasl用户

        迁移数据时是否同步SASL用户。单击配置运行环境显示该参数。默认选择

        同步topic acls

        迁移数据时是否同步Topic ACLS。单击配置运行环境显示该参数。默认选择

        • :迁移数据时会将源实例的Topic ACLS信息同步到目标实例。若源实例是自建实例,则需要手动在目标实例创建SASL用户后,才可以将源实例的Topic ACLS信息同步到目标实例。

        • :迁移数据时不会将源实例的Topic ACLS信息同步到目标实例。

        同步消费组

        迁移数据时是否将源实例的消费组同步创建在目标实例。单击配置运行环境显示该参数。默认选择

        同步消费位点

        迁移数据时是否将源实例的消费位点同步创建在目标实例。单击配置运行环境且设置同步消费组时显示该参数。默认选择

        Topic

        源实例的Topic是否需要同步到目标实例,不填写则同步所有Topic。单击配置运行环境显示该参数。

        test-topic

        创建为Local引擎 Topic

        迁移到目标实例的非Compact类型的Topic。如果想保持为Local引擎,则在此填写。不填写则被创建为云引擎。单击配置运行环境显示该参数。

        test-topic

      • 源实例类型选择为公网(IDC或跨云云实例)时,配置以下参数。

        参数

        说明

        示例

        接入点

        配置源实例的接入点信息。

        192.168.XX.XX:9092

        安全组

        选择源实例的安全组。

        alikafka_pre-cn-7mz2****

        安全协议

        选择源实例的安全协议。

        • PLAINTEXT

        • SASL_PLAINTEXT

          • SASL 用户名:填写SASL用户名。

          • SASL 密码:填写SASL密码。

          • Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。

        • SASL_SSL

          • SASL 用户名:填写SASL用户名。

          • SASL 密码:填写SASL密码。

          • Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。

          • ssl truststore文件:上传证书文件。

          • ssl truststore password:填写证书的密码。

          • ssl endpoint identification algorithm:属于一个SSL属性,用于指定验证服务器证书的算法。在SSL通信中,可以使用此参数来验证服务器的身份,以避免中间人攻击。可填写https、http、以及空字符串。

        PLAINTEXT

        任务数

        选择同步数据的任务数。取值说明如下:

        • 1

        • 6

        • 12

        12

        同步sasl用户

        迁移数据时是否将实例的SASL用户信息同步到目标实例。单击配置运行环境显示该参数。默认选择

        同步topic acls

        迁移数据时是否同步Topic ACLS。单击配置运行环境显示该参数。默认选择

        • :迁移数据时会将源实例的Topic ACLS信息同步到目标实例。若源实例是自建实例,则需要手动在目标实例创建SASL用户后,才可以将源实例的Topic ACLS信息同步到目标实例。

        • :迁移数据时不会将源实例的Topic ACLS信息同步到目标实例。

        同步消费组

        迁移数据时是否将源实例的消费组同步创建在目标实例。单击配置运行环境显示该参数。默认选择

        同步消费位点

        迁移数据时是否将源实例的消费位点同步创建在目标实例。单击配置运行环境且选择同步消费组时显示该参数。默认选择

        Topic

        源实例的Topic是否需要同步到目标实例,不填写则同步所有Topic。单击配置运行环境显示该参数。

        test-topic

        创建为Local引擎 Topic

        迁移到目标实例的非Compact类型的Topic。如果想保持为Local引擎,则在此填写。不填写则被创建为云引擎。单击配置运行环境显示该参数。

        test-topic

    3. 配置目标服务页签,单击创建

  5. 创建完成后,在迁移页面,从实例的下拉列表选择目标实例,在实例列表中找到创建的任务,单击其操作列的部署

    迁移页面,您可以看到创建的任务状态运行中,则说明任务创建成功。

其他操作

迁移页面,从实例的下拉列表选择任务所属的实例,在实例下的任务列表中找到目标任务,在其操作列,执行其他操作。

  • 查看任务详情:单击详情。在任务详情页面,查看迁移上云任务的基础信息源服务目标服务运行环境配置信息。

  • 查看同步进度:单击同步进度,选择查看的Topic,单击确定

  • 修改任务配置:单击修改配置,在修改任务配置面板,按需修改任务参数。

  • 重置消费位点:选择更多 > 重置消费位点,设置需要重置的Topic和重置方式,然后单击确定。关于重置消费位点的更多信息,请参见重置消费位点

  • 启停任务:选择更多 > 暂停更多 > 启用,然后在提示对话框,单击确认

  • 删除任务:选择更多 > 删除,然后在提示对话框,单击确认