雲訊息佇列 Kafka 版提供全託管、免營運的遷移上雲端服務,用於自建叢集或跨云云執行個體與雲訊息佇列 Kafka 版執行個體之間的資料同步,遷移完成後可以把源叢集的中繼資料(Topic和Group配置資訊)和訊息資料同步到目標執行個體,目標執行個體的中繼資料與源叢集的中繼資料保持一致並且持續更新。
前提條件
您已購買並部署ApsaraMQ for Kafka執行個體,且該執行個體滿足以下條件:
專案 | 說明 |
狀態 | 服务中 |
版本 | 大版本為2.2.0或2.6.2,小版本為最新版本。 |
您可以在雲訊息佇列 Kafka 版控制台的实例详情頁面的基础信息地區查看執行個體的運行狀態和版本。
使用限制
ApsaraMQ for Kafka對遷移上雲任務的限制如下:
專案 | 限制值 |
數量 | 單一實例最多建立20個遷移任務。在單一實例中遷移上雲與Connector資源共用。 |
規格類型 |
|
源執行個體版本 | 開源版本不低於1.0.0。 |
計費說明
ApsaraMQ for Kafka的遷移上雲組件處於公測階段,且獨立於ApsaraMQ for Kafka執行個體,因此不會在ApsaraMQ for Kafka側產生費用。同時,阿里雲不承諾遷移的SLA,使用遷移上雲所依賴的其他產品的SLA和費用說明請以對應產品為準。
環境要求
如果您需要通過遷移上雲功能將公網的自建執行個體的資料同步到ApsaraMQ for Kafka或者跨地區將某個VPC內的ApsaraMQ for Kafka的資料同步到另一個VPC的ApsaraMQ for Kafka,您需要為該執行個體開啟公網訪問,然後在公網上進行資料同步。具體步驟,請參見開啟公網訪問(可選)。
如果您需要將某個VPC內的資料通過遷移上雲功能同步到另一個VPC的ApsaraMQ for Kafka,華東1(杭州)和西南1(成都)地區支援自動打通VPC,其他地區需要手動打通VPC。具體步驟,請參見跨地區VPC互連。
開啟公網訪問(可選)
如需使用遷移上雲功能跨地區訪問其他阿里雲服務或公網連接點,您需要開啟公網訪問。
為部署了雲訊息佇列 Kafka 版執行個體的VPC 1建立NAT Gateway。
更多資訊,請參見公網 NAT Gateway。
為建立的NAT Gateway綁定Elastic IP Address。
更多資訊,請參見EIP 綁定雲資源。
為VPC 1下雲訊息佇列 Kafka 版執行個體使用的交換器建立SNAT條目。
更多資訊,請參見建立和管理SNAT條目。
建立並部署遷移上雲任務
登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊迁移,然後單擊迁移上云。
在迁移上云頁簽,單擊创建任务。
在创建迁移上云任务面板,配置以下參數。
在配置基本信息頁簽,配置任务名称和目标实例,單擊下一步。
在配置源服务頁簽,配置源服務參數,然後單擊下一步。
當源实例类型選擇為VPC实例(云上自建实例/和VPC网络打通)時,配置以下參數。
參數
說明
樣本
源地域
選擇源執行個體的地區資訊。
华东1(杭州)
接入点
配置源執行個體的存取點資訊。
192.168.XX.XX:9092
VPC ID
配置源執行個體的VPC ID。預設為源執行個體所在的VPC,您無需填寫。
vpc-test-c****
vSwitch ID
配置源執行個體的vSwitch ID。
vsw-bp1gbjqsf53og****
安全组
選擇源執行個體的安全性群組。
alikafka_pre-cn-7mz2****
安全协议
選擇源執行個體的安全性通訊協定。
PLAINTEXT
SASL_PLAINTEXT
SASL 用户名:填寫SASL使用者名稱。
SASL 密码:填寫SASL密碼。
Sasl_Mechanism:SASL認證機制。可選擇PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。
SASL_SSL
SASL 用户名:填寫SASL使用者名稱。
SASL 密码:填寫SASL密碼。
Sasl_Mechanism:SASL認證機制。可選擇PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。
ssl truststore文件:上傳認證檔案。
ssl truststore password:填寫認證的密碼。
ssl endpoint identification algorithm:屬於一個SSL屬性,用於指定驗證伺服器憑證的演算法。在SSL通訊中,可以使用此參數來驗證伺服器的身份,以避免中間人攻擊。可填寫https、http、以及Null 字元串。
PLAINTEXT
任务数
選擇同步資料的任務數。取值說明如下:
1
6
12
12
同步sasl用户
遷移資料時是否同步SASL使用者。單擊配置运行环境顯示該參數。預設選擇是。
是
同步topic acls
遷移資料時是否同步Topic ACLS。單擊配置运行环境顯示該參數。預設選擇是。
是:遷移資料時會將源執行個體的Topic ACLS資訊同步到目標執行個體。若源執行個體是自建執行個體,則需要手動在目標執行個體建立SASL使用者後,才可以將源執行個體的Topic ACLS資訊同步到目標執行個體。
否:遷移資料時不會將源執行個體的Topic ACLS資訊同步到目標執行個體。
是
同步消费组
遷移資料時是否將源執行個體的消費組同步建立在目標執行個體。單擊配置运行环境顯示該參數。預設選擇是。
是
同步消费位点
遷移資料時是否將源執行個體的消費位點同步建立在目標執行個體。單擊配置运行环境且設定同步消费组為是時顯示該參數。預設選擇是。
是
Topic
源執行個體的Topic是否需要同步到目標執行個體,不填寫則同步所有Topic。單擊配置运行环境顯示該參數。
test-topic
创建为Local引擎 Topic
遷移到目標執行個體的非Compact類型的Topic。如果想保持為Local引擎,則在此填寫。不填寫則被建立為雲引擎。單擊配置运行环境顯示該參數。
test-topic
當源实例类型選擇為公网(IDC或跨云云实例)時,配置以下參數。
參數
說明
樣本
接入点
配置源執行個體的存取點資訊。
192.168.XX.XX:9092
安全组
選擇源執行個體的安全性群組。
alikafka_pre-cn-7mz2****
安全协议
選擇源執行個體的安全性通訊協定。
PLAINTEXT
SASL_PLAINTEXT
SASL 用户名:填寫SASL使用者名稱。
SASL 密码:填寫SASL密碼。
Sasl_Mechanism:SASL認證機制。可選擇PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。
SASL_SSL
SASL 用户名:填寫SASL使用者名稱。
SASL 密码:填寫SASL密碼。
Sasl_Mechanism:SASL認證機制。可選擇PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。
ssl truststore文件:上傳認證檔案。
ssl truststore password:填寫認證的密碼。
ssl endpoint identification algorithm:屬於一個SSL屬性,用於指定驗證伺服器憑證的演算法。在SSL通訊中,可以使用此參數來驗證伺服器的身份,以避免中間人攻擊。可填寫https、http、以及Null 字元串。
PLAINTEXT
任务数
選擇同步資料的任務數。取值說明如下:
1
6
12
12
同步sasl用户
遷移資料時是否將執行個體的SASL使用者資訊同步到目標執行個體。單擊配置运行环境顯示該參數。預設選擇是。
是
同步topic acls
遷移資料時是否同步Topic ACLS。單擊配置运行环境顯示該參數。預設選擇是。
是:遷移資料時會將源執行個體的Topic ACLS資訊同步到目標執行個體。若源執行個體是自建執行個體,則需要手動在目標執行個體建立SASL使用者後,才可以將源執行個體的Topic ACLS資訊同步到目標執行個體。
否:遷移資料時不會將源執行個體的Topic ACLS資訊同步到目標執行個體。
是
同步消费组
遷移資料時是否將源執行個體的消費組同步建立在目標執行個體。單擊配置运行环境顯示該參數。預設選擇是。
是
同步消费位点
遷移資料時是否將源執行個體的消費位點同步建立在目標執行個體。單擊配置运行环境且選擇同步消费组為是時顯示該參數。預設選擇是。
是
Topic
源執行個體的Topic是否需要同步到目標執行個體,不填寫則同步所有Topic。單擊配置运行环境顯示該參數。
test-topic
创建为Local引擎 Topic
遷移到目標執行個體的非Compact類型的Topic。如果想保持為Local引擎,則在此填寫。不填寫則被建立為雲引擎。單擊配置运行环境顯示該參數。
test-topic
在配置目标服务頁簽,單擊创建。
建立完成後,在迁移頁面,從实例的下拉式清單選擇目標執行個體,在執行個體列表中找到建立的任務,單擊其操作列的部署。
在迁移頁面,您可以看到建立的任務状态為运行中,則說明任務建立成功。
其他動作
在迁移頁面,從实例的下拉式清單選擇任務所屬的執行個體,在執行個體下的工作清單中找到目標任務,在其操作列,執行其他動作。
查看任務詳情:單擊详情。在任務詳情頁面,查看遷移上雲任務的基础信息、源服务、目标服务和运行环境配置資訊。
查看同步進度:單擊同步进度,選擇查看的Topic,單擊確定。
修改任務配置:單擊修改配置,在修改任務配置面板,按需修改任務參數。
重設消費位點:選擇,設定需要重設的Topic和重設方式,然後單擊確定。關於重設消費位點的更多資訊,請參見重設消費位點。
啟停任務:選擇或,然後在提示對話方塊,單擊確認。
刪除任務:選擇,然後在提示對話方塊,單擊確認。