本文介紹如何在ApsaraMQ for Kafka控制台建立中繼資料匯入任務,將中繼資料遷移至ApsaraMQ for Kafka已有執行個體。
前提條件
購買並部署雲訊息佇列 Kafka 版執行個體:
說明購買執行個體的規格可參考步驟一:規格評估。
使用限制
Serverless執行個體暫不支援中繼資料匯入任務。
背景資訊
Kafka叢集中繼資料是指Kafka叢集的Topic和Group配置資訊。Kafka叢集中繼資料存放區於ZooKeeper上,Kafka叢集各個節點從ZooKeeper中擷取最新的中繼資料。因此,叢集的各個節點的中繼資料被匯出時都是最新且相同的。Kafka叢集中繼資料可以被匯出成一份JSON檔案,然後被匯入到另一個Kafka叢集,實現自建Kafka叢集中繼資料備份。
中繼資料遷移是指將自建Kafka叢集的中繼資料遷移到ApsaraMQ for Kafka執行個體。您可以將自建Kafka叢集中繼資料匯出,然後匯入ApsaraMQ for Kafka執行個體,ApsaraMQ for Kafka會解析成功匯入的中繼資料,並支援在建立任務時可視化配置Topic和Group,配置完成後在目標執行個體中建立對應的Topic和Group,實現自建Kafka叢集中繼資料遷移上雲。
步驟一:規格評估
使用規格評估功能,控制台將會根據您的Kafka叢集資料為您推薦選型。
登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊迁移,然後單擊元数据导入。
在元数据导入頁簽,單擊规格评估。
在规格评估面板,輸入自建叢集資訊,擷取ApsaraMQ for Kafka執行個體規格建議。
參數
說明
樣本值
服务端版本
您自建叢集中使用的Kafka的版本。
0.10.x
IDC 迁移
是否為IDC機房遷移。
是
集群峰值流量
生產或消費流量峰值。單位:MB/s
20
公网流量
如果不需要訪問公網,請填寫0。單位:MB/s
0
SSD 磁盘
您的磁碟類型是否為SSD。
是
磁盘容量
儲存磁碟總大小。單位:GB。
500
分区总数
需要遷移的Topic的分區總數。
800
副本数量
Topic的副本數量。
3個副本
使用场景
生產消費使用情境。
業務訊息
RT 延时要求
生產消費RT延時要求。
無特殊要求
輸入以上參數後,單擊确定,會在规格评估面板上方顯示推薦執行個體規格。

步驟二:匯出中繼資料
使用中繼資料匯出工具匯出自建Kafka叢集的中繼資料檔案。
下載中繼資料匯出工具,下載連結如下:kafka-migration-assessment.jar。
將下載好的工具上傳至自建Kafka叢集。
運行以下命令,賦予JAR包可執行許可權。
chmod 777 kafka-migration-assessment.jar運行以下命令,匯出中繼資料。
java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commit參數
說明
樣本
sourceZkConnect
自建Kafka叢集的ZooKeeper IP地址和連接埠號碼。如果不指定,則自動擷取。
192.168.XX.XX:2181
sourceBootstrapServers
自建Kafka叢集的IP地址和連接埠號碼。如果不指定,則自動擷取。
192.168.XX.XX:9092
targetDirectory
匯出中繼資料檔案的存放目錄。如果不指定,則預設為目前的目錄。
../home/
fileName
匯出中繼資料的檔案名稱。如果不指定,則檔案名稱預設為: kafka-metadata-export.json。
metadata.json
commit
提交運行。
commit
installTsar
是否自動安裝Tsar。預設不自動安裝Tsar。
安裝Tsar可以更加準確地擷取當前機器規格、近期儲存情況、流量、Kafka叢集配置資訊,但自動安裝比較耗時,也有可能因為環境差異, 導致安裝失敗。
無
evaluate
是否擷取當前機器規格、近期儲存情況、流量、Kafka叢集配置資訊,在遷移時根據擷取的資訊進行評估,推薦您購買規格更合適的雲訊息佇列 Kafka 版執行個體。
預設為true,即預設擷取以進行規格評估,如果不需要評估,則需設定為false。
無
檔案存放目錄下產生JSON檔案,匯出中繼資料成功。
在配置的檔案存放目錄下,您可以看到匯出中繼資料檔案,並將其下載儲存至本地。
步驟三:建立中繼資料匯入任務
登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊迁移,然後單擊元数据导入。
在元数据导入頁簽,單擊创建任务。
在创建导入元数据任务面板,編輯以下參數,單擊创建。
在创建任务頁簽,設定任务名称和目标实例,上傳步驟二:匯出中繼資料中擷取的中繼資料檔案。
在编辑 Topic頁簽,您可以執行以下操作:
新增Topic:單擊新增Topic,填寫Topic的名稱、描述、分区数、消息类型。
編輯Topic:單擊右側操作列的编辑,修改Topic的描述、分区数、消息类型和日志清理策略。
刪除Topic:單擊右側操作列的删除,在提示對話方塊中單擊確認。
在编辑 Group頁簽,您可以執行以下操作:
新增Group:單擊新增Group,填寫Group ID和描述。
編輯Group:單擊右側操作列的编辑,修改Group的描述。
刪除Group:單擊右側操作列的删除,在提示對話方塊中單擊確認。
建立完成後,在迁移頁面可查看目標任務的Topic 迁移进度和Group 迁移进度單擊右側操作列的詳情查看詳細資料。
步驟四:查看遷移結果
登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊实例列表。
在執行個體列表頁面,單擊目標執行個體名稱。
查看資源清單。
在左側導覽列,單擊Topic 管理,在Topic 管理頁面的Topic列表中查看已建立的Topic。
在左側導覽列,單擊Group 管理,在Group 管理頁面的Group列表中查看已建立的Group。