全部產品
Search
文件中心

ApsaraMQ for Kafka:中繼資料匯入

更新時間:Apr 29, 2025

本文介紹如何在ApsaraMQ for Kafka控制台建立中繼資料匯入任務,將中繼資料遷移至ApsaraMQ for Kafka已有執行個體。

前提條件

使用限制

Serverless執行個體暫不支援中繼資料匯入任務。

背景資訊

Kafka叢集中繼資料是指Kafka叢集的Topic和Group配置資訊。Kafka叢集中繼資料存放區於ZooKeeper上,Kafka叢集各個節點從ZooKeeper中擷取最新的中繼資料。因此,叢集的各個節點的中繼資料被匯出時都是最新且相同的。Kafka叢集中繼資料可以被匯出成一份JSON檔案,然後被匯入到另一個Kafka叢集,實現自建Kafka叢集中繼資料備份。

中繼資料遷移是指將自建Kafka叢集的中繼資料遷移到ApsaraMQ for Kafka執行個體。您可以將自建Kafka叢集中繼資料匯出,然後匯入ApsaraMQ for Kafka執行個體,ApsaraMQ for Kafka會解析成功匯入的中繼資料,並支援在建立任務時可視化配置Topic和Group,配置完成後在目標執行個體中建立對應的Topic和Group,實現自建Kafka叢集中繼資料遷移上雲。

步驟一:規格評估

使用規格評估功能,控制台將會根據您的Kafka叢集資料為您推薦選型。

  1. 登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。

  2. 在左側導覽列,單擊迁移,然後單擊元数据导入

  3. 元数据导入頁簽,單擊规格评估

  4. 规格评估面板,輸入自建叢集資訊,擷取ApsaraMQ for Kafka執行個體規格建議。

    參數

    說明

    樣本值

    服务端版本

    您自建叢集中使用的Kafka的版本。

    0.10.x

    IDC 迁移

    是否為IDC機房遷移。

    集群峰值流量

    生產或消費流量峰值。單位:MB/s

    20

    公网流量

    如果不需要訪問公網,請填寫0。單位:MB/s

    0

    SSD 磁盘

    您的磁碟類型是否為SSD。

    磁盘容量

    儲存磁碟總大小。單位:GB。

    500

    分区总数

    需要遷移的Topic的分區總數。

    800

    副本数量

    Topic的副本數量。

    3個副本

    使用场景

    生產消費使用情境。

    業務訊息

    RT 延时要求

    生產消費RT延時要求。

    無特殊要求

    輸入以上參數後,單擊确定,會在规格评估面板上方顯示推薦執行個體規格。image.png

步驟二:匯出中繼資料

使用中繼資料匯出工具匯出自建Kafka叢集的中繼資料檔案。

  1. 下載中繼資料匯出工具,下載連結如下:kafka-migration-assessment.jar

  2. 將下載好的工具上傳至自建Kafka叢集。

  3. 運行以下命令,賦予JAR包可執行許可權。

    chmod 777 kafka-migration-assessment.jar
  4. 運行以下命令,匯出中繼資料。

    java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commit

    參數

    說明

    樣本

    sourceZkConnect

    自建Kafka叢集的ZooKeeper IP地址和連接埠號碼。如果不指定,則自動擷取。

    192.168.XX.XX:2181

    sourceBootstrapServers

    自建Kafka叢集的IP地址和連接埠號碼。如果不指定,則自動擷取。

    192.168.XX.XX:9092

    targetDirectory

    匯出中繼資料檔案的存放目錄。如果不指定,則預設為目前的目錄。

    ../home/

    fileName

    匯出中繼資料的檔案名稱。如果不指定,則檔案名稱預設為: kafka-metadata-export.json。

    metadata.json

    commit

    提交運行。

    commit

    installTsar

    是否自動安裝Tsar。預設不自動安裝Tsar。

    安裝Tsar可以更加準確地擷取當前機器規格、近期儲存情況、流量、Kafka叢集配置資訊,但自動安裝比較耗時,也有可能因為環境差異, 導致安裝失敗。

    evaluate

    是否擷取當前機器規格、近期儲存情況、流量、Kafka叢集配置資訊,在遷移時根據擷取的資訊進行評估,推薦您購買規格更合適的雲訊息佇列 Kafka 版執行個體。

    預設為true,即預設擷取以進行規格評估,如果不需要評估,則需設定為false。

    檔案存放目錄下產生JSON檔案,匯出中繼資料成功。

  5. 在配置的檔案存放目錄下,您可以看到匯出中繼資料檔案,並將其下載儲存至本地。

步驟三:建立中繼資料匯入任務

  1. 登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。

  2. 在左側導覽列,單擊迁移,然後單擊元数据导入

  3. 元数据导入頁簽,單擊创建任务

  4. 创建导入元数据任务面板,編輯以下參數,單擊创建

    1. 创建任务頁簽,設定任务名称目标实例,上傳步驟二:匯出中繼資料中擷取的中繼資料檔案。

    2. 编辑 Topic頁簽,您可以執行以下操作:

      • 新增Topic:單擊新增Topic,填寫Topic的名稱描述分区数消息类型

      • 編輯Topic:單擊右側操作列的编辑,修改Topic的描述分区数消息类型日志清理策略

      • 刪除Topic:單擊右側操作列的删除,在提示對話方塊中單擊確認

    3. 编辑 Group頁簽,您可以執行以下操作:

      • 新增Group:單擊新增Group,填寫Group ID描述

      • 編輯Group:單擊右側操作列的编辑,修改Group的描述

      • 刪除Group:單擊右側操作列的删除,在提示對話方塊中單擊確認

    建立完成後,在迁移頁面可查看目標任務的Topic 迁移进度Group 迁移进度單擊右側操作列的詳情查看詳細資料。

步驟四:查看遷移結果

  1. 登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。

  2. 在左側導覽列,單擊实例列表

  3. 執行個體列表頁面,單擊目標執行個體名稱。

  4. 查看資源清單。

    • 在左側導覽列,單擊Topic 管理,在Topic 管理頁面的Topic列表中查看已建立的Topic。

    • 在左側導覽列,單擊Group 管理,在Group 管理頁面的Group列表中查看已建立的Group。