全部產品
Search
文件中心

ApsaraMQ for Kafka:Topic引流

更新時間:Dec 27, 2024

您在升級雲訊息佇列 Kafka 版執行個體的流量規格時,可能會觸發叢集橫向擴容。叢集橫向擴容完成後,您需要進行Topic引流,使Topic流量重新均勻分布到擴容後的叢集上。否則原有的Topic流量仍然會打在擴容前的叢集節點上,原有的Topic的峰值流量會受限於擴容前的峰值流量。新增的Topic不受限於擴容前的流量規格。

前提條件

您的雲訊息佇列 Kafka 版執行個體處於服务中正在等待 Topic 引流的狀態。

說明

升級執行個體的流量規格操作以及叢集橫向擴容觸發規則,請參見升級執行個體配置

注意事項

雲訊息佇列 Kafka 版執行個體處於正在等待 Topic 引流狀態時,您可以正常使用該執行個體收發訊息,但不能在該執行個體下建立Topic、Group等資源。您必須完成Topic引流或者選擇不引流,才能重新建立資源。

引流方式

引流方式

原理

影響

適用情境

期間

新增分区

為原叢集節點上的所有Topic在擴容後的新節點中增加分區。

  • 分區訊息亂序。

  • 分區數量改變。如果您的用戶端無法自動感知到新分區(例如:指定分區發送消費以及一些資料處理情境),您可能需要重啟或者修改用戶端代碼。

  • 不要求分區順序。

  • 不指定分區發送。

  • 消費方式採取訂閱。

秒級。

迁移分区(推荐)

  • Local儲存:使用kafka-reassign-partitions工具遷移分區資料。

  • 雲端儲存:修改映射關係,不遷移分區資料。

說明

僅專業版執行個體支援在建立Topic時將儲存引擎類型選擇為Local儲存,標準版暫不支援。

  • Local儲存:臨時性的內部流量。

  • 雲端儲存:無臨時性的內部流量。

任何叢集擴容情境。

  • Local儲存:分鐘級或小時級。取決於要遷移的Local儲存資料量。如果資料量較大,可能持續幾小時甚至更久,您需要謹慎評估。建議您在業務流量低峰期執行遷移操作。

  • 雲端儲存:秒級。遷移1個Topic大約需要30秒。

不引流(不推荐)

不進行任何操作,即原有的Topic依舊分布在擴容前的叢集節點上,新增的Topic均衡分布到擴容後的所有叢集節點上。

  • 原有的Topic峰值流量會受限於擴容前的流量規格。

  • 如果原有的Topic流量較大,可能會出現叢集節點之間流量不均衡。

  • 原有的Topic流量非常小,並且叢集擴容後原有的Topic流量沒有較大提升。

  • 叢集擴容後會建立Topic,並且絕大部分流量會打在建立的Topic上。

立即生效。

操作步驟

說明

雲訊息佇列 Kafka 版Serverless執行個體會自動觸發Topic引流,您無需在控制台上操作。

  1. 登入雲訊息佇列 Kafka 版控制台,在概览頁面的资源分布地區,選擇地區。

  2. 实例列表頁面,單擊目標執行個體名稱。

  3. 实例详情頁面的概览地區的右上方,單擊Topic 引流

  4. 執行個體 Topic 引流面板,選擇引流方式。如何選擇引流方式,請參見引流方式

    Topic 管理頁面,可以查看所有的Topic状态待引流

執行結果

Topic引流完成後,在Topic 管理頁面,Topic状态變為服务中