ApsaraMQ for RocketMQ支援Global Replicator功能,能夠實現跨地區及跨執行個體的訊息和消費進度同步。本文將介紹Global Replicator特性等資訊。
功能簡介
Global Replicator為您提供跨地區、跨執行個體的訊息和消費進度同步能力,支援開源和商業叢集的資料同步、異地災備、異地多活等情境需求。
跨地區資料同步
支援在不同地區叢集間實現訊息與消費進度的同步,滿足全球業務情境下低時延和高可用性的需求。
跨執行個體無縫整合
相容開源和商業RocketMQ叢集,可靈活同步訊息和消費進度,實現混合雲或多雲架構下的資料流動。
支援多種訊息類型
支援普通、順序、定時/延時和事務訊息的同步。
支援訊息和消費進度的同步
在源執行個體故障時,支援一鍵更新消費進度,將目標執行個體Group的當前消費進度更新到源執行個體的當前消費進度,降低重複消費的訊息數量。
支援單向和雙向任務
雙向同步任務預設具備防止資料迴圈同步能力。
Global Replicator會佔用ApsaraMQ for RocketMQ的讀、寫效能,當使用Global Replicator能力時,請做好計算規格的評估。
圖1.ApsaraMQ for RocketMQ訊息同步結構示意
應用情境
Global Replicator中所有叢集均是獨立的執行個體,具備讀、寫服務。執行個體之間通過非同步方式完成訊息資料的同步,可滿足如下應用情境:
資料同步(單向同步)
單元(獨立的業務環境)內業務就近處理,無需跨網路的資料訪問,降低因網路帶來的時效性問題。通過Global Replicator的跨地區,跨執行個體(支援開源和商業叢集)的單向同步能力實現資料同步,接收資料的中心地區可針對同步上來的資料做統一的資料處理。
典型行業:銀行、證券、保險等。
多單元+1中心架構。
圖2.ApsaraMQ for RocketMQ資料匯聚架構
異地災備(單向同步)
通過Global Replicator的單向同步能力實現跨地區、跨執行個體(支援開源和商業叢集)高可用,提升資料安全性和系統可用性。當發生機房或地區層級故障時,可以快速恢複業務。
典型行業:通用。
兩地兩中心架構。
圖3.ApsaraMQ for RocketMQ異地災備架構
正常情況下,備地區/中心的應用無需運行,降低資源消耗,節省成本。當異常發生時,啟動備地區/中心的應用,通過ApsaraMQ for RocketMQ執行個體的重設消費位點能力,將源儘可能少的消費歷史訊息資料。訊息需做好等冪處理,降低消費重複帶來的業務影響。
異地多活(雙向同步)
當業務進行單元化拆分,同時又要儘可能保障業務的連續性,可以通過Global Replicator的雙向同步能力來實現跨執行個體(支援開源和商業叢集)、多地區間的高可用。
典型行業:金融,能源等涉及民生行業。
兩地兩中心架構。
圖4.ApsaraMQ for RocketMQ異地雙向同步架構
通過Global Replicator做資料同步,同步過程中會對訊息進行打標,生產應用無需額外的開發工作量,消費應用可根據ApsaraMQ for RocketMQ提供的SQL92過濾方式,指定消費打標資料。
當發生異常時,業務自身保障,生產應用能夠接管全量入口訊息並投遞到未發生異常的ApsaraMQ for RocketMQ執行個體,消費應用通過配置變更修改過濾條件。通過ApsaraMQ for RocketMQ執行個體的重設消費位點能力,儘可能少的消費其他地區的訊息資料。訊息需做好等冪處理,降低消費重複帶來的業務影響。
技術架構
Global Replicator通過Connector完成非同步訊息同步機制實現跨地區資料同步,Connector具備分布式秒級擴縮容的彈效能力,並具備按照規則進行資料打標和斷點續傳的能力。跨地區間的網路通道採用企業網打通,執行個體間的訊息資料都能保持同步且同步延遲都能夠控制在秒級。
圖5.ApsaraMQ for RocketMQ跨地區資料同步架構
訊息請求說明
Global Replicator中每個ApsaraMQ for RocketMQ執行個體都是獨立執行個體,具備讀、寫能力,應用訪問某個執行個體由應用中配置的執行個體存取點Endpoint決定。訊息資料在兩個執行個體間同步時,會對訊息資料打標(通過userproperty設定Key、Value),消費應用可根據業務需要,對訊息資料進行過濾,決策接收消費全量資料或本機資料。如下圖所示,使用與消費處理請參見使用說明。
圖6.ApsaraMQ for RocketMQ訊息同步過程中對訊息打標
優勢
低代碼開發:執行個體間的同步完全可以通過Global Replicator來實現,降低訊息同步的代碼開發工作量。
配置靈活:可配置執行個體之間單向/雙向的訊息資料同步,並可用Global Replicator完成訊息資料的打標,方便業務側靈活的選擇資料處理的範圍。
跨地區低延時同步:訊息資料的同步能力技術選型採用事件匯流排EventBridge產品,高壓力下全球同步延遲秒級,穩定性和彈性有保障。
費用說明
支援的地區和版本
地區:覆蓋ApsaraMQ for RocketMQ已開服的地區,具體請參見源叢集與目的地組群地區映射表。
版本:
ApsaraMQ for RocketMQ4.0系列執行個體。
說明4.0系列執行個體標準版僅支援單向同步。
ApsaraMQ for RocketMQ5.0系列執行個體。
支援ApsaraMQ for RocketMQ鉑金版與開源Apache RocketMQ叢集構建同步關係。開源Apache RocketMQ的版本需要大於等於4.4.0版本。
一個ApsaraMQ for RocketMQ執行個體支援與多個ApsaraMQ for RocketMQ執行個體構建Global Replicator關係。