ApsaraMQ for RocketMQ のグローバルレプリケーター機能を使用すると、リージョンやインスタンスをまたいでメッセージとコンシューマーの進捗を同期できます。このトピックでは、グローバルレプリケーター機能について説明します。
はじめに
グローバルレプリケーターを使用すると、リージョンやインスタンスをまたいでメッセージとコンシューマーの進捗を同期できます。Apache RocketMQ と ApsaraMQ for RocketMQ クラスター間のデータ同期、ジオディザスタリカバリ、アクティブ地理的冗長性などのシナリオで使用できます。
リージョン間のデータ同期
グローバルレプリケーターは、異なるリージョンのクラスター間でメッセージとコンシューマーの進捗の同期をサポートし、グローバルなビジネスシナリオにおける低レイテンシーと高可用性の要件を満たします。
シームレスなクロスインスタンス統合
オープンソースの Apache RocketMQ と ApsaraMQ for RocketMQ クラスターと互換性があり、グローバルレプリケーターはメッセージとコンシューマーの進捗を柔軟に同期して、ハイブリッドクラウドまたはマルチクラウドアーキテクチャでのデータフローを実装できます。
複数メッセージタイプのサポート
グローバルレプリケーターは、通常メッセージ、順序付きメッセージ、スケジュール/遅延メッセージ、トランザクションメッセージなど、以下のタイプのメッセージの同期をサポートします。
メッセージとコンシューマー進捗の同期のサポート
ソースインスタンスでエラーが発生した場合、クイック同期機能を使用して、宛先グループのコンシューマーの進捗をソースインスタンスに同期できます。これにより、重複して消費されるメッセージの数を削減できます。
一方向および双方向の同期タスクのサポート
デフォルトでは、双方向データ同期タスクはデータが周期的に同期されるのを防ぐことができます。
グローバルレプリケーターは ApsaraMQ for RocketMQ の読み取りおよび書き込みリソースを消費します。この機能を使用する前に、コンピューティング仕様を評価してください。
図 1. ApsaraMQ for RocketMQ のメッセージ同期
利用シーン
グローバルレプリケーターに関わるすべてのクラスターは、読み取りおよび書き込みサービスを提供する独立したインスタンスです。メッセージはインスタンス間で非同期に同期されます。グローバルレプリケーターは、以下のシナリオで使用できます。
データ同期 (一方向)
各独立ユニット (ビジネス環境) にデプロイされたビジネスは、ネットワークをまたいだデータアクセスなしに、ユニットに最も近いサーバーで処理されます。これにより、ネットワークに起因するタイムアウトの問題を防ぎます。グローバルレプリケーターの一方向同期機能を使用して、異なるリージョンやインスタンス (オープンソースの Apache RocketMQ および ApsaraMQ for RocketMQ クラスター) のデータを中央リージョンに同期し、一元的に処理できます。
業界：銀行、証券、保険
アーキテクチャ：複数ユニット、単一センター
図 2. ApsaraMQ for RocketMQ におけるデータ集約のアーキテクチャ
ジオディザスタリカバリ (一方向)
グローバルレプリケーターの一方向同期機能は、リージョン間およびインスタンス間の高可用性を実現できます。データセンターまたはリージョンで障害が発生した場合、一方向同期機能を使用してビジネスを迅速に復旧できます。
業界：すべて
アーキテクチャ：2 リージョン、2 データセンター
図 3. ApsaraMQ for RocketMQ におけるジオディザスタリカバリのアーキテクチャ
通常、セカンダリリージョンまたはセンターでアプリケーションを実行する必要はありません。これにより、リソース消費を削減し、コストを節約できます。例外が発生した場合は、セカンダリリージョンまたはセンターでアプリケーションを起動し、ApsaraMQ for RocketMQ インスタンスのコンシューマーオフセットリセット機能を使用して、ソースインスタンス上の履歴メッセージを最小限の数だけ消費します。メッセージの重複による影響を軽減するために、ビジネスロジックにメッセージのべき等性を実装することを推奨します。
アクティブ地理的冗長性 (双方向)
ビジネスを複数のユニットにデプロイし、同時にビジネスの継続性を確保したい場合は、グローバルレプリケーターの双方向同期機能を使用して、リージョン間およびインスタンス間の高可用性を実現できます。
業界：金融、エネルギー、その他国民生活に関連する産業
アーキテクチャ：2 リージョン、2 データセンター
図 4. ApsaraMQ for RocketMQ におけるアクティブ地理的冗長性のアーキテクチャ
グローバルレプリケーター機能を使用してデータを同期すると、メッセージにタグが追加されます。プロデューサーアプリケーションに追加の開発は不要で、コンシューマーアプリケーションは ApsaraMQ for RocketMQ が提供する SQL-92 フィルタリングメソッドを使用して、特定のタグを含むメッセージを消費できます。
例外が発生した場合、ビジネスのディザスタリカバリ機能により、ビジネス全体が期待どおりに実行されることが保証されます。この場合、プロデューサーアプリケーションはすべてのメッセージを受信し、例外が発生していない ApsaraMQ for RocketMQ インスタンスにメッセージを配信できます。ただし、コンシューマーアプリケーションのフィルタリング条件を変更する必要があります。ApsaraMQ for RocketMQ インスタンスのコンシューマーオフセットリセット機能を使用して、他のリージョンからのメッセージを最小限の数だけ消費できます。メッセージの重複による影響を軽減するために、ビジネスロジックにメッセージのべき等性を実装することを推奨します。
技術アーキテクチャ
グローバルレプリケーターは、非同期でメッセージを同期し、コネクタを介してリージョン間のデータ同期を実現します。コネクタは、数秒での分散システムのスケーリング、ルールベースのタギング、再開可能なアップロードとダウンロードを特徴としています。異なるリージョンに存在するインスタンス間のネットワークは、Cloud Enterprise Network (CEN) を使用して接続されます。インスタンス内のメッセージは、数秒のレイテンシーで同期されます。
図 5. ApsaraMQ for RocketMQ におけるリージョン間データ同期のアーキテクチャ
メッセージリクエストの説明
グローバルレプリケーターに関わる ApsaraMQ for RocketMQ インスタンスは互いに独立しており、読み取りおよび書き込み機能を持っています。アプリケーションがアクセスするインスタンスは、アプリケーションに設定したインスタンスエンドポイントによって決まります。2 つのインスタンス間でメッセージが同期されるとき、ユーザー属性で指定されたタグキーと値に基づいてメッセージにタグが追加されます。これらのタグを使用してコンシューマーアプリケーションでメッセージをフィルタリングし、完全なデータまたはローカルデータのみを受信するかどうかを決定できます。次の図は、メッセージにタグを追加する方法を示しています。詳細については、「注意事項」をご参照ください。
図 6. ApsaraMQ for RocketMQ のメッセージ同期中にメッセージにタグを追加
メリット
ローコード開発：グローバルレプリケーターを使用してインスタンス間でメッセージが同期されるため、開発のワークロードが削減されます。
柔軟な構成：グローバルレプリケーターを使用すると、インスタンス間の一方向または双方向のメッセージ同期を構成し、メッセージにタグを追加して柔軟なメッセージ選択ができます。
リージョン間の低レイテンシー同期：EventBridge を使用してメッセージ同期を実装します。これにより、メッセージが安定かつ柔軟に、わずか数秒のレイテンシーで同期されることが保証されます。
課金
サポートされるリージョン、エディション、バージョン
サポートされるリージョン：グローバルレプリケーターは、ApsaraMQ for RocketMQ のすべてのサポート対象リージョンで利用できます。詳細については、「ソースクラスターと宛先クラスター間のリージョンマッピング」をご参照ください。
サポートされるエディションとバージョン：
ApsaraMQ for RocketMQ 4.0 インスタンス。
説明Standard Edition は一方向同期のみをサポートします。
ApsaraMQ for RocketMQ 5.0 インスタンス。
グローバルレプリケーターを使用して、ApsaraMQ for RocketMQ Enterprise Platinum Edition インスタンスと Apache RocketMQ クラスター間でデータを同期できます。Apache RocketMQ のバージョンは 4.4.0 以降である必要があります。
グローバルレプリケーターを使用して、1 つの ApsaraMQ for RocketMQ インスタンスから複数の ApsaraMQ for RocketMQ インスタンスにデータを同期できます。