リアルタイムの増分データの同期
上の図は、増分データがデータソースのデータ更新と API 操作によってプッシュされたデータの 2 つの部分で構成されていることを示しています。増分データは、次の 3 つのステップで OpenSearch に同期されます。
1. データソースのデータ更新が同期されるか、API 操作を使用してデータが OpenSearch のオフラインアプリケーションにプッシュされます。データ更新を同期するために、Data Transmission Service (DTS) でデータソースのバイナリログをサブスクライブできます。プライマリテーブルとセカンダリテーブルの 1 秒あたりのトランザクションの総数 (TPS) は 1,500 を超えることはできません。
2. 増分データがオフラインアプリケーションに同期されると、増分データは既存のワイドテーブルに更新されます。セカンダリテーブルの更新は、プライマリテーブルの N 個の更新をトリガーします。プライマリテーブルでトリガーされた更新が 1,000 TPS 以上の場合、セカンダリテーブルの更新速度は制限され、プライマリテーブルのデータ同期レイテンシが短縮されます。詳細については、複数テーブル結合によるデータ同期レイテンシを参照してください。
3. オフラインアプリケーションは、メタデータを含むデータをエンジンに書き込みます。メタデータが追加されると、データ量はデータソースの 2 倍または 3 倍になる場合があります。エンジンを保護するために、データの書き込み速度は 10 MB/s に制限されています。
指標
指標 | 最大値 | 備考 |
データソースからオフラインアプリケーションにデータが同期されるときのプライマリテーブルとセカンダリテーブルの TPS の総数。単位: TPS。この場合、プライマリテーブルとセカンダリテーブルの間にはトリガー関係は設定されていません。 | 1,500 | 該当なし |
オフラインアプリケーションからエンジンへのリアルタイムの増分データの書き込み速度。単位: MB/s。 | 10 | メタデータが追加されます。 |
セカンダリテーブルの更新によってトリガーされるプライマリテーブルの更新。単位: TPS。 | 1,000 | 該当なし |