Tablestoreは、データ配信サービスを使用して、リアルタイムで完全または増分データをオブジェクトストレージサービス(OSS)に配信します。この機能により、Tablestoreは履歴データを費用対効果の高い方法でOSSに保存しながら、大量のデータのオフラインまたは準リアルタイム分析を実行できます。
シナリオ
以下のシナリオでは、データ配信サービスを使用してビジネス要件を満たすことができます。
ホットデータとコールドデータの階層型ストレージ
データ配信サービスは、Tablestoreの有効期限(TTL)機能と組み合わせて、完全データを費用対効果の高い方法でOSSに迅速に保存します。Tablestoreを使用すると、低レイテンシでホットデータのクエリと分析を実行できます。
完全データバックアップ
データ配信サービスを使用して、Tablestoreのテーブルの完全データをOSSバケットに配信して、バックアップとアーカイブを行うことができます。
リアルタイムでの大規模データ分析
データ配信サービスを使用して、Tablestoreの増分データをリアルタイム(2分ごと)でOSSに配信できます。配信されたデータはシステム時刻に基づいてパーティション化され、Parquet形式で保存されます。OSSの高速読み取り帯域幅とParquetデータのスキャン最適化を使用して、効率的なリアルタイムデータ分析を実行できます。
機能
データ配信サービスには、次の機能があります。
データ配信サービスは、Tablestoreの完全データと増分データの両方を自動的にプルします。データ量がプリセットサイズに達した場合、または2分以内にOSSにデータが配信されなかった場合、プルされたデータは永続ストレージのためにOSSに配信されます。
データ配信サービスでは、増分、完全、差分のモードでデータを配信できます。配信されたすべてのデータはParquet形式で保存されます。
データ配信サービスでは、データ配信が完了した時刻の監視がサポートされています。データ配信サービスはDescribeDeliveryTask操作を提供して、データ配信が完了した時刻を返します。
メリット
使いやすさ
TablestoreからOSSにデータを配信するには、Tablestoreコンソールで簡単な構成を行うだけで済みます。配信タスクは実行され、スループット容量は負荷に基づいてスケーリングされますが、監視とO&Mは不要です。ただし、サービスレベルアグリーメント(SLA)は保証されています。
完全なデータ配信モードのセット
データ配信は、増分、完全、差分のモードを提供します。増分モードを使用する場合、配信タスクはデータの準リアルタイム配信を実装し、最新のデータを取得し、データをキャッシュし、2分後にOSSに書き込みます。
計算エコシステムとのシームレスな統合
データ配信サービスは、オープンソースエコシステム標準とHiveで採用されている命名規則と互換性があります。配信されたデータはParquet形式で保存されます。E-MapReduce (EMR)を使用して、外部テーブルを使用してOSSに配信されたデータを直接分析できます。
階層型ストレージとアクセスエクスペリエンス
データがOSSに配信された後、テーブル内のデータ、インデックステーブル、OSSに配信されたデータなど、さまざまなデータにアクセスできます。これにより、さまざまなシナリオの分析要件が満たされます。
注意事項
データ配信サービスは、中国(杭州)、中国(上海)、中国(北京)、中国(張家口)、中国(深圳)の各リージョンでご利用いただけます。
手順
TablestoreのデータをOSSに配信するための配信タスクを作成します。詳細については、クイックスタートとTablestore SDKを使用してTablestoreデータをOSSに配信するを参照してください。
EMRを使用して、OSSに配信されたTablestoreデータを分析します。詳細については、EMRの使用を参照してください。