Simple Log Service:OSSデータ送信の安定性と制限

アイテム

説明

可用性

高い可用性が提供されます。

Simple Log Serviceのエラーにより、OSSデータシッピングジョブがSimple Log Serviceからのデータの読み取りに失敗した場合、ジョブは少なくとも10回再試行されます。 それでもジョブが失敗すると、エラーが報告され、ジョブが再起動されます。

アイテム

説明

同時実行

データ配布インスタンスはシャードに基づいて作成でき、データ配布に使用されるリソースはスケールアウトできます。

データシッピングインスタンスのソースログストア内のシャードが分割されている場合、必要なリソースを数秒以内にスケールアウトして、データエクスポートプロセスを高速化できます。

データの整合性

データの一貫性を確保するため、必要なリソースは指定されたコンシューマーグループに基づいてスケールアウトされます。 オフセットは、データがOSSに出荷された後にのみ送信されます。 これにより、すべてのデータがOSSに確実に送信されます。

アイテム

説明

モニタリングとアラート

データシッピングジョブのレイテンシやトラフィックなどのメトリックに基づいて、データシッピングジョブをリアルタイムで監視できます。 ビジネス要件に基づいてカスタムアラートを構成し、データ転送中に発生した例外をできるだけ早い機会に報告できます。 たとえば、データのエクスポートに使用されるデータ配布インスタンスが不十分な場合、またはネットワーククォータを超えた場合、アラートがトリガーされます。 詳細については、「OSSの新しいバージョンのデータシッピングジョブを監視するためのアラートモニタリングルールの設定」をご参照ください。

アイテム

説明

ネットワークタイプ

Alibaba Cloudの内部ネットワークを介したデータ転送は、高速かつ安定しています。

アイテム

説明

権限付与

データをOSSに送信し、データにアクセスする権限を付与する必要があります。 詳細については、「権限付与の概要」をご参照ください。

サーバー側暗号化

サーバー側の暗号化が有効になっている場合、関連するリソースアクセス管理 (RAM) ロールに追加の権限を付与する必要があります。 詳細については、「OSS設定ドキュメント」をご参照ください。

アイテム

説明

読み取りトラフィック

Simple Log Serviceは、単一のプロジェクトと単一のシャードでの読み取りトラフィックの上限を指定します。 詳細については、「データの読み取りと書き込み」をご参照ください。

制限を超えた場合は、プロジェクトでシャードを分割するか、制限の引き上げを申請する必要があります。 制限を超えたためにOSSデータシッピングジョブがデータの読み取りに失敗した場合、ジョブは少なくとも10回再試行されます。 それでもジョブが失敗すると、エラーが報告され、ジョブが再起動されます。

アイテム

説明

同時インスタンス

同時インスタンスの数は、シャードの数と同じである必要があります。 シャードには、readwriteシャードとreadonlyシャードが含まれます。

データ配送

• シャード内のログデータのサイズによって、OSSに出荷され、OSSオブジェクトに保存される生のログデータのサイズが決まります。 シャード内のログデータのサイズの値の範囲は5 ~ 256です。 単位: MB。

• 同じシャードのログデータを送信する2つのデータシッピングジョブの間隔の値の範囲は、900に300されます。 単位: 秒。

• OSSオブジェクトは、同時インスタンスの各データシッピングジョブに対して生成されます。

  重要

  OSSデータシッピングジョブを作成するときに、shard内のデータが出荷される頻度を指定するために、出荷サイズと出荷時間のパラメーターを設定できます。 2つのパラメーターで指定された条件のいずれかが満たされると、データが出荷されます。

時間パーティション

データ発送ジョブでは、複数の発送操作を実行してデータをOSSに発送します。 各データシッピング操作は、データをOSSに発送し、データを異なるOSSオブジェクトに保存します。 OSSオブジェクトへのパスは、Simple Log ServiceがOSSオブジェクトに送信されたデータを受信する最も早い時点によって決まります。 この時点はreceive_timeで指定されます。

ファイル形式

データがOSSに出荷された後、データはCSV、JSON、Parquet、およびORCのいずれかの形式で保存できます。 詳細については、JSON形式、CSV形式、Parquet形式、およびORC形式をご参照ください。

圧縮方法

次の圧縮方法がサポートされています: snappy、gzip、およびzstd。 非圧縮もサポートされています。

OSS バケット

• データは、WORM (Write Once Read Many) 機能が無効になっている既存のOSSバケットにのみ発送できます。 バケットは、Simple Log Serviceプロジェクトと同じリージョンに存在する必要があります。 WORM機能の詳細については、「保持ポリシー」をご参照ください。

• 標準、低頻度アクセス (IA) 、アーカイブ、コールドアーカイブのストレージクラスのOSSバケットにデータを送信できます。 デフォルトでは、出荷されたデータを格納する生成されたOSSオブジェクトのストレージクラスは、指定されたOSSバケットのストレージクラスと同じです。 ストレージクラスの詳細については、「概要」をご参照ください。

• IA、アーカイブ、またはコールドアーカイブOSSバケットには、最小保存期間と最小課金サイズの制限が適用されます。 ビジネス要件に基づいて、OSSバケットのストレージクラスを指定することを推奨します。 ストレージクラスの詳細については、「概要」をご参照ください。

項目

説明

配送レイテンシ

出荷レイテンシは、データを出荷するログストアのデータ保持期間を超えることはできません。

データの損失を防ぐために、バッファ期間を予約することを推奨します。 たとえば、Logstoreのデータ保持期間が30日である場合、出荷待ち時間を25日以下の値に設定することを推奨します。

項目

説明

データ配布ジョブの一時停止

データ配布ジョブを一時停止すると、そのジョブは最後に配布されたログのカーソルを記録します。 ジョブを再開した後、ジョブは記録されたカーソルからログを送信し続けます。 Simple Log Serviceは、データ配布ジョブを一時停止するときに次のメカニズムを実装します。

• データ転送ジョブを一定期間一時停止し、転送するデータの保存期間が経過していない場合、ジョブの再開後、システムは最後のカーソルからデータを転送し続けます。

• データ転送ジョブを一定期間一時停止し、転送するデータの保存期間が経過した場合、ジョブを再開した後、システムは最後のカーソルに最も近いデータからデータを転送し続けます。