このトピックでは、Object Storage Service (OSS) からLog Serviceへのデータインポートの制限について説明します。
コレクションの制限
| アイテム | 説明 |
|---|---|
| 単一オブジェクトのサイズ |
1つのオブジェクトのサイズが制限を超えると、インポート時にオブジェクト全体が無視されます。 |
| 単一データレコードのサイズ | 1つのデータレコードのサイズは最大3 MBです。 1つのデータレコードのサイズが制限を超えると、そのレコードは破棄されます。 [データ処理インサイト] ダッシュボードの [配信失敗] グラフには、破棄されたデータレコードの数が表示されます。 詳細については、「t1851047.html#section_2d7_j9f_71w」をご参照ください。 |
| オブジェクト更新 | OSSオブジェクトがLog Serviceにインポートされ、新しいデータがOSSオブジェクトに追加された場合、OSSオブジェクトのデータインポートタスクが実行されると、OSSオブジェクトのすべてのデータがLog Serviceに再インポートされます。 |
| 新しいオブジェクトの検出レイテンシ | インポートタスクが新しいオブジェクトを検出する最小間隔は1分です。 インポートタスクが多数のオブジェクトをLog Serviceに書き込む場合、高いレイテンシが存在する可能性があります。 |
構成の制限
| アイテム | 説明 |
|---|---|
| データインポート設定の数 | 1つのプロジェクトに作成できるデータインポート設定の最大数は、設定の種類に関係なく100です。 クォータを増やしたい場合は、 [ticket] を起票してください。 |
パフォーマンスの制限
| アイテム | 説明 |
|---|---|
| 同時サブタスクの数 | Log Serviceは、インポートが必要なオブジェクトの数に基づいて同時にデータをインポートするための複数のデータインポートサブタスクを自動的に作成します。 Log Serviceは、データインポート設定ごとに最大8つのサブタスクを自動的に作成します。 各サブタスクは、最大10メガバイト/秒の速度で解凍されたデータを処理できます。 合計で、インポートタスクは最大80メガバイト/秒の速度で解凍されたデータを処理できます。 クォータを増やしたい場合は、 [ticket] を起票してください。 |
| Logstore内のシャード数 | Log Serviceの書き込みパフォーマンスは、Logstore内のシャードの数によって異なります。 単一のシャードは5メガバイト/秒の書き込み速度をサポートします。 インポートタスクが大量のデータをLog Serviceに書き込む場合は、Logstoreのシャードの数を増やすことを推奨します。 詳細については、「シャードの管理」をご参照ください。 |
| Archiveオブジェクトから読み取られたデータ | インポートするオブジェクトがアーカイブオブジェクトの場合、Log Serviceがオブジェクトからデータを読み取る前に、オブジェクトを復元する必要があります。 ほとんどの場合、アーカイブオブジェクトの復元には約1分かかります。 |
| オブジェクトのサイズ | データの総量が同じであれば、各オブジェクトのサイズが大きいほど、読み取りスループットは高くなります。 各オブジェクトのサイズが小さいほど、読み取りスループットは低くなります。 |
| ネットワーク | OSSバケットとLog Serviceプロジェクトが同じリージョンにある場合、インターネットトラフィックは生成されず、データは高速で転送されます。 OSSバケットとLog Serviceプロジェクトが異なるリージョンにある場合、オブジェクトの読み取りはネットワーク条件の影響を大きく受け、読み取りパフォーマンスは比較的低くなります。 |
| 新しいデータのインポートレイテンシ | 既存のオブジェクトの数が多く、OSS Metadata Indexingを有効にしない場合、新しいオブジェクトがLog Serviceにインポートされたときに、新しいファイルチェックサイクルパラメーターの値が有効にならない場合があります。 既存のオブジェクトの数が約100万個の場合、新しいデータのインポートレイテンシは約2分です。 インポートレイテンシは、既存のオブジェクトの数に応じて線形に変化します。 |