このトピックでは、ElasticsearchからLog Serviceへのデータインポートの制限について説明します。

コレクションの制限

アイテム説明
単一データレコードのサイズ1つのデータレコードのサイズは最大3 MBです。 1つのデータレコードのサイズが制限を超えると、そのレコードは破棄されます。

[データ処理インサイト] ダッシュボードの [配信失敗] グラフには、破棄されたデータレコードの数が表示されます。 詳細については、「t2205640.html#section_p04_zpp_95z」をご参照ください。

データレイテンシ自動データインポートの増分モードを使用する場合、Elasticsearchに書き込まれた最新のデータはすぐにはLog Serviceにインポートされません。 データの書き込みは、Maximum Latency in Secondsパラメーターの値の影響を受けます。

たとえば、Maximum Latency in Secondsパラメーターを300に設定した場合、Elasticsearchの最新のデータは、Elasticsearchにデータが書き込まれてから300秒後にLog Serviceにインポートされます。

構成の制限

アイテム説明
データインポート設定の数1つのプロジェクトに作成できるデータインポート構成の総数は、構成の種類に関係なく最大100個です。 クォータを増やしたい場合は、 [ticket] を起票してください。
帯域幅データインポートタスクが仮想プライベートクラウド (VPC) を介してElasticsearchクラスターからデータを読み取る場合、許可されるデフォルトの最大ネットワーク帯域幅は128メガバイト/秒です。 より大きな帯域幅が必要な場合は、 [ticket] を起票してください。

パフォーマンスの制限

アイテム説明
同時タスクの数データインポートタスクでは、スクロールモードを使用してElasticsearchデータをプルします。 このモードでは、同時実行タスクに使用されるシャードの総数は、Elasticsearchで許可されるスクロールリクエストの最大数を超えることはできません。 許可されるスクロールリクエストの最大数を変更するには、Elasticsearchクラスターのsearch.max_open_scroll_contextを再設定します。 search.max_open_scroll_contextのデフォルト値は500です。
Elasticsearchサーバーの機能Elasticsearchクラスターのサイズが大きく、マシンの構成が大きいほど、全体的なスループットは高くなります。
クエリの複雑さデータインポートタスク中に複雑なクエリが含まれる場合、Elasticsearchサーバーがクエリ要求を処理するのに長時間を要し、全体的なデータ読み取り速度が影響を受ける可能性があります。
Logstore内のシャード数Log Serviceの書き込みパフォーマンスは、Logstore内のシャードの数によって異なります。 単一のシャードは5メガバイト/秒の書き込み速度をサポートします。 インポートタスクが大量のデータをLog Serviceに書き込む場合は、Logstoreのシャードの数を増やすことを推奨します。 詳細については、「シャードの管理」をご参照ください。
ネットワークVPCでElasticsearchクラスターを使用している場合、またはElastic Compute Service (ECS) インスタンスで自己管理型Elasticsearchクラスターを使用している場合、VPC経由でデータを読み取ることができます。 この場合、インターネットトラフィックは生成されず、伝送速度は100メガバイト/秒を超える可能性があります。

インターネット経由でデータをインポートすると、ネットワークのパフォーマンスと帯域幅を確保できません。 これにより、インポートレイテンシが発生する可能性があります。

Elasticsearchサーバーへの影響

アイテム説明
過剰な検索セッションデータインポートタスクでは、スクロールモードを使用してElasticsearchサーバーからデータを読み取ります。 このモードでは、インデックスがインポートされるシャードごとにスクロールリクエストが作成されます。 Elasticsearchサーバーは、各スクロールリクエストのセッション情報を保持します。 これにより、サーバーのメモリリソースが消費されます。
過剰なワークロードインポートするインデックスの数が多く、データセットが大きい場合、Elasticsearchサーバーの全体的なワークロードが高くなり、Elasticsearchサービスの全体的な可用性が影響を受けます。

Elasticsearchクラスターのワークロードが高い場合は、 [ticket] を送信して、データインポートタスクに許可される最大トラフィックを調整できます。