Simple Log Service:データ処理用のLogtailプラグインの概要

背景情報

データ処理用のLogtailプラグインは、ネイティブプラグインと拡張プラグインに分類されます。

• ネイティブプラグインは高いパフォーマンスを提供し、ほとんどのビジネスシナリオに適しています。 ネイティブプラグインの使用を推奨します。

• 拡張プラグインは、より多くの機能を提供します。 ネイティブプラグインを使用して複雑なビジネスログを処理できない場合は、拡張プラグインを使用してログを解析できます。 しかし、この場合、システム性能が損なわれる可能性がある。

制限事項

• パフォーマンスの制限

  • 拡張プラグインを使用してログを処理すると、Logtailはより多くのリソースを消費します。 ほとんどのリソースはCPUリソースです。 ビジネス要件に基づいてLogtailパラメーター設定を変更できます。 詳細については、「Logtailの起動パラメーターの設定」をご参照ください。

  • 5メガバイト/秒を超える速度で生ログが生成される場合は、複雑なプラグインの組み合わせを使用してログを処理しないことをお勧めします。 拡張プラグインを使用してログを事前に処理し、データ変換機能を使用してログをさらに処理できます。

• ログ収集の制限

  • 拡張プラグインは、テキストログを処理するためにラインモードを使用します。 このモードでは、__tag __:__ path__ や __topic___ などのファイルのメタデータが各ログに記録されます。

  • ログを処理するために拡張プラグインを追加する場合、タグ関連の機能には次の制限が適用されます。

    • コンテキストクエリとLiveTail機能は使用できません。 機能を使用する場合は、アグリゲーター構成を追加する必要があります。

    • __topic__ フィールドの名前が __log_topic__ に変更されました。 アグリゲーター設定を追加すると、ログには __topic__ および __log_topic__ フィールドが含まれます。 __log_topic__ フィールドが必要ない場合は、processor_dropプラグインを使用してフィールドを削除できます。

    • __tag __:__ path__ などのタグフィールドの場合、元のフィールドインデックスは無効になります。 フィールドのインデックスを再設定する必要があります。 詳細については、「インデックスの作成」をご参照ください。

• プラグインの組み合わせに関する制限

  • V2.0より前のLogtailのプラグイン (V2.0を除く) の場合:

    • ネイティブプラグインと拡張プラグインを同時に追加することはできません。

    • ネイティブプラグインは、テキストログの収集にのみ使用できます。 ネイティブプラグインを追加するときは、次の項目に注意してください。

      • データ処理には、データ解析 (Regexモード) 、データ解析 (デリミターモード) 、データ解析 (JSONモード) 、データ解析 (NGINXモード) 、データ解析 (Apacheモード) 、データ解析 (IISモード) のいずれかを最初のプラグインとして追加する必要があります。

      • 最初のプラグインを追加した後、1つのTime Parsingプラグイン、1つのData Filteringプラグイン、および複数のData Maskingプラグインを追加できます。

• Logtail V2.0のプラグインの場合: 拡張プラグインは、ネイティブプラグインを追加した後にのみ追加できます。

• ネイティブプラグイン関連のパラメーターの組み合わせの制限

  V2.0より前のLogtailのネイティブプラグインの場合、次のパラメーターの組み合わせのみを使用することを推奨します。 プラグインは、データ解析 (Regexモード) 、データ解析 (JSONモード) 、データ解析 (デリミターモード) 、データ解析 (NGINXモード) 、データ解析 (Apacheモード) 、データ解析 (IISモード) を指します。 他のパラメーターの組み合わせでは、Simple Log Serviceは設定の効果を保証しません。

  • 解析されたログをアップロードします。

    

  • 解析が成功した場合は解析後に取得したログをアップロードし、解析が失敗した場合は生ログをアップロードします。

    

  • 解析後に取得したログをアップロードし、解析が成功した場合は生ログフィールドをログに追加し、解析が失敗した場合は生ログをアップロードします。

    たとえば、生ログが "content": "{" request_method ":" GET ", " request_time ":" 200 "}" で、生ログが正常に解析された場合、システムは、解析後に取得されたログに生ログフィールドを追加します。 生のログフィールドは、[元のフィールドの新しい名前] パラメーターで指定します。 パラメーターを設定しない場合は、元のフィールド名が使用されます。 フィールド値は {"request_method":"GET", "request_time":"200"} です。

    

プラグインの追加

データ処理用のLogtailプラグイン

ネイティブプラグイン

拡張プラグイン