Simple Log Service:ログ収集エージェントの違いは何ですか?

データ技術 (DT) の時代には、何億ものサーバー、モバイル端末、およびネットワークデバイスが毎日大量のログを生成します。 集中型ログ処理ソリューションは、ログデータのライフサイクルにおけるログ消費要件を効果的に満たします。 ログを消費する前に、デバイスからログを収集し、最初にクラウドに同期する必要があります。

• Logstash

  • ELKスタックの一部として、Logstashはオープンソースコミュニティで活動しています。 エコシステム内の広範なプラグインで動作します。

  • LogstashはJRubyでコーディングされており、Java仮想マシン (JVM) 上のプラットフォーム間で実行できます。

  • モジュール設計により、Logstashは高いスケーラビリティと相互運用性を備えています。

• Fluentd

  • Fluendtdは、オープンソースコミュニティで人気のあるログ収集ツールです。 そのコアコンポーネントであるtdエージェントは、Treasure Dataによって市販されており、維持されています。 このトピックでは、Fluentdが評価用に選択されています。

  • FluentdはCRubyでコード化されています。 そのパフォーマンスに関連するいくつかの重要なコンポーネントは、Cで再コード化されます。Fluentdの全体的なパフォーマンスは優れています。

  • Fluentdはシンプルなデザインで、パイプラインで信頼性の高いデータ伝送を提供します。

  • Logstashと比較して、Fluentdのプラグインは少なくなっています。

• Logtailは

  • As生産者のAlibaba Cloud Log Service、Logtailビッグデータシナリオでテストされていで長年Alibaba Group。

  • LogtailはC ++ でコーディングされており、安定性、リソース制御、および管理において優れたパフォーマンスを発揮します。

  • LogstashやFluentdと比較して、Logtailはオープンソースコミュニティからのサポートが少なく、ログ収集に重点を置いています。

たとえば、次のNginxアクセスログには365バイトが含まれており、そこから14のフィールドを抽出できます。

ログ解析設定:

grok {    
    patterns_dir=>"/home/admin/workspace/survey/logstash/patterns"
    match=>{ "message"=>"%{IPORHOST:ip} %{USERNAME:rt} - \[%{HTTPDATE:time}\] \"%{WORD:method} %{DATA:url}\" %{NUMBER:status} %{NUMBER:size} \"%{DATA:ref}\" \"%{DATA:agent}\" \"%{DATA:cookie_unb}\" \"%{DATA:cookie_cookie2}\" \"%{DATA:monitor_traceid}\" %{WORD:cell} %{WORD:ups} %{BASE10NUM:remote_port}" }
    remove_field=>["message"]
}

次の表にテスト結果を示します。

ログ解析設定:

<source>
  type tail
  format /^(? <ip>\S+)\s(? <rt>\d+)\s-\s\[(? <time>[^\]]*)\]\s"(? <url>[^\"]+)"\s(? <status>\d+)\s(? <size>\d+)\s"(? <ref>[^\"]+)"\s"(? <agent>[^\"]+)"\s"(? <cookie_unb>\d+)"\s"(? <cookie_cookie2>\w+)"\s"(?
<monitor_traceid>\w+)"\s(? <cell>\w+)\s(? <ups>\w+)\s(? <remote_port>\d+).*$/
  time_format %d/%b/%Y:%H:%M:%S %z
  path /home/admin/workspace/temp/mock_log/access.log
  pos_file /home/admin/workspace/temp/mock_log/nginx_access.pos
  tag nginx.access
</source>

次の表にテスト結果を示します。

ログ解析設定:

logRegex : (\S+)\s(\d+)\s-\s\[([^]]+)]\s"([^"]+)"\s(\d+)\s(\d+)\s"([^"]+)"\s"([^"]+)"\s"(\d+)"\s"(\w+)"\s"(\w+)"\s(\w+)\s(\w+)\s(\d+).*
keys : ip,rt,time,url,status,size,ref,agent,cookie_unb,cookie_cookie2,monitor_traceid,cell,ups,remote_port
timeformat : %d/%b/%Y:%H:%M:%S

次の表にテスト結果を示します。

シングルコアCPU処理能力の比較

The 3ログ収集ツールが独自の長所と短所:

• Logstashはすべての主流ログタイプ、最も豊富なプラグイン、と柔軟なカスタマイズ。 However、そのパフォーマンスログコレクションは比較的低、と必要高メモリ使用量JVM環境で実行しているとき。

• Fluentdは、すべての主流ログタイプと多くのプラグインをサポートします。 Itsパフォーマンスログコレクションは良好である。

• Logtail占有最少のCPUとメモリリソース機、達成高性能スループット、かつ包括的なサポート一般的なログコレクション。 ただし、プラグインのサポートが不足しているため、前の2つのツールよりも柔軟性とスケーラブル性が低くなります。