全部產品
Search
文件中心

Elasticsearch:外掛程式配置概述

更新時間:Aug 10, 2024

阿里雲Logstash支援100餘款系統預設外掛程式,包含開源和自研Logstash外掛程式,能夠提升叢集在資料轉送和處理、日誌調試等各方面的能力。本文介紹阿里雲Logstash支援的系統預設外掛程式。

阿里雲Logstash僅支援系統預設外掛程式,不支援自訂外掛程式。系統預設外掛程式為阿里雲Logstash預置的外掛程式,您可以根據需求卸載或安裝。具體操作,請參見安裝或卸載外掛程式。阿里雲Logstash執行個體資源屬於客戶,請勿進行違法操作。

阿里雲Logstash支援的外掛程式如下:

  • 自研外掛程式

    類別

    名稱

    說明

    介紹

    input

    logstash-input-maxcompute

    從阿里雲MaxCompute讀取資料。

    logstash-input-maxcompute外掛程式使用說明

    logstash-input-oss

    從阿里雲Object Storage Service服務OSS讀取資料。

    logstash-input-oss外掛程式使用說明

    logstash-input-sls

    從阿里雲Log ServiceSLS讀取日誌。

    logstash-input-sls外掛程式使用說明

    output

    logstash-output-file_extend

    直接在控制台上查看管道配置的輸出結果。

    使用Logstash管道配置調試功能

    logstash-output-oss

    批量傳輸資料至阿里雲Object Storage Service服務OSS。

    logstash-output-oss外掛程式使用說明

  • 開源外掛程式

    類別

    名稱

    說明

    介紹

    input

    logstash-input-azure_event_hubs

    使用Azure事件中心中的事件。

    Azure Event Hubs plugin

    logstash-input-beats

    從Elastic Beats架構中接收事件。

    Beats input plugin

    logstash-input-dead_letter_queue

    從Logstash的無效信件佇列中讀取事件。

    Dead_letter_queue input plugin

    logstash-input-elasticsearch

    從Elasticsearch叢集中讀取資料。

    Elasticsearch input plugin

    logstash-input-exec

    定期運行Shell命令,將Shell命令的全部輸出作為事件捕獲。

    Exec input plugin

    logstash-input-ganglia

    通過使用者資料協議UDP(User Datagram Protocol)從網路讀取Ganglia包。

    Ganglia input plugin

    logstash-input-gelf

    在網路上將GELF格式資訊作為事件讀取。

    Gelf input plugin

    logstash-input-generator

    產生隨機日誌事件。

    Generator input plugin

    logstash-input-graphite

    從Graphite工具讀取指標。

    Graphite input plugin

    logstash-input-heartbeat

    產生心跳訊息。

    Heartbeat input plugin

    logstash-input-http

    通過HTTP或HTTPS接收單行或多行事件。

    Http input plugin

    logstash-input-http_poller

    調用HTTP API,將輸出解碼為事件,並發送事件。

    Http_poller input plugin

    logstash-input-imap

    從IMAP伺服器讀取郵件。

    Imap input plugin

    logstash-input-jdbc

    通過JDBC介面,將任一資料庫資料讀取到Logstash中。

    Jdbc input plugin

    logstash-input-kafka

    從Kafka主題讀取事件。

    Kafka input plugin

    logstash-input-pipe

    從長時間啟動並執行管道命令中流式讀取事件。

    Pipe input plugin

    logstash-input-rabbitmq

    從RabbitMQ隊列中讀取事件。

    Rabbitmq input plugin

    logstash-input-redis

    從Redis執行個體中讀取事件。

    Redis input plugin

    logstash-input-s3

    從S3 Bucket中的檔案流式讀取事件。

    S3 input plugin

    logstash-input-snmp

    使用簡易網路管理通訊協定(SNMP)輪詢網路裝置,擷取當前裝置操作狀態資訊。

    SNMP input plugin

    logstash-input-snmptrap

    將SNMP trap訊息作為事件讀取。

    Snmptrap input plugin

    logstash-input-sqs

    從Amazon Web Services簡單佇列服務(Simple Queue Service,SQS)隊列中讀取事件。

    Sqs input plugin

    logstash-input-stdin

    從標準輸入讀取事件。

    Stdin input plugin

    logstash-input-syslog

    在網路上將syslog訊息作為事件讀取。

    Syslog input plugin

    logstash-input-tcp

    通過TCP通訊端讀取事件。

    Tcp input plugin

    logstash-input-twitter

    從Twitter Streaming API接收事件。

    Twitter input plugin

    logstash-input-udp

    在網路上通過UDP,將訊息作為事件讀取。

    Udp input plugin

    logstash-input-unix

    通過UNIX通訊端讀取事件。

    Unix input plugin

    output

    logstash-output-elasticsearch

    向Elasticsearch叢集寫入資料。

    Elasticsearch output plugin

    logstash-output-kafka

    向Kafka主題寫入事件。

    Kafka output plugin

    logstash-output-lumberjack

    使用lumberjack協議發送事件。

    Lumberjack output plugin

    logstash-output-nagios

    通過Nagios命令檔案,向Nagios發送被動檢查結果。

    Nagios output plugin

    logstash-output-pagerduty

    根據預先配置的服務和升級政策發送通知。

    Pagerduty output plugin

    logstash-output-pipe

    將事件輸送到另一個程式的標準輸入。

    Pipe output plugin

    logstash-output-rabbitmq

    將事件推送到RabbitMQ exchange。

    Rabbitmq output plugin

    logstash-output-redis

    使用RPUSH命令將事件發送到Redis隊列。

    Redis output plugin

    logstash-output-s3

    向亞馬遜簡單儲存服務(Amazon Simple Storage Service, Amazon S3)批量上傳Logstash事件。

    S3 output plugin

    logstash-output-sns

    向採用託管pub/sub架構的亞馬遜簡單通知服務(Amazon Simple Notification Service)發送事件。

    Sns output plugin

    logstash-output-sqs

    將事件推送到Amazon Web Services(AWS)SQS隊列。

    Sqs output plugin

    logstash-output-stdout

    將事件列印到運行Shell命令的Logstash標準輸出。

    Stdout output plugin

    logstash-output-tcp

    通過TCP通訊端寫入事件。

    Tcp output plugin

    logstash-output-udp

    通過UDP發送事件。

    Udp output plugin

    logstash-output-webhdfs

    通過webhdfs REST API向HDFS中的檔案發送Logstash事件。

    Webhdfs output plugin

    logstash-output-cloudwatch

    彙總並發送指標資料到AWS CloudWatch。

    Cloudwatch output plugin

    logstash-output-csv

    以逗號分隔(CSV)或其他分隔的格式,將事件寫入磁碟。基於檔案輸出共用配置值。內部使用Ruby CSV庫。

    Csv output plugin

    logstash-output-elastic_app_search

    向Elastic App Search解決方案發送事件。

    App Search output plugin

    logstash-output-email

    收到輸出後寄送電子郵件。 您也可以使用條件來包含,或者排除電子郵件輸出執行。

    Email output plugin

    logstash-output-file

    向磁碟檔案寫入事件。您可以將事件中的欄位作為檔案名稱和/或路徑的一部分。

    File output plugin

    logstash-output-graphite

    從日誌中讀取指標資料,並將它們發送到Graphite工具。Graphite是一個用於儲存和繪製指標的開源工具。

    Graphite output plugin

    logstash-output-http

    向通用HTTP或HTTPS端點發送事件。

    Http output plugin

    filter

    logstash-filter-aggregate

    彙總單個任務下多個事件(通常為日誌記錄)的資訊,並將彙總資訊推送到最後的任務事件。

    Aggregate filter plugin

    logstash-filter-anonymize

    將欄位值替換為一致性雜湊值,以實現欄位匿名化。

    Anonymize filter plugin

    logstash-filter-cidr

    根據網路塊列表檢查事件中的IP地址。

    Cidr filter plugin

    logstash-filter-prune

    基於黑名單或白名單的欄位列表來精簡事件數目據。

    Prune filter plugin

    logstash-filter-clone

    檢查重複事件。將為複製列表中的每個類型建立複製。

    Clone filter plugin

    logstash-filter-csv

    解析包含CSV資料的事件欄位,並將其作為單獨欄位儲存(名字也可指定)。 該過濾器還可以解析帶有任何分隔字元(不只是逗號)的資料。

    Csv filter plugin

    logstash-filter-date

    解析欄位中的日期,然後使用該日期或時間戳記作為事件的logstash時間戳記。

    Date filter plugin

    logstash-filter-de_dot

    將點(.)字元替換為其他分隔字元,以重新命名欄位。 在實際應用中,該過濾器的代價較大。它必須將源欄位內容拷貝到新目的欄位,該新欄位的名字中不再包含點(.),然後移除相應源欄位。

    De_dot filter plugin

    logstash-filter-dissect

    Dissect過濾器是一種拆分操作。

    Dissect filter plugin

    logstash-filter-dns

    對reverse陣列下的各個或指定記錄執行DNS尋找(A記錄或CNAME記錄尋找,或PTR記錄的反向尋找)。

    Dns filter plugin

    logstash-filter-drop

    刪除滿足此過濾器的所有事件。

    Drop filter plugin

    logstash-filter-elasticsearch

    搜尋Elasticsearch中的過往日誌事件,並將其部分欄位複製到當前事件。

    Elasticsearch filter plugin

    logstash-filter-fingerprint

    建立一個或多個欄位的一致性雜湊值(指紋),並將結果儲存在新欄位。

    Fingerprint filter plugin

    logstash-filter-geoip

    根據Maxmind GeoLite2資料庫的資料添加關於IP地址的地理位置資訊。

    Geoip filter plugin

    logstash-filter-grok

    解析任意非結構化文本並將其結構化。

    Grok filter plugin

    logstash-filter-http

    整合外部網路服務或多個REST API。

    HTTP filter plugin

    logstash-filter-jdbc_static

    使用預先從遠端資料庫載入的資料豐富事件。

    Jdbc_static filter plugin

    logstash-filter-jdbc_streaming

    執行SQL查詢,並將結果集儲存到目標欄位。 將結果緩衝到具有有效期間的本地最近最少使用(LRU)緩衝。

    Jdbc_streaming filter plugin

    logstash-filter-json

    JSON解析過濾器,將包含JSON的已有欄位擴充為Logstash事件中的實際資料結構。

    JSON filter plugin

    logstash-filter-kv

    自動解析各種foo=bar訊息(或特定事件欄位)。

    Kv filter plugin

    logstash-filter-memcached

    將外部資料整合到Memcached。

    Memcached filter plugin

    logstash-filter-metrics

    彙總指標。

    Metrics filter plugin

    logstash-filter-mutate

    在欄位上執行轉變。您可以重新命名、刪除、更換並修改您事件中的欄位。

    Mutate filter plugin

    logstash-filter-ruby

    執行Ruby代碼。 該過濾器接受內聯Ruby代碼或檔案。 這兩個方案互斥,在工作方式方面略有不同。

    Ruby filter plugin

    logstash-filter-sleep

    按照指定的休眠時間長度休眠。 在休眠時間內,Logstash將停止。這有助於限流。

    Sleep filter plugin

    logstash-filter-split

    通過分解事件的一個欄位,並將產生的每個值嵌入原始事件的複製版,從而複製事件。 被分解的欄位可以是字串或字串數組。

    Split filter plugin

    logstash-filter-syslog_pri

    解析Syslog(RFC3164)訊息前部的PRI欄位。 如果沒有設定優先權,它會預設為13(每個請求註解)。

    Syslog_pri filter plugin

    logstash-filter-throttle

    限制事件的數量。

    Throttle filter plugin

    logstash-filter-translate

    一款普通搜尋和替換工具,基於配置的雜湊和/或檔案決定替換值。

    Translate filter plugin

    logstash-filter-truncate

    截斷超過一定長度的欄位。

    Truncate filter plugin

    logstash-filter-urldecode

    解碼URL編碼欄位。

    Urldecode filter plugin

    logstash-filter-useragent

    基於BrowserScope資料,將使用者代理程式字串解析為結構化資料。

    Useragent filter plugin

    logstash-filter-xml

    XML過濾器。將包含XML的欄位,擴充為實際資料結構。

    Xml filter plugin

    codec

    logstash-codec-cef

    根據《實施 ArcSight 通用事件格式》第二十次修訂版(2013 年 6 月 5 日),使用Logstash轉碼器處理ArcSight通用事件格式(CEF)。

    Cef codec plugin

    logstash-codec-collectd

    在網路上通過UDP從collectd二進位協議中讀取事件。

    Collectd codec plugin

    logstash-codec-dots

    該轉碼器產生一個點(.),代表它處理的一個事件。

    Dots codec plugin

    logstash-codec-edn

    讀取併產生EDN格式資料。

    Edn codec plugin

    logstash-codec-edn_lines

    讀取併產生以新行分隔的EDN格式資料。

    Edn_lines codec plugin

    logstash-codec-es_bulk

    將Elasticsearch bulk格式解碼到單獨的事件中,並將中繼資料解碼到[@metadata](/metadata)欄位。

    Es_bulk codec plugin

    logstash-codec-fluent

    處理fluentd msgpack模式。

    Fluent codec plugin

    logstash-codec-graphite

    編碼並解碼Graphite格式的行。

    Graphite codec plugin

    logstash-codec-json

    解碼(通過輸入)和編碼(通過輸出)完整的JSON訊息。

    Json codec plugin

    logstash-codec-json_lines

    解碼以新行分隔的JSON流。

    Json_lines codec plugin

    logstash-codec-line

    讀取面向行的文本資料。

    Line codec plugin

    logstash-codec-msgpack

    讀取併產生MessagePack編碼內容。

    Msgpack codec plugin

    logstash-codec-multiline

    將多行訊息合并到單個事件中。

    Multiline codec plugin

    logstash-codec-netflow

    解碼Netflow v5、v9和v10(IPFIX)資料。

    Netflow codec plugin

    logstash-codec-plain

    處理事件之間沒有分隔的明文。

    Plain codec plugin

    logstash-codec-rubydebug

    使用Ruby Awesome Print庫輸出Logstash事件數目據。

    Rubydebug codec plugin