阿里雲Logstash支援100餘款系統預設外掛程式,包含開源和自研Logstash外掛程式,能夠提升叢集在資料轉送和處理、日誌調試等各方面的能力。本文介紹阿里雲Logstash支援的系統預設外掛程式。
阿里雲Logstash僅支援系統預設外掛程式,不支援自訂外掛程式。系統預設外掛程式為阿里雲Logstash預置的外掛程式,您可以根據需求卸載或安裝。具體操作,請參見安裝或卸載外掛程式。阿里雲Logstash執行個體資源屬於客戶,請勿進行違法操作。
阿里雲Logstash支援的外掛程式如下:
自研外掛程式
類別
名稱
說明
介紹
input
logstash-input-maxcompute
從阿里雲MaxCompute讀取資料。
logstash-input-oss
從阿里雲Object Storage Service服務OSS讀取資料。
logstash-input-sls
從阿里雲Log ServiceSLS讀取日誌。
output
logstash-output-file_extend
直接在控制台上查看管道配置的輸出結果。
logstash-output-oss
批量傳輸資料至阿里雲Object Storage Service服務OSS。
開源外掛程式
類別
名稱
說明
介紹
input
logstash-input-azure_event_hubs
使用Azure事件中心中的事件。
logstash-input-beats
從Elastic Beats架構中接收事件。
logstash-input-dead_letter_queue
從Logstash的無效信件佇列中讀取事件。
logstash-input-elasticsearch
從Elasticsearch叢集中讀取資料。
logstash-input-exec
定期運行Shell命令,將Shell命令的全部輸出作為事件捕獲。
logstash-input-ganglia
通過使用者資料協議UDP(User Datagram Protocol)從網路讀取Ganglia包。
logstash-input-gelf
在網路上將GELF格式資訊作為事件讀取。
logstash-input-generator
產生隨機日誌事件。
logstash-input-graphite
從Graphite工具讀取指標。
logstash-input-heartbeat
產生心跳訊息。
logstash-input-http
通過HTTP或HTTPS接收單行或多行事件。
logstash-input-http_poller
調用HTTP API,將輸出解碼為事件,並發送事件。
logstash-input-imap
從IMAP伺服器讀取郵件。
logstash-input-jdbc
通過JDBC介面,將任一資料庫資料讀取到Logstash中。
logstash-input-kafka
從Kafka主題讀取事件。
logstash-input-pipe
從長時間啟動並執行管道命令中流式讀取事件。
logstash-input-rabbitmq
從RabbitMQ隊列中讀取事件。
logstash-input-redis
從Redis執行個體中讀取事件。
logstash-input-s3
從S3 Bucket中的檔案流式讀取事件。
logstash-input-snmp
使用簡易網路管理通訊協定(SNMP)輪詢網路裝置,擷取當前裝置操作狀態資訊。
logstash-input-snmptrap
將SNMP trap訊息作為事件讀取。
logstash-input-sqs
從Amazon Web Services簡單佇列服務(Simple Queue Service,SQS)隊列中讀取事件。
logstash-input-stdin
從標準輸入讀取事件。
logstash-input-syslog
在網路上將syslog訊息作為事件讀取。
logstash-input-tcp
通過TCP通訊端讀取事件。
logstash-input-twitter
從Twitter Streaming API接收事件。
logstash-input-udp
在網路上通過UDP,將訊息作為事件讀取。
logstash-input-unix
通過UNIX通訊端讀取事件。
output
logstash-output-elasticsearch
向Elasticsearch叢集寫入資料。
logstash-output-kafka
向Kafka主題寫入事件。
logstash-output-lumberjack
使用lumberjack協議發送事件。
logstash-output-nagios
通過Nagios命令檔案,向Nagios發送被動檢查結果。
logstash-output-pagerduty
根據預先配置的服務和升級政策發送通知。
logstash-output-pipe
將事件輸送到另一個程式的標準輸入。
logstash-output-rabbitmq
將事件推送到RabbitMQ exchange。
logstash-output-redis
使用RPUSH命令將事件發送到Redis隊列。
logstash-output-s3
向亞馬遜簡單儲存服務(Amazon Simple Storage Service, Amazon S3)批量上傳Logstash事件。
logstash-output-sns
向採用託管pub/sub架構的亞馬遜簡單通知服務(Amazon Simple Notification Service)發送事件。
logstash-output-sqs
將事件推送到Amazon Web Services(AWS)SQS隊列。
logstash-output-stdout
將事件列印到運行Shell命令的Logstash標準輸出。
logstash-output-tcp
通過TCP通訊端寫入事件。
logstash-output-udp
通過UDP發送事件。
logstash-output-webhdfs
通過webhdfs REST API向HDFS中的檔案發送Logstash事件。
logstash-output-cloudwatch
彙總並發送指標資料到AWS CloudWatch。
logstash-output-csv
以逗號分隔(CSV)或其他分隔的格式,將事件寫入磁碟。基於檔案輸出共用配置值。內部使用Ruby CSV庫。
logstash-output-elastic_app_search
向Elastic App Search解決方案發送事件。
logstash-output-email
收到輸出後寄送電子郵件。 您也可以使用條件來包含,或者排除電子郵件輸出執行。
logstash-output-file
向磁碟檔案寫入事件。您可以將事件中的欄位作為檔案名稱和/或路徑的一部分。
logstash-output-graphite
從日誌中讀取指標資料,並將它們發送到Graphite工具。Graphite是一個用於儲存和繪製指標的開源工具。
logstash-output-http
向通用HTTP或HTTPS端點發送事件。
filter
logstash-filter-aggregate
彙總單個任務下多個事件(通常為日誌記錄)的資訊,並將彙總資訊推送到最後的任務事件。
logstash-filter-anonymize
將欄位值替換為一致性雜湊值,以實現欄位匿名化。
logstash-filter-cidr
根據網路塊列表檢查事件中的IP地址。
logstash-filter-prune
基於黑名單或白名單的欄位列表來精簡事件數目據。
logstash-filter-clone
檢查重複事件。將為複製列表中的每個類型建立複製。
logstash-filter-csv
解析包含CSV資料的事件欄位,並將其作為單獨欄位儲存(名字也可指定)。 該過濾器還可以解析帶有任何分隔字元(不只是逗號)的資料。
logstash-filter-date
解析欄位中的日期,然後使用該日期或時間戳記作為事件的logstash時間戳記。
logstash-filter-de_dot
將點(.)字元替換為其他分隔字元,以重新命名欄位。 在實際應用中,該過濾器的代價較大。它必須將源欄位內容拷貝到新目的欄位,該新欄位的名字中不再包含點(.),然後移除相應源欄位。
logstash-filter-dissect
Dissect過濾器是一種拆分操作。
logstash-filter-dns
對reverse陣列下的各個或指定記錄執行DNS尋找(A記錄或CNAME記錄尋找,或PTR記錄的反向尋找)。
logstash-filter-drop
刪除滿足此過濾器的所有事件。
logstash-filter-elasticsearch
搜尋Elasticsearch中的過往日誌事件,並將其部分欄位複製到當前事件。
logstash-filter-fingerprint
建立一個或多個欄位的一致性雜湊值(指紋),並將結果儲存在新欄位。
logstash-filter-geoip
根據Maxmind GeoLite2資料庫的資料添加關於IP地址的地理位置資訊。
logstash-filter-grok
解析任意非結構化文本並將其結構化。
logstash-filter-http
整合外部網路服務或多個REST API。
logstash-filter-jdbc_static
使用預先從遠端資料庫載入的資料豐富事件。
logstash-filter-jdbc_streaming
執行SQL查詢,並將結果集儲存到目標欄位。 將結果緩衝到具有有效期間的本地最近最少使用(LRU)緩衝。
logstash-filter-json
JSON解析過濾器,將包含JSON的已有欄位擴充為Logstash事件中的實際資料結構。
logstash-filter-kv
自動解析各種foo=bar訊息(或特定事件欄位)。
logstash-filter-memcached
將外部資料整合到Memcached。
logstash-filter-metrics
彙總指標。
logstash-filter-mutate
在欄位上執行轉變。您可以重新命名、刪除、更換並修改您事件中的欄位。
logstash-filter-ruby
執行Ruby代碼。 該過濾器接受內聯Ruby代碼或檔案。 這兩個方案互斥,在工作方式方面略有不同。
logstash-filter-sleep
按照指定的休眠時間長度休眠。 在休眠時間內,Logstash將停止。這有助於限流。
logstash-filter-split
通過分解事件的一個欄位,並將產生的每個值嵌入原始事件的複製版,從而複製事件。 被分解的欄位可以是字串或字串數組。
logstash-filter-syslog_pri
解析Syslog(RFC3164)訊息前部的PRI欄位。 如果沒有設定優先權,它會預設為13(每個請求註解)。
logstash-filter-throttle
限制事件的數量。
logstash-filter-translate
一款普通搜尋和替換工具,基於配置的雜湊和/或檔案決定替換值。
logstash-filter-truncate
截斷超過一定長度的欄位。
logstash-filter-urldecode
解碼URL編碼欄位。
logstash-filter-useragent
基於BrowserScope資料,將使用者代理程式字串解析為結構化資料。
logstash-filter-xml
XML過濾器。將包含XML的欄位,擴充為實際資料結構。
codec
logstash-codec-cef
根據《實施 ArcSight 通用事件格式》第二十次修訂版(2013 年 6 月 5 日),使用Logstash轉碼器處理ArcSight通用事件格式(CEF)。
logstash-codec-collectd
在網路上通過UDP從collectd二進位協議中讀取事件。
logstash-codec-dots
該轉碼器產生一個點(.),代表它處理的一個事件。
logstash-codec-edn
讀取併產生EDN格式資料。
logstash-codec-edn_lines
讀取併產生以新行分隔的EDN格式資料。
logstash-codec-es_bulk
將Elasticsearch bulk格式解碼到單獨的事件中,並將中繼資料解碼到[@metadata](/metadata)欄位。
logstash-codec-fluent
處理fluentd msgpack模式。
logstash-codec-graphite
編碼並解碼Graphite格式的行。
logstash-codec-json
解碼(通過輸入)和編碼(通過輸出)完整的JSON訊息。
logstash-codec-json_lines
解碼以新行分隔的JSON流。
logstash-codec-line
讀取面向行的文本資料。
logstash-codec-msgpack
讀取併產生MessagePack編碼內容。
logstash-codec-multiline
將多行訊息合并到單個事件中。
logstash-codec-netflow
解碼Netflow v5、v9和v10(IPFIX)資料。
logstash-codec-plain
處理事件之間沒有分隔的明文。
logstash-codec-rubydebug
使用Ruby Awesome Print庫輸出Logstash事件數目據。