本文介紹Log ServiceLogtail的發布歷史。
2.1.1
發布時間:2024-11-01
新功能
新增使用C++實現的容器標準輸出採集。
自監控能力升級,C++模組和 Golang 外掛程式模組統一上報自監控資料。
2.0.10
發布時間:2024.10.19
修複
修複了bin log外掛程式在GTID超過1024位元組時無法擷取GTID的問題。
修複了原生分隔字元外掛程式在處理包含雙引號的字串時解析失敗的問題。
2.0.8
發布時間:2024.08.13
修複
修複2.0.7版本引入的ENV管控方式token到期問題。
2.0.7
發布時間:2024.07.31
修複
修複轉義零位元組導致JSON截斷。
修複使用非安全執行緒的gethostbyname方法導致的coredump問題 。
修複opentelemetry解析gauge類型指標資料的時候缺失標籤的問題 。
修複從checkpoint恢複的時候,輪轉檔案過多可能導致超出reader隊列長度的reader恢複失敗,進一步引發在inode複用時,新的reader讀到了錯誤的老reader的checkpoint,這會導致截斷和重複採集 。
修複
input_canel
外掛程式GTID不準確的問題 。當資源使用超過硬限制的時候立刻自殺 。
2.0.6
發布時間:2024.07.03
新功能
增加對容器計算服務(ACS)rund架構支援。
2.0.5
發布時間:2024.06.25
最佳化
containerd sock重試容錯機制最佳化。
修複
修複2.0.4版本引入的k8s情境環境變數配置不生效的問題。
修複標準輸出情境
GetRealPath
函數導致的外掛程式模組panic
問題。修複包含拓展外掛程式的時候,Distributed System Performance Monitor自監控日誌缺失問題。
修複逾時讀截斷問題。
系統時間去納秒支援。
多上切分外掛程式指標缺失。
1.8.11
發布時間:2024.09.04
最佳化
最佳化了容器運行時的探測重試機制,並修複了運行時識別不準確的問題。
從
config server
拉取配置的時候支援DNS cache
。多行分隔逾時時間預設設定成60秒。
processor_gotime
支援納秒配置。
修複
修複
bin log
外掛程式當GTID超過1024位元組之後不能擷取GTID的問題。修複原生分隔字元外掛程式包含雙引號的時候解析失敗的問題。
修複內部
gethostbyname
函數線程不安全問題。
1.8.10
發布時間:2024.07.12
最佳化
支援使用環境變數
ALICLOUD_SLS_CLIENT_AUTH_VERSION
配置Logtail使用的SDK的V4鑒權。
1.8.9
發布時間:2024.06.25
最佳化
容器運行時探測重試機制最佳化。
修複
修複
dockershim
檔案存在的情況下,containerd
運行時識別不準確的問題。修複檔案路徑中存在
*//
導致的coredump
問題。修複採集容器標準輸出情境擷取檔案路徑異常問題。
修複檔案輪轉的時候強制重新整理資料不完全的問題。
1.8.8
發布時間:2024.04.17
最佳化
最佳化發送模組
sender
的日誌列印。修複
日誌內容中重複key情境相容並且保證key順序正確。
修複使用者標識
aliuid
檔案刪除的情況下日誌仍然採集的問題。
1.8.7
發布時間:2024.03.05
新功能
Logtail-ds組件在ACK情境下支援資源群組配置。
拓展外掛程式新增
processor_rate_limit
外掛程式。
修複
修複Logtail使用歷史資料擷取之後進程無法優雅退出的問題。
1.8.6
發布時間:2024.01.30
最佳化
Golang外掛程式指標資料和上報邏輯最佳化,指標統一通過C++指標模組上報
修複
修複開啟高精度時間戳記開關後Golang模組誤載入問題
1.8.5
發布時間:2024.01.24
修複
修複標籤資料多執行緒導致Golang外掛程式模組異常的問題
1.8.4
發布時間:2024.01.04
最佳化
goprofile外掛程式上報資料中使用機器的IP地址
修複
修複正則配置time_key沒有預設設定為time的相容性問題
修複使用libcurl因沒有設定CURLOPT_NOSIGNAL導致偶爾崩潰的問題
修複原生分隔字元解析外掛程式解析行首有空格的日誌時欄位錯亂的問題
修複原生外掛程式丟棄逾時日誌時區處理錯誤的問題
修複解析任意含有content key的JSON後,原生JSON外掛程式總是錯誤保留原始content欄位的問題
修複原生分隔字元外掛程式的記憶體泄露問題
修複因檢查點轉儲早於目錄註冊導致的日誌重複問題
修複飛天日誌無法解析帶逗號時間格式的相容性問題
原生解析失敗並選擇保留原始日誌,原始日誌將僅保留在__raw_log__而不再保留在content欄位以避免資料重複
修複K8s叢集Pod網路為HostNetwork時擷取到的容器IP有時為空白的問題
1.8.3
修複
解決因容器記憶體修複引入的日誌重複採集問題
修複container info含nil欄位導致的外掛程式崩潰
修複ProcessorParseDelimiterNative解析攜帶下一行資料的問題
修複在反壓情況下可能出現的檔案無法讀完的問題
修複plugin_export panic導致外掛程式崩潰的問題
修複解析Apsara格式日誌導致的崩潰問題
修複解析Apsara格式日誌解析資料黏連問題
1.8.0
新功能
支援逾時切分行。
Log ServiceFlusher支援納秒級日誌時間。
新增全域主機路徑黑名單。
新增Trace解析外掛程式processor_otel_metric。
以環境變數方式建立Logtail配置時支援添加資源標籤。
最佳化
緩衝未構成完整行的日誌,減少讀檔案系統調用。
支援使用環境變數控制日誌列印層級。
skywalking外掛程式支援捕獲db.connection_string標籤。
校正網卡IP地址以擷取更精確的主機IP地址。
修複
解決採集有掛載卷的statefulset漂移到不同節點時資料重複採集的問題。
修複空檔案inode複用後導致採集到的記錄檔名錯誤的問題。
修複因Checkpoint重新開啟檔案導致容器無法退出的問題。
修複飛天日誌時間無法調整時區的問題。
修複JSON模式日誌解析時,最後沒有斷行符號可能解析不正確的問題。
修複讀取到的資料開頭含有非法JSON時,JSON解析異常的問題。
1.7.1
新功能
新增採集外掛程式input_command,支援採集命令執行結果。
新增處理外掛程式processor_log_to_sls_metric,支援將Log解析為Metric。
最佳化
processor_json外掛程式支援解析JSON array格式資料。
containerd容器採集支援自訂rootfs路徑和自動探索路徑。
最佳化容器元資訊預覽功能的上報邏輯。
修複
修複stdout檔案路徑為軟連結時無法採集容器stdout的問題。
修複當只有容器刪除事件時容器因FD鎖住無法退出的問題。
修複service_go_profile外掛程式報nil panic問題。
採集磁碟相關指標時增加逾時配置,避免採集異常。
修複容器情境下profile資料元資訊不準確的問題。
1.6.0
新功能
全棧監控應用支援採集Kubernetes openkruise指標資料。
最佳化
Logtailprofile資料增加容器元資訊資料。
問題修複
修複容器退出導致的FD被釋放問題。
修複Kubernetes情境下Env配置緩衝問題。
1.5.1
新功能
新增啟動參數data_endpoint_policy,支援設定Logtail對Log Service訪問網域名稱的切換策略。
Profiling功能支援goprofile拉模數式。
新增字串替換外掛程式processor_string_replace。
Logtail支援通過HTTP_PROXY配置網路代理程式。
最佳化
最佳化了processor_split_key_value外掛程式的效能,並增加多字元引用符。
問題修複
修複metric_system_v2外掛程式磁碟用量指標統計問題。
1.4.0
新功能
HTTP輸入服務新增Pyroscope協議。
支援上報端上容器資訊,增強容器採集配置可觀測性。
最佳化
ENV自動採集方式支援更多Logstore相關的配置參數,例如冷儲存配置。
1.3.2
最佳化
prometheus抓取外掛程式支援Staleness資料。
問題修複
修複時區相關問題,使用系統時間和解析日誌時間失敗時忽略時區調整選項的問題。
修複因inode複用導致的日誌重複採集問題。
修複Grok外掛程式在解析中文時可能會不工作的問題。
修複1.2.1版本中引入的容器發現所佔用的記憶體過高的問題。
1.3.1
新功能
支援通過HTTP接入Open Telemetry協議日誌。
新增脫敏外掛程式processor_desensitize。更多資訊,請參見脫敏外掛程式。
最佳化
在容器環境下,使用環境變數方式建立SLS資源時支援使用HTTPS協議。
在容器環境下,通過CRD方式建立Logstore時,支援選擇Logstore規格。
使用外掛程式處理資料時也支援輸出內容在檔案內位移量。
預設支援採集容器標準輸出時,保持連續的上下文。
Prometheus資料接入記憶體最佳化。
問題修複
修複Docker環境下潛在的FD泄露和事件遺漏問題。
修複Logtail採集配置更新時檔案控制代碼泄露的問題。
修複IP地址在特殊主機名稱下解析錯誤的問題。
修複多個配置路徑存在父子目錄關係時檔案重複採集的問題。
1.2.1
新功能
支援採集SQL Server、PostgreSQL查詢結果。更多資訊,請參見採集SQL Server查詢結果、採集PostgreSQL查詢結果。
支援採集JMX效能指標。
新增日誌上下文彙總外掛程式(aggregator_context外掛程式)。更多資訊,請參見aggregators配置。
使通過Logtail外掛程式處理的日誌的上下文查詢、__topic__欄位提取和LiveTail等功能可用。
新增Grok外掛程式,用於提取日誌欄位。更多資訊,請參見表單配置方式。
支援設定多個Grok運算式匹配日誌的多種格式。
最佳化
支援採集秒退容器的標準輸出。
問題修複
修複飛天日誌格式微秒時間戳記解析問題。
1.1.1
新功能
新增Logtail CSV處理外掛程式。更多資訊,請參見表單配置方式。
支援通過eBPF進行四層、七層網路流量分析,支援HTTP、MySQL、PgSQL、Redis、DNS協議。
1.1.0
新功能
netping外掛程式支援httping和DNS解析耗時。
1.0.34
新功能
新增Skywalking Logging API。
最佳化
支援快速釋放已停止的containerd容器檔案控制代碼。
問題修複
修複containerd容器的Kubernetes Label無法匹配問題。
1.0.32
新功能
採集文本日誌時,支援通過擴充配置("enable_precise_timestamp": true)或processor_strptime外掛程式解析高精度時間。
最佳化
最佳化Kubernetes情境下rootfs探測機制。
最佳化Kubernetes情境下容器運行時的識別機制。
問題修複
修複netping外掛程式在Windows系統中的異常問題。
1.0.31
新功能
Logtail採集配置支援環境變數替換。
新增netping外掛程式,用於採集指定的IP地址與目標IP地址之間的網路ping資料。
gotime外掛程式支援將提取的日誌時間轉換為timestamp格式。
採集syslog日誌時,新增_client_ip_欄位,表示傳輸日誌的用戶端IP地址。
最佳化
最佳化容器標準輸出資料流採集記憶體。
1.0.30
新功能
Prometheus外掛程式支援通過多個Logtail採集配置採集同一台機器上的Prometheus資料。
Container ServiceKubernetes的Windows節點支援add-on token鑒權。
問題修複
修複進程採集外掛程式在Linux系統中發生threadNum與fdNum指標錯誤問題。
修複SkyWalking外掛程式出現ConfigurationDiscoveryService not implement錯誤問題。
1.0.29
問題修複
修複採集容器標準輸出時,通過正則匹配Label失效的問題(該問題發生在Logtail 1.0.27、Logtail 1.0.28版本中)。
1.0.28
新功能
支援採集SNMP協議資料。
SkyWalking V3版本外掛程式支援過濾instance屬性。
支援配置分隔字元模式的是否接受部分欄位參數。
問題修複
修複SkyWalking V2版本外掛程式的Span ID不正確問題。
1.0.27
新功能
新增processor_regex外掛程式。
支援多地區配置管控。
最佳化
最佳化主機指標的採集功能,支援採集IO Counter指標。
問題修複
修複service_http_server外掛程式不釋放UNIX連結問題。
修複Logtail同時運行多份metric_meta_kubernetes外掛程式採集配置時衝突問題。
1.0.26
新功能
支援採集進程指標。
採集主機指標時,新增檔案控制代碼以及TCP協議的採集。
支援採集Kubernetes叢集的Meta資訊。
支援採集主機的Meta資訊。
新增gRPC輸出外掛程式。
採集容器日誌時,支援Kubernetes叢集語義識別。
支援採集SkyWalking V2版本的Trace資料。
支援在Windows i386平台運行input_canal外掛程式。
最佳化
最佳化容器環境下主機指標採集的準確性。
1.0.25
問題修複
修複匯入歷史資料時潛在的崩潰問題。
最佳化
加強在檔案系統readdir API返回不精確中繼資料時的邏輯處理。
1.0.24
問題修複
修複Logtail剛啟動時發送的資料未攜帶自訂標識符的問題。
1.0.22
問題修複
修複在Global Acceleration模式下的網路中斷時,Logtail可能停止上報狀態資料(非使用者資料)到Log Service的問題。
1.0.21
Logtail 1.0.21版本是首個全地區發布的Logtail 1.0版本,具備Logtail 0.16.64版本的所有功能,新增以下功能:
新功能
新增配置項exactly_once_concurrency,實現了Logtail可以在本地磁碟記錄細粒度的Checkpoint資訊(檔案層級)。更多資訊,請參見Logtail配置。
新增配置項enable_log_time_auto_adjust,實現了日誌時間可自適應伺服器本地時間。更多資訊,請參見設定Logtail啟動參數。
新增配置項enable_log_position_meta,用於在日誌中添加該日誌所屬原始檔案的中繼資料資訊。更多資訊,請參見Logtail配置。
新增配置項specified_year,用於使用目前時間中的年份或指定年份補全日誌時間。更多資訊,請參見Logtail配置。
0.16.68
問題修複
修複採集容器標準輸出時,未正確處理P(partial)標籤導致的解析失敗問題。
修複在service_skywalking_agent_v3外掛程式跨應用情況下,Links中的SpanID和ParentSpanID不正確的問題。
0.16.64
最佳化
上調請求容器引擎時的逾時時間,將3秒調整為30秒。新增環境變數DOCKER_CLIENT_REQUEST_TIMEOUT,用於佈建要求容器引擎的逾時時間。
問題修複
修複service_skywalking外掛程式的父Span ID發生錯誤的缺陷。
修複根據環境變數建立的採集配置的邏輯在容器引擎異常時可能退出的缺陷。
0.16.62
如果您使用的是Logtail 0.16.58、0.16.60版本,建議您升級到Logtail 0.16.62版本。
問題修複
修複在資料亂序情境下小機率發生的資料發送失敗問題。
0.16.60
新功能
支援採集containerd環境的容器資料。
0.16.56
最佳化
調整服務日誌中net_err_stat指標的覆蓋範圍,僅覆蓋網路引起的發送錯誤。
0.16.54
新功能
在服務日誌中新增net_err_stat指標,記錄最近1分鐘、5分鐘、15分鐘內發生的發送錯誤的數量。
0.16.52
如果和容器(標準輸出、容器檔案)相關的採集配置較多,建議升級Logtail到0.16.52及以上版本,以有效地降低CPU開銷。
最佳化
最佳化容器資料擷取情境的CPU開銷。
0.16.50
新功能
支援運行時按需安裝service_telegraf外掛程式(僅限ECS使用者)。
0.16.48
最佳化
最佳化service_telegraf外掛程式,支援單機多個配置。
0.16.46
如果您在杭州、上海、北京地區,升級Logtail至0.16.46及以上版本,可避免Logtail在遇到網路抖動時切換Endpoint。
最佳化
嚴格限制允許Logtail使用的網路類型。
0.16.44
新功能
新增service_telegraf外掛程式,支援採集指標資料。
0.16.42
新功能
黑名單過濾支援多級匹配,例如/path/**/log。
最佳化
最佳化本地IP地址擷取策略。在原先策略失效時,擷取列表中的第一個IP地址。
0.16.40
新功能
新增主機狀態資料外掛程式metric_system_v2。
新增環境變數ALIYUN_LOGTAIL_MAX_DOCKER_CONFIG_UPDATE_TIMES對應的參數max_docker_config_update_times,適用於在K8s環境中頻繁建立Job短時任務的情境。
最佳化
最佳化容器採集情境中採集配置較多時的效能(CPU 開銷)。
問題修複
修複processor_split_log_string外掛程式偶爾產生空行的問題。
0.16.38
新功能
完整正則模式支援自訂時間欄位名。
在processor_json、processor_regex、processor_split_char外掛程式中,新增KeepSourceIfParseError參數,支援解析失敗時保留未經處理資料。更多資訊,請參見使用Logtail外掛程式處理資料。
0.16.36
新功能
新增加密外掛程式processor_encrypt。
0.16.34
新功能
新增HTTP Probe,支援K8s健全狀態檢查。
問題修複
修複某些環境中,由libcurl導致的core。
修複在CentOS 8系統中安裝Logtail,缺少libidn庫的問題。
0.16.32
新功能
在processor_json外掛程式中,新增IgnoreFirstConnector參數。更多資訊,請參見展開JSON欄位。
0.16.30
此版本長時間運行時有潛在的開啟檔案失敗風險,建議升級至最新版本。
新功能
在採集Docker標準輸出及檔案時,新增K8s層級的過濾功能。
最佳化
最佳化網路條件較差時同地區Logstore之間的並發競爭。
問題修複
修複由於檔案開啟邏輯錯誤小機率發生的checkpoint丟失問題。
0.16.28
新功能
新增參數,用於配置首次採集的Tail大小。
最佳化
最佳化容器元資訊擷取邏輯,降低異常容器對整體的影響。
問題修複
修複docker_stdout在複雜環境下的記憶體泄露問題。
修複JSON模式下對毫秒時間戳記不完整支援的問題。
0.16.26
新功能
支援採集containerd的日誌。
問題修複
修複極低機率下發生的輪轉檔案丟失checkpoint的問題。
修複本地採集設定檔/etc/ilogtail/user_config.d在/usr/local/ilogtail/user_log_config.json檔案不存在時未被載入的問題。
0.16.24
新功能
支援通過環境變數配置working_ip和working_hostname。
新增force_quit_read_timeout參數,支援設定強制退出的逾時時間(持續阻塞無法讀取事件)。
支援向外掛程式傳遞path、topic等tag。
新增aggregator_shardhash外掛程式,支援在外掛程式內設定shardhash。
新增處理外掛程式processor_gotime、processor_rename、processor_add_fields、processor_json、processor_packjson。更多資訊,請參見使用Logtail外掛程式處理資料。
更新LogtailInsight,新增進度查看功能(需要設定mark_offset_global_flag或customized_fields.mark_offset)。
最佳化
最佳化Journal長時間運行記憶體偏高的情況,儘可能及早釋放。
最佳化在本地無配置的情況下首次擷取配置的時間間隔。
問題修複
修複多個Logtail配置的情況下可能產生的重複採集問題。
修複毫秒、微秒時間戳記不支援JSON int64的問題。
0.16.32
0.16.21
新功能
支援自訂靜態主題設定。
支援黑名單過濾。
在service_canal外掛程式中新增EnableEventMeta參數,支援採集MySQL Binlog對應的header資訊。
最佳化
最佳化外掛程式系統停止機制。
問題修複
修複GBK日誌潛在的記憶體流失。
0.16.18
新功能
支援採集Docker事件。更多資訊,請參見採集Docker事件。
支援採集Systemd Journal日誌。更多資訊,請參見採集Systemd Journal日誌。
新增處理外掛程式processor_pick_key 、processor_drop_last_key。
最佳化
最佳化容器日誌以及外掛程式採集記憶體佔用。
最佳化採集容器標準輸出(stdout)多行日誌的效能。
0.16.16
新功能
支援自動建立K8s審計日誌相關的資源。
支援通過環境變數配置啟動參數,例如CPU、記憶體、發送並發等。
支援通過環境變數配置自訂tag上傳。
sidecar模式支援自動建立配置。更多資訊,請參見通過Sidecar-CRD方式採集容器文本日誌。
最佳化
自動儲存aliuid檔案到本地檔案。
問題修複
修複採集容器檔案出現極低機率的crash的問題。
修複通過環境變數建立出的配置在K8s中存在的
IncludeLabel
不生效問題。
0.16.15
新功能
採集MySQL Binlog時,支援GTID模式。在採集MySQL Binlog時自動開啟該模式。
歷史資料匯入檔案名稱支援指定萬用字元。
K8s支援自動建立索引配置。
最佳化
當分行失敗時,支援檢查
discardUnMatch
並上報分行失敗的日誌。遇到unknown send error時自動重試,防止極低情況下資料丟失(例如發送的資料包中途被篡改)。
0.16.14
新功能
匯入歷史資料支援萬用字元模式。
增加啟動配置項
default_tail_limit_kb
,用於配置首次採集檔案跳轉大小(預設1024KB)。增加採集配置項
batch_send_seconds
,用於佈建封包發送的時間。增加採集配置項
batch_send_bytes
,用於佈建封包的大小。
最佳化
採集容器標準輸出(stdout)時,支援自動合并被Docker Engine拆分的日誌。
0.16.13
新功能
支援通過環境變數配置日誌採集。
支援採集MySQL Binlog中的meta資料,即新增日誌欄位
_filename_
和_offset_
。安裝指令碼支援VPC下自動選擇參數。
支援Global Acceleration安裝模式。更多資訊,請參見步驟二:配置Logtail採集加速。
0.16.11
最佳化
採集MySQL Binlog時,支援採集filename和offset資訊。
問題修複
修複使用多行模式採集容器標準輸出(stdout)時有一定機率出現異常的問題。
0.16.10
最佳化
升級容器標準輸出(stdout)採集方式。
0.16.9
問題修複
修複極低機率下出現的socket fd泄露問題。
增加容器檔案採集配置更新頻率限制。
0.16.8
新功能
新增Logtail Lumberjack外掛程式,用於採集Logstash、Beats資料來源。更多資訊,請參見採集Beats和Logstash資料來源。
增加inotify黑名單功能。
問題修複
修複舊安裝包參數不統一的問題。
修複在部分系統下安裝Logtail時無法正確擷取OS版本的問題。
0.16.6
新功能
支援採集主機監控資料。
支援採集Redis監控資料。
支援採集MySQL Binlog中的DDL(data definition language)。
支援採集容器標準輸出(stdout)和容器檔案時,通過docker ENV(environment)過濾。
問題修複
相容MySQL table無主鍵情況下的資料擷取。
相容容器採集模式下因容器引擎訂閱通道不穩定造成事件丟失的問題。
0.16.5
新功能
採集容器標準輸出(stdout)時,新增多行採集模式。更多資訊,請參見多行日誌的Logtail配置樣本。
0.16.4
新功能
支援Docker&Kubernetes部署方案。
支援採集容器標準輸出(stdout)和容器檔案。更多資訊,請參見通過DaemonSet-控制台方式採集容器標準輸出、通過DaemonSet-控制台方式採集容器文本日誌。
0.16.2
新功能
新增processor_geoip外掛程式。更多資訊,請參見轉換IP地址。
0.16.0
新功能
支援採集MySQL Binlog、MySQL查詢結果、HTTP資料。更多資訊,請參見使用Logtail外掛程式採集資料。
支援組合解析配置:正則模式、標定模式、分隔字元模式、過濾器。