如何開啟、查看、對比日誌聚類 - Simple Log Service

本文介紹日誌聚類功能及其操作，包括開啟日誌聚類、查看聚類結果和原始日誌、對比不同時間段的聚類日誌數量等。

前提條件

已建立Standard Logstore。具體操作，請參見建立Logstore。
已採集日誌。具體操作，請參見資料擷取。
已配置索引。具體操作，請參見配置索引。

背景資訊

Log Service提供日誌聚類功能，支援在採集日誌時，將相似性高的日誌彙總，提取共同的記錄模式（Pattern），快速掌握日誌全貌。支援多種格式的文本日誌彙總，可應用於DevOps中的問題定位、異常檢測、版本迴歸等營運動作，或應用於安全情境下的入侵檢測等。您還可以將聚類結果以分析圖表的形式儲存在儀錶盤中，即時查看聚類資料。

功能優勢

支援任意格式日誌，例如Log4j、JSON、單行等。
億級資料，秒級輸出結果。
日誌資料可以按任意模式聚類。
按pattern聚類的資料可以根據pattern的簽名反查未經處理資料。
比較不同時間段的pattern。
動態調整聚類精度。

索引流量

開啟日誌聚類功能後，索引總量會增加原始日誌大小的10%。例如未經處理資料為100 GB/天，開啟該功能後，索引總量增加10 GB。

原始日誌大小	索引比例	日誌聚類功能產生的索引量	索引總量
100 GB	20%（20 GB）	100 * 10%	30 GB
100 GB	40%（40 GB）	100 * 10%	50 GB
100 GB	100%（100 GB）	100 * 10%	110 GB

開啟日誌聚類功能

登入Log Service控制台。
在Project列表地區，單擊目標Project。
在控制台左側，單擊日誌儲存，在日誌庫列表中單擊目標Logstore。

開啟日誌聚類功能。

單擊查詢分析屬性 > 屬性。
如果您還未開啟索引，請單擊開啟索引。
在查詢分析面板中，開啟日誌聚類開關。

可選：設定聚類欄位的白名單和黑名單。

說明

不支援同時設定黑白名單。

聚類欄位過濾	說明
白名單	設定了白名單後，Log Service將根據白名單中的欄位進行日誌聚類。
黑名單	設定了黑名單後，Log Service不會對黑名單中的欄位進行日誌聚類。
未設定黑白名單	未設定黑白名單時，Log Service將根據聚類規則對所有的欄位進行日誌聚類。

單擊確定。

查看聚類結果和原始日誌

在查詢分析頁面，輸入查詢語句，設定查詢時間範圍，然後單擊查詢/分析。
說明
此處僅支援輸入查詢語句來過濾日誌，但不支援分析語句，即不能對分析結果進行日誌聚類。
單擊日誌聚類頁簽，查看聚類結果。
您還可以單擊添加到儀錶盤，將聚類結果儲存到儀錶盤。
參數
說明
Number
聚類序號。
Count
當前指定的查詢時間段內，某Pattern對應的日誌條數。
Pattern
某類日誌的具體模式，每個聚類會有一個或多個子Pattern。
- 滑鼠指向Count列的數字，在懸浮框展示當前聚類的子Pattern及每個子Pattern的佔比。單擊數字前的加號（+），展開子Pattern列表。
- 單擊Count列的數字，跳轉到原始日誌頁簽，查看對應pattern的原始日誌。

調整聚類精度

在日誌聚類頁簽中，拖拽Pattern分類中的滑動條，調整聚類的精度。

聚類偏向於多，表示聚類結果分類細，Pattern細節被保留的多。
聚類偏向於少，表示聚類結果分類粗，Pattern細節被隱藏的多。

對比不同時間段的聚類日誌數量

在日誌聚類頁簽中，單擊Log Compare。

設定對比時間，單擊確定。

例如：在執行查詢操作時，時間範圍選擇為15分鐘。在Log Compare中，選擇1天，則自動顯示開始時間和結束時間，時間範圍為1天前的15分鐘。日誌對比

參數	說明
Number	聚類編號。
Pre_Count	在Log Compare中設定的時間段內，該Pattern對應的日誌數量。
Count	當前指定的查詢時間段內，某模式對應的日誌條數。
Diff	某模式在兩個時段的日誌數量差值及升降百分比。
Pattern	某類日誌的具體模式。

SQL樣本

Log Service還支援通過執行查詢分析語句擷取日誌聚類結果。

擷取日誌聚類結果

查詢分析語句
```
* | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 
```
說明
查看聚類結果時，您可以單擊複製查詢語句擷取日誌聚類結果所對應的查詢分析語句。
修改參數
修改查詢分析語句中的log_reduce(precision)，precision代表聚類精度，取值範圍1~16，數字越小，聚類精度越高，產生的模式格式越多，預設為3。

返回欄位

在統計圖表頁簽中返回日誌聚類詳細資料。

參數	說明
pattern	某類日誌的具體模式。
count	當前指定的查詢時間段內，某模式對應的日誌條數。
signature	某模式的簽名。
origin_signatures	某模式的二級簽名，可以通過二級簽名，反查未經處理資料。

對比不同時間段日誌聚類結果

查詢分析語句

* | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000

說明

Log Compare對比不同時間段日誌聚類結果後，您可以單擊複製查詢語句擷取對應的查詢分析語句。

修改參數
修改查詢分析語句中的compare_log_reduce(precision, compare_interval)。
- precision代表聚類精度，取值範圍1~16，數字越小，聚類精度越高，產生的模式格式越多，預設為3。
- compare_interval表示對比N秒之前某一時間段的日誌，正整數。

返回欄位

參數	說明
pattern	某類日誌的具體模式。
count_compare	在前一時間段內，某模式對應的日誌數量。
count	當前指定的查詢時間段內，某模式對應的日誌條數。
diff	count和count_compare的差值。
signature	某模式的簽名。

關閉日誌聚類功能

如果您不再需要使用日誌聚類功能，可關閉該功能。

在查詢分析頁面，單擊查詢分析屬性 > 屬性。
關閉日誌聚類開關。
單擊確定。

參數	說明
Number	聚類序號。
Count	當前指定的查詢時間段內，某Pattern對應的日誌條數。
Pattern	某類日誌的具體模式，每個聚類會有一個或多個子Pattern。