Log Service支援通過索引模式查詢和分析日誌。該功能結合了SQL計算功能。本文介紹查詢與分析功能的基本文法、使用限制和SQL函數等資訊。
如果您要查詢與分析日誌,則必須將日誌採集到Standard Logstore中,且在配置索引時開啟對應欄位的開啟統計開關。更多資訊,請參見管理Logstore、建立索引。
如果您需要查詢百億級的日誌資料量,您可以反覆執行(10次以內)某查詢語句擷取最終完整的結果。更多資訊,請參見控制台提示“查詢結果不精確”,如何解決?。
Log Service預設存在保留欄位。如果您要分析保留欄位,請參見保留欄位。
基本文法
查詢語句中建議不超過30個條件。
分析語句預設分析當前Logstore中的資料,不需要填寫FROM子句和WHERE子句。
分析語句不支援使用offset,不區分大小寫,末尾不需要加分號。
查詢語句和分析語句以豎線|
分割。查詢語句可單獨使用,分析語句必須與查詢語句一起使用。即分析功能是基於查詢結果或全量資料進行的。
查詢語句|分析語句
類型 | 說明 |
查詢語句 | 查詢語句用於指定日誌查詢時的過濾規則,返回合格日誌。查詢條件可使用關鍵詞、數值、數值範圍、空格、星號(*)等。 如果為空白格或星號(*),表示無過濾條件。更多資訊,請參見查詢文法。 |
分析語句 | 對查詢結果或全量資料進行計算和統計。更多資訊,請參見使用SPL查詢和分析日誌、SQL分析文法與功能。 |
樣本
* | SELECT status, count(*) AS PV GROUP BY status
查詢與分析結果如下圖所示:
在Logstore中進行即時查詢和分析操作,請參見查詢和分析日誌。
進階功能
LiveTail:Log Service在控制台提供了日誌即時監控的互動功能LiveTail,針對線上日誌進行即時監控分析,減輕營運壓力。
日誌聚類:在採集日誌時,將相似性高的日誌彙總,提取共同的記錄模式(Pattern),快速掌握日誌全貌。
上下文查詢:通過查看指定日誌的上下文資訊,您可以在業務故障排查中快速尋找相關故障資訊,方便定位問題。
欄位分析:此功能涵蓋了欄位的基本分布情況、各種統計指標以及TOP5的時間順序圖表,為使用者提供了深入的資料洞察和視覺化檢視,便於理解和挖掘。
事件配置:事件配置為原始日誌提供可視化、易操作的日誌切入功能,方便您擷取更詳盡的日誌資訊。
跨LogStore查詢日誌(StoreView):通過StoreView功能,可實現跨地區、跨Store聯集查詢。
查詢功能使用限制
限制項 | 說明 |
關鍵詞個數 | 關鍵詞查詢時,除布爾邏輯符外的條件個數。每次查詢最多30個。 |
欄位值大小 | 單個欄位值最大為512 KB,超出部分不參與查詢。 如果單個欄位長度大於512 KB,有一定幾率無法通過關鍵詞查詢到日誌,但資料仍然是完整的。 |
操作並發數 | 單個Project支援的最大查詢操作並發數為100個。 例如100個使用者同時在同一個Project的各個Logstore中執行查詢操作。 |
返回結果 | 每次查詢時,每頁最多顯示100條查詢結果,您可翻頁讀取完整的查詢結果。 |
模糊查詢 | 執行模糊查詢時,Log Service最多查詢到合格100個詞,並返回包含這100個詞並滿足查詢條件的所有日誌。更多資訊,請參見模糊查詢。 |
查詢結果排序 | 預設按照秒級時間(如果存在納秒級則以納秒級時間)從最新開始展示。 |
分析功能使用限制
限制項 | 普通執行個體 | 獨享執行個體 |
操作並發數 | 單個Project支援的最大分析操作並發數為15個。 例如最大支援15個使用者同時在一個Project的各個Logstore中執行分析操作。 | 單個Project支援的最大分析操作並發數為100個。 例如最大支援100個使用者同時在一個Project的各個Logstore中執行分析操作。 |
資料量 | 單個Shard單次僅支援分析1 GB資料。 | 單次分析最大支援掃描2000億行資料。 |
開啟模式 | 預設開啟。 | 通過開關開啟。具體操作,請參見開啟SQL獨享版。 |
費用 | 免費。 | 根據實際使用的CPU時間付費。 |
資料生效機制 | 分析功能只對開啟統計功能後寫入的資料生效。 如果您需要分析歷史資料,請對歷史資料重建索引。更多資訊,請參見重建索引。 | 分析功能只對開啟統計功能後寫入的資料生效。 如果您需要分析歷史資料,請對歷史資料重建索引。更多資訊,請參見重建索引。 |
返回結果 | 執行分析操作後,預設最多返回100行資料。 如果您需要返回更多資料,請使用LIMIT文法。更多資訊,請參見LIMIT子句。 | 執行分析操作後,預設最多返回100行資料。 如果您需要返回更多資料,請使用LIMIT文法。更多資訊,請參見LIMIT子句。 |
欄位值大小 | 單個欄位值最大長度為16 KB(16384位元組),超出部分不參與分析。 說明 預設支援的欄位值最大長度為2048位元組,即2 KB。如果您需要修改欄位值的最大長度,可設定統計欄位(text)最大長度。更新索引設定只對增量資料有效。具體操作,請參見建立索引。 | 單個欄位值最大長度為16 KB(16384位元組),超出部分不參與分析。 說明 預設支援的欄位值最大長度為2048位元組,即2 KB。如果您需要修改欄位值的最大長度,可設定統計欄位(text)最大長度。更新索引設定只對增量資料有效。具體操作,請參見建立索引。 |
逾時時間 | 分析操作的最大逾時的時間為55秒。 | 分析操作的最大逾時的時間為55秒。 |
Double類型的欄位值位元 | Double類型的欄位值最多52位。 如果浮點數編碼位元超過52位,會造成精度損失。 | Double類型的欄位值最多52位。 如果浮點數編碼位元超過52位,會造成精度損失。 |