Simple Log Service：查詢文法

查詢文法結構

語句編寫流程

查詢語句的編寫流程為：首先根據查詢方式確定查詢文法，然後根據欄位類型選擇合適的運算子，最後確定匹配模式。

步驟一：確定查詢方式

• 只建立全文索引：只能使用全文檢索查詢文法。

• 已建立欄位索引：

  • double、long類型：只能根據欄位查詢文法進行查詢。

  • text類型：如您知曉關鍵詞屬於某個已建立索引的text類型欄位，建議使用欄位查詢文法。如果不確定關鍵詞的具體欄位，請使用全文檢索查詢文法：

    • 沒有建立全文索引，全文檢索查詢文法僅在欄位索引是text類型的欄位中查詢。

    • 如果已建立全文索引，全文檢索查詢文法會從所有text類型索引中查詢。

全文檢索查詢文法

全文檢索查詢不針對具體的欄位進行查詢，其查詢文法為：

keywords1 [ [ and | or | not ] keywords2 ] ...

keywords1 是需要查詢的關鍵詞，可以使用 *、？進行模糊比對，也可以結合運算子如 and、or 等聯合其他查詢條件一起查詢。

案例1：希望查詢關鍵詞為 Nginx 相關的日誌。則查詢文法：Nginx。

案例2：查詢關鍵詞為 Nginx 或 Tomcat 相關的日誌。則查詢文法：Nginx or Tomcat。

欄位查詢文法

欄位查詢對應的欄位類型包含text、long、double、JSON，且針對具體的欄位進行查詢，其查詢文法為：

indexname1 [ : | > | >= | < | <= | = | in ] keyword1 [ [ and | or | not ] indexname2 ... ]

案例1：希望查詢 requestMethod 為 GET 相關的日誌。則查詢文法為：requestMethod: GET。

案例2：希望查詢 requestTimeSpend 大於 500ms 相關的日誌。則查詢文法為requestTimeSpend > 500（該欄位索引類型為long）。

案例3：希望查詢 requestMethod 為 GET 且 requestTimeSpend 大於 500ms 相關的日誌。則查詢文法為：requestMethod: GET and requestTimeSpend > 500。

步驟二：確定欄位類型

欄位類型

編寫查詢語句時需要考慮欄位類型的特點，合理使用運算子，快速、精準地鎖定目標日誌。

運算子

查詢語句樣本

同一條查詢語句，針對不同的日誌內容和索引配置時，會有不同的查詢結果。本文基於如下日誌範例和索引介紹查詢語句樣本。

日誌範例

本文以Nginx訪問日誌為例，介紹常見的查詢語句。

索引配置

普通查詢樣本

request_method:GET and status in [200 299]

request_method:GET not region:cn-hangzhou

request_method:GET or request_method:POST

not request_method:GET

(request_method:GET or request_method:POST) and status in [200 299]

(request_method:GET or request_method:POST) not status in [200 299]

request_method:GET and status in [200 299] not request_time>=60

request_time:60

request_time=60

request_time>=60 and request_time<200

request_time in [60 200)

request_time:* not request_time > -10000000000

request_time > -1000000000

"and"

"request method":PUT

__topic__:HTTPS or __topic__:HTTP

__tag__:__client_ip__:192.0.2.1

* | select * from log where key like '192.168.%.%'

not remote_user:""

remote_user:""

not remote_user:"null"

not remote_user:*

remote_user:*

not 城市:上海

進階查詢樣本

• 模糊查詢

  查詢需求	查詢語句	調試
  查詢包含以cn開頭的詞的日誌。	cn*	調試
  查詢region欄位值是以cn開頭的日誌。	region:cn*	無
  查詢region欄位值包含cn*的日誌。	region:"cn*" 說明 此處的cn*為一個獨立詞。例如： 如果日誌內容為region:cn*,en，分詞符為半形逗號（,），則該日誌內容被拆分為region、cn*和en，您可以通過上述語句查詢到該日誌。 如果日誌內容為region:cn*hangzhou，則cn*hangzhou為一個整體，您執行上述語句無法查詢到該日誌。	無
  查詢包含以mozi開頭，以la結尾，中間還有一個字元的詞的日誌。	mozi?la	調試
  查詢包含以mo開頭，以la結尾，中間包含零個、單個或多個字元的詞的日誌。	mo*la	調試
  查詢包含以moz開頭的詞和以sa開頭的詞的日誌。	moz* and sa*	調試
  查詢region欄位值以hai結尾的所有日誌。	目前使用查詢語句無法查詢到對應的日誌，您可以使用SQL分析中的Like文法進行查詢。更多資訊，請參見通過SQL的like文法進行精確的模糊查詢。 * | select * from log where region like '%hai'	無

• 基於分詞符的查詢

  Log Service會根據分詞符，將日誌內容拆分成多個詞。Log Service預設配置的分詞符為, '";=()[]{}?@&<>/:\n\t\r。如果設定分詞符為空白，則欄位值將被當成一個整體，您只能通過完整字串或模糊查詢尋找對應的日誌。如何設定分詞符，請參見建立索引。

  例如http_user_agent欄位值為Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/192.0.2.0 Safari/537.2。

  • 設定分詞符為空白時，該欄位值將被當成一個整體，則您使用http_user_agent:Chrome查詢語句進行查詢時，無法查詢到日誌。

  • 設定分詞符為, '";=()[]{}?@&<>/:\n\t\r後，該欄位值為拆分為Mozilla、5.0、Windows、NT、6.1、AppleWebKit、537.2、KHTML、like、Gecko、Chrome、192.0.2.0、Safari、537.2。您可以使用http_user_agent:Chrome等查詢語句進行查詢。

  說明

  當查詢關鍵字中包含分詞符時，您可以使用短語查詢或者Like文法。例如：

  • 短語查詢：#"redo_index/1"。更多資訊，請參見短語查詢。

  • Like文法：* | select * from log where key like 'redo_index/1'。

  查詢需求	查詢語句	調試
  查詢http_user_agent欄位值中包含Chrome的日誌。	http_user_agent:Chrome	調試
  查詢http_user_agent欄位值中包含Linux和Chrome的日誌。	http_user_agent:Linux and http_user_agent:Chrome	調試
  	http_user_agent:"Linux Chrome"	調試
  查詢http_user_agent欄位值中包含Firefox或Chrome的日誌。	http_user_agent:Firefox or http_user_agent:Chrome	調試
  查詢request_uri欄位值包含/request/path-2的日誌。	request_uri:/request/path-2	調試
  查詢request_uri欄位值以/request開頭，但不包含/file-0的日誌。	request_uri:/request* not request_uri:/file-0	調試
  完全符合包含短語redo_index/1的日誌。	#"redo_index/1" * | select * from log where key like 'redo_index/1' 說明 通過短語查詢或者Like文法，可完全符合目標短語。使用普通的精確查詢，將匹配redo_index、1等詞。	無

特殊情境查詢樣本

在查詢語句中

• 當欄位名或欄位值中存在特殊字元（空格、中文、冒號（:）、連字號（-）等）、文法關鍵詞（and、or等）等內容時，需要使用雙引號（""）包裹。

• Log Service保留以下運算子的使用權，如果您需要使用以下運算子作為查詢關鍵字，請使用""（雙引號）包裹：sort、asc、desc、group by、avg、sum、min、max和limit。

• 通過資料加工或者Logtail外掛程式處理的日誌，其tag中的key會被轉換成普通key，即查詢時需使用雙引號（""）包裹欄位名，例如"__tag__:__client_ip__":192.0.2.1，此處的__tag__:__client_ip__為Log Service保留欄位，表示日誌所在主機的IP地址。更多資訊，請參見保留欄位。

"request method":PUT

"__tag__:__client_ip__":192.0.2.1

在分析語句中

• 當欄位名、表名等專有名詞中存在特殊字元（空格、中文、冒號（:）、連字號（-）等）、文法關鍵詞（and、or等）等內容時，需要使用雙引號（""）包裹。

• 表示字串的字元必須使用單引號（''）包裹，無符號包裹或被雙引號（""）包裹的字元表示欄位名或列名。例如：'status'表示字串status，status或"status"表示日誌欄位status。

* | select * from log where key like '192.168.%.%'

在查詢中使用引號，請參見如何在查詢和分析語句中使用引號？。

相關文檔

• 如何在查詢和分析語句中使用引號？

• 分析函數和文法，請參見分析函數和文法。

• 最佳化查詢的方法

• 錯誤排查

  • 日誌查詢常見問題

  • 查詢與分析日誌的常見報錯

• 日誌查詢樣本

  • 如何精確的按照時間排序查詢日誌

  • 查詢和分析網站日誌

  • 分析負載平衡7層訪問日誌

  • 查詢JSON日誌（欄位值為JSON對象、JSON數組）的查詢和分析的樣本，請參見查詢和分析JSON日誌和查詢和分析JSON日誌的常見問題。