日誌(Log)是系統運行過程中變化的一種抽象資料,其內容為指定對象的操作和其操作結果按時間的有序集合。
格式
文本日誌(LogFile)、事件(Event)、資料庫日誌(BinLog)、時序資料(Metric)等資料都是日誌的不同載體。Log Service採用半結構化的資料模式定義一條日誌,包含日誌主題、日誌時間、日誌內容、日誌來源和日誌標籤五個資料域。Log Service對各個資料域的格式要求不同,詳細說明如下表所示。
資料域 | 說明 | 格式 |
日誌主題 | Log Service保留欄位(__topic__ )用於標識日誌主題。例如您可以根據日誌類型為網站相關日誌設定不同的日誌主題(access_log、operation_log)。更多資訊,請參見日誌主題(Topic)。 | 包括Null 字元串在內的任一字元串,大小為0~128位元組。 該欄位值為空白字串時,表示未設定日誌主題。 |
日誌時間 | Log Service保留欄位(__time__ )用於標識日誌時間。更多資訊,請參見保留欄位。 | Unix時間戳記。 |
日誌內容 | 日誌的具體內容,由一個或多個內容項組成,內容項為Key:Value 格式。您通過Logtail極簡模式(單行或多行)採集日誌時,Logtail不會對日誌內容進行解析。整條原始日誌將被上傳到content欄位中。 | Key:Value 的詳細說明如下:
|
日誌來源 | Log Service保留欄位(__source__ )用於標識日誌來源,例如產生日誌的伺服器IP地址。 | 任一字元串,大小為0~128位元組。 |
日誌標籤 | 日誌標籤。包括:
| 字典格式,Key和Value均為字串類型。在日誌中以__tag__:為首碼進行展示。 |
樣本
以下以一條網站訪問日誌為例,說明原始日誌與Log Service中資料模型的映射關係。
- 原始日誌
127.0.0.1 - - [01/Mar/2021:12:36:49 0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
- 通過極簡模式採集到Log Service後的日誌
整條原始日誌將被上傳到content欄位中。
- 通過完整正則模式採集到Log Service後的日誌
Logtail將日誌內容結構化,即根據您所設定的Regex將日誌內容提取為多個索引值對。