全部產品
Search
文件中心

Simple Log Service:日誌(Log)

更新時間:Jun 30, 2024

日誌(Log)是系統運行過程中變化的一種抽象資料,其內容為指定對象的操作和其操作結果按時間的有序集合。

格式

文本日誌(LogFile)、事件(Event)、資料庫日誌(BinLog)、時序資料(Metric)等資料都是日誌的不同載體。Log Service採用半結構化的資料模式定義一條日誌,包含日誌主題、日誌時間、日誌內容、日誌來源和日誌標籤五個資料域。Log Service對各個資料域的格式要求不同,詳細說明如下表所示。

資料域說明格式
日誌主題Log Service保留欄位(__topic__)用於標識日誌主題。例如您可以根據日誌類型為網站相關日誌設定不同的日誌主題(access_log、operation_log)。更多資訊,請參見日誌主題(Topic)包括Null 字元串在內的任一字元串,大小為0~128位元組。

該欄位值為空白字串時,表示未設定日誌主題。

日誌時間Log Service保留欄位(__time__)用於標識日誌時間。更多資訊,請參見保留欄位Unix時間戳記。
日誌內容日誌的具體內容,由一個或多個內容項組成,內容項為Key:Value格式。

您通過Logtail極簡模式(單行或多行)採集日誌時,Logtail不會對日誌內容進行解析。整條原始日誌將被上傳到content欄位中。

Key:Value的詳細說明如下:
  • Key為欄位名稱,需為UTF-8編碼字串(字母、底線和數字但不以數字開頭)。字串大小為1~128位元組。不可使用如下欄位。
    • __time__
    • __source__
    • __topic__
    • __partition_time__
    • _extract_others_
    • __extract_others__
  • Value為欄位值,可以為任一字元串,大小不超過1 MB。
日誌來源Log Service保留欄位(__source__)用於標識日誌來源,例如產生日誌的伺服器IP地址。任一字元串,大小為0~128位元組。
日誌標籤日誌標籤。包括:
  • 自訂標籤:通過PutLogs介面,在寫入日誌時添加標籤。
  • 系統標籤:Log Service為日誌添加的標籤,包括__client_ip____receive_time__
字典格式,Key和Value均為字串類型。在日誌中以__tag__:為首碼進行展示。

樣本

以下以一條網站訪問日誌為例,說明原始日誌與Log Service中資料模型的映射關係。

  • 原始日誌
    127.0.0.1 - - [01/Mar/2021:12:36:49  0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
  • 通過極簡模式採集到Log Service後的日誌

    整條原始日誌將被上傳到content欄位中。

    日誌範例
  • 通過完整正則模式採集到Log Service後的日誌

    Logtail將日誌內容結構化,即根據您所設定的Regex將日誌內容提取為多個索引值對。

    日誌範例