Simple Log Service：提取欄位

參數說明

配置樣本

使用標定模式提取content欄位的值，並設定欄位名為time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。配置樣本如下：

• 原始日誌

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• Logtail外掛程式處理配置

• 處理結果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

參數說明

配置樣本

使用標定模式提取content欄位的值，並設定欄位名為time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。配置樣本如下：

• 原始日誌

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• Logtail外掛程式處理配置

  {
     "type" : "processor_anchor",
     "detail" : {"SourceKey" : "content",
        "Anchors" : [
            {
                "Start" : "time",
                "Stop" : "\t",
                "FieldName" : "time",
                "FieldType" : "string",
                "ExpondJson" : false
            },
            {
                "Start" : "json:",
                "Stop" : "",
                "FieldName" : "val",
                "FieldType" : "json",
                "ExpondJson" : true 
            }
        ]
    }
  }

• 處理結果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

參數說明

配置處理器類型為提取欄位（CSV模式），相關參數說明如下表所示。

配置樣本

提取csv欄位的值，配置樣本如下：

• 原始日誌

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• Logtail外掛程式處理配置

• 處理結果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

參數說明

配置type為processor_csv，detail說明如下表所示。

配置樣本

提取csv欄位的值，配置樣本如下：

• 原始日誌

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• Logtail外掛程式處理配置

   {
      ......
      "type":"processor_csv",
      "detail":{
          "SourceKey":"csv",
          "SplitKeys":["date", "ip", "content"],
      }
      ......
  }

• 處理結果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

參數說明

樣本

使用豎線（|）分隔字元提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置樣本如下：

• 原始日誌

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• Logtail處理外掛程式配置

• 處理結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

參數說明

樣本

使用豎線（|）分隔字元提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置樣本如下：

• 原始日誌

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• Logtail處理外掛程式配置

  {
     "type" : "processor_split_char",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"]     
    }
  }

• 處理結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

參數說明

配置樣本

使用分隔字元|#|提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length和status、expand_1、expand_2和expand_3。配置樣本如下：

• 原始日誌

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• Logtail外掛程式處理配置

• 處理結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

參數說明

配置樣本

使用分隔字元|#|提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length和status、expand_1、expand_2和expand_3。配置樣本如下：

• 原始日誌

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• Logtail外掛程式處理配置

  {
     "type" : "processor_split_string",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|#|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status"],
        "PreserveOthers" : true,
        "ExpandOthers" : true,
        "ExpandKeyPrefix" : "expand_"
    }
  }

• 處理結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

參數說明

配置樣本

• 樣本1：切換鍵值對。

  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:）。配置樣本如下：

  • 原始日誌

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • Logtail外掛程式處理配置

  • 處理結果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 樣本2：包含引用符的索引值對切分。

  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（"）。配置樣本如下：

  • 原始日誌

    "content": "class:main http_user_agent:\"User Agent\" \"中文\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • Logtail外掛程式處理配置

  • 處理結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 樣本3：包含多字元引用符的索引值對切分。

  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（""）。配置樣本如下：

  • 原始日誌

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"中文\"\"\""

  • Logtail外掛程式處理配置

  • 處理結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",

參數說明

配置樣本

• 樣本1：切分索引值對。

  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:）。配置樣本如下：

  • 原始日誌

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": "\t",
            "Separator": ":",
            "KeepSource": true
          }
        }
      ]
    }

  • 處理結果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 樣本2：切分索引值對。

  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（"）。配置樣本如下：

  • 原始日誌

    "content": "class:main http_user_agent:\"User Agent\" \"中文\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\""
          }
        }
      ]
    }

  • 處理結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 樣本3：切分索引值對。

  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（"""）。配置樣本如下：

  • 原始日誌

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"中文\"\"\""

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\"\"\""
          }
        }
      ]
    }

  • 處理結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",

參數說明

配置樣本

使用Grok模式提取content欄位的值，並為提取的內容指定欄位名為year、month和day。配置樣本如下：

• 原始日誌

  "content" : "2022 October 17"

• Logtail外掛程式處理配置

• 處理結果

  "year":"2022"
  "month":"October"
  "day":"17"

參數說明

樣本一

使用Grok模式提取content欄位的值，並為提取的內容指定欄位名為year、month和day。配置樣本如下：

• 原始日誌

  "content" : "2022 October 17"

• Logtail外掛程式處理配置

  {
     "type" : "processor_grok",
     "detail" : {
        "KeepSource" : false,
        "Match" : [
           "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day}"
        ],
        "IgnoreParseFailure" : false
     }
  }

• 處理結果

  "year":"2022"
  "month":"October"
  "day":"17"

樣本二

使用Grok模式提取多條日誌中content欄位的值，並根據不同的Grok運算式解析為不同結果。配置樣本如下：

• 原始日誌

  {
      "content" : "begin 123.456 end"
  }
  {
      "content" : "2019 June 24 \"I am iron man"\"
  }
  {
      "content" : "WRONG LOG"
  }
  {
      "content" : "10.0.0.0 GET /index.html 15824 0.043"
  }

• Logtail外掛程式處理配置

  {
          "type" : "processor_grok",
          "detail" : {
                  "CustomPatterns" : {
                          "HTTP" : "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
                  },
                  "IgnoreParseFailure" : false,
                  "KeepSource" : false,
                  "Match" : [
                          "%{HTTP}",
                          "%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}",
                          "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}"
                  ],
                  "SourceKey" : "content"
          },
  }

• 處理結果

  • 針對第一條日誌，processor_grok外掛程式使用Match參數中的第一個運算式%{HTTP}匹配失敗，使用第二個運算式%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}匹配成功，因此根據第二個運算式返回提取結果。

    由於設定KeepSource參數為false，因此原日誌中的content欄位被丟棄。

  • 針對第二條日誌，processor_grok外掛程式使用Match參數中的第一個運算式%{HTTP}和第二個運算式%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}匹配失敗，使用第三個運算式%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}匹配成功，因此根據第三個運算式返回提取結果。

  • 針對第三條日誌，processor_grok外掛程式使用Match參數中的三個運算式均匹配失敗，且您設定了IgnoreParseFailure參數為false，因此第三條日誌被丟棄。

  • 針對第四條日誌，processor_grok外掛程式使用Match參數中的第一個運算式%{HTTP}匹配日誌成功，因此根據第一個運算式返回提取結果。

  {
    "word1":"begin",
    "request_time":"123.456",
    "word2":"end",
  }
  {
    "year":"2019",
    "month":"June",
    "day":"24",
    "motto":"\"I am iron man"\",
  }
  {
    "client":"10.0.0.0",
    "method":"GET",
    "request":"/index.html",
    "bytes":"15824",
    "duration":"0.043",
  }