日志服务：提取字段

参数说明

配置示例

使用标定模式提取content字段的值，并设置字段名为time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。配置示例如下：

• 原始日志

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• Logtail插件处理配置

• 处理结果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

参数说明

配置示例

使用标定模式提取content字段的值，并设置字段名为time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。配置示例如下：

• 原始日志

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• Logtail插件处理配置

  {
     "type" : "processor_anchor",
     "detail" : {"SourceKey" : "content",
        "Anchors" : [
            {
                "Start" : "time",
                "Stop" : "\t",
                "FieldName" : "time",
                "FieldType" : "string",
                "ExpondJson" : false
            },
            {
                "Start" : "json:",
                "Stop" : "",
                "FieldName" : "val",
                "FieldType" : "json",
                "ExpondJson" : true 
            }
        ]
    }
  }

• 处理结果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

参数说明

配置处理器类型为提取字段（CSV模式），相关参数说明如下表所示。

配置示例

提取csv字段的值，配置示例如下：

• 原始日志

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• Logtail插件处理配置

• 处理结果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

参数说明

配置type为processor_csv，detail说明如下表所示。

配置示例

提取csv字段的值，配置示例如下：

• 原始日志

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• Logtail插件处理配置

   {
      ......
      "type":"processor_csv",
      "detail":{
          "SourceKey":"csv",
          "SplitKeys":["date", "ip", "content"],
      }
      ......
  }

• 处理结果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

参数说明

示例

使用竖线（|）分隔符提取content字段的值，并设置字段名为ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置示例如下：

• 原始日志

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• Logtail处理插件配置

• 处理结果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

参数说明

示例

使用竖线（|）分隔符提取content字段的值，并设置字段名为ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置示例如下：

• 原始日志

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• Logtail处理插件配置

  {
     "type" : "processor_split_char",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"]     
    }
  }

• 处理结果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

参数说明

配置示例

使用分隔符|#|提取content字段的值，并设置字段名为ip、time、method、url、request_time、request_length和status、expand_1、expand_2和expand_3。配置示例如下：

• 原始日志

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• Logtail插件处理配置

• 处理结果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

参数说明

配置示例

使用分隔符|#|提取content字段的值，并设置字段名为ip、time、method、url、request_time、request_length和status、expand_1、expand_2和expand_3。配置示例如下：

• 原始日志

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• Logtail插件处理配置

  {
     "type" : "processor_split_string",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|#|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status"],
        "PreserveOthers" : true,
        "ExpandOthers" : true,
        "ExpandKeyPrefix" : "expand_"
    }
  }

• 处理结果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

参数说明

配置示例

• 示例1：切换键值对。

  按照键值对方式分割content字段的值。其中，键值对间分隔符为制表符\t，键值对中的分隔符为半角冒号（:）。配置示例如下：

  • 原始日志

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • Logtail插件处理配置

  • 处理结果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 示例2：包含引用符的键值对切分。

  按照键值对方式分割content字段的值。其中，键值对间分隔符为制表符\t，键值对中的分隔符为半角冒号（:），引用符为双引号（"）。配置示例如下：

  • 原始日志

    "content": "class:main http_user_agent:\"User Agent\" \"中文\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • Logtail插件处理配置

  • 处理结果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 示例3：包含多字符引用符的键值对切分。

  按照键值对方式分割content字段的值。其中，键值对间分隔符为制表符\t，键值对中的分隔符为半角冒号（:），引用符为双引号（""）。配置示例如下：

  • 原始日志

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"中文\"\"\""

  • Logtail插件处理配置

  • 处理结果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",

参数说明

配置示例

• 示例1：切分键值对。

  按照键值对方式分割content字段的值。其中，键值对间分隔符为制表符\t，键值对中的分隔符为半角冒号（:）。配置示例如下：

  • 原始日志

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • Logtail插件处理配置

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": "\t",
            "Separator": ":",
            "KeepSource": true
          }
        }
      ]
    }

  • 处理结果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 示例2：切分键值对。

  按照键值对方式分割content字段的值。其中，键值对间分隔符为制表符\t，键值对中的分隔符为半角冒号（:），引用符为双引号（"）。配置示例如下：

  • 原始日志

    "content": "class:main http_user_agent:\"User Agent\" \"中文\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • Logtail插件处理配置

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\""
          }
        }
      ]
    }

  • 处理结果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 示例3：切分键值对。

  按照键值对方式分割content字段的值。其中，键值对间分隔符为制表符\t，键值对中的分隔符为半角冒号（:），引用符为双引号（"""）。配置示例如下：

  • 原始日志

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"中文\"\"\""

  • Logtail插件处理配置

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\"\"\""
          }
        }
      ]
    }

  • 处理结果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "中文",

参数说明

配置示例

使用Grok模式提取content字段的值，并为提取的内容指定字段名为year、month和day。配置示例如下：

• 原始日志

  "content" : "2022 October 17"

• Logtail插件处理配置

• 处理结果

  "year":"2022"
  "month":"October"
  "day":"17"

参数说明

示例一

使用Grok模式提取content字段的值，并为提取的内容指定字段名为year、month和day。配置示例如下：

• 原始日志

  "content" : "2022 October 17"

• Logtail插件处理配置

  {
     "type" : "processor_grok",
     "detail" : {
        "KeepSource" : false,
        "Match" : [
           "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day}"
        ],
        "IgnoreParseFailure" : false
     }
  }

• 处理结果

  "year":"2022"
  "month":"October"
  "day":"17"

示例二

使用Grok模式提取多条日志中content字段的值，并根据不同的Grok表达式解析为不同结果。配置示例如下：

• 原始日志

  {
      "content" : "begin 123.456 end"
  }
  {
      "content" : "2019 June 24 \"I am iron man"\"
  }
  {
      "content" : "WRONG LOG"
  }
  {
      "content" : "10.0.0.0 GET /index.html 15824 0.043"
  }

• Logtail插件处理配置

  {
          "type" : "processor_grok",
          "detail" : {
                  "CustomPatterns" : {
                          "HTTP" : "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
                  },
                  "IgnoreParseFailure" : false,
                  "KeepSource" : false,
                  "Match" : [
                          "%{HTTP}",
                          "%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}",
                          "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}"
                  ],
                  "SourceKey" : "content"
          },
  }

• 处理结果

  • 针对第一条日志，processor_grok插件使用Match参数中的第一个表达式%{HTTP}匹配失败，使用第二个表达式%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}匹配成功，因此根据第二个表达式返回提取结果。

    由于设置KeepSource参数为false，因此原日志中的content字段被丢弃。

  • 针对第二条日志，processor_grok插件使用Match参数中的第一个表达式%{HTTP}和第二个表达式%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}匹配失败，使用第三个表达式%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}匹配成功，因此根据第三个表达式返回提取结果。

  • 针对第三条日志，processor_grok插件使用Match参数中的三个表达式均匹配失败，且您设置了IgnoreParseFailure参数为false，因此第三条日志被丢弃。

  • 针对第四条日志，processor_grok插件使用Match参数中的第一个表达式%{HTTP}匹配日志成功，因此根据第一个表达式返回提取结果。

  {
    "word1":"begin",
    "request_time":"123.456",
    "word2":"end",
  }
  {
    "year":"2019",
    "month":"June",
    "day":"24",
    "motto":"\"I am iron man"\",
  }
  {
    "client":"10.0.0.0",
    "method":"GET",
    "request":"/index.html",
    "bytes":"15824",
    "duration":"0.043",
  }