Simple Log Service：通用參考

欄位名稱衝突處理

在日誌上傳或者SPL運行期間，基於大小寫敏感的處理可能會涉及欄位名的衝突，如原始日誌中同時存在Method和method欄位名；針對不同的情境SPL會使用不同的方式進列欄位衝突解決。

為了避免以下情況，建議在原始日誌中規範輸入的欄位。

運行結果中存在衝突

Log Service完整保留欄位列表請參見保留欄位。SPL讀取儲存在SLS的LogGroup結構資料作為輸入（LogGroup定義詳情請參見資料編碼方式），如果原始寫入Log Service的資料不符合標準LogGroup編碼規範，即某些保留欄位並未按照標準編碼在對應位置，而是放在LogContent中，則SPL在讀取此類保留欄位策略如下：

• 對於__source__、__topic__、__time__和__time_ns_part__欄位，SPL會從標準LogGroup編碼結果中讀取值，忽略同名的LogContent欄位。

• 對於以__tag__: 為首碼的Tag欄位，SPL將優先從標準LogGroup編碼結果中讀取值，未取到再從LogContent中取值。例如對於欄位__tag__:ip，優先從LogTag列表中讀取key為ip的欄位，如果不存在，再從LogContent中的自訂日誌欄位中讀取key為__tag__:ip的 Log 欄位。

全文欄位__line__

如果在控制台或者GetLogstoreLogs介面中想對原始日誌進行過濾，可以使用__line__欄位。

樣本

• 在日誌中搜尋關鍵詞error。

* | where __line__ like '%error%'

• 如果日誌中有欄位名為__line__，需要使用反引號包裹，即 `__line__`來引用日誌中的欄位。

* | where `__line__` ='20'

新舊實值型別不一致

直接保留輸入欄位原始值。

樣本

• 樣本1：project重新命名欄位重名。

  • SPL語句

    * 
    | extend status=cast(status as BIGINT) -- status類型轉為BIGINT
    | project code=status -- code舊實值型別為VARCHAR，新值為BIGINT，直接保留舊值

  • 輸入資料

    status: '200'
    code: 'Success'

  • 輸出結果

    code: 'Success'

• 樣本2：parse-json提取欄位重名。

  • SPL語句

    * 
    | extend status=cast(status as BIGINT) -- status類型轉為BIGINT
    | parse-json content -- status舊實值型別為BIGINT，新值為VARCHAR，直接保留舊值

  • 輸入資料

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 輸出結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 200
    body: 'this is test'

新舊實值型別一致

如果輸入值為null，直接使用新值填充。否則，由指令中指定的mode參數確定，定義如下表。

樣本

• 樣本1：project重新命名欄位重名，且類型相同，mode預設值為overwrite。

  • SPL語句

  * | project code=status -- code新舊實值型別均為VARCHAR，根據overwrite引用新值

  • 輸入資料

    status: '200'
    code: 'Success'

  • 輸出結果

    code: '200'

• 樣本2：parse-json提取欄位重名，且類型相同，mode預設值為overwrite。

  • SPL語句

    * | parse-json content -- status新舊實值型別均為VARCHAR，根據overwrite引用新值

  • 輸入資料

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 輸出結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 'Success'
    body: 'this is test'

• 樣本3：parse-json提取欄位重名，且類型相同，mode指定為preserve。

  • SPL語句

    * | parse-json -mode='preserve' content -- status新舊實值型別均為VARCHAR，根據preserve保留舊值

  • 輸入資料

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 輸出結果

    content: '{"status": "Success", "body": "this is test"}'
    status: '200'
    body: 'this is test'

資料類型轉換

初始類型

除日誌時間欄位外，資料處理SPL的輸入欄位的初始資料類型均為VARCHAR。在後續的處理邏輯中，如果涉及到強資料類型時，需要進行資料類型轉換。

樣本

篩選出狀態代碼為5xx的訪問日誌時，需要將status欄位的類型轉為BIGINT之後再進行比較。

* -- status欄位的初始類型為VARCHAR
| where cast(status as BIGINT) >= 500 -- 將status欄位的類型轉為BIGINT，再進行比較

類型保持

在SPL處理資料過程中，使用extend指令對欄位進行資料類型轉換後，後續的處理邏輯將沿用轉換後的資料類型。

樣本

* -- Logstore作為輸入資料，除時間欄位外，所有欄位初始類型為VARCHAR
| where __source__='127.0.0.1' -- 對__source__欄位進行過濾
| extent status=cast(status as BIGINT) -- 將status欄位的類型轉為BIGINT
| project status, content
| where status>=500 -- status欄位的類型保持為BIGINT，可以直接與數字500做比較

產生null值

SPL處理資料過程中，如下兩個情境將產生null值：

1. SPL運算式中使用到的欄位在輸入資料中不存在時，則將其值視為null值進行計算。

2. SPL運算式計算過程中出現異常，其計算結果即為null值。比如cast類型轉換失敗、數組越界等。

樣本

1. 欄位不存在時，計算代入null值。

• SPL語句

* | extend withoutStatus=(status is null)

• 輸入資料

# 條目1
status: '200'
code: 'Success'

# 條目2
code: 'Success'

• 輸出結果

# 條目1
status: '200'
code: 'Success'
withoutStatus: false

# 條目2
code: 'Success'
withoutStatus: true

2. 計算過程異常，計算結果為null值。

• SPL語句

  *
  | extend code=cast(code as BIGINT) -- code欄位轉為BIGINT失敗
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=arr[10] -- 數組越界

• 輸入資料

  status: '200'
  code: 'Success'
  values: '[1,2,3]'

• 輸出結果

  status: '200'
  code: null
  values: [1, 2, 3]
  last: null

消除null值

為了消除計算過程中的null值，需使用COALESCE運算式將多個值按優先順序聯合，擷取第一個非null值作為最終計算結果。在所有運算式計算結果都為null時，也可以設定最終預設值。

樣本

讀取數組最後一個元素，如果數組為空白，預設值為0。

• SPL語句

  *
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=COALESCE(values[3], values[2], values[1], 0)

• 輸入資料

  # 條目1
  values: '[1, 2, 3]'
  
  # 條目2
  values: '[]'

• 輸出結果

  # 條目1
  values: [1, 2, 3]
  last: 3
  
  # 條目2
  values: []
  last: 0