資料加工文法

SLS DSL相容Python，標準模式下，SLS DSL可視為Python的子集。除基本的資料結構與表達方式外，文法規則是以函數方式進行編排。如果您有特定UDF的需求，請提交工單。

e_if(op_ge(op_len(json_parse(v("x"))), 1), e_set("x0", lst_get(v("x"), 0)))
e_if(op_ge(op_len(json_parse(v("x"))), 2), e_set("x1", lst_get(v("x"), 1)))

標準模式的SLS DSL是通過調用函數的方式完成的，其內建兩百多個函數，主要分為兩類：

• 全域操作函數

  主要用來接收日誌、處理並返回日誌的函數。且只有全域操作函數才能構建加工規則的每個步驟。

• 運算式函數

  通用型函數，接受特定參數，組合調用後作為參數傳遞給全域操作函數以定義更加靈活的邏輯。

兩類函數功能對比：

接收日誌並返回日誌的函數。

一個SLS DSL規則的形式如下：

全域函數1(..參數....)
全域函數2(..參數....)
全域函數3(..參數....)
全域函數4(..參數....)

全域操作函數可以分為兩類：

加工邏輯：

• 基本處理：

  資料加工會以流式方式讀取源Logstore的資料，並將每一條日誌以字典的資料結構傳遞給加工規則，然後根據加工規則中定義的日誌函數順序處理日誌資料，並將最終的資料加工結果輸出到目標Logstore。

  說明

  在傳遞的過程中日誌的欄位和值始終都是字串形式。例如：原日誌是{"__time__": "1234567", "__topic__": "", "k1": "test"}，函數e_set("f1", 200)設定欄位f1的值為200，經過這個函數處理後，原日誌會變成：{"__time__": "1234567", "__topic__": "", "k1": "test", "f1": "200"}，其中f1和200都是字串類型。

  規則中定義的每個日誌函數會順序執行，每個函數會對每個日誌進行處理和修改，最後返回修改後的日誌。

  例如e_set("type", "test")會對每個日誌添加一個欄位type，值為test，下一個函數接收到的就是修改後的日誌。

• 條件判斷：

  • 條件判斷e_if：某些日誌可以增加條件判斷，不滿足條件的日誌就會跳過本次操作，相當於一個if的邏輯。

    例如e_if(e_match("status", "200"), e_regex("data", "ret: \d+", "result"))，會首先判斷欄位status是否為200，如果條件判斷為真，則會對欄位data用Regex提取出新欄位result；如果條件判斷為否，則不會執行任何操作。

  • e_if_else：與if_else操作類似。

• 停止處理：

  • 某些步驟可能返回0個日誌，表示刪除日誌。

    例如e_if(str_islower(v("result")), e_drop())，如果每個result欄位的值是小寫字串，則丟棄這條日誌，後續的操作將不再進行，自動重新開始下一條日誌。

  • 輸出日誌可以視為一種特殊的停止處理，例如e_output提前輸出日誌到目標並刪除日誌，其後續的操作也不會再進行。

    說明

    函數e_coutput會複製一份當前的日誌輸出，並繼續處理後續。

• 分裂並行：

  某些步驟也可能返回多個日誌，表示分裂日誌。

  例如e_split(data)，表示根據欄位data的值將原本的一條日誌分裂成兩條日誌。假如data的值是"abc, xyz"，則分裂後兩條日誌欄位data的值分別是abc和xyz。

  分裂後的每條日誌都會繼續進行後續的步驟。

除了全域操作函數外，SLS DSL還提供200個運算式函數，接收特定參數，返回特定的值，一般是單個運算式函數或其調用組合。形式如下：

全域操作1(運算式函數1(...), ....)
全域操作2(..., 運算式函數2(...), 運算式函數3(...),...)

運算式函數大概可以分為四類：