快速預覽可免費、快速檢驗資料加工指令碼文法正確性,驗證加工語句的輸出結果是否符合預期。本文介紹快速預覽的操作步驟及樣本。
前提條件
已採集資料。具體操作,請參見資料擷取。
操作步驟
進入資料加工頁面。
在Project列表地區,單擊目標Project。
在 頁簽中,單擊目標Logstore。
在查詢和分析頁面,單擊資料加工。
在頁面右上方,選擇資料的時間範圍。
選擇時間範圍後,請確認原始日誌頁簽中存在日誌。
在編輯框中,輸入資料加工語句。
加工語句的文法請參見資料加工文法。
說明編輯框中的加工語句支援注釋,您可以使用此功能逐行調試。
預覽資料。
在頁面右上方,單擊快速。
在頁面下方,單擊測試資料。
在測試資料頁簽中,輸入測試資料。
測試資料包括基礎資料和維表資料。
在資料頁簽中設定測試資料。
您可以在原始日誌頁簽中,找到一條目標日誌,單擊加入測試資料,將該日誌加入到測試資料中。您也可以手動輸入一條測試資料。
說明單次預覽的測試資料大小不超過1 MB。
多條測試資料之間用空行分隔。
跨列欄位值使用Markdown編輯格式,通過
```
,識別整個欄位。在資料頁簽中配設定的測試資料可以為KV格式或者JSON格式,其中KV格式資料使用英文冒號(:)串連欄位名和欄位值。
範例1:包含2條測試數目,第1條是KV格式(包含1個跨列欄位traceback),第2條是JSON格式。
time_local: 25/May/2020:01:56:22 user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18 "request:method": GET ``` traceback: Traceback (most recent call last): File "traceback_print_exc.py", line 20, in <module> produce_exception() File "/home/user/code/test.py", line 16, in produce_exception produce_exception(recursion_level-1) File "/home/user/code/test.py", line 18, in produce_exception raise RuntimeError() RuntimeError ``` { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }
範例2:1個完整的JSON執行個體,包含3條測試資料。
[ { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" } ]
在維表頁簽中設定測試資料。
維表用於快速預覽資源函數所涉及的資源。您可以輸入對應的維表資料樣本,用於資料預覽調試。
說明在維表頁簽中配設定的測試資料,如果是res_rds_mysql、res_log_logstore_pull資源函數對應的資料範例必須為CSV格式,如果是res_oss_file、res_local資源函數對應的資料範例可以為CSV格式,也可以為JSON格式。
範例:包含2條測試資料,第1條是CSV格式,第2條是JSON格式。
ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang [ { "ip": "127.0.0.1", "country": "China", "province": "Shanghai" }, { "ip": "192.168.0.0", "country": "China", "province": "Zhejiang" } ]
單擊預覽資料。
說明單次預覽最多返回100條加工結果。
完成預覽設定後,您可以在加工結果頁簽中查看預覽結果。
如果加工語句錯誤或者許可權配置錯誤,導致資料加工失敗,請根據頁面提示處理。
如果確認資料加工結果無誤,可儲存加工結果。具體操作,請參見建立資料加工任務。
快速預覽樣本
加工語句
在編輯框中輸入如下加工語句。
# e_set("insert_field", "test_value") e_table_map( res_rds_mysql( address="rm-uf6wjk5****.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", ), "ip", ["country", "province"], )
測試資料
在
頁簽中輸入如下內容。{ "id": "1001", "ip": "127.0.0.1" }
維表資料
在
頁簽中輸入如下內容。ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang
預覽結果