事件配置為原始日誌提供可視化、易操作的日誌切入功能,方便您擷取更詳盡的日誌資訊,包括預設事件配置和進階事件配置。本文介紹如何在Log Service控制台為原始日誌配置事件。
前提條件
已開啟並配置索引。更多資訊,請參見建立索引。
背景資訊
切入是資料分析中不可缺少的功能之一,通過改變資料維度的層次、變換分析的粒度從而擷取資料中更詳盡的資訊。它包括向上切入(roll up)和向下切入(drill down)。向下切入是在分析時加深維度,更深入的查看資料,挖掘更大的資料價值,及時做出更加正確的決策。Log Service通過預設和進階事件,為您提供原始日誌的向下切入功能。
預設事件配置
前提條件
該資料為通過logtail採集到的資料,API或者SDK採集到的資料沒有該功能。
操作
通過預設事件,您可以快速使用and和not拼接查詢語句,也可以建立查詢語句。
在表格或原始頁簽中,單擊任意日誌欄位的值,會彈出預設視窗,提供的操作如下表所述。例如,您查詢和分析框中的語句為* | SELECT status as dim, count(1) as c group by dim
。當您單擊原始日誌欄位host中的203.0.113.1時,查詢和分析框中的語句變更為如下 :
操作 | 說明 | 操作後結果 |
添加到查詢 | 將您單擊的關鍵詞通過and拼接後添加到查詢和分析框中,並進行查詢。 |
|
從查詢中刪除 | 將您單擊的關鍵詞通過not拼接後添加到查詢和分析框中,並進行查詢。 |
|
建立查詢 | 刪除查詢和分析框中所有語句,按照您單擊的關鍵詞建立查詢語句,並進行查詢。 |
|
進階事件配置
您可以為日誌欄位添加不同類型的事件,便於深入分析日誌。事件行為包括開啟日誌庫、開啟快速查詢、開啟儀錶盤和自訂HTTP連結。
在表格或原始頁簽中,單擊表徵圖下的事件配置,進入進階事件配置視窗。
每個日誌欄位支援配置最多10個進階事件。
在Project列表地區,單擊目標Project。
在控制台左側,單擊日誌儲存,在日誌庫列表中單擊目標Logstore。
在原始日誌的表格或原始頁簽中,單擊表徵圖下的事件配置。
在進階事件配置對話方塊的欄位列表中,單擊目標欄位對應的添加事件。
在事件配置地區,配置進階事件。
事件行為包括開啟日誌庫、開啟快速查詢、開啟儀錶盤和自訂HTTP連結,具體操作如下所示。
說明如果配置進階事件為開啟日誌庫,則需提前建立目標日誌庫。更多資訊,請參見建立Logstore。
如果配置進階事件為開啟快速查詢,則需提前建立目標快速查詢。更多資訊,請參見快速查詢。
如果要組態變數,則需要在跳轉到的目標快速查詢中配置查詢分析語句的預留位置變數。更多資訊,請參見設定預留位置變數。
如果配置進階事件為開啟儀錶盤,則需提前建立目標儀錶盤。更多資訊,請參見建立儀錶盤。
如果要組態變數,則在跳轉到的目標儀錶盤中需有對應的圖表已佔位符變數。更多資訊,請參見設定預留位置變數。
如果配置進階事件為自訂HTTP連結,則需提前準備好HTTP連結。
開啟日誌庫
設定事件為開啟日誌庫,具體配置如下所示。
參數
說明
配置名稱
配置名稱。
事件行為
選擇開啟日誌庫。
開啟新視窗
開啟該選項,則在觸發進階事件時將在新視窗開啟目標日誌庫查詢頁面。
時間範圍
設定目標日誌庫的查詢時間範圍。可以設定為:
預設:在原始日誌頁面中單擊欄位值,跳轉到目標日誌庫查詢頁面後,保持Log Service的預設查詢時間範圍,即15分鐘(相對)。
繼承目前時間:在原始日誌頁面單擊欄位值,跳轉到目標日誌庫查詢頁面後,對應的查詢時間範圍為查詢原始日誌時對應的時間。
相對時間:在原始日誌頁面中單擊欄位值,跳轉到目標日誌庫查詢頁面後,對應的查詢時間範圍為當前指定的相對時間。
整點時間:在原始日誌頁面中單擊欄位值,跳轉到目標日誌庫查詢頁面後,對應的查詢時間範圍為當前指定的整點時間。
請選擇日誌庫
選擇目標日誌庫。在觸發事件後,將跳轉到該日誌庫的查詢頁面。
是否繼承過濾
開啟是否繼承過濾開關,將當前查詢已有的過濾條件同步到跳轉後的目標日誌庫的查詢頁面中,並以
AND
方式添加到查詢和分析語句之前。過濾
在過濾頁簽中輸入過濾語句,可將該過濾語句同步到跳轉後的目標日誌庫的查詢頁面中,並以
AND
方式添加到查詢和分析語句之前。支援在過濾語句中插入選擇性參數域,將對應欄位的值作為過濾條件。例如單擊輸入
${__topic__}
,跳轉後的日誌庫的查詢語句中會拼接AND
後查詢。變數
暫不支援組態變數。
開啟快速查詢
設定事件為開啟快速查詢,具體配置如下所示。
參數
說明
配置名稱
配置名稱。
事件行為
選擇開啟快速查詢。
開啟新視窗
開啟該選項,則在觸發事件時將在新視窗開啟目標快速查詢頁面。
時間範圍
設定目標快速查詢的時間範圍。可以設定為:
預設:在原始日誌頁面中單擊欄位值,跳轉到目標快速查詢的查詢頁面後,保持Log Service的預設查詢時間範圍,即15分鐘(相對)。
繼承目前時間:在原始日誌頁面單擊欄位值,跳轉到目標快速查詢的查詢頁面後,對應的查詢時間範圍為查詢原始日誌時對應的時間。
相對時間:在原始日誌頁面中單擊欄位值,跳轉到目標快速查詢的查詢頁面後,對應的查詢時間範圍為當前指定的相對時間。
整點時間:在原始日誌頁面中單擊欄位值,跳轉到目標快速查詢的查詢頁面後,對應的查詢時間範圍為當前指定的整點時間。
請選擇快速查詢
選擇目標快速查詢。在觸發事件後,將跳轉到該快速查詢頁面。
是否繼承過濾
開啟是否繼承過濾開關,將當前查詢已有的過濾條件同步到跳轉後的目標快速查詢的查詢頁面中,並以
AND
方式添加到查詢和分析語句之前。過濾
在過濾頁簽中輸入過濾語句,可將該過濾語句同步到跳轉後的目標快速查詢的查詢頁面中,並以
AND
方式添加到查詢和分析語句之前。支援在過濾語句中插入選擇性參數域,將對應欄位的值作為過濾條件。例如單擊輸入
${__topic__}
,跳轉後的快速查詢的查詢語句中會拼接AND
後查詢。變數
Log Service支援通過變數靈活修改目標快速查詢的查詢和分析語句,當此處添加的變數與目標快速查詢的查詢和分析語句中的變數相同時,會將查詢和分析語句中的變數替換為觸發事件的欄位值。您可以在變數頁簽中組態變數。
說明如果選擇添加變數,則需要提前在跳轉到的目標快速查詢中配置查詢和分析語句的預留位置變數。更多資訊,請參見設定預留位置變數。
最多可添加5個動態變數和5個靜態變數。
動態變數:以您單擊觸發事件時所在日誌對應的欄位值作為變數值進行查詢。
動態變數名:組態變數名。例如您已在快速查詢中定義的預留位置變數
dynamic_ip
。動態變數值所在列:以指定列對應的值動態替換目標快速查詢的查詢和分析語句中的變數。例如選擇
__source__
。表示以
__source__
的值替換快速查詢中已定義的預留位置變數,並進行查詢。
靜態變數:以您定義的固定值作為查詢值進行查詢。
靜態變數名:組態變數名。例如您已在快速查詢中定義的預留位置變數
static_ip
。靜態值:以固定的欄位值替換目標快速查詢的查詢和分析語句中的變數。例如
203.0.113.1
。表示以
static_ip
的值203.0.113.1
替換快速查詢中已定義的預留位置變數,並進行查詢。預留位置變數值為203.0.113.1
的日誌都會被查詢到。
開啟儀錶盤
設定事件為開啟儀錶盤,具體配置如下所示。
參數
說明
配置名稱
配置名稱。
事件行為
選擇開啟儀錶盤。
開啟新視窗
開啟該選項,則在觸發事件時將在新視窗開啟目標儀錶盤頁面。
時間範圍
設定目標儀錶盤的時間範圍。可以設定為:
預設:在原始日誌頁面單擊欄位值,跳轉到目標儀錶盤頁面後,保持Log Service的預設查詢時間範圍,即15分鐘(相對)。
繼承圖表時間:在原始日誌頁面單擊欄位值,跳轉到目標儀錶盤頁面後,對應的查詢時間範圍為觸發下鑽事件時圖表對應的時間。
相對時間:在原始日誌頁面單擊欄位值,跳轉到目標儀錶盤頁面後,對應的查詢時間範圍為當前指定的相對時間。
整點時間:在原始日誌頁面單擊欄位值,跳轉到目標儀錶盤頁面後,對應的查詢時間範圍為當前指定的整點時間。
請選擇儀錶盤
選擇目標儀錶盤。在觸發事件後,將跳轉到該儀錶盤頁面。
是否繼承過濾
開啟是否繼承過濾開關,將當前儀錶盤已有的過濾條件同步到跳轉後的目標儀錶盤中。
過濾
在過濾頁簽中輸入過濾語句,可將該過濾語句同步到跳轉後的目標儀錶盤頁面中。
支援在過濾語句中插入選擇性參數域,將對應欄位的值作為過濾條件。例如單擊輸入
${__source__}
,跳轉後的儀錶盤的只展示符合${__source__}
取值的日誌。變數
Log Service支援將此處的變數同步到跳轉後的目標儀錶盤中。您可以在變數頁簽中組態變數。
說明如果選擇添加變數,則需要提前在跳轉到的目標儀錶盤的圖表中配置查詢和分析語句的預留位置變數。更多資訊,請參見設定預留位置變數。
最多可添加5個動態變數和5個靜態變數。
動態變數:以您單擊觸發事件時所在日誌對應的欄位值作為變數值進行查詢。
動態變數名:組態變數名。例如您已在快速查詢中定義的預留位置變數
dynamic_ip
。動態變數值所在列:以指定列對應的值動態同步到目標儀錶盤中。例如選擇
__source__
。表示以
__source__
的值替換儀錶盤查詢中已定義的預留位置變數,並進行查詢。
靜態變數:以您定義的固定值作為查詢值進行查詢。
靜態變數名:組態變數名。例如您已在儀錶盤資料來源中定義的預留位置變數
static_ip
。靜態值:以固定的欄位值同步到目標儀錶盤中。例如
203.0.113.1
。表示以
static_ip
的值203.0.113.1
替換儀錶盤中已定義的預留位置變數,並進行查詢。預留位置變數值為203.0.113.1
的日誌都會被查詢到。
自訂HTTP連結
設定事件為開啟自訂HTTP連結。
HTTP連結中的路徑部分表示訪問的目的端檔案的層級路徑。
您可以在定義HTTP連結的路徑部分添加選擇性參數域。當您單擊原始日誌中的進階事件時,會用欄位值替換HTTP連結中的可選域參數,跳轉到重新置放的HTTP連結中。
配置
說明
配置名稱
配置名稱。
事件行為
選擇自訂HTTP連結。
協議
訪問自訂連結的協議類型。支援HTTP、自訂等。
請輸入連結地址
需要跳轉到的目標地址。
例如
www.example.com/s?wd=${sls_project}
,表示跳轉到這個地址。事件觸發後,${sls_project}替換為您所在Project名稱。使用系統變數
開啟使用系統變數開關後,可選擇Log Service的系統變數插入到HTTP連結中,包括${sls_project}、${sls_dashboard_title}、${sls_chart_name}、${sls_chart_title}、${sls_region}、${sls_start_time}、${sls_end_time}、${sls_realUid}和${sls_aliUid}。
是否轉碼
開啟是否轉碼開關後,會將連結中的內容進行encode轉碼。
選擇性參數域
Log Service支援將連結中的某一部分替換為觸發事件的欄位值。觸發事件後,自動替換為欄位值。
樣本
將訪問日誌採集到名為accesslog的日誌庫中並建立1個快速查詢(IP地址和method的PV分布)實現下鑽分析。在原始日誌中,為remote_addr欄位設定進階事件為開啟快速查詢。設定完成後,您在原始日誌中單擊remote_addr即可跳轉到快速查詢查看對應的PV趨勢。
原始日誌參考如下:
__source__:127.0.0.1
__tag__:__receive_time__:1613759995
__topic__:nginx_access_log
body_bytes_sent:5077
host:www.example.com
http_referer:www.example.com
http_user_agent:Mozilla/5.0 (X11; CrOS i686 12.0.742.91) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/192.0.2.2 Safari/534.30
http_x_forwarded_for:192.0.2.1
remote_addr:192.0.2.0
remote_user:gp_02
request_length:3932
request_method:POST
request_time:35
request_uri:/request/path-2/file-4
status:200
time_local:19/Feb/2021:18:39:50
upstream_response_time:0.09
其操作步驟如下:
查詢要求方法為POST且status為200的訪問PV分布情況。建立快速查詢IP地址和method的PV分布,其查詢語句和查詢結果如下:
* and request_method: POST and status: 200 | select count(*) as pv, remote_addr as ip,request_method as method group by ip,method order by ip desc
在快速查詢中設定變數
method
和status2
。產生變數後的語句變更為如下:* and request_method: ${method} and status: ${status2} | select count(*) as pv, remote_addr as ip,request_method as method group by ip,method order by ip desc
在原始日誌頁簽,為remote_addr配置進階事件,事件行為開啟快速查詢,其他關鍵配置如下:
請選擇快速查詢:IP地址和method的PV分布
過濾:不配置
變數:靜態變數為status2,取值為400。動態變數取值為method,取值為request_method。
在原始日誌頁簽,單擊
。該日誌欄位中request_method為GET,status為404。
新開啟視窗,查詢和分析框中語句變更為如下:
* and request_method: GET and status: 400 | select count(*) as pv, remote_addr as ip,request_method as method group by ip,method order by ip desc
查看快速查詢結果。
該樣本中,靜態變數status2取值為400,對應status欄位。您單擊觸發事件所在日誌的request_method取值為GET,所以動態變數method取值為GET。快速查詢的結果是GET中status為400的IP地址PV分布。
同樣的,當您單擊觸發事件所在日誌的request_method取值為PUT時,快速查詢的是PUT中status為400的IP地址的PV分布。