阿里雲DCDN按小時顆粒度記錄了網域名稱全網訪問日誌和WAF攔截日誌,您可根據需求下載30天內指定網域名稱某一天的日誌至本地路徑儲存,進行分析。
下載說明
使用說明
日誌命名規則:加速網域名稱_年_月_日_開始時間_結束時間[擴充欄位].gz,擴充欄位以底線(_)開頭。例如
aliyundoc.com_2018_10_30_000000_010000_xx.gz。說明擴充欄位可能不存在,例如
aliyundoc.com_2018_10_30_000000_010000.gz。DCDN日誌支援常見的IDE工具查看,如notepad++等。
通過DCDN控制台(或者OpenAPI)的監控查詢、用量查詢(實際計費流量)功能查到的加速網域名稱使用的流量資料與通過日誌統計的流量資料有差異。通常來說,通過監控查詢、用量查詢功能查到的加速網域名稱使用的流量資料是通過日誌統計的流量資料的1.1倍,詳細請參見為什麼監控查詢流量、用量查詢流量與日誌統計流量有差異。
業務監控以用戶端IP地址所在地區或者電訊廠商歸屬來統計資料,計量計費以統計各個計費大區的全站加速節點上產生的流量、頻寬資料和請求數來統計資料。由於統計方式不同,兩者結果會有一定的差異。
少數ISP在特定地區可能會分配私人IP地址給使用者端,導致DCDN節點接收到的是使用者的私人IP地址。
說明私人IP位址範圍有以下三個:
A類私人IP地址:10.0.0.0~10.255.255.255,子網路遮罩:10.0.0.0/8
B類私人IP地址:172.16.0.0~172.31.255.255,子網路遮罩:172.16.0.0/12
C類私人IP地址:192.168.0.0~192.168.255.255,子網路遮罩:192.168.0.0/16
使用者訪問日誌的欄位格式說明
日誌樣本
// 樣本日誌 // 訪問時間 用戶端IP 代理IP 請求類型 請求URL HTTP狀態代碼 請求位元組數 響應位元組數 是否命中CDN節點 User_Agent 檔案類型 訪問IP [9/Jun/2015:01:58:09 +0800] 10.10.10.10 - 1542 "-" "GET http://www.aliyun.com/index.html" 200 191 2830 MISS "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://example.com/robot/)" "text/html" 1.1.X.X欄位含義
欄位
欄位含義
描述
[9/Jun/2015:01:58:09 +0800]訪問時間
使用者訪問請求的結束時間。
10.10.10.10用戶端IP
從使用者請求攜帶的要求標頭X-Forwarded-For中提取左邊第一個IP地址(即client_ip,用戶端IP,如果用戶端與DCDN節點之間沒有經過代理的話,等同於用戶端與DCDN節點建聯使用的IP)。
說明要求標頭 X-Forwarded-For 的格式為
X-Forwarded-For: <client_ip>, <proxy_ip>。在用戶端與DCDN節點之間沒有經過代理的情境下(即x-forwarded-for裡面只有<client_ip>),可能會出現日誌中<client_ip>的值為私網IP地址的情況,其原因通常為用戶端所在的電訊廠商為其分配了私網IP地址(目的是減少公網IP地址的使用,以降低成本)。
在用戶端與DCDN節點之間有經過代理的情境下(即x-forwarded-for裡面既有<client_ip>,也有<proxy_ip>),也可能會出現日誌中<client_ip>的值為私網IP地址的情況,其原因通常為電訊廠商為用戶端分配的公網IP地址被配置到了代理上面,而此時用戶端上配置的是私網IP地址。
由於X-Forwarded-For可能被偽造,因此當您需要分析日誌並配置WAF規則攔截指定惡意IP時,請您使用即時日誌採集欄位說明 的remote_ip分析,remote_ip是用戶端和DCDN的真實建連IP。
-代理IP
從使用者請求攜帶的要求標頭X-Forwarded-For中提取左邊第二個IP地址(即proxy_ip,代理IP,如果用戶端與CDN節點之間沒有經過代理的話,提取到的空值用
-表示)。1542回應時間
請求回應時間,單位為毫秒。
"-"Referer
HTTP要求標頭中的Referer。
GET請求類型
請求方式,常見於GET、POST、PUT、DELETE等。
http://www.aliyun.com/index.html請求URL
使用者請求的URL連結。
200HTTP狀態代碼
HTTP狀態代碼,常見的有200、403、404、500等。
191請求位元組數
請求大小,單位為位元組。
2830響應位元組數
請求返回大小,單位為位元組。
MISS是否命中CDN節點
命中資訊。
HIT:使用者請求命中了DCDN邊緣節點上的資源(不需要回源)。
MISS:使用者請求的內容沒有在DCDN邊緣節點上緩衝,需要向上遊擷取資源(上遊可能是DCDN L2節點,也可能是來源站點)。
阿里雲DCDN目前僅提供了DCDN邊緣節點的日誌資訊,不包含DCDN L2節點的回源相關資訊,因此當該欄位為MISS時,無法擷取回源資訊,因此無法直觀地從日誌裡面看到使用者請求是否回源。
Mozilla/5.0(compatible; AhrefsBot/5.0; +http://example.com/robot/)User_Agent
User-Agent要求標頭資訊。
text/html檔案類型
即網頁類型。
說明開啟全球資源計劃的網域名稱日誌,不包含該欄位。
1.1.1.1訪問IP
建連IP地址。
說明其他欄位含義:
DYNAMIC:動態請求。
CHARGE:該請求要計費。
NOTLAST:保留欄位,無實際含義。
WAF日誌的欄位格式說明
日誌樣本
[16/May/2023:10:36:09 +0800] HEAD "http" api.aliyun.com "/block" "_dyc=89e7639543f17ddbe77361c56b9952b9" "-" api.aliyun.com 3d30530216842045692847280e 403 "-" "curl/7.29.0" "-" 1.XX.XX.1 1.XX.XX.1 false "-" deny "custom_acl" 20000014欄位含義
欄位名稱
樣本值
描述
unixtime
[16/May/2023:10:36:09 +0800]請求時間。
method
HEAD要求方法。
scheme
http請求協議。
domain
api.aliyun.com請求的網域名稱。
uri
/block請求資源。
uri_param
_dyc=89e7639543f17ddbe77361c56b9952b9請求參數。
content_type
-被請求的內容類型。
matched_host
api.aliyun.com用戶端請求匹配到的已接入進行服務的網域名稱。
request_id
3d30530216842045692847280e請求唯一標識。
return_code
403請求響應碼。
referer
-HTTP referer欄位。
user_agent
curl/7.29.0使用者代理程式資訊。
x_forwarded_for
-訪問要求標頭部中帶有的XFF頭資訊,用於識別通過HTTP代理或負載平衡方式串連到Web伺服器的用戶端最原始的IP地址。
client_ip
1.XX.XX.1使用者真實IP。
remote_addr
1.XX.XX.1請求IP。
final_test
FALSE最終匹配的不是觀察模式。
cookie
-訪問要求標頭部中帶有的訪問來源用戶端Cookie資訊。
final_action
deny最終執行的防護動作。
block:表示Web基礎防護模組攔截。
deny:表示除Web基礎防護模組外其他模組攔截。
captcha表示普通滑塊驗證。
js:表示JS驗證。
Null 字元串:表示未攔截。即未命中任何防護規則,或者命中了白名單規則、觀察類規則,或者用戶端完成滑塊或JS驗證後觸發允許存取的情況。
說明如果一個請求同時觸發了多個防護模組,則僅記錄最終執行的防護動作。防護動作的優先順序由高到低依次為:攔截(block) > 普通滑塊驗證(captcha) > 動態令牌驗證(sigchl)>JS驗證(js)。
final_plugin
custom_acl最終匹配的防護模組資訊。
若final_action有值,則該欄位為對用戶端請求最終執行的防護動作(final_action)對應的防護模組,即此時final_plugin有且僅有一個模組資訊。
若final_action為空白,則該欄位為用戶端請求匹配到的所有防護規則所屬的防護模組資訊(其中匹配的模組不是Web基礎防護模組或者白名單模組的話,如果模組名後含有"-T"尾碼則表明請求匹配到了該模組下的觀察類規則)。
匹配的防護模組可能有多個值,多個值之間用半形逗號(,)分隔。對應防護模組資訊:
whitelist:表示命中白名單模組規則。
waf:表示命中Web基礎防護模組規則。
custom_acl:表示命中自訂規則模組規則。
ip_blacklist:表示命中IP黑名單模組規則。
region_block:表示命中地區封鎖模組規則。
bot:表示命中Bot管理模組規則。
anti_scan:表示命中掃描防護模組規則。
final_rule_id
20000014最終匹配的防護規則資訊。
若final_action有值,則該欄位為對用戶端請求最終應用的防護規則的ID,即final_action對應的防護規則的ID(只有防護規則ID數字資訊,不含模組資訊)。
若final_action為空白,則該欄位為對用戶端請求匹配到的所有防護規則ID相關資訊,防護規則ID相關資訊按如下規則輸出:"模組名-防護規則ID(-T)"組成(其中白名單模組及Web基礎防護模組對應防護規則資訊不含-T標識,其餘模組若還有-T標識表明對應防護規則ID為觀察類規則)。
匹配的防護規則ID可能有多個值,多個值之間用半形逗號(,)分隔。
操作步驟
登入DCDN控制台。
在左側導覽列,選擇。
在離線日誌下載頁簽下,選擇網域名稱和查詢時間,單擊查詢。
根據查詢結果,單擊操作列下的下載,即可下載日誌。
相關API
擷取加速網域名稱的日誌資訊:查詢網域名稱的離線日誌下載地址。