全部產品
Search
文件中心

:投遞CDN即時日誌到SLS來分析使用者訪問資料最佳實務

更新時間:Nov 15, 2024

本文介紹如何使用即時日誌功能對使用者訪問日誌進行分析。

概述

阿里雲CDN產品的即時日誌功能是CDN產品與SLS產品聯合推出的一項功能,是一種時效性非常高(延遲在3分鐘左右)的日誌資料處理服務,能夠將CDN節點上採集到的使用者訪問日誌即時推送至SLSLog Service,然後可以通過SLS來儲存和分析使用者訪問資料。在使用阿里雲CDN產品來加速網站網域名稱訪問速度的情況下,使用者訪問網站的圖片、視頻等資源時,CDN會記錄使用者的訪問日誌,如果您需要對使用者訪問日誌進行分析來瞭解使用者構成、訪問品質或者快速定位問題,您可以使用即時日誌功能來快速實現。

前提條件

  • 開通CDN服務:參考開通CDN服務開通了CDN產品,並且添加了加速網域名稱。

  • 開通SLS服務:參考Log Service快速入門開通了SLSLog Service產品。

  • 配置即時日誌推送:參考配置即時日誌推送為需要分析使用者訪問資料的CDN加速網域名稱配置即時日誌推送。

CDN提供的即時日誌與離線Log Service的區別

  • 日誌延遲

    CDN即時日誌為即時採集的日誌資料,日誌資料延遲不超過3分鐘,而離線日誌的資料延遲通常在24小時之內。

  • 日誌分析

    CDN即時日誌打通了SLSLog Service的日誌轉存和日誌分析能力,預製了CDN基礎資料、CDN錯誤分析、CDN熱門資源、CDN使用者分析這四張常用分析報表,也支援自訂日誌分析策略,可以一站式提供日誌儲存和日誌分析能力,而離線日誌目前只支援日誌轉存到OSS雲端儲存,尚未打通日誌分析能力。

即時Log Service的優勢

  • 日誌延遲小

    日誌資料延遲不超過3分鐘,可以協助您快速對訪問日誌進行分析,及時發現問題並做出應對決策。

  • 一站式服務

    傳統的離線日誌分析模式,需要使用者將日誌下載,再重新上傳至資料倉儲,然後在資料倉儲進行一系列的清洗和資料模型定義,這一系列操作處理完以後才能進行資料分析,整個過程需要的人力較多,時間較長;CDN即時日誌打通了SLSLog Service的日誌轉存和日誌分析能力,免去傳統模式下繁瑣的離線日誌分析流程。

適用情境

即時日誌可以協助您分析加速網域名稱遇到的異常問題,也可以協助您瞭解使用者的訪問情況。阿里雲CDN即時日誌在提供預製日誌分析報表的同時,還支援自訂日誌分析策略,可以滿足不同情境下的需求。

預製的日誌分析報表

日誌分析情境

報表作用描述

CDN基礎資料

該資料可以協助您快速瞭解到CDN整體的服務品質以及終端使用者的訪問效率(命中率、訪問延時、下載速度等),同時也可以在服務品質出現異常情況下及時進行處理。

CDN訪問錯誤

該資料可以協助您在應用訪問出現異常時,快速定位到CDN服務問題的源頭,例如:部分URI問題、來源站點出現故障、部分節點不可用、部分省份網路問題、部分電訊廠商網路問題等。

CDN熱門資源

該資料可以協助您更好地瞭解熱門資源情況,分析出熱門網域名稱、熱門URI、熱門省份、熱門電訊廠商等,您也可以從熱門資料瞭解到您的營運活動效果是否正常、熱點時間內流量的上漲是否符合預期,以協助您及時調整營運策略。

CDN使用者構成

該資料可以協助您更好地瞭解網站的使用者構成,包括使用者的用戶端類型、省份、電訊廠商等,也能夠統計出訪問量TOP使用者、下載量TOP使用者。

在即時日誌功能頁面找到需要分析日誌的Project名稱,然後單擊查看報表即可進入日誌分析報表範本的查看頁面。

CDN投遞SLS適用情境

在資料查詢範本頁面,預設情況下查詢的是全量網域名稱的資料,也可以查詢指定網域名稱或者URI的資料。

CDN投遞SLS適用情境2

具體使用方法您可以參考以下幾個章節:

自訂日誌分析

在預製的日誌分析報表無法滿足您的需求時,您可以使用SLS產品強大的日誌分析能力來實現自訂日誌分析。

例如:查看響應狀態代碼為499的網域名稱熱門排行榜、查看響應狀態代碼為502的網域名稱熱門排行榜。

在即時日誌功能頁面找到需要分析日誌的Project名稱,然後單擊日誌分析即可進入自訂日誌分析功能的頁面。

自訂日誌分析

在自訂分析介面,您可以在搜尋方塊裡面輸入查詢語句直接查詢日誌資料(通常適用於比較複雜的查詢條件),也可以直接單擊左側原始日誌欄的日誌欄位來過濾日誌(通常適用於比較簡單的過濾條件)。

自訂日誌分析2

具體使用方法您可以參考:自訂報表

建立即時日誌推送Project

您可以參考配置即時日誌推送建立一個SLSLog Service的project,用於儲存CDN產品指定網域名稱(例如:aliyun.example.com)推送的即時日誌。

建立成功的效果如下圖,Project名稱為project-example,Logstore名稱為project-example,日誌儲存地區為cn-hangzhou(華東1-杭州)。

建立即時日誌推送project

預製報表:CDN基礎資料

CDN基礎資料可以協助您快速瞭解到CDN整體的服務品質以及終端使用者的訪問效率(命中率、訪問延時、下載速度等),同時也可以在服務品質出現異常情況下及時進行處理。

包括以下資料(可以查看總的資料,也可以按網域名稱或者URI查看):

  • 健康度:響應正常的狀態代碼總數佔比。

  • 快取命中率:資源的平均快取命中率(按位元組數來統計的命中率)。

  • 下載速度:資源的平均下載速度。

  • 訪問狀態:每一種響應狀態代碼的佔比,可以用於快速查看當前異常狀態代碼的佔比。

  • 訪問延時分布:每一個延時段的佔比。

  • 請求頻寬:分鐘粒度的頻寬值。

  • 訪問次數/人數:PV、UV值。

  • 請求命中率:按請求數來統計的命中率。

  • 訪問延時:用於下載資源的平均訪問延時。

CDN基礎資料CDN基礎資料2

預製報表:CDN訪問錯誤

CDN訪問錯誤資料可以協助您在應用訪問出現異常時,快速定位到CDN服務問題的源頭,例如:部分URI問題、來源站點出現故障、部分節點不可用、部分省份網路問題、部分電訊廠商網路問題等。

包括以下資料(可以查看總的資料,也可以按網域名稱或者URI查看):

  • 錯誤網域名稱訪問Top10:按不同網域名稱訪問產生的錯誤佔比統計Top網域名稱。

  • 錯誤URI訪問Top10:按不同URI產生的錯誤佔比統計Top URI。

  • 請求錯誤百分比:分時間統計4xx、5xx狀態代碼的佔比。

  • 錯誤請求狀態分布:統計各個狀態代碼的數量、佔比。

  • 錯誤電訊廠商統計:統計不同電訊廠商的4xx、5xx狀態代碼數量。

  • 錯誤按省份統計:統計不同省份的4xx、5xx狀態代碼數量。

  • 錯誤詳情(4xx):統計不同省份、電訊廠商的4xx狀態代碼數量、佔比。

  • 錯誤詳情(5xx):統計不同省份、電訊廠商的5xx狀態代碼數量、佔比。

  • 錯誤按用戶端分布:統計不同的用戶端UA(user-agent)對應的4xx、5xx狀態代碼數量及佔比。

CDN訪問錯誤1CDN訪問錯誤2CDN訪問錯誤3

預製報表:CDN熱門資源

CDN熱門資源資料可以協助您更好地瞭解熱門資源情況,分析出熱門網域名稱、熱門URI、熱門省份、熱門電訊廠商等,您也可以從熱門資料瞭解到您的營運活動效果是否正常、熱點時間內流量的上漲是否符合預期,以協助您及時調整營運策略。

包括以下資料(可以查看總的資料,也可以按網域名稱或者URI查看):

  • 訪問次數Top網域名稱:按總訪問次數佔比統計Top網域名稱。

  • 下載流量Top網域名稱:按總下載流量佔比統計Top網域名稱。

  • 熱門訪問URI:統計各個URI的訪問次數、訪問人數、下載總量。

  • 熱門訪問來源:統計熱門Referer來源網域名稱,並且記錄訪問次數、UV、佔比。

  • 全國訪問次數統計:分別統計各個省份的平均訪問次數。

  • 全國下載網速:分別統計各個省份的平均下載速度。

  • 省份統計:分別統計各個省份的總訪問次數、總下載流量、平均下載速度。

  • 電訊廠商流量和速度:分別統計各個電訊廠商的下載總量和平均下載速度。

  • 電訊廠商統計:分別統計各個電訊廠商的總訪問次數、總下載流量、平均下載速度。

CDN熱門資源1CDN熱門資源2

預製報表:CDN使用者構成

CDN使用者構成資料可以協助您更好地瞭解網站的使用者構成,包括使用者的用戶端類型、省份、電訊廠商等,也能夠統計出訪問TOP使用者、下載量TOP使用者。

包括以下資料(可以查看總的資料,也可以按網域名稱或者URI查看):

  • 訪問次數:總訪問次數,PV。

  • 訪問人數:總訪問人數,UV。

  • 訪問地區分布:分別統計各個省份的訪問次數、佔比。

  • 訪問用戶端統計:分別統計各個用戶端類型的訪問次數、佔比。

  • 電訊廠商次數統計:分別統計各個電訊廠商的總訪問次數、佔比。

  • 下載量Top使用者:按IP統計使用者的總訪問數、錯誤訪問數、下載總量。

  • 有效訪問Top使用者:按IP統計使用者的總訪問數、錯誤訪問數、下載總量(去掉4xx、5xx這些無效訪問)。

CDN使用者構成

訂閱報表範本資料

如果您需要SLSLog Service定期將報表範本的資料發送給您,那麼您可以使用訂閱功能。

操作步驟

  1. 以CDN基礎資料頁面為例,單擊右上方的訂閱,然後單擊建立訂閱報表範本資料1

  2. 在側滑出現的配置視窗中輸入訂閱名稱頻率全域時間,然後單擊下一步訂閱報表範本資料2

  3. 通知清單的下拉式功能表中選擇通知方式並填寫相關資訊後,單擊提交即可成功建立。

    通知方式目前支援郵件、WebHook-DingTalk機器人、WebHook-飛書機器人、WebHook-企業微信機器人和微信。

    訂閱報表範本資料3

自訂報表

  • 樣本1:查看最近30天內,響應狀態代碼為499的網域名稱熱門排行榜。

    日誌分析語句:return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10

    樣本1

  • 樣本2:查看最近30天內,響應狀態代碼為502的網域名稱熱門排行榜。

    日誌分析語句:return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10

    樣本2

  • 樣本3:查看最近30天內,訪問URI為/cpu的日誌資料。

    可以直接單擊左側原始日誌欄的URI欄位,然後單擊/cpu即可過濾出需要的日誌。

    image