全部產品
Search
文件中心

Anti-DDoS:快速使用全量日誌分析

更新時間:Dec 27, 2024

將網站接入DDoS高防後,您可以通過全量日誌分析採集和儲存網站的日誌資料,並對採集到的日誌資料進行查詢與分析。本文介紹如何快速使用全量日誌分析功能。

使用前須知

使用前請您瞭解什麼是全量日誌分析、如何計算所需的日誌儲存容量、日誌採樣說明等基本資料。詳細內容,請參見概述

前提條件

  • 已購買DDoS高防執行個體並將網站業務接入DDoS高防進行防護。具體操作,請參見添加網站

  • 已登入Log Service控制台,根據頁面提示開通阿里雲Log Service。

步驟一:購買全量日誌分析

  1. 登入DDoS高防控制台

  2. 在頂部功能表列左上方處,選擇地區。

    • DDoS高防(中國內地):選擇中國內地地區。

    • DDoS高防(非中國內地):選擇非中國內地地區。

  3. 在左側導覽列,選擇調查分析 > 全量日誌分析

  4. 全量日誌分析頁面,單擊立即購買

  5. 全量日誌購買頁面,完成配置項設定後,單擊立即購買並完成支付。

    配置項

    說明

    適用產品

    選擇DDoS執行個體類型。

    日誌儲存量

    選擇日誌資料的最大儲存空間,單位:TB。

    當日誌儲存空間足夠大且在服務有效期間內,將從使用服務的第一天開始,連續儲存180天的日誌資料。第181天的日誌資料,將覆蓋第一天儲存的日誌資料,即始終保持儲存最近180天的全量日誌資料。

    重要

    當您選購的日誌儲存空間佔滿後,將停止儲存新的日誌資料。

    購買時間長度

    選擇服務有效期間。

    重要

    全量日誌分析服務到期後,將停止儲存新的日誌資料。

步驟二:授權DDoS高防將日誌資料存放區到Log Service

  1. 返回全量日誌分析頁面,根據頁面提示完成授權。

    系統會自動建立服務關聯角色AliyunDDoSCOOLogArchiveRole,DDoS高防使用該角色訪問Log Service,將日誌資料存放區到Log Service專屬日誌庫。

  2. 為DDoS高防(非中國內地)執行個體選擇Logstore的地區,即日誌資料的儲存地區。

    支援選擇新加坡或印尼(雅加達)。

    重要
    • 地區選擇後不支援更換,如需更換隻能關閉Log Service並重新開啟,但關閉操作會刪除Logstore和全部日誌內容,請謹慎操作。

    • DDoS高防(中國內地)無需設定地區,預設儲存在杭州地區。

    • 開啟Log Service後,DDoS高防將在阿里雲Log ServiceSLS中按您指定的地區建立Logstore,並採集指定防護對象的日誌投遞到該Logstore中。

步驟三:開啟日誌採集

全量日誌分析頁面,為網站網域名稱開啟日誌採集。

  • 為單個網域名稱開啟日誌採集:從選擇網域名稱下拉式清單中選擇目標網域名稱,開啟狀態開關。

  • 批量為網域名稱開啟日誌採集:單擊頁面右上方的批量配置,並在批量配置面板選中多個網域名稱,單擊批量开启

開啟日誌採集後,Log Service將自動為DDoS高防建立一個專屬的記錄項目(Project),用於管理DDoS高防的日誌資料。

您可以在Log Service控制台的首頁查看DDoS高防專屬記錄項目。DDoS高防(中國內地)服務的專屬記錄項目名稱以ddoscoo-project開頭,DDoS高防(非中國內地)服務的專屬記錄項目名稱以ddosdip-project開頭。專屬記錄項目預設包含以下資源:

  • 1個專屬日誌庫(Logstore),用於儲存DDoS高防的日誌資料。DDoS高防(中國內地)服務的專屬日誌庫名稱為ddoscoo-logstore,DDoS高防(非中國內地)服務的專屬日誌庫名稱為ddosdip-logstore

  • 2個預設的日誌儀錶盤(DDoS訪問中心、DDoS營運中心),用於展示日誌分析圖形報表。DDoS高防(中國內地)和DDoS高防(非中國內地)服務的日誌儀錶盤內容相同。

(可選)步驟四:查詢和分析全量日誌

  1. 全量日誌分析頁面的選擇網域名稱列表中,選擇目標網域名稱。

  2. 全量日誌頁簽,設定查詢的時間範圍。

    說明
    • DDoS高防日誌的預設儲存時間為180天,180天之前的日誌資料會被刪除。預設情況下只支援查詢最近180天內的日誌資料。

    • 查詢結果相對於指定的時間範圍有1分鐘以內的誤差。

  3. 在查詢方塊中輸入查詢分析語句,然後單擊查詢/分析

    查詢分析語句由查詢語句和分析語句兩個部分組成,通過豎線(|)進行分隔,格式:查詢語句|分析語句

    語句類型

    是否可選

    說明

    查詢語句

    可選

    查詢條件,可以為查詢關鍵詞、模糊查詢、數值、數值範圍和組合條件。

    如果為空白或星號(*),表示針對目前時間段所有資料不設定任何過濾條件,即返回所有資料,詳情請參見查詢文法

    說明

    關於DDoS高防訪問日誌的日誌欄位說明,請參見全量日誌欄位說明

    分析語句

    可選

    對查詢結果或全量資料進行計算和統計。

    如果為空白,表示只返回查詢結果,不做統計分析,詳情請參見分析概述

    說明
    • 分析語句中可以省略SQL標準文法中的from 表格名語句,即from log

    • 日誌資料預設返回前100條,您可以通過LIMIT子句修改返回範圍。

    查詢分析語句執行後預設按表格方式展示分析結果,您還可以選擇折線圖、柱狀圖、餅圖等多種圖形方式進行展示。具體操作,請參見統計圖表概述

    您也可以根據儀錶盤中的查詢圖表設定警示,實現即時的服務狀態監控。具體操作,請參見警示簡介

    查看常見的查詢分析語句

    • 查詢網域名稱的訪問量

      * | SELECT COUNT(*) as times, host GROUP by host ORDER by times desc limit 100
    • 查詢攔截類型

      * | select cc_action,cc_phase,count(*) as t group by cc_action,cc_phase order by t desc limit 10
    • 查詢QPS

      * | select time_series(__time__,'15m','%H:%i','0') as time,count(*)/900 as QPS group by time order by time
    • 查詢被攻擊網域名稱

      * and cc_blocks:1 | select cc_action,cc_phase,count(*) as t group by cc_action,cc_phase order by t desc limit 10
    • 查詢被攻擊URL

      * and cc_blocks:1 | select count(*) as times,host,request_path group by host,request_path order by times
    • 查詢請求詳情

      * | select date_format(date_trunc('second',__time__),'%H:%i:%s') as time,host,request_uri,request_method,status,upstream_status,querystring limit 10
    • 查詢5XX狀態代碼詳情

      * and status>499 | select host,status,upstream_status,count(*)as t group by host,status,upstream_status order by t desc
    • 查詢請求時延分布

      * | SELECT count_if(upstream_response_time<20) as "<20",
      count_if(upstream_response_time<50 and upstream_response_time>20) as "<50",
      count_if(upstream_response_time<100 and upstream_response_time>50) as "<100",
      count_if(upstream_response_time<500 and upstream_response_time>100) as "<500",
      count_if(upstream_response_time<1000 and upstream_response_time>500) as "<1000",
      count_if(upstream_response_time>1000) as ">1000"

(可選)步驟五:查詢日誌報表

儀錶盤是Log Service提供的即時資料分析大盤,使用常用查詢語句擷取分析結果後,您可以將結果圖表儲存到儀錶盤中。全量日誌分析服務預設為您提供DDoS訪問中心DDoS營運中心兩個儀錶盤。

  1. 全量日誌分析頁面的選擇網域名稱列表中,選擇目標網域名稱。

  2. 單擊日誌報表頁簽,單擊時間選擇設定時間範圍。

    說明

    日誌報表中所有圖表都是基於不同時間段的資料統計結果,例如訪問量的預設時間範圍為1小時,訪問趨勢為1周。設定時間範圍後當前頁面的所有圖表均按照設定的時間範圍進行顯示。

  3. 查看DDoS高防預設儀錶盤。

    日誌報表展示地區按照預定義的布局展示多個報表,包含不同的圖表類型。關於圖表類型的說明,請參見統計圖表概述

    • DDoS訪問中心:展示網站的基本指標(PV、UV、流入流量、頻寬峰值)、訪問趨勢、請求來源分布、其他統計資訊(例如訪問網域名稱、用戶端類型等)。

      DDoS訪問中心

      圖表名稱

      類型

      預設時間範圍

      描述

      範例

      PV

      單值

      1小時(相對)

      請求總數。

      100000

      UV

      單值

      1小時(相對)

      獨立的訪問用戶端的總數。

      100000

      流入流量

      單值

      1小時(相對)

      網站的流入流量總和,單位為MB。

      300 MB

      網路in頻寬峰值

      單值

      今天(整點時間)

      網站請求的流入流量速率的峰值,單位為Bytes/s。

      100 Bytes/s

      網路out頻寬峰值

      單值

      今天(整點時間)

      網站請求的流出流量速率的峰值,單位為Bytes/s。

      100 Bytes/s

      流量頻寬趨勢

      雙線圖

      1周(相對)

      網站流入流出流量的趨勢圖,單位為KB/s。

      PV/UV訪問趨勢

      雙線圖

      1周(相對)

      PV與UV的趨勢圖,單位為個。

      訪問狀態分布

      餅圖

      1周(相對)

      各種請求處理狀態(400、304、200等)的趨勢圖,單位為個/分鐘。

      訪問來源

      世界地圖

      1小時(相對)

      訪問者PV在來源國家的分布。

      流入流量來源(世界)

      世界地圖

      1小時(相對)

      流入流量總和在來源國家的分布,單位為MB。

      流入流量來源(中國)

      中國地圖

      1小時(相對)

      流入流量總和在來源省份的分布,單位為MB。

      訪問熱力圖

      高德地圖

      1小時(相對)

      訪問者在地理位置上的訪問熱力圖。

      來源網路供應商

      環圖

      1小時(相對)

      訪問者通過網路電訊廠商接入的流入流量分布,例如電信、聯通、移動、教育網等,單位為MB。

      Referer

      表格

      1小時(相對)

      前100個最多的跳轉Referer URL、主機以及次數等。

      接入線路分布

      環圖

      1小時(相對)

      訪問請求接入的DDoS高防線路的分布。

      用戶端類型分布

      環圖

      1小時(相對)

      前20個被訪問最多的User Agent(使用者代理程式),例如iPhone、iPad、Widnows IE、Chrome等。

      請求內容類型分布

      環圖

      1小時(相對)

      前20個最多的請求內容類型,例如HTML、Form、JSON、流資料等。

      訪問網域名稱

      環圖

      1小時(相對)

      前20個被訪問最多的網域名稱。

      訪問最多的用戶端

      表格

      1小時(相對)

      前100個訪問最多的用戶端資訊,包括IP、PV、流入流量、錯誤訪問次數、攻擊次數等。

      響應最慢的URL

      表格

      1小時(相對)

      前100個回應時間最長的URL資訊,包括網站、URL、回應時間、訪問次數等。

    • DDoS營運中心:展示網站的總體營運狀況,包括頻寬流入流出趨勢、請求與攔截趨勢、攻擊者列表、被訪問網站列表等。

    您可以通過單擊右上方的訂閱按鈕訂閱儀錶盤功能,通過郵件或者DingTalk群訊息將儀錶盤內容定時推送給指定對象。具體操作,請參見訂閱儀錶盤

相關文檔

雲產品日誌通用操作