通過配置Bot管理,您可以設定對應的防爬規則,為瀏覽器網頁、H5頁面或基於iOS/Android原生開發的App提供防爬功能。
前提條件
已開通邊緣WAF服務。具體操作,請參見開通邊緣WAF。
已將網域名稱添加為邊緣WAF的防護對象。具體操作,請參見接入防護網域名稱。
如果您使用的是基於iOS或Android原生開發的App(不包括App中使用的H5頁面),設定App防爬規則前,需要在防護的App應用中整合SDK。詳細操作,請參見Android應用整合SDK或iOS應用整合SDK。
設定網頁防爬規則
如果您通過瀏覽器訪問網頁或H5頁面(包括App中使用的H5頁面)等,您可以通過設定瀏覽器訪問網頁的防爬規則,更有針對性地對業務進行爬蟲風險防護。
登入DCDN控制台。
在左側導覽列,單擊 。
在防護策略頁面,單擊建立策略。
在建立防護策略頁面,配置防護資訊。
自動整合(推薦):
採用基於JavaScript的Web SDK,提升Web瀏覽器情境下的防護效果,避免部分不相容問題。
開啟自動整合後,WAF將自動在防護對象的HTML頁面中引用SDK。SDK採集相關的瀏覽器資訊、特定攻防探針、操作行為等(不涉及個人敏感資訊)後,WAF將根據擷取的資訊請求風險識別和攔截。
手動整合:
若當前環境不適用自動整合,您可以採用手動整合。
觀察:防爬規則會允許存取命中流量並將流量記錄在安全報表中。
滑塊校正:用戶端需完成滑塊校正後才能繼續訪問防護目標。
添加並替換原關聯策略:解除綁定已關聯的策略並替換至當前策略。
添加並保留原關聯策略:當前策略與已綁定的策略同時存在,互不影響。
一個防護網域名稱只能被關聯在同一策略類型的單個防護策略中。
若網域名稱上已有其它同類型策略,選擇為網域名稱配置當前策略後,則該網域名稱的策略資訊將被替換為當前策略。
目前不支援開啟WebSocket協議的DCDN網域名稱配置Bot防護(WebSocket內容加密,無法識別攻擊特徵)。
單擊建立策略。
建立的防護策略預設開啟。
配置模組 | 配置項 | 說明 |
策略資訊 | 策略類型 | 選擇BOT管理。 |
策略名稱稱 | 您自訂的策略名稱稱,支援輸入中文字元、英文字元(大小寫)、數字(0~9)及底線(_),最大輸入64個字元。 | |
全域配置 | 防護目標類型 | 選擇網頁/瀏覽器,表示防護通過瀏覽器訪問的網頁或H5頁面等,包括App中使用純H5頁面呈現的內容。 |
Web SDK整合 | 更多資訊,請參見Web應用整合SDK。 | |
防護目標特徵 | 添加目標流量的HTTP請求欄位及其規則,即訪問該防護目標時,HTTP請求報文中產生的有關該防護業務情境的欄位內容。有關欄位的詳細內容,請參見匹配條件說明。 | |
合法Bot管理 | 搜尋引擎蜘蛛白名單 | 開啟此開關後,支援主流搜尋引擎的爬蟲IP資訊,可動態更新,目前包含Google、百度、搜狗、Bing、360、Yandex。 啟用規則後,來自相關搜尋引擎的合法爬蟲IP將被直接允許存取,不經過Bot管理模組的防護檢測。 |
Bot特徵識別 | 簡單指令碼過濾(JavaScript挑戰) | 開啟此開關後,對訪問防爬防護目標的用戶端進行JS校正,對不支援JS校正的來自非瀏覽器類工具的流量過濾,阻斷簡單指令碼類攻擊。 |
進階Bot防禦(動態令牌挑戰) | 開啟此開關後,對每一次請求資料進行簽名驗證,不能通過驗簽的請求將被攔截。您可以選擇簽名驗證異常(該項為必選,指未攜帶簽名或者簽名非法)、簽章時間戳異常、WebDriver攻擊。 | |
Bot行為識別 | AI智能防護 | 開啟此開關後,防爬規則會通過AI智能防護引擎對訪問流量進行分析和自動學習,產生有針對性的防護規則或黑名單。 |
自訂限速 | IP限速(預設) | 規定在統計時間長度內,來自同一IP地址的訪問次數超過指定閾值時,對來自該IP的訪問請求執行滑塊、攔截或觀察的限速動作,並規定限速動作的限速時間。最多可以設定3個條件。相關內容,請參見自訂規則參數說明。 |
自訂會話限速 | 您可以設定會話類型,自訂會話限速條件來規定在統計時間長度內,來自同一會話的訪問次數超過指定閾值時,對該會話滑塊、攔截或觀察的限速動作,並規定處置動作的限速時間。最多可以設定3個條件。相關內容,請參見自訂規則參數說明。 | |
Bot威脅情報 | 爬蟲威脅情報庫 | 收錄一段時間內在阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP地址。 您可設定爬蟲威脅情報庫為觀察或滑塊校正。 |
IDC黑名單封鎖 | 開啟此開關後,會封鎖選中IP庫。如果您使用公用雲端或IDC機房的源IP來訪問,請注意加白已知的合法調用,如支付寶或微信的支付回調、監控程式等。IDC黑名單封鎖支援如下IP庫:阿里雲、世紀互聯、美團雲、騰訊雲、其他。 您可設定IDC黑名單封鎖為觀察、滑塊校正或攔截。 | |
偽造蜘蛛攔截 | 開啟後將攔截合法Bot管理中所有搜尋引擎的User-Agent,已開啟白名單的搜尋引擎對應的合法用戶端IP將被允許存取。 | |
防護網域名稱 | 選擇關聯策略關係 | |
防護網域名稱 | 選擇需要接入當前防護策略中的網域名稱。 說明 |
設定App防爬規則
如果您使用的是基於iOS或Android原生開發的App(不包括App中使用的H5頁面),您可以通過設定App防爬規則,更有針對性地對業務進行爬蟲風險防護。
登入DCDN控制台。
在左側導覽列,單擊 。
在防護策略頁面,單擊建立策略。
在建立防護策略頁面,配置防護資訊。
配置模組
配置項
說明
策略資訊
策略類型
選擇BOT管理。
策略名稱稱
您自訂的策略名稱稱,支援輸入中文字元、英文字元(大小寫)、數字(0~9)及底線(_),最大輸入64個字元。
全域配置
防護目標類型
選擇APP,表示對使用基於iOS或Android原生開發的App(不包括App中使用的H5頁面)進行防護。
Web SDK整合
採用Native App(Android或iOS)的SDK,提升App情境下的防護效果。SDK整合後,將會採集用戶端的風險特徵並產生安全簽名附帶在請求中,WAF會根據簽名特徵進行請求風險的識別和攔截。您需要單擊擷取並複製appkey,提交工單申請擷取SDK包。更多資訊,請參見Android應用整合SDK或iOS應用整合SDK。
防護目標特徵
添加目標流量的HTTP請求欄位及其規則,即訪問該防護目標時,HTTP請求報文中產生的有關該防護業務情境的欄位內容。有關欄位的詳細內容,請參見匹配條件說明。最多可以添加5個條件。
Bot特徵識別
APP簽名異常
預設選擇APP簽名異常,且不可關閉。防爬規則將檢測App整合SDK後未攜帶簽名或簽名非法的請求。
裝置特徵異常
啟用此項後,防爬規則會對具有異常特徵的裝置發起的請求進行檢測和管控。裝置的異常特徵包括:
簽名到期:預設開啟,表示裝置請求的時間戳記到期。
使用模擬器:表示裝置上使用了模擬器。
使用代理:表示裝置上使用了代理服務。
Root裝置:表示裝置開放了Root許可權。
偵錯模式:表示裝置開啟了偵錯模式。
APP被hook:表示裝置上存在hook程式。
App多開:表示裝置上同時開啟了多個被防護App的進程。
類比執行:表示裝置存在類比使用者行為的操作。
指令碼工具:表示裝置存在自動執行指令碼。
自訂加簽欄位
選擇欄位名,在header、參數、cookie中自訂加簽欄位。
對於簽名對象比較特殊的情境(如body超長、為空白或特殊編碼等情境),可將簽名內容用hash等方式處理後放在自訂的加簽欄位中,WAF將按照此處的內容進行驗簽。
防護動作
您可根據需要將規則設定為觀察或攔截:
觀察:觸發警示,不阻斷請求。
攔截:直接阻斷攻擊請求。
二次打包檢測
啟用此項後,如果有不在合法包名和包簽名白名單中的App請求,將被視為二次打包請求。您可以設定合法版本資訊:
指定合法包名:指定合法的App包名稱。例如,example.aliyundoc.com。
包簽名:請聯絡阿里雲相關安全技術人員擷取。如果無需驗證對應的App包簽名,則包簽名項為空白即可,WAF將只驗證所設定的合法App包名稱。
說明包簽名不是App認證簽名。
新增合法版本支援iOS和Android包,最多可添加5條,且包名稱不允許重複。
您可根據需要將規則設定為觀察或攔截。
Bot限速
IP限速(預設)
規定在統計時間長度內,來自同一IP地址的訪問次數超過指定閾值時,對來自該IP的訪問請求執行攔截、觀察的限速動作,並規定限速動作的限速時間。最多可以設定3個條件。相關內容,請參見自訂規則參數說明。
裝置限速
您可以通過設定裝置限速條件來規定在統計時間長度內,來自同一裝置的訪問次數超過指定閾值時,對來自該裝置的訪問請求執行攔截、觀察的限速動作,並規定限速動作的限速時間。最多可以設定3個條件。相關內容,請參見自訂規則參數說明。
自訂會話限速
您可以設定會話類型,自訂會話限速條件來規定在統計時間長度內,來自同一會話的訪問次數超過指定閾值時,對該會話、攔截、觀察的限速動作,並規定處置動作的限速時間。最多可以設定3個條件。相關內容,請參見自訂規則參數說明。
Bot威脅情報
爬蟲威脅情報庫
收錄一段時間內在阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP地址。
您可設定爬蟲威脅情報庫為觀察或滑塊校正。
IDC黑名單封鎖
開啟此開關後,會封鎖選中IP庫。如果您使用公用雲端或IDC機房的源IP來訪問,請注意加白已知的合法調用,如支付寶或微信的支付回調、監控程式等。IDC黑名單封鎖支援如下IP庫:阿里雲、世紀互聯、美團雲、騰訊雲、其他。
您可設定IDC黑名單封鎖為觀察、滑塊校正或攔截。
防護網域名稱
選擇關聯策略關係
添加並替換原關聯策略:解除綁定已關聯的策略並替換至當前策略。
添加並保留原關聯策略:當前策略與已綁定的策略同時存在,互不影響。
防護網域名稱
選擇需要接入當前防護策略中的網域名稱。
說明一個防護網域名稱只能被關聯在同一策略類型的單個防護策略中。
若網域名稱上已有其它同類型策略,選擇為網域名稱配置當前策略後,則該網域名稱的策略資訊將被替換為當前策略。
單擊建立策略。
建立的防護策略預設開啟。