如果您的業務存在因自動化工具(例如指令碼、模擬器等)造成網站資料被爬取、業務作弊或欺詐、撞庫或垃圾註冊、惡意秒殺或薅羊毛、簡訊介面濫刷等情況,您可以開通Web Application Firewall (WAF)Bot管理,根據機器流量分析資料,制定有針對性的Bot防護策略,緩解核心資料資產泄露和業務營銷活動風險,降低伺服器頻寬費用和負載。本文介紹如何開通和配置Bot管理防護策略。
功能介紹
Bot管理為您提供如下功能,儘可能的協助您快速識別機器流量,防禦爬蟲風險,避免您的業務資料被爬取。
機器流量分析(無需開通Bot管理)
無需開通Bot管理,即可查看機器流量分析的風險介面資料,包括指定時間範圍內的機器流量走勢、存在風險的Top20用戶端和Top20 IP、防護對象的機器流量分析資料,協助您快速識別和定位當前可能存在風險介面。具體操作,請參見查看機器流量分析資料。
針對有風險的介面,您可以申請試用或立即購買Bot管理,為其配置情境化防護策略。關於如何申請試用、立即購買的具體操作,請參見開通Bot管理。
场景化防护(開通Bot管理後支援)
特定業務情境的精細化防控,通過整合SDK,配置針對網頁和App的情境化防護策略,實現最佳防護效果。具體操作,請參見建立網頁防爬情境化防護規則、建立App防爬情境化防護規則。
適用對象:對於機器流量敏感的使用者。
基础防护(開通Bot管理後支援)
基於四層或七層流量指紋識別Bot流量,無需整合SDK,一鍵開啟防護。具體操作,請參見建立基礎防護規則。
適用對象:希望通過配置盡量簡化的防護策略,攔截中低級爬蟲的使用者。
前提條件
已在接入管理頁面完成Web業務接入。具體操作,請參見接入管理概述。
如果需要建立App防爬情境化防護模板,請確保要防護的App已整合SDK。具體操作,請參見Android應用整合SDK、iOS應用整合SDK。
查看機器流量分析資料
登入Web Application Firewall3.0控制台。在頂部功能表列,選擇WAF執行個體的資源群組和地區(中国内地、非中国内地)。
在左側導覽列,選擇。
在機器流量分析頁簽,查看指定防護對象在某個時間段的機器流量走勢、Top20用戶端、Top20 IP、防護對象機器流量分析。
開通Bot管理
登入Web Application Firewall3.0控制台。在頂部功能表列,選擇WAF執行個體的資源群組和地區(中国内地、非中国内地)。
在左側導覽列,選擇。
開通Bot管理。
申請試用
說明進階版、企業版、旗艦版可免費試用一次Bot管理。
試用時間長度為試用申請通過後的7天內。試用結束後,如果您未開通正式版本,試用期間產生的分析資料將被立即清除。如果您需要保留試用期間的資料,繼續使用Bot管理,請在試用結束前,開通正式版Bot管理。
在機器流量分析頁簽,單擊申請試用。按照WAF-Bot管理PoC調查問卷頁面的提示,填寫試用申請資訊並單擊提交。
阿里雲工程師在收到試用申請的一周時間內,將通過提交的連絡方式聯絡您,與您確認試用相關事宜。試用申請審核通過後,您的WAF執行個體會自動開通Bot管理功能。
開通正式版Bot管理
在機器流量分析頁簽,或單擊场景化防护、基础防护頁簽後,單擊立即購買。
在立即購買面板,開啟Bot管理-Web防護或Bot管理-APP防護,並完成支付。
說明開啟Bot管理-Web防護後,您可以配置Bot管理基礎防護規則、網頁防爬情境化規則。
開啟Bot管理-APP防護後,您可以配置Bot管理基礎防護規則、App防爬情境化規則。
如果您需要同時配置Bot管理基礎防護規則、網頁防爬情境化規則、App防爬情境化規則,您可以同時開啟Bot管理-Web防護和Bot管理-APP防護。
開通Bot管理後,您可以單擊機器流量分析頁簽,在防護對象機器流量分析地區,定位到機器流量較高的風險介面,單擊操作列的添加防護,添加情境化防護策略。具體操作,請參見建立網頁防爬情境化防護規則、建立App防爬情境化防護規則。
如果您配置簡化的防護策略,攔截中低級爬蟲,您可以在基础防护頁簽,配置Bot管理基礎防護規則。具體操作,請參見建立基礎防護規則。
建立網頁防爬情境化防護規則
如果您的實際業務通過瀏覽器訪問網頁或H5頁面(包括App中使用的H5頁面)等,您可以建立網頁防爬情境化防護模板,自訂防護規則,防禦網頁爬蟲。
啟用了JavaScript校正或滑块防護動作,當訪問流量命中規則後,Web Application Firewall將對用戶端發起JS校正或滑塊驗證,當用戶端驗證通過後將會在HTTP報文的Header中分別植入Cookie
acw_sc__v2
和acw_sc__v3
,用於標識用戶端已經通過驗證。配置Bot情境化模板,並開啟了自動整合Web SDK,將會在HTTP報文的Header中植入
ssxmod_itna
、ssxmod_itna2
、ssxmod_itna3
Cookie用於擷取用戶端瀏覽器的指紋資訊。收集的指紋資訊包括HTTP報文的host欄位、瀏覽器高度和寬度等。
登入Web Application Firewall3.0控制台。在頂部功能表列,選擇WAF執行個體的資源群組和地區(中国内地、非中国内地)。
在左側導覽列,選擇。
在场景化防护頁簽,單擊新建模板。
在防护场景定义設定精靈頁面,完成如下配置後,單擊下一步。
配置項
說明
模板名称
為該模板設定一個名稱。
長度為1~255個字元,支援中文和大小寫英文字母,可包含數字、半形句號(.)、底線(_)和短劃線(-)。
模板介绍
為該模板填寫相關介紹資訊。
防护目标类型
選擇网页/浏览器,表示防護通過瀏覽器訪問的網頁或H5頁面(包括App中使用的H5頁面)等。
Web SDK集成
更多資訊,請參見Web應用整合SDK。
防护目标特征
添加目標流量的HTTP請求欄位及其規則,即訪問該防護目標時,HTTP請求報文中產生的有關該防護業務情境的欄位內容。最多可以添加5個條件特徵,且各條件之間為與關係。有關欄位的詳細內容,請參見匹配條件說明。
在防护规则推荐嚮導頁面,完成如下配置後,單擊下一步。
配置項
說明
風險識別
勾選業務安全性原則後,請填寫相關資訊。更多詳情,請參見風險識別。
啟用規則後,與風險識別產品融合,配置後可實現針對黃牛等異常手機號的訪問阻斷,根據規則命中情況進行後付費。
合法Bot管理
勾選搜索引擎蜘蛛白名单後,選擇合法搜尋引擎白名單。
啟用規則後,來自相關搜尋引擎的合法爬蟲IP將被直接允許存取,不經過Bot管理模組的防護檢測。
Bot特征识别
Bot行为识别
Bot威胁情报
在生效范围嚮導頁面,完成如下配置後,單擊下一步。
配置項
說明
生效对象
選中需要應用的防護對象或防護對象組,單擊
表徵圖,將該防護對象或防護對象組移入已选择对象地區內。
生效時間及規則灰階
您需要為已選擇的防護規則設定規則灰階和生效時間。如果不設定,則規則預設關閉規則灰階,且永久生效。
定位到目標規則,單擊操作列的編輯。
配置規則灰階和生效時間。
規則灰階:配置規則針對不同維度對象的生效比例。
開啟規則灰階後,您還需要設定灰階維度和灰階比例。灰階維度包括:IP、自訂header、自訂參數、自訂Cookie、Session。
說明灰階規則是基於您設定的維度進行灰階,而不是對請求按比例隨機生效規則。例如,若您選擇IP維度進行灰階規則,那麼觸發該灰階規則的IP請求就都會命中該防護規則。
生效時間模式
永久生效(預設):防護模板開啟時,規則永久生效。
按時間段生效:您可以將具體某一時區的一段時間設定為防護規則的生效時間。
按周期生效:您可以將具體某一時區的每一天的一段時間設定為防護規則的生效時間。
您也可以選中多個規則,批量修改規則灰階和生效時間模式。
在防护效果验证嚮導頁面,測試防爬防護規則。
建議您先完成防護動作驗證,再發布策略,避免出現因規則配置錯誤、相容性等問題引發誤攔截。如果您確認規則配置無誤,也可以單擊左下角跳过,直接创建。
驗證步驟如下:
建立的規則模板預設開啟。您可以在场景化防护頁簽的規則模板卡片地區執行如下操作:
單擊規則模板卡片,查看該模板包含的規則資訊。
复制、编辑或删除規則模板。
通過模板開關,開啟或關閉模板。
查看模板的規則動作和關聯的防护对象/组數量。
建立App防爬情境化防護規則
如果您的實際業務是基於iOS或Android原生開發的App(不包括App中使用的H5頁面)等,您可以建立App防爬情境化防護模板,自訂防護規則,防禦App爬蟲。
啟用了JavaScript校正或滑块防護動作,當訪問流量命中規則後,Web Application Firewall將對用戶端發起JS校正或滑塊驗證,當用戶端驗證通過後將會在HTTP報文的Header中分別植入Cookieacw_sc__v2
和acw_sc__v3
,用於標識用戶端已經通過驗證。
登入Web Application Firewall3.0控制台。在頂部功能表列,選擇WAF執行個體的資源群組和地區(中国内地、非中国内地)。
在左側導覽列,選擇。
在场景化防护頁簽,單擊建立模板。
在防护场景定义設定精靈頁面,完成如下配置後,單擊下一步。
配置項
說明
模板名称
為該模板設定一個名稱。
長度為1~255個字元,支援中文和大小寫英文字母,可包含數字、半形句號(.)、底線(_)和短劃線(-)。
模板介绍
為該模板填寫相關介紹資訊。
防护目标类型
選擇APP,表示對使用基於iOS或Android原生開發的App(不包括App中使用的H5頁面)進行防護。
APP SDK集成
WAF提供基於Native App(Android/iOS)的SDK用以提升該情境下的防護效果。SDK整合後將會採集用戶端的風險特徵並產生安全簽名附帶在請求中,WAF會根據簽名特徵進行請求風險的識別和攔截。
您可以通過如下方式,整合App SDK:
請提交工單聯絡我們,擷取iOS應用對應的SDK。
單擊获取并复制appkey,用於發起SDK初始化請求。
整合App SDK。具體操作,請參見iOS應用整合SDK。
防护目标特征
添加目標流量的HTTP請求欄位及其規則,即訪問該防護目標時,HTTP請求報文中產生的有關該防護業務情境的欄位內容。最多可以添加5個條件特徵,且各條件之間為與關係。有關欄位的詳細內容,請參見匹配條件說明。
在防护规则推荐嚮導頁面,完成如下配置後,單擊下一步。
配置項
說明
風險識別
勾選業務安全性原則後,請填寫相關資訊。更多詳情,請參見風險識別。
啟用規則後,與風險識別產品融合,配置後可實現針對黃牛等異常手機號的訪問阻斷,根據規則命中情況進行後付費。
Bot特征识别
識別規則
防護動作
您可根據需要為配置的Bot特征识别規則,設定處置動作為观察、拦截或严格滑块。
進階防護
單擊高级防护,進行如下設定:
Bot行为识别
勾選AI智能防护後,需要為被識別的Bot行為配置規則動作為观察、滑块、严格滑块或回源標記。如果設定為回源標記,您還需要設定回源時標記的Header名稱、Header內容。
開啟此開關後,防爬規則會通過AI智能防護引擎對訪問流量進行分析和自動學習,產生有針對性的防護規則或黑名單。
Bot限速
開啟此開關後,可自訂訪問頻率限制條件,有針對性地對訪問頻率過高的爬蟲請求進行過濾,有效緩解CC攻擊。
Bot威胁情报
在生效范围嚮導頁面,完成如下配置後,單擊下一步。
配置項
說明
生效对象
選中需要應用的防護對象或防護對象組,單擊
表徵圖,將該防護對象或防護對象組移入已选择对象地區內。
生效時間及規則灰階
您需要為已選擇的防護規則設定規則灰階和生效時間。如果不設定,則規則預設關閉規則灰階,且永久生效。
定位到目標規則,單擊操作列的編輯。
配置規則灰階和生效時間。
規則灰階:配置規則針對不同維度對象的生效比例。
開啟規則灰階後,您還需要設定灰階維度和灰階比例。灰階維度包括:IP、自訂header、自訂參數、自訂Cookie、Session。
說明灰階規則是基於您設定的維度進行灰階,而不是對請求按比例隨機生效規則。例如,若您選擇IP維度進行灰階規則,那麼觸發該灰階規則的IP請求就都會命中該防護規則。
生效時間模式
永久生效(預設):防護模板開啟時,規則永久生效。
按時間段生效:您可以將具體某一時區的一段時間設定為防護規則的生效時間。
按周期生效:您可以將具體某一時區的每一天的一段時間設定為防護規則的生效時間。
您也可以選中多個規則,批量修改規則灰階和生效時間模式。
在防护效果验证嚮導頁面,測試防爬防護規則。
建議您先完成防護動作驗證,再發布策略,避免出現因規則配置錯誤、相容性等問題引發誤攔截。如果您確認規則配置無誤,也可以單擊左下角跳过,直接创建。
驗證步驟如下:
建立的規則模板預設開啟。您可以在场景化防护頁簽的規則模板卡片地區執行如下操作:
單擊規則模板卡片,查看該模板包含的規則資訊。
复制、编辑或删除規則模板。
通過模板開關,開啟或關閉模板。
查看模板的規則動作和關聯的防护对象/组數量。
建立基礎防護規則
如果您的業務遭遇中低級爬蟲,您可以配置較簡單的基礎防護規則。基礎防護不提供預設規則模板。如果您需要啟用該功能,必須建立一個規則模板。
登入Web Application Firewall3.0控制台。在頂部功能表列,選擇WAF執行個體的資源群組和地區(中国内地、非中国内地)。
在左側導覽列,選擇。
在基礎防護頁簽,單擊新建模板。
在建立模板 - Bot管理面板,完成如下配置後,單擊确定。
配置項
說明
模板名称
為該模板設定一個名稱。
長度為1~255個字元,支援中文和大小寫英文字母,可包含數字、半形句號(.)、底線(_)和短劃線(-)。
模板介绍
為該模板填寫相關介紹資訊。
规则动作
為該防護規則配置處置動作為拦截或观察。
進階設定
規則灰階:配置規則針對不同維度對象的生效比例。
開啟規則灰階後,您還需要設定灰階維度和灰階比例。灰階維度包括:IP、自訂header、自訂參數、自訂Cookie、Session。
說明灰階規則是基於您設定的維度進行灰階,而不是對請求按比例隨機生效規則。例如,若您選擇IP維度進行灰階規則,那麼觸發該灰階規則的IP請求就都會命中該防護規則。
生效時間模式
永久生效(預設):防護模板開啟時,規則永久生效。
按時間段生效:您可以將具體某一時區的一段時間設定為防護規則的生效時間。
按周期生效:您可以將具體某一時區的每一天的一段時間設定為防護規則的生效時間。
生效对象
從已添加的防護對象及對象組中,選擇要應用該模板的防護對象和防護對象組。
一個防護對象或對象組只能關聯到當前防護模組下的一個模板。關於添加防護對象和對象組的具體操作,請參見配置防護對象和防護對象組。
建立的規則模板預設開啟。您可以在基礎防護頁簽的規則模板卡片地區執行如下操作:
查看模板包含的規則ID。
說明一個基礎防護模板包含三個規則ID,包括兩個白名單規則ID、一個ACL和CC防護規則群組成的規則ID。您可以通過該規則ID,在安全報表查看防護效果。具體操作,請參見安全報表。
复制、编辑或删除規則模板。
通過模板開關,開啟或關閉模板。
查看模板的規則動作和關聯的防护对象/组數量。
防爬策略測試常見問題
若在防护效果验证時出現異常情況,可參考表格解決對應問題。
報錯 | 原因 | 解決方案 |
未查詢到任何有效測試請求,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 實際測試請求沒有發送成功,或者沒有發送到WAF。 | 確認測試請求已經成功發送到WAF解析的地址。 |
實際測試請求的欄位內容與防爬規則中定義的防护目标特征不一致。 | 在防爬策略中修改防護目標特徵的內容。 | |
實際測試請求的源IP與配置策略中填寫的公網測試IP不一致。 | 請確保您使用的是正確的公網IP,建議直接使用診斷工具查詢您的公網IP地址。 | |
請求未通過校正,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 沒有類比真實使用者訪問,例如使用了偵錯模式、自動化工具等。 | 測試時使用用戶端真實類比使用者訪問。 |
防護情境選擇錯誤,例如實際需要配置App防爬情境規則,但錯選為网页/浏览器。 | 在防爬情境化規則中修改防護情境類型。 | |
訪問請求存在跨域的情況,但在防爬情境化規則中未正確配置。 | 修改防爬情境化規則,選中 防护目标有来自其它防护对象的跨域调用並從下拉式清單中選擇跨域訪問的來源網域名稱。 | |
前端相容性問題。 | 請提交工單,聯絡我們。 | |
請求未觸發校正,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 測試規則沒有下發完畢。 | 建議您多測試幾次,等待防爬測試規則下發完成。 |
未攔截且查詢到任何有效測試請求,您可以查看協助文檔或諮詢我們以分析可能的原因。 | 實際測試請求沒有發送成功,或者沒有發送到WAF。 | 確認測試請求已經成功發送到WAF解析的地址。 |
實際測試請求的欄位內容與防爬規則中定義的防護目標特徵不一致。 | 在防爬策略中修改防護目標特徵的內容。 | |
實際測試請求的源IP與配置策略中填寫的公網測試IP不一致。 | 請確保您使用的是正確的公網IP,建議直接使用診斷工具查詢您的公網IP地址。 |
後續步驟
您可以在安全報表頁面,查詢防護規則的執行記錄。更多資訊,請參見安全報表。