Web Application Firewall：開通和配置Bot管理

功能介紹

Bot管理為您提供如下功能，儘可能的協助您快速識別機器流量，防禦爬蟲風險，避免您的業務資料被爬取。

• 機器流量分析（無需開通Bot管理）

  無需開通Bot管理，即可查看機器流量分析的風險介面資料，包括指定時間範圍內的機器流量走勢、存在風險的Top20用戶端和Top20 IP、防護對象的機器流量分析資料，協助您快速識別和定位當前可能存在風險介面。具體操作，請參見查看機器流量分析資料。

  針對有風險的介面，您可以申請試用或立即購買Bot管理，為其配置情境化防護策略。關於如何申請試用、立即購買的具體操作，請參見開通Bot管理。

• 场景化防护（開通Bot管理後支援）

  特定業務情境的精細化防控，通過整合SDK，配置針對網頁和App的情境化防護策略，實現最佳防護效果。具體操作，請參見建立網頁防爬情境化防護規則、建立App防爬情境化防護規則。

  適用對象：對於機器流量敏感的使用者。

• 基础防护（開通Bot管理後支援）

  基於四層或七層流量指紋識別Bot流量，無需整合SDK，一鍵開啟防護。具體操作，請參見建立基礎防護規則。

  適用對象：希望通過配置盡量簡化的防護策略，攔截中低級爬蟲的使用者。

前提條件

• 已在接入管理頁面完成Web業務接入。具體操作，請參見接入管理概述。

• 如果需要建立App防爬情境化防護模板，請確保要防護的App已整合SDK。具體操作，請參見Android應用整合SDK、iOS應用整合SDK。

查看機器流量分析資料

1. 登入Web Application Firewall3.0控制台。在頂部功能表列，選擇WAF執行個體的資源群組和地區（中国内地、非中国内地）。

2. 在左側導覽列，選擇防护配置 > BOT管理。

3. 在機器流量分析頁簽，查看指定防護對象在某個時間段的機器流量走勢、Top20用戶端、Top20 IP、防護對象機器流量分析。

開通Bot管理

1. 登入Web Application Firewall3.0控制台。在頂部功能表列，選擇WAF執行個體的資源群組和地區（中国内地、非中国内地）。

2. 在左側導覽列，選擇防护配置 > BOT管理。

3. 開通Bot管理。

   • 申請試用

     說明

     • 進階版、企業版、旗艦版可免費試用一次Bot管理。

     • 試用時間長度為試用申請通過後的7天內。試用結束後，如果您未開通正式版本，試用期間產生的分析資料將被立即清除。如果您需要保留試用期間的資料，繼續使用Bot管理，請在試用結束前，開通正式版Bot管理。

     在機器流量分析頁簽，單擊申請試用。按照WAF-Bot管理PoC調查問卷頁面的提示，填寫試用申請資訊並單擊提交。

     阿里雲工程師在收到試用申請的一周時間內，將通過提交的連絡方式聯絡您，與您確認試用相關事宜。試用申請審核通過後，您的WAF執行個體會自動開通Bot管理功能。

   • 開通正式版Bot管理

     1. 在機器流量分析頁簽，或單擊场景化防护、基础防护頁簽後，單擊立即購買。

     2. 在立即購買面板，開啟Bot管理-Web防護或Bot管理-APP防護，並完成支付。

        說明

        • 開啟Bot管理-Web防護後，您可以配置Bot管理基礎防護規則、網頁防爬情境化規則。

        • 開啟Bot管理-APP防護後，您可以配置Bot管理基礎防護規則、App防爬情境化規則。

        • 如果您需要同時配置Bot管理基礎防護規則、網頁防爬情境化規則、App防爬情境化規則，您可以同時開啟Bot管理-Web防護和Bot管理-APP防護。

開通Bot管理後，您可以單擊機器流量分析頁簽，在防護對象機器流量分析地區，定位到機器流量較高的風險介面，單擊操作列的添加防護，添加情境化防護策略。具體操作，請參見建立網頁防爬情境化防護規則、建立App防爬情境化防護規則。

如果您配置簡化的防護策略，攔截中低級爬蟲，您可以在基础防护頁簽，配置Bot管理基礎防護規則。具體操作，請參見建立基礎防護規則。

建立網頁防爬情境化防護規則

如果您的實際業務通過瀏覽器訪問網頁或H5頁面（包括App中使用的H5頁面）等，您可以建立網頁防爬情境化防護模板，自訂防護規則，防禦網頁爬蟲。

1. 登入Web Application Firewall3.0控制台。在頂部功能表列，選擇WAF執行個體的資源群組和地區（中国内地、非中国内地）。

2. 在左側導覽列，選擇防护配置 > BOT管理。

3. 在场景化防护頁簽，單擊新建模板。

4. 在防护场景定义設定精靈頁面，完成如下配置後，單擊下一步。

   配置項	說明
   模板名称	為該模板設定一個名稱。 長度為1~255個字元，支援中文和大小寫英文字母，可包含數字、半形句號（.）、底線（_）和短劃線（-）。
   模板介绍	為該模板填寫相關介紹資訊。
   防护目标类型	選擇网页/浏览器，表示防護通過瀏覽器訪問的網頁或H5頁面（包括App中使用的H5頁面）等。
   Web SDK集成	自动集成（推薦） 採用基於JavaScript的Web SDK，提升Web瀏覽器情境下的防護效果，避免部分不相容問題。 開啟該功能後，WAF將自動在防護對象的HTML頁面中引用SDK。採集相關的瀏覽器資訊、特定攻防探針、操作行為等（不涉及個人敏感資訊）後，WAF將根據擷取的資訊請求風險識別和攔截。 如果您從另一個網域名稱發起對當前防護目標的訪問請求，則需在 防护目标有来自其它防护对象的跨域调用的下拉式清單中選擇跨域訪問的來源網域名稱。例如，您通過網域名稱B下某頁面調用當前網域名稱A的登入介面，則需在 防护目标有来自其它防护对象的跨域调用選擇跨域訪問的B網域名稱。 重要 通過ALB、MSE或FC接入WAF的防護對象暫不支援自動整合Web SDK，需要手動整合。 手动集成 若當前環境不適用自動整合，您可以採用手動整合。您可以單擊获取SDK链接，擷取script節點，並將其置於頁面上所有其他script節點之前以保證最先載入。具體操作，請參見部署方式。 更多資訊，請參見Web應用整合SDK。
   防护目标特征	添加目標流量的HTTP請求欄位及其規則，即訪問該防護目標時，HTTP請求報文中產生的有關該防護業務情境的欄位內容。最多可以添加5個條件特徵，且各條件之間為與關係。有關欄位的詳細內容，請參見匹配條件說明。

5. 在防护规则推荐嚮導頁面，完成如下配置後，單擊下一步。

   配置項	說明
   風險識別	勾選業務安全性原則後，請填寫相關資訊。更多詳情，請參見風險識別。 啟用規則後，與風險識別產品融合，配置後可實現針對黃牛等異常手機號的訪問阻斷，根據規則命中情況進行後付費。
   合法Bot管理	勾選搜索引擎蜘蛛白名单後，選擇合法搜尋引擎白名單。 啟用規則後，來自相關搜尋引擎的合法爬蟲IP將被直接允許存取，不經過Bot管理模組的防護檢測。
   Bot特征识别	簡單指令碼過濾（JavaScript校正） 開啟此開關後，對訪問防爬防護目標的用戶端進行JS校正，過濾不支援JS校正的來自非瀏覽器類工具的流量，阻斷簡單指令碼類攻擊。 高级Bot防御（动态令牌挑战） 開啟此開關後，對每一次請求資料進行簽名驗證，不能通過驗簽的請求將被攔截。可選項： 簽名驗證異常（必選）：指未攜帶簽名或者簽名非法時，請求將被攔截。 簽章時間戳異常：指簽章時間戳異常時，請求將被攔截。 WebDriver攻擊：指遭遇WebDriver攻擊時，請求將被攔截。
   Bot行为识别	AI智能防护 勾選AI智能防护後，需要設定識別的Bot行為為观察、滑块或回源標記。如果設定為回源標記，您還需要設定回源時標記的Header名稱、Header內容。 開啟此開關後，防爬規則會通過AI智能防護引擎對訪問流量進行分析和自動學習，產生針對性的防護規則或黑名單。 自定义限速 開啟此開關後，可自訂訪問頻率限制條件，有針對性地對訪問頻率過高的爬蟲請求進行過濾，有效緩解CC攻擊。 IP限速（默认） 在统计时长（秒）內，來自同一IP地址的訪問次數超過指定阈值（次）時，在限速时间（秒）內，對來自該IP的訪問請求執行观察、滑块或拦截的限速动作。最多可以設定3個條件，且條件之間為或關係。 自定义会话限速 在统计时长（秒）內，對指定的会话类型的訪問次數超過指定阈值（次）時，在限速时间（秒）內，對該會話的請求執行观察、滑块或拦截的限速动作。最多可以設定3個條件，且條件之間為或關係。 会话类型支援自定义header、自定义参数、自定义cookie、Session。
   Bot威胁情报	爬虫威胁情报库 收錄一段時間內在阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP，並對其執行观察、滑块或回源標記處置。如果設定為回源標記，您還需要設定回源時標記的Header名稱、Header內容。 IDC黑名单封禁 開啟此開關後，如果攻擊源IP來自選中IP庫，則對其執行观察、滑块、拦截或回源標記。如果設定為回源標記，您還需要設定回源時標記的Header名稱、Header內容。 說明 如果您使用公用雲端或IDC機房的源IP來訪問，請注意加白已知的合法調用，如支付寶或微信的支付回調、監控程式等。 偽造蜘蛛 開啟此開關後，將拦截或回源標記合法Bot管理中所有搜尋引擎的User-Agent，已開啟白名單的搜尋引擎對應的合法用戶端IP將被允許存取。

6. 在生效范围嚮導頁面，完成如下配置後，單擊下一步。

   配置項	說明
   生效对象	選中需要應用的防護對象或防護對象組，單擊表徵圖，將該防護對象或防護對象組移入已选择对象地區內。
   生效時間及規則灰階	您需要為已選擇的防護規則設定規則灰階和生效時間。如果不設定，則規則預設關閉規則灰階，且永久生效。 定位到目標規則，單擊操作列的編輯。 配置規則灰階和生效時間。 規則灰階：配置規則針對不同維度對象的生效比例。 開啟規則灰階後，您還需要設定灰階維度和灰階比例。灰階維度包括：IP、自訂header、自訂參數、自訂Cookie、Session。 說明 灰階規則是基於您設定的維度進行灰階，而不是對請求按比例隨機生效規則。例如，若您選擇IP維度進行灰階規則，那麼觸發該灰階規則的IP請求就都會命中該防護規則。 生效時間模式 永久生效（預設）：防護模板開啟時，規則永久生效。 按時間段生效：您可以將具體某一時區的一段時間設定為防護規則的生效時間。 按周期生效：您可以將具體某一時區的每一天的一段時間設定為防護規則的生效時間。 您也可以選中多個規則，批量修改規則灰階和生效時間模式。

7. 在防护效果验证嚮導頁面，測試防爬防護規則。

   建議您先完成防護動作驗證，再發布策略，避免出現因規則配置錯誤、相容性等問題引發誤攔截。如果您確認規則配置無誤，也可以單擊左下角跳过，直接创建。

   驗證步驟如下：

   1. 第一步：填写客户端公网测试IP

      填寫您測試裝置（PC或手機）的公網IP。防爬規則驗證測試僅針對該公網IP生效，不會對您的業務產生影響。

      重要

      請不要填寫通過ipconfig查詢的IP地址（即內網IP地址）。如果不確定您裝置的公網IP，可以通過線上IP查詢工具查詢。

   2. 第二步：选择动作进行测试

      將防护规则推荐中已配置規則所涉及到的防護動作（可選JS校验防护效果验证、动态令牌验证、滑块验证、拦截验证）產生一條只針對您測試IP生效的測試規則，驗證防護動作的執行結果。

      在測試動作模組上單擊去测试後，WAF會將防護策略即刻下發到測試裝置，同時為您展示測試效果示範圖和說明，建議您仔細閱讀。

      完成測試後，單擊我已完成测试進入下一步；如果測試結果異常，可單擊返回去再准备一下，對照防爬策略測試常見問題，最佳化防爬規則後重新測試。

建立App防爬情境化防護規則

如果您的實際業務是基於iOS或Android原生開發的App（不包括App中使用的H5頁面）等，您可以建立App防爬情境化防護模板，自訂防護規則，防禦App爬蟲。

1. 登入Web Application Firewall3.0控制台。在頂部功能表列，選擇WAF執行個體的資源群組和地區（中国内地、非中国内地）。

2. 在左側導覽列，選擇防护配置 > BOT管理。

3. 在场景化防护頁簽，單擊建立模板。

4. 在防护场景定义設定精靈頁面，完成如下配置後，單擊下一步。

   配置項	說明
   模板名称	為該模板設定一個名稱。 長度為1~255個字元，支援中文和大小寫英文字母，可包含數字、半形句號（.）、底線（_）和短劃線（-）。
   模板介绍	為該模板填寫相關介紹資訊。
   防护目标类型	選擇APP，表示對使用基於iOS或Android原生開發的App（不包括App中使用的H5頁面）進行防護。
   APP SDK集成	WAF提供基於Native App（Android/iOS）的SDK用以提升該情境下的防護效果。SDK整合後將會採集用戶端的風險特徵並產生安全簽名附帶在請求中，WAF會根據簽名特徵進行請求風險的識別和攔截。 您可以通過如下方式，整合App SDK： 請提交工單聯絡我們，擷取iOS應用對應的SDK。 單擊获取并复制appkey，用於發起SDK初始化請求。 整合App SDK。具體操作，請參見iOS應用整合SDK。
   防护目标特征	添加目標流量的HTTP請求欄位及其規則，即訪問該防護目標時，HTTP請求報文中產生的有關該防護業務情境的欄位內容。最多可以添加5個條件特徵，且各條件之間為與關係。有關欄位的詳細內容，請參見匹配條件說明。

5. 在防护规则推荐嚮導頁面，完成如下配置後，單擊下一步。

   配置項	說明
   風險識別	勾選業務安全性原則後，請填寫相關資訊。更多詳情，請參見風險識別。 啟用規則後，與風險識別產品融合，配置後可實現針對黃牛等異常手機號的訪問阻斷，根據規則命中情況進行後付費。
   Bot特征识别	識別規則 APP签名异常（預設選中） 預設選中且不可關閉。WAF將檢測App整合SDK後未攜帶簽名或簽名非法的請求。 自定义加签字段（預設不選中） 選中此開關後，需要設定字段名，在cookie、参数、header中自訂加簽欄位。如果簽名對象存在body超長、為空白或特殊編碼等情況，WAF可將簽名內容用hash等方式處理後放在自訂的加簽欄位中，並按該內容驗簽。 设备特征异常 啟用此項後，WAF會對具有異常特徵的裝置發起的請求進行檢測和管控，包括：签名过期、使用模拟器、使用代理、Root设备、调试模式、APP被hook、App多开、模拟执行、脚本工具。 防護動作 您可根據需要為配置的Bot特征识别規則，設定處置動作為观察、拦截或严格滑块。 進階防護 單擊高级防护，進行如下設定： 二次打包检测 規則設定 啟用此項後，如果有不在合法包名和包簽名白名單中的App請求，將被視為二次打包請求。您可以設定合法版本資訊： 指定合法包名：指定合法的App包名稱。例如example.aliyundoc.com。 包签名：指定需要驗證對應的App包簽名。如果需要驗證，請提交工單聯絡我們。如果無需驗證對應的App包簽名，則包簽名項為空白即可，WAF將只驗證所設定的合法App包名稱。 重要 包签名不是App認證簽名。 新增合法版本最多可添加5條，且包名稱不允許重複，條件之間為或關係。 防護動作 您可根據需要為配置的二次打包檢測規則，設定處置動作為观察、拦截、滑块或严格滑块。 自定义特征策略 當上述預設裝置特徵難以滿足防護效果時，您可以單擊自定义特征策略下的新增规则，完成如下配置： 匹配条件：最多支援5條，且配置多個匹配條件時，需要同時命中規則才會生效。 單擊查看支援的匹配欄位 eeid_is_root：表示是否為ROOT許可權。 eeid_is_proxy：表示是否為代理。 eeid_is_simulator：表示是否為模擬器。 eeid_is_debugged：表示是否為調試。 eeid_is_hook：表示是否被hook。 eeid_is_virtual：表示是否為多開。 eeid_is_new：表示是否為新裝置。 eeid_is_wiped：表示是否為疑似刷機。 eeid_short_uptime：表示是否開機時間過短。 eeid_abnormal_time：表示是否本機時間異常。 eeid_running_frame_xposed：表示是否為xposed。 eeid_running_frame_frida：表示是否為frida。 eeid_running_frame_cydia：表示是否為cydia。 eeid_running_frame_fishhook：表示是否為fishhook。 eeid_running_frame_va：表示是否為va架構。 eeid_running_frame_magisk：表示是否為magisk。 eeid_running_frame_edxposed：表示是否為edxposed架構。 eeid_umid：表示是否為裝置umid值。 appname：表示應用程式名稱。 packagename：表示包名。 appversion：表示應用版本號碼。 version：表示WAF SDK版本號碼。 brand：表示手機品牌。 model：表示手機型號。 product：表示產品代號。 manufacture：表示手機廠商。 hardware：表示硬體名稱。 规则动作：支援观察、拦截、滑块、严格滑块或回源標記。如果設定為回源標記，您還需要設定回源的Header名稱、Header內容。 最多添加10個條件，且條件之間為或關係。
   Bot行为识别	勾選AI智能防护後，需要為被識別的Bot行為配置規則動作為观察、滑块、严格滑块或回源標記。如果設定為回源標記，您還需要設定回源時標記的Header名稱、Header內容。 開啟此開關後，防爬規則會通過AI智能防護引擎對訪問流量進行分析和自動學習，產生有針對性的防護規則或黑名單。
   Bot限速	開啟此開關後，可自訂訪問頻率限制條件，有針對性地對訪問頻率過高的爬蟲請求進行過濾，有效緩解CC攻擊。 IP限速（默认） 在统计时长（秒）內，來自同一IP地址的訪問次數超過指定阈值（次）時，在限速时间（秒）內，對來自該IP的訪問請求執行拦截、观察、滑块或严格滑块的限速动作。最多可以設定3個條件，且條件之間為或關係。 设备限速 在统计时长（秒）內，來自同一裝置的訪問次數超過指定阈值（次）時，在限速时间（秒）內，對來自該裝置的訪問請求執行拦截、观察、滑块或严格滑块的限速动作。最多可以設定3個條件，且條件之間為或關係。 自定义会话限速 在统计时长（秒）內，對指定的会话类型的訪問次數超過指定阈值（次）時，在限速时间（秒）內，對該會話的請求執行拦截、观察、滑块或严格滑块的限速动作。最多可以設定3個條件，且條件之間為或關係。 会话类型支援自定义header、自定义参数、自定义cookie、Session。
   Bot威胁情报	爬虫威胁情报库 收錄一段時間內在阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP，並對其執行观察、滑块、严格滑块或回源標記處置。如果設定為回源標記，您還需要設定回源時標記的Header名稱、Header內容。 IDC黑名单封禁 開啟此開關後，如果攻擊源IP來自選中IP庫，則對其執行观察、滑块、拦截、严格滑块或回源標記。如果設定為回源標記，您還需要設定回源時標記的Header名稱、Header內容。 說明 如果您使用公用雲端或IDC機房的源IP來訪問，請注意加白已知的合法調用，如支付寶或微信的支付回調、監控程式等。

6. 在生效范围嚮導頁面，完成如下配置後，單擊下一步。

   配置項	說明
   生效对象	選中需要應用的防護對象或防護對象組，單擊表徵圖，將該防護對象或防護對象組移入已选择对象地區內。
   生效時間及規則灰階	您需要為已選擇的防護規則設定規則灰階和生效時間。如果不設定，則規則預設關閉規則灰階，且永久生效。 定位到目標規則，單擊操作列的編輯。 配置規則灰階和生效時間。 規則灰階：配置規則針對不同維度對象的生效比例。 開啟規則灰階後，您還需要設定灰階維度和灰階比例。灰階維度包括：IP、自訂header、自訂參數、自訂Cookie、Session。 說明 灰階規則是基於您設定的維度進行灰階，而不是對請求按比例隨機生效規則。例如，若您選擇IP維度進行灰階規則，那麼觸發該灰階規則的IP請求就都會命中該防護規則。 生效時間模式 永久生效（預設）：防護模板開啟時，規則永久生效。 按時間段生效：您可以將具體某一時區的一段時間設定為防護規則的生效時間。 按周期生效：您可以將具體某一時區的每一天的一段時間設定為防護規則的生效時間。 您也可以選中多個規則，批量修改規則灰階和生效時間模式。

7. 在防护效果验证嚮導頁面，測試防爬防護規則。

   建議您先完成防護動作驗證，再發布策略，避免出現因規則配置錯誤、相容性等問題引發誤攔截。如果您確認規則配置無誤，也可以單擊左下角跳过，直接创建。

   驗證步驟如下：

   1. 第一步：填写客户端公网测试IP

      填寫您測試裝置（PC或手機）的公網IP。防爬規則驗證測試僅針對該公網IP生效，不會對您的業務產生影響。

      重要

      請不要填寫通過ipconfig查詢的IP地址（即內網IP地址）。如果不確定您裝置的公網IP，可以通過線上IP查詢工具查詢。

   2. 第二步：选择动作进行测试

      將防护规则推荐中已配置規則所涉及到的防護動作（可選拦截验证、SDK签名验证）產生一條只針對您測試IP生效的測試規則，驗證防護動作的執行結果。

      在測試動作模組上單擊去测试後，WAF會將防護策略即刻下發到測試裝置，同時為您展示測試效果示範圖和說明，建議您仔細閱讀。

      完成測試後，單擊我已完成测试進入下一步；如果測試結果異常，可單擊返回去再准备一下，對照防爬策略測試常見問題，最佳化防爬規則後重新測試。

建立基礎防護規則

如果您的業務遭遇中低級爬蟲，您可以配置較簡單的基礎防護規則。基礎防護不提供預設規則模板。如果您需要啟用該功能，必須建立一個規則模板。

1. 登入Web Application Firewall3.0控制台。在頂部功能表列，選擇WAF執行個體的資源群組和地區（中国内地、非中国内地）。

2. 在左側導覽列，選擇防护配置 > BOT管理。

3. 在基礎防護頁簽，單擊新建模板。

4. 在建立模板 - Bot管理面板，完成如下配置後，單擊确定。

   配置項	說明
   模板名称	為該模板設定一個名稱。 長度為1~255個字元，支援中文和大小寫英文字母，可包含數字、半形句號（.）、底線（_）和短劃線（-）。
   模板介绍	為該模板填寫相關介紹資訊。
   规则动作	為該防護規則配置處置動作為拦截或观察。
   進階設定	規則灰階：配置規則針對不同維度對象的生效比例。 開啟規則灰階後，您還需要設定灰階維度和灰階比例。灰階維度包括：IP、自訂header、自訂參數、自訂Cookie、Session。 說明 灰階規則是基於您設定的維度進行灰階，而不是對請求按比例隨機生效規則。例如，若您選擇IP維度進行灰階規則，那麼觸發該灰階規則的IP請求就都會命中該防護規則。 生效時間模式 永久生效（預設）：防護模板開啟時，規則永久生效。 按時間段生效：您可以將具體某一時區的一段時間設定為防護規則的生效時間。 按周期生效：您可以將具體某一時區的每一天的一段時間設定為防護規則的生效時間。
   生效对象	從已添加的防護對象及對象組中，選擇要應用該模板的防護對象和防護對象組。 一個防護對象或對象組只能關聯到當前防護模組下的一個模板。關於添加防護對象和對象組的具體操作，請參見配置防護對象和防護對象組。

建立的規則模板預設開啟。您可以在基礎防護頁簽的規則模板卡片地區執行如下操作：

• 查看模板包含的規則ID。

  說明

  一個基礎防護模板包含三個規則ID，包括兩個白名單規則ID、一個ACL和CC防護規則群組成的規則ID。您可以通過該規則ID，在安全報表查看防護效果。具體操作，請參見安全報表。

• 复制、编辑或删除規則模板。

• 通過模板開關，開啟或關閉模板。

• 查看模板的規則動作和關聯的防护对象/组數量。

防爬策略測試常見問題

若在防护效果验证時出現異常情況，可參考表格解決對應問題。

後續步驟

您可以在安全報表頁面，查詢防護規則的執行記錄。更多資訊，請參見安全報表。