Web Application Firewall（Web Application Firewall，簡稱WAF）針對Bot管理模組升級，提供防爬情境化配置功能。您可以基於實際業務情境對防爬規則進行自訂，從而更有針對性地對業務進行爬蟲風險防護。
背景資訊
當今互連網爬蟲種類繁多，專業的爬蟲會不斷變換爬取手段，繞過網站管理員的防爬策略。因此，很難達成依靠固定的規則來實現一勞永逸的完美防護的目標。並且，爬蟲風險管理與業務自身特性強相關，需要專業的安全團隊進行對抗才能取得較好的效果。
如果您對防爬效果有較高的要求，或者缺乏專業的安全團隊來配置相應的安全性原則，您可以使用WAF提供的防爬情境化功能，有效防護惡意爬蟲風險。
WAF基於阿里雲對全網威脅情報Realtime Compute得到的惡意爬蟲IP情報庫、動態更新的各大公用雲端或IDC機房IP庫等情報資訊，根據配置的情境化規則，協助您直接允許存取合法爬蟲請求，並對來自威脅情報庫的惡意請求進行防護處置。
惡意爬蟲的特徵和危害
正常爬蟲請求的user-agent欄位中通常包含
xxspider標識，並且爬取的請求量不大，爬取的URL和時間段都比較分散。如果對合法的爬蟲IP執行反向nslookup或tracert，一般都可以看到爬蟲的來源地址。例如，對百度的爬蟲IP執行反向nslookup，可查詢到其來源地址資訊。惡意爬蟲則可能會在某個時間段大量請求某個網域名稱的特定地址或介面，這種情況很可能是偽裝成爬蟲的CC攻擊，或是經第三方偽裝後針對性爬取敏感資訊的請求。當惡意爬蟲請求量大到一定程度後，會造成伺服器的CPU飆升，帶來網站無法訪問等業務中斷問題。
適用版本
已開通進階版、企業版、旗艦版的Bot管理增值服務。
使用限制
每個網域名稱最多可添加50個情境化配置規則。