釋放 AI 的強大力量

100 萬免費代幣

88% 價格優惠

立即啟用
本文由簡體中文內容自動轉碼而成。阿里雲不保證此自動轉碼的準確性、完整性及時效性。本文内容請以簡體中文版本為準。

Bots

更新時間:2025-03-25 19:14

Bots支援簡易模式進階模式的配置。通過簡易模式您可以快速的為當前網站配置爬蟲管理,而進階模式提供了更為精準的爬蟲規則,方便您針對性的對網站或APP作出調整。

注意事項

通過Bots規則攔截的請求將不會計入費用,也不會消耗套餐額度。

簡易模式

簡易模式是面向安全入門級使用者的機器流量、爬蟲管理功能,相比於需要專業配置能力配置複雜規則的進階模式,簡易模式只需要快速選擇對某類爬蟲的處置動作即可實現對爬蟲的管理。

操作步驟

  1. 在ESA控制台,選擇網站管理,在站点列單擊目標網站。

  2. 在左側導覽列,選擇安全防護 > Bots

  3. Bot管理頁面,選擇簡易模式,根據下列說明選擇合適的配置項進行配置開啟

    • 絕對是Bot絕對是Bot的請求往往包含大量惡意爬蟲請求。一般建議做攔截或滑塊挑戰。

    • 可能是Bot可能是Bot的請求風險較絕對是Bot相對較低,有可能包含惡意爬蟲以及其他流量。一般建議觀察或在風險較高時期做滑塊挑戰。

    • 已通過驗證的Bot已通過驗證的Bot通常是各類搜尋引擎的爬蟲,有利於您網站的SEO最佳化。一般建議允許存取,如您不希望任何搜尋引擎爬蟲訪問您的網站時可做攔截操作。

    • 可能是真人(該類型不支援設定處置動作):大機率來自真實真人使用者的訪問,不建議做特殊處置動作。

    • 對靜態資源請求生效:絕對是Bot、可能是Bot、已通過驗證的Bot的配置預設僅對動態資源請求(這些請求將會經過加速訪問您的來源站點)生效,開啟後將對命中ESA緩衝的請求(通常是圖片、視頻等靜態檔案)生效。

    • JavaScript檢測ESA將使用輕量隱性的JavaScript檢測最佳化Bot識別結果。

      說明

      僅瀏覽器用戶端可以通過JavaScript檢測,如果您存在從IDC機房訪問您的網站的業務,請不要開啟該功能,以避免誤攔截。

進階模式

通過進階模式,您可以為瀏覽器Web頁面或基於iOS/Android原生開發的App提供防爬功能。Bot管理支援您對不同特徵的請求做爬蟲挑戰,也支援您直接使用系統內建的爬蟲庫(搜尋引擎爬蟲、AI智能防護、爬蟲威脅情報庫、IDC黑名單、偽造爬蟲名單等)而無需自己手動分析和更新爬蟲特徵。

操作步驟

  1. 在ESA控制台,選擇網站管理,在站点列單擊目標網站。

  2. 在左側導覽列,選擇安全防護 > Bots

  3. Bot管理頁面,選擇進階模式,單擊建立規則集

  4. 根據介面提示設定相關參數,單擊確定

設定網頁防爬規則
設定App防爬規則

如果您通過瀏覽器訪問網頁或H5頁面(包括App中使用的H5頁面)等,您可以通過設定瀏覽器訪問網頁的防爬規則,更有針對性地對業務進行爬蟲風險防護。

配置模組

配置項

說明

全域配置

規則集名稱

設定規則集名稱,支援輸入英文字元(大小寫)、數字(0~9)及底線_

防護目標類型

選擇網頁/瀏覽器,表示防護通過瀏覽器訪問的網頁或H5頁面等,包括App中使用純H5頁面呈現的內容。

SDK整合方式

  • 自動整合(推薦):

    WAF將自動在您網站的HTML頁面中引用SDK並嵌入JS代碼,SDK採集相關的瀏覽器資訊、特定攻防探針、操作行為等(不涉及個人敏感資訊)後,WAF將根據擷取的資訊請求風險識別和攔截。

  • 手動整合

    若當前環境不適用自動整合,您可以採用手動整合,複製頁面上提供的JS代碼將其植入您的HTML代碼中。

跨域調用

選擇自動整合時,如果您有多個網站均開啟了Bot管理的Web SDK自動整合且多個網站網域名稱互相訪問(如通過網站B下某頁面調用當前網站A的登入介面),為了防止多次嵌入JS代碼,您需勾選並選擇跨域訪問的來來源站點點網域名稱(即例子中的B網站)。

當請求匹配以下規則時...

設定要匹配的使用者請求特徵,請求匹配規則詳細資料請參見規則運算式的組成

則執行...

合法Bot管理

搜尋引擎爬蟲白名單,支援主流搜尋引擎的爬蟲IP資訊,可動態更新,目前包含Google、百度、搜狗、Bing、360、Yandex。

選擇指定的搜尋引擎爬蟲後,來自相關搜尋引擎的合法爬蟲IP將被直接允許存取,不經過Bot管理模組的防護檢測。

Bot特徵識別

  • 簡單指令碼過濾(JavaScript挑戰):開啟此開關後,對訪問防爬防護目標的用戶端進行JS校正,對不支援JS校正的來自非瀏覽器類工具的流量過濾,阻斷簡單指令碼類攻擊。

  • 進階Bot防禦(動態令牌挑戰):開啟此開關後,對每一次請求資料進行簽名驗證,不能通過驗簽的請求將被攔截。您可以選擇簽名驗證異常(該項為必選,指未攜帶簽名或者簽名非法)、簽章時間戳異常、WebDriver攻擊。

Bot行為識別

AI智能防護,防爬規則會通過AI智能防護引擎對訪問流量進行分析和自動學習,產生有針對性的防護規則或黑名單。

  • 觀察:防爬規則會允許存取命中流量並將流量記錄在安全報表中。

  • 滑塊校正:用戶端需完成滑塊校正後才能繼續訪問防護目標。

自訂限速

  • IP限速(預設):規定在統計時間長度內,來自同一IP地址的訪問次數超過指定閾值時,對來自該IP的訪問請求執行滑塊攔截觀察的限速動作,並規定限速動作的限速時間。最多添加3個條件,條件之間為“或”關係。

  • 自訂會話限速:您可以設定會話類型,自訂會話限速條件來規定在統計時間長度內,來自同一會話的訪問次數超過指定閾值時,對該會話進行滑塊攔截觀察的限速動作,並規定處置動作的限速時間。最多添加3個條件,條件之間為“或”關係。

爬蟲威脅情報庫

收錄一段時間內在阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP地址。

您可設定爬蟲威脅情報庫為觀察滑塊校正

IDC黑名單封鎖

會封鎖選中IP庫。如果您使用公用雲端或IDC機房的源IP來訪問,請注意加白已知的合法調用,如支付寶或微信的支付回調、監控程式等。IDC黑名單封鎖支援如下IP庫:阿里雲、世紀互聯、美團雲、騰訊雲、其他。

您可設定IDC黑名單封鎖為觀察滑塊校正攔截

偽造爬蟲攔截

開啟後將攔截合法Bot管理中所有搜尋引擎的User-Agent,已開啟白名單的搜尋引擎對應的合法用戶端IP將被允許存取。

生效時間

建立規則後預設立即生效且永久生效。您可以選擇對不同規則按指定時間段生效或按指定的周期生效。

如果您使用的是基於iOS或Android原生開發的App(不包括App中使用的H5頁面),您可以通過設定App防爬規則,更有針對性地對業務進行爬蟲風險防護。

配置模組

配置項

說明

全域配置

規則集名稱

設定規則集名稱,支援輸入英文字元(大小寫)、數字(0~9)及底線_

防護目標類型

選擇APP,表示對使用基於iOS或Android原生開發的App(不包括App中使用的H5頁面)進行防護。

SDK整合方式

您需要單擊擷取並複製appkey,填寫資訊申請擷取SDK包。更多資訊,請參見Android應用整合SDKiOS應用整合SDK。SDK整合後,將會採集用戶端的風險特徵並產生安全簽名附帶在請求中,WAF會根據簽名特徵進行請求風險的識別和攔截。

當請求匹配以下規則時...

設定要匹配的使用者請求特徵,請求匹配規則詳細資料請參見規則運算式的組成

則執行...

Bot特徵識別

  • 裝置特徵異常:啟用此項後,防爬規則會對具有異常特徵的裝置發起的請求進行檢測和管控。裝置的異常特徵包括:

    • 簽名到期:預設開啟,表示裝置請求的時間戳記到期。

    • 使用模擬器:表示裝置上使用了模擬器。

    • 使用代理:表示裝置上使用了代理服務。

    • Root裝置:表示裝置開放了Root許可權。

    • 偵錯模式:表示裝置開啟了偵錯模式。

    • APP被hook:表示裝置上存在hook程式。

    • App多開:表示裝置上同時開啟了多個被防護App的進程。

    • 類比執行:表示裝置存在類比使用者行為的操作。

    • 指令碼工具:表示裝置存在自動執行指令碼。

  • 自訂加簽欄位:選擇欄位名,在header參數cookie中自訂加簽欄位。

    對於簽名對象比較特殊的情境(如body超長、為空白或特殊編碼等情境),可將簽名內容用hash等方式處理後放在自訂的加簽欄位中,WAF將按照此處的內容進行驗簽。

  • 防護動作:您可根據需要將規則設定為觀察攔截

    • 觀察:觸發警示,不阻斷請求。

    • 攔截:直接阻斷攻擊請求。

  • 二次打包檢測:啟用此項後,如果有不在合法包名和包簽名白名單中的App請求,將被視為二次打包請求。您可以設定合法版本資訊:

    • 指定合法包名:指定合法的App包名稱。例如,example.aliyundoc.com。

    • 包簽名:請聯絡阿里雲相關安全技術人員擷取。如果無需驗證對應的App包簽名,則包簽名項為空白即可,WAF將只驗證所設定的合法App包名稱。

      說明

      包簽名不是App認證簽名。

Bot限速

  • IP限速(預設):規定在統計時間長度內,來自同一IP地址的訪問次數超過指定閾值時,對來自該IP的訪問請求執行攔截觀察的限速動作,並規定限速動作的限速時間。

  • 裝置限速:您可以通過設定裝置限速條件來規定在統計時間長度內,來自同一裝置的訪問次數超過指定閾值時,對來自該裝置的訪問請求執行攔截觀察的限速動作,並規定限速動作的限速時間。

  • 自訂會話限速:您可以設定會話類型,自訂會話限速條件來規定在統計時間長度內,來自同一會話的訪問次數超過指定閾值時,對該會話、攔截觀察的限速動作,並規定處置動作的限速時間。

爬蟲威脅情報庫

收錄一段時間內在阿里雲上對多個使用者有多次惡意爬取行為的攻擊源IP地址。

IDC黑名單封鎖

開啟此開關後,會封鎖選中IP庫。如果您使用公用雲端或IDC機房的源IP來訪問,請注意加白已知的合法調用,如支付寶或微信的支付回調、監控程式等。IDC黑名單封鎖支援如下IP庫:阿里雲、世紀互聯、美團雲、騰訊雲、其他。

生效時間

建立規則後預設立即生效且永久生效。您可以選擇對不同規則按指定時間段生效或按指定的周期生效。

不同套餐的支援情況

簡易模式

功能項

Entrance

Pro

Premium

Enterprise

功能項

Entrance

Pro

Premium

Enterprise

絕對是Bot

支援

(處置動作僅支援觀察、允許存取)

支援

(處置動作僅支援觀察、允許存取)

支援

支援

可能是Bot

支援

(處置動作僅支援觀察、允許存取)

支援

(處置動作僅支援觀察、允許存取)

支援

支援

已通過驗證的Bot

支援

支援

支援

支援

對靜態資源請求生效

支援

支援

支援

支援

JavaScript檢測

支援

支援

支援

支援

進階模式

功能項

Entrance

Pro

Premium

Enterprise

功能項

Entrance

Pro

Premium

Enterprise

支援配置Bot管理規則集數

不支援

不支援

不支援

10個

  • 本頁導讀 (M)
  • 注意事項
  • 簡易模式
  • 操作步驟
  • 進階模式
  • 操作步驟
  • 不同套餐的支援情況
  • 簡易模式
  • 進階模式
文檔反饋
phone 聯絡我們

立即和Alibaba Cloud在線服務人員進行交談,獲取您想了解的產品信息以及最新折扣。

alicare alicarealicarealicare