通过配置Bot管理,您可以设置对应的防爬虫规则,为浏览器Web页面或基于iOS/Android原生开发的App(需要您的App集成我们的SDK)提供防爬功能。Bot管理支持您灵活配置对不同特征的请求做爬虫挑战,也支持您直接使用系统内置的爬虫库(搜索引擎爬虫、AI智能防护、爬虫威胁情报库、IDC黑名单、伪造爬虫名单等)而无需自己手动分析和更新爬虫特征。
注意事项
通过Bots规则拦截的请求将不会计入费用,也不会消耗套餐额度。
配置Bot规则集
登录ESA控制台。
在左侧导航栏,单击站点管理。
在站点管理页面,单击目标站点名称,或对应站点操作列的详情。
在站点详情中,选择安全防护>Bot管理。
在Bot管理页面,单击创建规则集。
设置网页防爬规则
如果您通过浏览器访问网页或H5页面(包括App中使用的H5页面)等,您可以通过设置浏览器访问网页的防爬规则,更有针对性地对业务进行爬虫风险防护。
配置模块 | 配置项 | 说明 |
全局配置 | 规则集名称 | 设置规则集名称,支持输入英文字符(大小写)、数字(0~9)及下划线(_)。 |
防护目标类型 | 选择网页/浏览器,表示防护通过浏览器访问的网页或H5页面等,包括App中使用纯H5页面呈现的内容。 | |
SDK集成方式 |
| |
跨域调用 | 选择自动集成时,如果您有多个站点均开启了Bot管理的Web SDK自动集成且多个站点域名互相访问(如通过站点B下某页面调用当前站点A的登录接口),为了防止多次嵌入JS代码,您需勾选并选择跨域访问的来源站点域名(即例子中的B站点)。 | |
当请求匹配以下规则时... | 设置要匹配的用户请求特征,请求匹配规则详细信息请参见WAF。 | |
则执行... | 合法Bot管理 | 搜索引擎爬虫白名单,支持主流搜索引擎的爬虫IP信息,可动态更新,目前包含Google、百度、搜狗、Bing、360、Yandex。 选择指定的搜索引擎爬虫后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。 |
Bot特征识别 |
| |
Bot行为识别 | AI智能防护,防爬规则会通过AI智能防护引擎对访问流量进行分析和自动学习,生成有针对性的防护规则或黑名单。
| |
自定义限速 |
| |
爬虫威胁情报库 | 收录一段时间内在阿里云上对多个用户有多次恶意爬取行为的攻击源IP地址。 您可设置爬虫威胁情报库为观察或滑块校验。 | |
IDC黑名单封禁 | 会封禁选中IP库。如果您使用公有云或IDC机房的源IP来访问,请注意加白已知的合法调用,如支付宝或微信的支付回调、监控程序等。IDC黑名单封禁支持如下IP库:阿里云、世纪互联、美团云、腾讯云、其他。 您可设置IDC黑名单封禁为观察、滑块校验或拦截。 | |
伪造爬虫拦截 | 开启后将拦截合法Bot管理中所有搜索引擎的User-Agent,已开启白名单的搜索引擎对应的合法客户端IP将被放行。 | |
生效时间 | 创建规则后默认立即生效且永久生效。您可以选择对不同规则按指定时间段生效或按指定的周期生效。 |
设置App防爬规则
如果您使用的是基于iOS或Android原生开发的App(不包括App中使用的H5页面),您可以通过设置App防爬规则,更有针对性地对业务进行爬虫风险防护。
配置模块 | 配置项 | 说明 |
全局配置 | 规则集 | 设置规则集名称,支持输入英文字符(大小写)、数字(0~9)及下划线(_)。 |
防护目标类型 | 选择APP,表示对使用基于iOS或Android原生开发的App(不包括App中使用的H5页面)进行防护。 | |
SDK集成方式 | 您需要单击获取并复制appkey,填写信息申请获取SDK包。更多信息,请参见Android应用集成SDK或iOS应用集成SDK。SDK集成后,将会采集客户端的风险特征并生成安全签名附带在请求中,WAF会根据签名特征进行请求风险的识别和拦截。 | |
当请求匹配以下规则时... | 设置要匹配的用户请求特征,请求匹配规则详细信息请参见WAF。 | |
则执行... | Bot特征识别 |
|
Bot限速 |
| |
爬虫威胁情报库 | 收录一段时间内在阿里云上对多个用户有多次恶意爬取行为的攻击源IP地址。 | |
IDC黑名单封禁 | 开启此开关后,会封禁选中IP库。如果您使用公有云或IDC机房的源IP来访问,请注意加白已知的合法调用,如支付宝或微信的支付回调、监控程序等。IDC黑名单封禁支持如下IP库:阿里云、世纪互联、美团云、腾讯云、其他。 | |
生效时间 | 创建规则后默认立即生效且永久生效。您可以选择对不同规则按指定时间段生效或按指定的周期生效。 |
不同套餐的支持情况
Entrance | Pro | Premium | Enterprise | |
支持配置Bot管理规则集数 | 不支持 | 不支持 | 不支持 | 10个 |