合法爬虫功能提供合法搜索引擎白名单（例如Google、Bing、百度、搜狗、Yandex等），为域名放行合法爬虫的访问请求。
前提条件
- 已开通Web应用防火墙实例，且实例开启了Bot管理模块。
- 已完成网站接入。具体操作，请参见使用教程。
背景信息
合法爬虫规则依据阿里云爬虫情报库，帮助您直接放行合法爬虫请求。阿里云爬虫情报库基于阿里云全网流量计算得出并可实时更新，涵盖合法爬虫访问请求来源的特征信息。合法爬虫支持主流搜索引擎的爬虫IP信息，可动态更新，目前包含Google、百度、搜狗、Bing、Yandex。
启用合法爬虫规则后，来自相关搜索引擎的合法爬虫IP将被直接放行，不经过Bot管理模块的防护检测。
说明 在Bot管理模块外，您还可以使用访问控制/限流规则进一步过滤来自于合法爬虫白名单IP的请求。更多信息，请参见设置自定义防护策略。
操作步骤
- 登录Web应用防火墙控制台。
- 在顶部菜单栏，选择Web应用防火墙实例的资源组和地域（中国内地、非中国内地）。
- 在左侧导航栏，选择。
- 在网站防护页面上方，切换到要设置的域名。
- 单击Bot管理页签，定位到合法爬虫区域，开启状态开关并单击前去配置。
- 在合法爬虫规则列表，根据情报名称选择要放行的合法爬虫，开启对应的启用状态开关。
默认规则支持单独设置放行来自以下搜索引擎的爬虫请求：Google、Bing、百度、搜狗、Yandex。您也可以只开启合法搜索引擎白名单规则，放行所有支持的搜索引擎白名单。