許可されたクローラー機能は、Google、Bing、Baidu、Sogou、Yandexなどの許可された検索エンジンのホワイトリストを維持します。 これらの検索エンジンのクローラーは、ドメイン名のすべてのページにアクセスできます。
前提条件
背景情報
関数で定義されているルールでは、Alibaba Cloudクローラーライブラリに基づいて、特定のクローラーからターゲットドメイン名へのリクエストを許可します。 Alibaba Cloudクローラーライブラリは、Alibaba Cloudを流れるネットワークトラフィックの分析に基づいてリアルタイムで更新され、クローラーから開始されたリクエストの特性をキャプチャします。 クローラーライブラリは動的に更新され、Google、Baidu、Sogou、Bing、Yandexなどの主流の検索エンジンのクローラーIPアドレスが含まれています。
許可されたクローラー機能を有効にすると、許可された検索エンジンのクローラーIPアドレスから開始されたリクエストがターゲットドメイン名に直接送信されます。 ボット管理モジュールはこれらの要求を検出しなくなります。
注 クローラIPアドレスからの一部のリクエストをフィルタリングするには、アクセス制御 /スロットリングモジュールを使用します。 詳細については、「カスタム保護ポリシーの作成」をご参照ください。
手順
- [ボット管理] タブをクリックし、[許可されたクローラー] セクションを見つけます。 次に、[ステータス] をオンにし、[設定] をクリックします。
- [許可されたクローラー] リストで、[インテリジェンス名] でターゲットルールを見つけ、[ステータス] をオンにします。
デフォルトのルールでは、Google、Bing、Baidu、Sogou、Yandexの検索エンジンからのクローラーリクエストのみが許可されます。 Legit Crawling Botsルールを有効にして、すべての検索エンジンクローラーからのリクエストを許可できます。