Web Application Firewall (WAF) のボット管理モジュールは、悪意のあるクローラーからビジネスを保護するためのシナリオ固有の構成機能を提供します。 ビジネス要件に基づいてカスタムのアンチクローラールールを設定できます。
背景情報
悪意のあるクローラーにはさまざまな種類があります。 クロールメソッドは、Webサイト管理者によって設定されたアンチクローラールールをバイパスするように変更し続けます。 したがって、固定ルールはすべての悪意のあるクローラーをブロックできません。 悪意のあるクローラーをブロックするために使用されるメソッドは、サービスの特性によって異なります。 最適な保護を提供するには、セキュリティの専門家も必要です。
悪意のあるクローラーに対する強力な保護が必要な場合、またはアンチクローラールールを設定するためのセキュリティ専門家がいない場合は、WAFが提供するシナリオ固有の設定機能を使用することをお勧めします。
WAFは、悪意のあるクローラーのIPアドレスライブラリを提供し、Alibaba Cloudのネットワーク全体の脅威インテリジェンスに基づいて、さまざまなパブリッククラウドとデータセンターのIPアドレスライブラリをリアルタイムで更新します。 シナリオ固有の設定機能を設定して、通常のクローラーリクエストを許可し、IPアドレスライブラリのアドレスから悪意のあるクローラーリクエストをブロックできます。
悪意のあるクローラーのリスクと特徴
nslookupまたはtracertコマンドを実行します。 たとえば、BaiduクローラーのIPアドレスを使用してreverse nslookupコマンドを実行すると、クローラーの送信元IPアドレスを取得できます。
悪意のあるクローラーは、特定の期間中にドメイン名の特定のURLまたはポートに多数の要求を送信する可能性があります。 たとえば、HTTPフラッド攻撃は、クローラーとして、または機密情報をクロールするサードパーティからの要求として偽装されます。 多数の悪意のある要求は、CPU使用率の増加、Webサイトのアクセス障害、およびサービスの中断を引き起こす可能性があります。
前提条件
Pro、Business、またはEnterpriseエディションを実行するWAFインスタンスが購入されました。 インスタンスに対してボット管理モジュールが有効になっています。
制限事項
ドメイン名ごとに最大50個のシナリオ固有設定ルールを追加できます。