この記事は、2024年12月16日に Search Engine Journal で公開された Matt G. Southern氏の「Google Warns: Beware Of Fake Googlebot Traffic」を翻訳したものです。
目次
GoogleのデベロッパーアドボケートであるMartin Splitt氏は、Googlebotを装ったリクエストの多くが実際にはサードパーティのスクレイパーによるものであることを指摘しています。彼は、「Googlebotであると主張するすべてのものが、実際にGooglebotであるとは限らない」と述べ、ウェブサイト所有者に注意を促しました。
偽のクローラーは分析を歪め、リソースを消費し、サイトのパフォーマンスを正確に評価することを困難にする可能性があります。
正当な Googlebot トラフィックと偽のクローラー アクティビティを区別する方法は次のとおりです。
異常なリクエストではなく、全体的なトラフィックパターンを確認することで、正規のGooglebotトラフィックと偽のクローラーを区別できます。
正規のGooglebotトラフィックは、リクエストの頻度、タイミング、動作が一貫しているという特徴があります。
偽の Googlebot アクティビティが疑われる場合、Splitt 氏は次の Google ツールを使用して検証することを推奨しています。
これらのツールは、Googlebotが何を見て何を実行しているかを検証するためのものです。ただし、サーバーログ内で偽装しているクローラーを直接特定することはできません。
これらの対策を実施することで、偽のGooglebotによる影響を最小限に抑えることができます。
Martin Splitt氏は、Googlebotによるクロール要求に対するサーバー応答の監視が重要であると強調しています。
特に注意すべき点は以下の通りです：
これらの問題は、大規模なウェブサイト（数百万ページをホストするサイトなど）のクローリング効率や検索の可視性に重大な影響を及ぼす可能性があります。
Splitt氏は次のように述べています：
「サーバーがGooglebotに返した応答、特に500エラーの数、フェッチエラー、タイムアウト、DNS問題には注意してください。」
一部のエラーは一時的である場合もありますが、永続的な問題が確認された場合は、さらなる調査が必要です。
また、Splitt氏は高度な診断を行うためのサーバーログ分析の重要性を指摘しました。サーバーログ分析は簡単な作業ではありませんが、価値のある手段です。彼は以下のように述べています：
「Webサーバーのログを見ることは、サーバー上で何が起こっているかを理解するための強力な手段です。」
参照: Chrome、Edge、Safari、Firefox でユーザーエージェントを変更する方法
偽のGooglebotトラフィックはセキュリティ問題だけでなく、以下のようにウェブサイトのパフォーマンスやSEO施策にも影響を与える可能性があります。
Splitt氏は、ブラウザでウェブサイトにアクセス可能であっても、それがGooglebotのアクセスを保証するものではないと強調しています。また、次のような潜在的な障壁も挙げています。
偽のGooglebotトラフィックは厄介な問題ですが、通常は稀なケースであり、過度に心配する必要はないとSplitt氏は述べています。ただし、以下のような問題が発生した場合には適切な対策が求められます。
偽のクローラーのアクティビティが問題になったり、サーバーのパワーを過剰に消費したりしたとします。その場合、リクエストのレートを制限したり、特定の IP アドレスをブロックしたり、より優れたボット検出方法を使用したりといった対策を講じることができます。
このトピックの詳細については、以下の動画を参照ください。：
2002年設立から、20年以上に渡りSEOサービスを展開。支援会社は延べ2,000社を超える。SEO/CRO（コンバージョン最適化）を強みとするWebコンサルティング会社。日本初のSEO情報サイトであるSEO Japanを通じて、日本におけるSEOの普及に大きく貢献。
SEO最新情報やセミナー開催のお知らせなど、お役立ち情報を無料でお届けします。
