ユーザーエージェントとは？SEOでの重要性・Googlebotの種類・確認方法を解説

この記事でわかること

• ユーザーエージェントとは、ブラウザやクローラーがサーバーに送信する識別情報
• robots.txtでクローラーを制御する際にUA文字列の理解が不可欠
• 本記事では、意味・SEOでの重要性・Googlebotの種類・確認方法を解説します

ユーザーエージェントとは

ユーザーエージェント（User Agent：UA）は、インターネット上でのユーザーが使用しているオペレーティングシステムやウェブブラウザなどの情報を示すもので、一般的なウェブブラウザを使用してウェブサイトにアクセスする際に、その情報がウェブサイトに通知される仕組みです。これにより、ウェブサイトはアクセスしてきたユーザーのOSやブラウザの種類を把握し、それに応じて表示や機能を調整することが可能で、アクセス解析にも利用されます。

ユーザーエージェントの問題点

ユーザーエージェントは、ウェブブラウジングにおいて重要な情報を提供しますが、その信頼性は低く、偽装が容易であるため、過度な信頼を避ける必要があります。一方で、HTTPリクエストヘッダー情報は不正アクセスの証拠として利用できる重要なデータですが、プライバシーの観点から問題視されており、「ブラウザフィンガープリント」という手法に使われています。したがって、ユーザーエージェントの使用には慎重さが必要であり、正確性を期待しすぎないように注意が必要です。

ユーザーエージェントで検索エンジンのクローラーによるアクセスも制限できる。

ユーザーエージェントは検索エンジンのクローラーにも設定されており、robots.txt内で特定の検索エンジンのUAを指定してアクセスを制限することもできます。

Googlebotのユーザーエージェントを区別すべき場面

• Googlebot（デスクトップ）とGooglebot（スマートフォン）：MFI環境ではスマートフォン版が優先。robots.txtでの制御時に区別が必要。
• Googlebot-Image：画像検索用クローラー。画像をインデックスさせたくない場合のみブロック。
• Googlebot-Video：動画検索用。YouTubeではなくサイト内動画のインデックスに関わる。
• AdsBot：広告品質チェック用。robots.txtでブロックすると広告配信に影響。

【実例】製造業メーカーのサイトリニューアルでUA関連の設定ミスを発見

ある製造業・メーカーの支援では、オウンドメディアのSEO設計からリニューアルを担当した際、旧サイトのrobots.txtに「User-agent: *」でDisallowされているディレクトリが残っていることを発見しました。本来は特定のテスト用クローラーのみをブロックする意図でしたが、ワイルドカード指定により全てのクローラーがブロックされる状態になっていました。リニューアル時にrobots.txtを再設計し、Googlebotの各種UA（デスクトップ/スマートフォン/画像/動画）に対する制御を明確に記述し直した結果、インデックス範囲が適正化されました。ユーザーエージェントの理解は、テクニカルSEOの「基本中の基本」でありながら、設定ミスが長期間見過ごされやすい領域です。

よくある質問（FAQ）

Q. 自分のサイトにどのクローラーが来ているか確認する方法は？

A. サーバーのアクセスログでUser-Agent文字列を確認するのが最も正確です。Google Search Consoleの「クロールの統計情報」でもGooglebotのアクセス状況を確認できます。

Q. ユーザーエージェントを偽装するクローラーへの対策は？

A. GooglebotのIPアドレス範囲はGoogleが公開しているため、User-Agent文字列だけでなくIPの逆引き検証（reverse DNS lookup）で本物のGooglebotかどうかを判定できます。