robots.txtとは？書き方・SEOでの役割・設定ミスの発見方法を解説

無料で資料をダウンロード

SEOコンサルティングサービスのご案内
専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。

無料ダウンロードする　＞＞

この記事でわかること

• robots.txtとは、クローラーにクロールの許可・不許可を指示するテキストファイル
• 設定ミスでサイト全体がインデックスされなくなるリスクがあり、慎重な管理が必要
• 本記事では、書き方・SEOでの役割・設定ミスの発見方法を解説します

robots.txtは、ロボット型の検索エンジンに対して動作制御を行うためのファイルです。 検索エンジンのクローラー（ロボット）のWEBページのへのアクセスを制限することができます。 そのため、robots.txtによるクロール制限は「クロール最適化」として用いられるSEO施策の一手段であり、SEOにおいて重要です。 Webサイトにrobots.txtを設置し、 クローラーに対し情報を正確に伝えてクローラービリティーを高めることで上位表示に寄与します。

robots.txtの設定ミスが「発見しにくい」3つの理由

1. ブラウザでは正常に見える：robots.txtはクローラーへの指示であり、ユーザーのブラウザ表示には影響しない。サイトを目視で確認しても問題に気付けない。
2. 影響が出るまでタイムラグがある：設定ミスからインデックス消失まで数日〜数週間かかるため、原因と結果の紐づけが困難。
3. サイト移行時に引き継がれないことがある：CMS変更やサーバー移行時にrobots.txtが上書きされ、旧設定が消える。テスト環境用の「Disallow: /」がそのまま本番に残るケースも。

【実例】不動産サイトのサーバー移行後にrobots.txtの設定ミスを発見

ある不動産・建設関連事業者の支援では、サーバー移行後に自然検索流入が急落する事態が発生しました。原因調査の結果、移行先サーバーのデフォルト設定で「Disallow: /」（全ページクロール禁止）のrobots.txtが配置されていたことが判明。テスト環境では意図的にクロールをブロックしていた設定が、本番反映時にそのまま引き継がれていました。Google Search Consoleの「robots.txtテスター」で即座にブロック状態を確認し、正しい設定に修正。修正後2週間でインデックスが回復し、順位も元の水準に戻りました。robots.txtは「一度書いたら触らない」ファイルではなく、サイト変更のたびに確認すべきSEOの生命線です。

よくある質問（FAQ）

Q. robots.txtでDisallowしたページはインデックスから消えますか？

A. robots.txtはクロールを制御しますが、インデックス削除を保証するものではありません。外部リンク経由でURLが知られている場合、クロールせずにインデックスに残ることがあります。確実にインデックスから除外するにはmeta noindexを使用してください。

Q. robots.txtの設定が正しいか確認する方法は？

A. Google Search Consoleの「設定」→「robots.txtの確認」で、特定URLがブロックされているかをテストできます。サイト変更後は必ずこのツールで確認することを推奨します。