クロールとは?Googlebotの動作原理とSEOでの対策ポイント

公開日:2020/01/16

最終更新日:2026/04/13

マーケティングガイド

著者: アイオイクス SEO Japan編集部

無料で資料をダウンロード

SEOコンサルティングサービスのご案内
専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。

無料ダウンロードする >>

この記事でわかること

  • クロールとは、Googlebot等のクローラーがWebページを巡回して情報を収集する動作
  • クロール→インデックス→順位評価の最初のステップ
  • 本記事では、仕組み・インデックスとの違い・最適化ポイントを解説します

前提として、クロールはクローリングとは?の文脈と合わせて理解すると全体像がつかみやすくなります。

クロールとは、テキスト、画像、HTML情報など、Webページ上の様々な情報を収集することです。検索エンジンやキュレーションメディアなどでWebサイトの情報収集のために行われることが多く、クロールを行うプログラムの事を「クローラー」と呼びます。 Googleの検索エンジンにおいては、クローラーであるGoogleボットがWebサイトの情報を「クローリング」し、Googleのデータベースに「インデックス」を行い、ランキングのための情報を取得できるようにしています。GoogleボットがWebページをクロール出来なければ、そのページが検索結果に出ることはありません。 重要なページにはきちんと内部リンクが集まるように情報設計を行い、またクローリングの手助けとしてサイトマップを設置し、ページの重要度をクローラーへ通知するとよいでしょう。

関連キーワード

関連記事

SEO Japanおすすめ記事

クロール最適化の実務

サイトマップの整備、robots.txtの最適化、内部リンク構造の見直し、クロールバジェットの配分最適化が主な施策です。孤立ページを作らない、階層を深くしすぎない、が基本原則です。

実務での気付き:受け皿ページ不在の問題

ある不動産・建設関連事業者の支援では、検索ボリュームが大きいテーマに受け皿ページがゼロという構造的問題が見つかりました。存在しないページはクロールされませんし、階層が深すぎるページはクロール優先度が低くなります。受け皿ページを新設してサイト構造を整理することで、クロール効率と流入機会の両方を改善できた事例です。

よくある質問(FAQ)

Q. クロールとインデックスの違いは何ですか?

A. クロールは「クローラーがページを巡回すること」、インデックスは「巡回したページをGoogleのデータベースに登録すること」です。クロールされてもインデックスされないケースは珍しくありません。

Q. クロールされない原因は何ですか?

A. robots.txtでブロックされている、内部リンクが全くない孤立ページ、サイト階層が深すぎる、サーバーエラーが多発しているなどが典型的な原因です。

  • Facebook
  • X
  • はてなブックマーク
  • pocket
  • LINE
  • URLをコピー
    URLをコピーしました!

著者

  • X
  • Facebook

アイオイクス SEO Japan編集部

2002年設立から、20年以上に渡りSEOサービスを展開。支援会社は延べ2,000社を超える。SEO/CRO(コンバージョン最適化)を強みとするWebコンサルティング会社。日本初のSEO情報サイトであるSEO Japanを通じて、日本におけるSEOの普及に大きく貢献。

メディアTOPに戻る

SEO最新情報やセミナー開催のお知らせなど、お役立ち情報を無料でお届けします。

RECRUIT

一緒に働く人が大事な今の時代だからこそ、実力のある会社で力をつけてほしい。
自分を成長させたい人、新しいチャレンジが好きな人は、いつでも歓迎します。