クロールバジェットとは？気にすべきサイト規模・最適化施策・よくある浪費パターンを解説

この記事でわかること

• クロールバジェットとは、Googlebotが一定期間内にクロールできるページ数の上限
• 数千ページ以下のサイトでは気にする必要がないが、大規模サイトでは最重要テクニカル課題
• 本記事では、気にすべきサイト規模・最適化施策・浪費パターンを解説します

クロール全般の基礎についてはクローリングとは、最適化施策についてはクロールバジェット最適化の7つのTipsもあわせてご覧ください。

クロールバジェットとは、Googleボットが各Webサイトをクロールする(ページ)量には上限があるという考えに基づいて、その上限量を表す際に、主にSEO事業者などの間で使用される用語です。Googleは公式のアナウンスにて「数千以下のURL数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるでしょう」と述べており、大規模サイトやURLパラメータでページを自動生成するサイト以外では、クロールの割り当て量に関して心配をすることはないとしています。

SEO Japanおすすめ記事

• Webサイトのクローラビリティを測るために重要な10のチェックポイント
• 【SEO】サイトのクロールバジェットを最適化する７つのコツ

クロールバジェットを「気にすべきサイト」と「気にしなくてよいサイト」

• 気にすべき：ページ数が数万件以上の大規模サイト（EC、求人、不動産ポータル等）。パラメータ付きURLが大量に生成される構造。サイトの更新頻度が高くGooglebotの巡回が追いつかない。
• 気にしなくてよい：数百〜数千ページの企業サイトやブログ。Google自身が「ほとんどのサイトではクロールバジェットは問題にならない」と公言している。

クロールバジェットの浪費を引き起こす4つの典型パターン

1. フィルター・ソートの無限URL生成：ECサイトの絞り込み条件の組み合わせで数十万URLが生成される。robots.txtやcanonicalで制御必須。
2. ソフト404の放置：中身のないページをGooglebotが何度もクロールする。正規404を返すかリダイレクトで整理。
3. 低品質ページのインデックス：タグページ、アーカイブページ、空のカテゴリページなどが大量にインデックス対象になっている。
4. リダイレクトチェーン：A→B→C→Dのように多段リダイレクトが残っており、1ページのクロールに複数回のリクエストが必要。

【実例】EC事業者のクロールバジェット最適化で新商品のインデックス速度が改善

あるEC事業者の支援では、数万点の商品ページを持つサイトで「新商品を公開してもインデックスされるまでに2週間以上かかる」という課題がありました。原因は、フィルター機能で生成される無限URLをrobots.txtでブロックしておらず、Googlebotが数十万件の低品質URLをクロールしていたことでした。不要URLのrobots.txtブロック、ソフト404の整理、XMLサイトマップの最適化を実施した結果、新商品のインデックスまでの平均日数が2週間から3日に短縮。CVR改善施策（収益比+56%）と並行して行ったことで、新商品の売上への貢献スピードも大幅に向上しました。クロールバジェットは「大規模サイトだけの問題」ですが、そのサイトにとっては売上直結の最重要テクニカル課題です。

よくある質問（FAQ）

Q. 自分のサイトのクロールバジェットはどこで確認できますか？

A. Google Search Consoleの「設定」→「クロールの統計情報」で、Googlebotのクロールリクエスト数やダウンロード量を確認できます。急激な減少がある場合は問題のサインです。

Q. クロールバジェットを増やす方法はありますか？

A. 直接的に増やす方法はありませんが、サーバーの応答速度改善、不要URLの整理、サイトマップの最適化で「限られたバジェットを有効活用する」ことが実務的な対応策です。