SEO対策において、クローラーの最適化は非常に重要とされています。しかし、「そもそもクローラーとはどのようなものなのか」「なぜSEOにクローラーが重要なのか」分からないという方も多いのではないでしょうか？本記事では、クローラーの基本的な役割や種類、最適化のための具体的な施策を解説します。
目次
クローラーとは、検索エンジンが検索順位を決めるための情報を自動的に収集するプログラムのことです。たとえば、クローラーが収集する情報には以下のような種類があります。
クローラーという名称は「crawl（這う）」という英単語に由来します。インターネット上に存在するあらゆるサイトを這うように巡回し、Webページの情報を収集することからクローラー（crawler）と呼ばれるようになりました。
先ほども説明したとおり、クローラーは「検索エンジンにおける順位」を決定する判断材料を集める存在です。効果的なSEO対策を行うためには、クローラーについて正しく理解する必要があります。
主要な検索エンジンは、それぞれ独自のクローラーを開発・運用しています。代表的なところでは、Googleの「Googlebot」が有名です。また、IT企業各社が自社の検索エンジンのために開発したもののほかに、SEO対策ツールとしてのクローラーも存在します。
Googleの検索エンジンで使用されるクローラーです。総務省の「令和 」によると、Googleの検索エンジンは世界シェア85%という圧倒的な普及率を誇ります。日本国内で使用されている検索エンジンのなかでも、Googleのシェアは断トツです。そのため、日本でのSEO対策はGoogleをターゲットとしたものである場合がほとんどです。クローラーに関する各種施策も同様に、基本的にはGooglebotを前提としたものとなっています。
また、Googleは画像検索用の「Googlebot-Image」やモバイル検索用の「Googlebot-Mobile」なども開発しており、分野ごとに細かくクローリングしています。
参照：令和4年版 情報通信白書｜総務省
マイクロソフト社の検索エンジン「Bing」で使用されるクローラーです。Bingは日本での使用率は少ないものの、2023年2月にプレビュー版の提供を開始した「新しいBing」の1人あたりの検索数は、日本がトップだったと公表されています。
日本以外のYahoo検索エンジンで使用されているクローラーです。なお、日本国内（Yahoo!JAPAN）では、2011年からGoogle検索エンジンのクローラーが使用されています。
中国最大の検索エンジン「百度（Baidu）」で使用されるクローラーです。Baiduは世界第3位のシェアを誇りますが、日本での使用率は少なめです。
AppleがSiriやSpotlightの情報を集めるために開発したクローラーです。Apple公式サイトには、「Apple のロボットは Googlebot に対する指示に従う」と記載されています。
クローラー向けの施策をご紹介する前に、まずは検索エンジンの基本的な仕組みから解説します。そもそも検索エンジンとは、インターネットで提供されているコンテンツを検索するサービスのことです。
検索エンジンの存在意義は、ユーザーが求めるコンテンツを素早く提供することです。そのため、検索エンジンは、「ユーザーのニーズにより応えている」と判断したコンテンツを、検索結果の上位に表示する仕組みが採用されています。
インターネット黎明期は人間が手動でページをカテゴリー分けする「ディレクトリ型」が主流でしたが、現在はプログラムによって自動化された「ロボット型」が主流となっています。
ロボット型の検索エンジンは、次の3つの仕組みで構成されています。
①Webサイトのページ情報を収集し、データベースに登録する
②データベースに登録されたWebページにランクをつける
③ランクづけされたページを検索結果に表示する
このうち、クローラーが担うのは①の役割です。
データベース化されたWebサイトからリンクをたどり、インターネット上をクローリング（移動）します。そして移動先のページを解析し、情報を処理します。処理した情報を検索アルゴリズムが扱いやすい形に変換し、データベースに登録するまでがクローラーの仕事です。
このように、検索エンジンの表示順位はクローラーが集めてきた情報をもとに決定されます。つまり、「クローラーに検索されやすいサイト」をつくることが、結果的に「検索エンジンで上位表示されやすいサイト」をつくることにつながるのです。
ここからはGooglebotを前提に、クローラーに検索されやすくなる方法を解説します。クローラーへの最適化を目指す際は、以下の10個の施策を実施するケースが一般的です。
ただし、クローラーのアルゴリズムは不定期で見直されているため、常に最新の情報をチェックすることが大切です。専門的な内容も多いため、SEOに精通した専門会社に定期的に相談するとよいでしょう。
Googleは、クローリングのリクエストに対応しています。Googleのクローラーに「このWebページを見て」とリクエストを送ることができます。新しいページを作成した際や、既にあるページの情報を更新した際は、Google Search Console（サーチコンソール）のURL検査という機能を使ってクローリングをリクエストしましょう。
WebサイトのURLには、「www（World Wide Web：ワールド・ワイド・ウェブ）.」が含まれるものと、含まれないものがあります。両方のURLが存在すると、Googleから重複コンテンツとみなされ、クローリングの頻度が減ってしまいます。重複するコンテンツは1つに統合し、クローラーが巡回しやすいページ構成にしましょう。
また、wwwのほかにも「index.htmlのありなし」や「httpとhttps」なども重複コンテンツとみなされてしまいます。重複しているページがないか今一度チェックすることが大切です。
noindexとは？SEO対策における重要性や設定方法を解説
Googlebotは、階層の浅いページを優先的にクローリングする仕組みになっています。そのため、Webサイト内のページの階層はできる限り浅くすることが重要です。クローラーの最適化を重視するのであれば、すべてのページがトップから2クリック以内で開ける状態が理想的でしょう。
XMLサイトマップとは、クローラーにWebサイトの構造を理解してもらうためのファイルです。簡単にいうと、クローラーにWebサイトを案内する地図のようなものです。
たとえば、WordPressの場合は、プラグインを利用することでXMLマップを手軽に作成できます。Google XML sitemap というプラグインは、Googleが推奨するプラグインです。またWordPress以外のサイトでも、sitemap.xml Editorをはじめ便利なツールがあるので活用しましょう。基本的には、ファイル名やディレクトリに問題がなければ大丈夫です。
内部リンクとは、自サイトのページ同士を連携させるためのリンクのことです。
（例）◯◯についての詳細はこちらのページで解説
クローラーは、ページ内のリンクをたどりながらWebサイトを巡回していきます。そのため、内部リンクが設置されていると、サイト全体をまんべんなくクローリングされやすくなるのです。ただし、ページ同士の関連性が低いと、かえって評価が下がってしまうため注意しましょう。
ユーザーの検索意図を理解し、有益な情報を掲載することが大切です。質の高いコンテンツの作成はSEO対策の基本であり、後述する被リンクの獲得にもつながります。
SEOはキーワード選定が超重要！選定方法やキーワードの入れ方を紹介
SEO効果を高めるリライト方法とは？リライト記事の見つけ方や注意点も解説
パンくずリストとは、いま閲覧しているページがWebサイトの構造上どの位置にあるのか示すものです。たとえば、以下のように表示されていることが多いでしょう。
（例）ホーム ＞ 事例紹介
この表示だと、ユーザーは現在、ホームの次の階層の「事例紹介」というページを閲覧していることが分かります。パンくずリストは、ユーザーだけでなく、クローラーにとってもナビゲーションになります。パンくずリストを作成することで、ユーザビリティの向上にもつながるので積極的に活用しましょう。
クローラーはリンクをたどってWebサイトを巡回します。そのため、ほかのサイトやSNSなどで自サイトのURLが紹介されていると、クローリングに検索されやすくなります。サイト運営者やSNSユーザーが紹介したくなるような、質の高いコンテンツを作成しましょう。
サーバーの最適化によりパフォーマンスが向上すると、クローラーへの負荷が減り、サイト内を巡回しやすくなります。具体的には「ストレージやメモリの容量を増やす」「CPUの性能を高める」といった方法が考えられます。
クローラーへの負荷を減らすという意味では、画像やCSSなどのファイルサイズを軽くすることも重要です。ページの表示スピードも改善されるため、ユーザビリティの向上にもつながります。
Webサイト全体のクロール情報は、Googleサーチコンソールで確認できます。
まずはログイン後、「設定」のページを開きましょう。そこからクロールの統計情報の「レポートを開く」をクリックすると、クローラーの動きを確認することが可能です。
ページ単位で確認したい場合は、1つ目のクローリングをリクエストするという見出しでも紹介したように「URL検査」の機能を使用するとよいでしょう。クローラーの巡回を確認したいページごとに、最後にクローリングされたタイミングを知ることができます。
クローラーとは、検索エンジンが検索表示順位を決めるための情報を自動的に収集するbotのことです。SEO対策を行うためには、クローラーの役割や仕組みを正しく理解し、施策を実施することが大切です。クローラーが巡回しやすくなるような施策を実施し、検索順位の上昇を目指しましょう。
クローラーのアルゴリズムは不定期でアップデートされています。最新のクローラーに最適化したSEO対策を行うためには、専門家に相談するのがおすすめです。
アイオイクス 株式会社では、お客様のWebサイト運営を支援する伴走型のコンサルティングサービスをご提供しています。当社は、日本にSEOの考え方が浸透していなかった20年以上前からSEOサービスを提供し、企業のSEO課題にまっすぐ向き合ってまいりました。さまざまなSEOプロジェクトに携わってきた経験を活かし、貴社の事業目的や「伝えたいこと」に合わせたサポートを提供いたします。SEO施策に関する課題やお悩みがございましたら、まずはお気軽にご相談ください。
2002年設立から、20年以上に渡りSEOサービスを展開。支援会社は延べ2,000社を超える。SEO/CRO（コンバージョン最適化）を強みとするWebコンサルティング会社。日本初のSEO情報サイトであるSEO Japanを通じて、日本におけるSEOの普及に大きく貢献。
SEO最新情報やセミナー開催のお知らせなど、お役立ち情報を無料でお届けします。
