「SEOについて調べているとクローラーという言葉をよく聞くけど、どんな役割があるの？」
「SEOで検索上位表示するのに関係している？」
クローラーとは、各サイトを巡回して文字列や画像などのさまざまな要素を集めているプログラムのことです。
自社のサイトを検索上位表示させるにはSEOを意識したページ作りが欠かせません。しかし、ページを検索画面に表示させるためには、まずクローラーにページを認識させる必要があります。
この記事では、クローラーの概要や、クローラーの仕組みを踏まえたSEO対策について詳しく解説します。クローラーについて理解を深め、SEO対策に役立てましょう。
クローラーとはサイトを巡回するプログラムのこと
クローラーとは、Webサイトを回遊しながらデータを収集しているプログラムです。文字列や画像、ファイルなどを認識してデータを集めています(※)。
収集されるデータの例は以下のとおりです。
- HTML
- CSS
- JavaScript
- 画像（GIF/JPEG/PNG/WebP/SVG）
- 動画（MP4/WebMなど）
- オフィス文書（Word/Excel/PowerPoint）
更新頻度の高いサイトほどクローラーは短い頻度で回遊するため、クローラーの仕組みを把握することはSEOにおいて重要な要素です。
SEOに強いサイトをつくるうえではクローラーの働きを意識してみましょう。
※参照：文部科学省「検索エンジンの法制上の課題の検討に関する中間まとめ 1.問題の所在」
SEOでクローラーを意識すべき理由
検索順位を決定するためには、まずサイトURLが検出される必要があります。
その後クローラーによって記事が認識され、最後にインデックスされます(※)。
SEOでクローラーを意識すべき理由を、以下の2つの観点からみていきましょう。
それぞれ解説します。
※参照：Google Search「結果を自動的に生成する仕組み」
コンテンツがインデックスされないとスタートラインにすら立てないから
どれだけ良質なコンテンツをつくっても、検索結果に表示されなければ意味がありません。
検索結果に表示されるにはクローラーによるインデックスが必要です。SEOのスタートラインに立つ意味でも、クローラーの動きを意識することは重要です。
ただし、クローラーの巡回を促すことがSEOにつながるわけではありません。
検索順位の決定には、記事の質や離脱率などが関係してます。そのため読者の悩みを解決できない記事はクロールされても上位表示には繋がらないのです。
しかし、記事を表示させるスタートラインに立つ意味では重要となります。
施策の成果が出るまでのスピードを左右するから
新規コンテンツは数日でクロールされることもあれば、クロールまでに1ヶ月ほどかかることもあります。
つまり、クローラーが巡回する頻度によって、新規コンテンツによる成果を実感するまでのスピードが大きく変わってきます。
新規コンテンツによる集客効果を少しでも早く出すためには、クローラーの巡回を促す施策が重要です。
とくに、新規サイトはクロールに時間がかかりやすいため、コンテンツ制作と並行してクローラーの巡回を促す施策を試してみてください。
SEOで不利にならないようクローラーの巡回を促す9つの方法
検索順位を高めるためには、前提としてクローラーに認識されて、インデックスされる必要があります。クローラーになかなか認識されない状況は、SEO的に大きな不利を被っているといえます。
SEOで不利にならないために、クローラーの巡回を促す方法は以下の9つです。
- Google Search Consoleでリクエストする
- XMLサイトマップを使用する
- 内部リンクを正しい位置に設置する
- robots.txtを作成する
- 重複するページのURLを正規化する
- 他サイトからリンクをもらう（被リンクを増やす）
- パンくずリストを設置する
- リンク切れのページを減らす
- サイトの表示速度を速くする
スタートラインに立つためにも、今回紹介する施策は最低限行うようにしましょう。それぞれ方法を解説していきます。
Google Search Consoleでリクエストする
Google Search ConsoleのURL検査からクロールをリクエストできます。
具体的な手順は以下の通りです。
まず、URL検査から上部の検索欄にインデックスさせたいURLを入力します。
「Googleに登録されています」と出たらすでにクロールされている状態です。
「登録されていません」と出たらクロールされていない状況です。「インデックス登録をリクエスト」のボタンを押してGoogleに記事が存在していることを伝えましょう。
XMLサイトマップを使用する
サイトマップとは、ページ内の更新頻度や最新更新日、URLなどの情報がまとまったデータファイルのことです。サイト内で見てほしいコンテンツの優先度も記されているため、クロールの際にWebサイト内のどのページを優先してほしいかが伝わります。
サイトマップは専用のツールやプラグインを使って作れます。サイトマップを自動で作成するツールにはsitemap.xml Editorなどがおすすめです。
どのページを優先的にクロールするかを伝えるためにも、サイトマップを作成するようにしましょう。
内部リンクを正しい位置に設置する
クローラーは、ページ内のリンクを辿って移動します。
内部リンクが適切な位置に設置されていると、そのリンクをたどって別のページに移動しクロールされていきます。
ただし、内部リンクは増やせば増やすほどよいわけではありません。関連性のない内部リンクはユーザーにとって不利益であり、SEOに逆影響を与える可能性もあります。
ユーザーが「その情報について詳しく知りたい」と思ったタイミングで内部リンクを設置することで、SEO効果を高めつつクローラーの巡回を促せます。
robots.txtを作成する
robots.txtは、クローラーに指示を出すファイルの一種です。Googleに対してどのURLならアクセスしていいか、ダメなのかを伝える役割があります。
つまり、クローラーが具体的にどう動けばいいのかをアシストしているのです。
重要でないURLのクロールを防ぐことも可能です。
robots.txtはテキストエディタにて作成し、ファイルをサーバーにアップロードすることで稼働させられます。
重複するページのURLを正規化する
同一の内容にもかかわらずURLが違う2つのページがあると、クローラーがどちらを優先してクロールするか迷い、結果どちらか一方しかクロールされないケースがあります。
すでに同一内容のページが複数ある場合は、正規化の処理を実施しましょう。正規化とは、複数あるURLの中から、Googleに評価してほしいURLを指定することです。
また、重複コンテンツがあると、クローラーの巡回効率の低下にも繋がります。そもそも重複コンテンツを作らないよう意識することが大切ですが、重複コンテンツが発覚した際は正規化を実施しましょう。
他サイトからリンクをもらう（被リンクを増やす）
クローラーは、他サイトのリンクを辿って自社サイトに辿り着くこともあります。
そのため、他サイトの記事に自サイトへのリンクが設置されていると、自サイトのページがクロールされやすいです。
さらに、多くのサイトから被リンクをもらえると、Googleは「このサイトは被リンクをもらっているから人気のページである」と認識します。そして、以降も頻繁にクロールが実施されます。
クローラーの巡回を促すために被リンクを獲得することは大切です。
被リンクの獲得戦略については下記の動画で解説しているので、参考にしてください。
パンくずリストを設置する
パンくずリストとは、ユーザーがどの階層にいるかを一目でわかるようにしたものです。
下記のように、トップページ＞ホーム＞○○などの形で表示します。
ユーザーにとってわかりやすいだけでなく、クローラーに対して階層構造を伝える効果があります
パンくずリストがあればクローラーの巡回が効率的になるのです。
ユーザビリティとクロール促進の両方の観点で有利になるため、積極的に設置しましょう。
リンク切れのページを減らす
あるページ内から内部リンクで新しいページに移ったときに、リンク切れを起こさないようにしましょう。リンクが切れて表示されないと、クローラーの巡回効率を下げてしまうからです。
また、ユーザーの使い勝手も悪く、離脱率が高まります。
よくあるのは、「404 not found」の表示です。URLが削除されているか、間違ったURLのときに表示されます。
クローラーの巡回を落とさないためにも、リンク切れしているページがないかチェックすることが大切です。
サイトの表示速度を速くする
サイトの表示速度が遅いと、クローラーの巡回も遅くなります。
表示速度が遅いとクローラーに負荷がかかり、インデックスされる際の効率も低下するからです。
速度低下の原因はさまざまですが、わかりやすい部分だと以下の3つが挙げられます。
- 画像のサイズが大きい
- 動画のサイズが大きい
- 外部ファイルのサイズが大きい
サーバーエラー表示やタイムアウトになってしまうとユーザーの離脱率にも影響がでるため、サイトの速度を意識することは重要です。
対策としては画像や動画を圧縮したり、外部ファイルを減らしたりしましょう。
ここまで説明したクローラーの巡回を促す施策実施が難しい場合、ノウハウや実績のある専門会社へ相談するのもおすすめです。
フラップネクストでは、SEO対策に関して幅広くサポートを実施しています。相談は無料でできるので、ぜひお気軽にご連絡ください。
クローラーがなかなか巡回しない場合はGoogleからペナルティを受けている可能性も
Googleから違反とみなされたページはペナルティを受けることがあります。
ペナルティを受けるとクローラーが巡回しなくなり、検索結果に表示されなくなるケースがあります。
クロールは時間経過によって自動で行われるものですが、いつまで経ってもインデックス登録されない場合は、ペナルティの可能性も疑いましょう。
ペナルティを受ける原因は、主に以下の3つです。
- 多くの低品質なコンテンツ
- 不自然なリンク獲得
- 隠し文字やページによるSEO対策
なかなかクローラーが巡回しない場合は、上記に該当しないか確認してみましょう。
SEO観点であえてクローラーを巡回させない方がよいケースもある
SEOの観点では、クローラーがサイトを巡回してすべてのコンテンツをインデックスしている状態が理想です。
ただ、以下のようなページはインデックスされないほうがいい場合もあります。
- 重複や類似したコンテンツ
- エラーページ
- ランディングページ
こういったページはサイト全体の評価を下げる恐れがあるからです。
クローラーを巡回させない方法には以下の2つがあります。
- robot.txtでクロールを制御
- ページにパスワードを設定する
ページをインデックスさせたくない場合は参考にしてみてください。
クローラーがページを巡回したか確認する方法
クローラーの巡回を促す対策をしたら、実際に巡回されているのか確認する必要があります。
クローラーが巡回したかを確認する方法は、以下の2つです。
それぞれ詳しく解説します。
「site：」で検索する
検索ページにて「site:」の文字を入れてから対象ページのURLを入れてみましょう。
下記のように表示されれば、インデックスされている状態です。表示されない場合はインデックスされていないため、対策を施す必要があります。 
手間をかけず調べられるため活用してみましょう。
Google Search Consoleで調べる
Google Search Consoleはサイトへのアクセス前のデータを分析できるツールです。クローラーの巡回状況も調べられます。
Google Search Consoleでクローラーが巡回したか確認するには、まずサーチコンソールの上部にある検索欄にURLを入力します。
「Googleに登録されています」と表示されたら、クローラーが巡回しているため問題ありません。
「登録されていません」だった場合はインデックスリクエストを促しましょう。
クロール統計情報からは、サイトにクローラーがどのくらいの頻度で巡回しているかもわかるため利用してみましょう。
SEO対策ではクローラーの巡回も意識しよう
クローラーの役割は、Web上にページの存在を認識させることです。検索に表示させるには、クローラーを巡回させる対策が重要です。
巡回を促すには、サイトマップの活用や内部リンクの設置などさまざまな方法があります。
ページがクロールされなければSEOのスタートラインにすら立てないので、クローラーの仕組みや巡回促進についてはしっかりと理解しておきましょう。
フラップネクストでは、「ページがクロールされない」といったWeb運営上の悩みはもちろん、SEO対策に関して幅広くサポートを実施しています。
無料相談も可能なので、ぜひお気軽にご相談ください。
コメント