「SEO対策でWebクローラーの仕組みを知っておきたい」という方もいるのではないでしょうか。

結論からいうと、Webクローラーについて理解しておくことはSEO的にも重要です。

特にGoogleがかなりの割合で利用されているので、Googlebotを中心に対策していく必要があります。

そこで今回は、Webクローラーの仕組みについて1から紹介していきます。

Webクローラーの仕組みについて知っておきたい方、必見です。

Webクローラーの概要

コンサルティング

Webクローラーとは、検索エンジン上にあるコンテンツをクローリングし、検索結果の順位を決定するロボットです。

ここでいうクローリングとは、コンテンツ上の情報にアクセスし、自動でデータを取得することを指します。

検索エンジンを運営している企業によって、運営されていることがほとんどです。

Webクローラーはリンクからリンクへと飛んで、いろんなコンテンツを巡回し、各コンテンツをチェックしています。

そしてチェックし終わった後、独自のアルゴリズムを元に検索順位を決定しています。

ちなみにアルゴリズムは、検索順位を決める基準のようなものです。

以上のことから、Webクローラーは各コンテンツを回ってコンテンツを精査して、順位を決める役割を持っています。

 

ワンポイント
Webクローラーは様々なサイトを巡回し、コンテンツを精査して順位を決めている。

WebクローラーとSEO対策の関係性

SEOと書かれているイメージ

SEO対策を行っていく上で、Webクローラーの存在は欠かすことができません。

そもそも検索順位を決定しているのは、Webクローラーです。

基本的にWebサイト上のテキストを読み込んで、内容を把握します。

その際、次のような内容を元に検索順位の結果を決めているのです。

  • 共起語・関連キーワードがどれくらいあるか
  • 日本語がおかしくないか
  • 外部・内部リンクがどれくらい集まっているか

その他にも200ほどあるアルゴリズムを元に、順位決定をしています。

以上のことからSEO対策を行っていく上で、Webクローラーの性質を理解しておくことは重要です。

 

SEO対策の事例はこちら

 

Webクローラーの仕組み

マインドマップ

ここからはWebクローラーの仕組みについて紹介していきます。

  • クローリングの基本的な流れ
  • クローリングの対象となるファイル

では順に紹介していきます。

クローリングの基本的な流れ

基本的なクローリングの流れとしては、以下の通りです。

  1. 新規コンテンツの作成
  2. クローラーがリンクをたどってページに入る
  3. ページ内を循環した後、インデックスされる

まず、新規コンテンツを作成するだけでは、クローラーに発見されることはありません。

Webクローラーはいろんなページを巡回して、リンクを辿って次のページにクローリングします。

ですので、外部・内部問わずリンクが貼られているかどうかは非常に重要なのです。

クローラーがコンテンツの中に入ってきてサイトを巡回し終わると、そのページはインデックスされます。

インデックスとは、検索エンジンが保有しているデータベースに情報が保有されることです。

検索エンジンにインデックスされた上で、アルゴリズムに従って順位が決定されるという仕組みになっています。

クローリングの対象となるファイル

デジタルアイコンとスマホを持つビジネスマン

クローリングの対象となるファイルは例えば次のようなものがあります。

  • HTML
  • CSS
  • JavaScript
  • 画像（JPEG/PNG/SVGなど）
  • 動画（MP4など）
  • Flashの中にあるリンク
  • PDF
  • オフィス文書(Word/PowerPoint/Excel)

上記を見てわかるように、HTMLだけを読み取って順位を決めているわけではありません。

画像や動画も読み込んでいるので、細部もしっかり対応するようにしましょう。

代表的なWebクローラーの種類

興味,関心

ここでは代表的なWebクローラーの種類について紹介していきます。

  • Googlebot
  • その他

ただし、もっとも認知されていて、多くの人に利用されているGooglebotを焦点に対策するといいでしょう。

Googlebot

Googlebotは、GoogleのWebクローラーになります。

数え切れないほどのコンピューター群を使用して、何十億というページを巡回しています。

タイプは以下の2種類です。

  • デスクトップクローラ
  • モバイルクローラ

これはPC用とモバイル用の2種類のことです。

基本的に上記の2種類でクローリングされることがほとんどです。

ちなみに日本においては95%のシェア率を誇っています。

その他

その他にも、例えば次のようなWebクローラーがあるのです。

  • Yahoo! Slurp：Yahoo!
  • Bingbot：マイクロソフト
  • baiduspider：百度
  • Yetibot：Naver

もちろんこれ以外にも様々なWebクローラーが多く存在します。

また、国によって主に利用されているWebサイトは異なりますし、サイトごとにアルゴリズムも変わってきます。

ですので、海外向けにSEO対策をしていこうと考えている方は、それぞれのサイトを分析してSEO対策を行っていくことが重要です。

 

ワンポイント
Googleが主に利用されているので、Googlebotを中心にWebクローラー対策を行うといい。

クローラーの巡回頻度に関わる問題は？

男性が疑問に思っている時のイメージ

ここではクローラーの巡回頻度に関わる問題について解説していきます。

  • クロールバジェットとその影響
  • URLによって巡回頻度に差がある
  • 巡回頻度が多いとサーバーに負荷がかかる

それでは順番に解説していきます。

クロールバジェットとその影響

クロールバジェットとは、WebクローラーがWebページをクロールする上限のことです。

結論からいうと、クロールバジェットはページが数千以下の場合はあまり影響はありません。

なぜなら数千以下であれば効率よくクロールが行われるからです。

ただし、次のようなサイトであればクロールバジェットを意識した方がいいでしょう。

  • 数万以上などのコンテンツ量を保有しているサイト
  • URLパラメータなどを使ってページを自動生成するサイト

これらの場合、コンテンツ量が極端に多いのでより多くクロールしなければいけないからです。

URLによって巡回頻度に差がある

URLと書かれたブロック　パソコン　写真

実はURLによって巡回頻度に差が出ています。

これは特に、コンテンツの重複が起こっていたり、URLの正規化が行われていないことが関係しています。

URLの正規化とは、簡単にいうと似たようなコンテンツの中で最も評価してほしいURLを示すことです。

つまり似たコンテンツが増えることで、巡回しなければいけない数も当然増えます。

結果、巡回頻度が少なくなってしまうことにもつながるのです。

そのため、巡回頻度を上げたいのであれば似たようなコンテンツを統合したり、URLの正規化を行うようにしましょう。

詳しくは、「Webクローラーの対策方法」にまとめているので、そちらを参考にしてください。

巡回頻度が多いとサーバーに負荷がかかる

クローラーがサイトに一気にアクセスしてしまうと、サーバー側の負担が大きくなってしまいます。

サーバーの負担が大きくなると、最悪サイトが落ちてしまい、表示不可能といった状況になりかねません。

ですので、Webクローラーはサーバー負担を避けるために、巡回速度を調節しながらクロールを行なっているのです。

基本的にクローラーは、サイトに多くアクセスする日中を避け、深夜帯を中心に巡回しています。

 

SEO対策の事例はこちら

 

Webクローラーが巡回したか確認する方法

男性がチェックしていると時のイメージ

ここではWebクローラーが巡回したかを確認する方法について解説していきます。

  • 「site：検索」を行う
  • Googleのサーチコンソールで確認

「site：検索」で確認すると、手っ取り早くて楽なのでこちらをおすすめします。

site：検索を行う

1つは「site：検索」を行うということです。

例えば、「site:https://digima-class.com」のように打ち込みます。

インデックスされていたら、1ページ目に該当のページが表示されます。

もし表示されていなかったら、そもそもインデックスされていない可能性が高いので、インデックス申請するようにしましょう。

ちなみにインデックス申請に関しては、「Webクローラーへの対策方法」にまとめているのでこちらを参考にしてください。

個別でページ検索を行いたい場合はこちらを使うといいです。

Googleのサーチコンソールで確認

2つ目のやり方は、Googleのサーチコンソールで確認することです。

Googleのサーチコンソールの場合、全体のクロール数を計測することができます。

手順は次の通りです。

  1. 「クロールの統計情報」にアクセス
  2. 確認したいサイトを選択
  3. クロールの統計情報が表示

ただし、個別ページを確認することはできません。

全体でクロール数を把握しておきたい時に使うといいでしょう。

 

ワンポイント
  • 「site：URL」で該当ページがインデックスされているかチェックできる
  • 全体確認を行う場合はGoogleのサーチコンソールを使うといい

クローラビリティ向上の必要性は？

英語の疑問詞とビジネスマン　写真

結論からいうと、クローラビリティを向上させる必要はあります。

そもそもクローラビリティとは、簡単にいうとクローラーにサイトを巡回しやすくすることを指します。

理由は、巡回しやすいサイトと巡回しにくいサイトであれば、巡回しやすい方が細部まで確認できるからです。

クローラビリティを向上させるには、例えば次のことを行う必要があります。

  • URLの正規化
  • SSL化
  • XMLサイトマップの作成

URLの正規化は、コンテンツを重複させないようにするために行う施策です。

URLが異なってしまうと、SEOの評価が分散してしまうため、行う必要があります。

加えて、クローラーが余分にチェック対応しなければいけないということにもつながってしまうのです。

また、SSL化とは簡単にいうとセキュリティ対策です。

個人情報を抜き取られないようにし、ユーザーを守るという観点からも必要となってきます。

XMLサイトマップの作成とは、検索エンジンのクローラーに対して作成された専用のサイトマップのことです。

1つのファイルにサイトの構造をまとめることができるので、クローラーの理解促進に非常に役に立ちます。

他にもクローラビリティを向上させるための施策はあります。

次の章で紹介していくので、そちらを参考にしてください。

Webクローラーへの対策方法

ポイントや流れ

ここでは、Webクローラーへの対策方法について解説していきます。

今回紹介するのは、主に次の4つです。

  • リンクのないページの削除
  • パンくずリストの作成
  • リンクの最適化
  • インデックス登録の申請

特にリンクのないページを削除するのは、手っ取り早く行うことができるので、こちらから始めてみるといいでしょう。

リンクのないページの削除

リンクのないページは削除しても問題ないです。

これはどこからもリンクが貼られていないページだと、クローラーが見つけにくいからです。

結果、インデックスされないということにもつながってきます。

ただし、内部リンクを他のコンテンツに設置して、リンクがない記事に流す方法もあります。

もちろんその作業が増えるにつれ、時間とコストを天秤にかけないといけません。

順位がさほど付いてなく、リンクがないページに関しては削除しても大丈夫です。

パンくずリストの作成

操作

パンくずリストを作成することもクローラーに対する対策になります。

パンくずリストとは、簡単にいうと現在地を表し、ページ内での場所を示すものです。

例えば、「ALL ＞ Web ＞ SEO」のようなものが設置されているのを見たことはないでしょうか。

このようにサイトをカテゴリーに分類して、見やすくするものです。

パンくずリストを作成すると、もちろんクローラーも巡回しやすくなりますので、クローラビリティが上がりやすくなります。

ですので、サイト内をきれいに分類して、わかりやすいパンくずリストを作成しておくようにしましょう。

リンクの最適化

リンクの最適化を行うようにしましょう。

この場合、主に内部リンクです。

ちなみに内部リンクとは、「メディアの中にあるコンテンツをつなげる役割を持つリンク」のことを指します。

内部リンクを設置することによって、以下のような効果を得ることができます。

  • インデックスされなかった記事をインデックスしてもらえるようになる
  • サイト内の循環を促進することができる

以上のことから、適切に内部リンクを設置することで、クローラーにコンテンツを評価してもらいやすくなります。

インデックス登録の申請

最後にインデックス登録の申請です。

全く見られていないコンテンツであっても、インデックス登録の申請を行うことでクローラーに巡回を促すことができます。

Googleのサーチコンソールで対応できますので、これは新規作成や大幅にリライトした際に申請するといいです。

簡単に手順をまとめました。

  1. Googleのサーチコンソールにログインする
  2. URL検査ツールにURLを挿入する
  3. 「インデックス登録をリクエスト」をクリックすると申請完了

ちょっとした手間がかかってしまいますが、ほんの数分あれば終わります。

検索結果に出したいページであれば、欠かさず申請するようにしましょう。

 

ワンポイント
まずは、もっとも手っ取り早く対応できる「リンクがないページを削除」から始めよう。

Webクローラーへの対策で困った時は？

ヒアリング

Webクローラーの仕組みや対策についてはこれまで紹介してきた通りです。

しかし、中には「自身のサイトの現状を見て、何から始めたらいいかわからない」という方もいるのではないでしょうか。

そんな時はデジマクラスまでご相談ください。

デジマクラスでは、Webクローラーを含め、クローラビリティの向上に関する専門知識を持ったスタッフが多数在籍しています。

加えて、あなたの状況に応じて、クローラビリティを上げる方法について提言することも可能です。

Webクローラーの対策について、弊社と一緒に効果的な施策を考えていきましょう。

 

SEO対策の事例はこちら

 

まとめ

ポイント

ここまでWebクローラーの仕組みについて解説してきましたが、いかがだったでしょうか。

簡単にここまでのことについて振り返っておきましょう。

  • Webクローラーはコンテンツをクローリングし、検索結果の順位を決めている
  • SEOの観点からもWebクローラー対策は重要
  • 最もメジャーなGooglebotをターゲットに対策を行おう

サイト設計などエンジニア業務が関わってきますので、適宜コミュニケーションをとりながら対策を進めるようにしてください。

この記事があなたにとって参考になれば幸いです。