【基本編】誰でもわかるクローラーの意味や仕組みを解説

WebサイトのSEO対策において重要とされる「クローラー」。ざっくりとしたイメージはあるけれど、実は深く理解していない方も多いのではないでしょうか。

特にWebサイトの運営に何らかの立場で関わっているならば、必ず中身を知っておきたい言葉です。今回は、検索エンジンにおけるクローラーの意味や仕組み、SEO(Search Engine Optimization)対策との関係についてご紹介します。

クローラーの基本を理解しよう

クローラーとは?

語源(crawl)に「這う」という意味があるように、クローラーは「さまざまなWebページを巡回して、自動でサイトや記事の内容(画像や動画など)を収集するプログラム」のことです。プログラムのほかに、「ロボット」と解釈してもいいでしょう。

Googleの検索エンジンは独自のクローラーを使用し、検索結果に反映しています。Googleが持つクローラーとしては、「Googlebot」(Web検索)、「Googlebot-Image」(画像検索)、「Googlebot-News」(ニュース用)などがあります。

また、Google以外のクローラーとしては、bingbot(Microsoft運営のBingに対応)、Yahoo Slurp(Yahooのクローラー※日本以外)などがあります。

クローラーの仕組み

クローラーは世界中のWebサイトに収集ロボットを放ち、データや更新情報を収集しています。テキストや画像、動画といったあらゆるコンテンツを収集した後は、各自設定された検索データベースに保存します。この流れを毎日のように繰り返しています。

収集していく経路としては、収集を行っているWebページに貼られているリンク先に飛ぶという形をとります。つまり、「リンクを伝って情報収集を行う」ということがクローラーの基本的な仕組みになります。

また、更新したコンテンツをクローラーが収集したかどうか確認する方法もあります。最も簡単な方法としては、「site:検索」があります。以下の写真では、「UX MILKのWebサイト(http://uxmilk.jp/)」を「site:検索」しています。

%e3%82%b9%e3%82%af%e3%83%aa%e3%83%bc%e3%83%b3%e3%82%b7%e3%83%a7%e3%83%83%e3%83%88-2016-11-29-11-50-46


「site:検索」で検索結果に該当コンテンツが表示されれば、すでに「クローリング(クローラーが該当コンテンツを収集)」されたことになります。

「クローラビリティ」と「SEO」を高める

「クローラビリティ」とは、「クローラーの巡回のしやすさ」です。クローラーも万能ではなく、全てのWebページを巡回しなかったり、公開直後のページを発見するのに時間がかかったりします。クローラビリティを高めるためには、「仕組み」でも言及したように「外部サイトからのリンク」などが大切です。

また、「SEO」とは、検索サイト(GoogleやYahoo! JAPANなど)で関連キーワードで検索されたときに、自社コンテンツが上位に表示されるための対策のことです。クローラビリティを高めることで、もれなくスピーディーに収集され、検索エンジンのデータベースに保存されます。そうすることで、SEOにも良い影響が生まれます。

気をつけるべきポイント

例えば、運営Webサイト上のとあるページにクローラーが来たとします。しかし、そのページにあった他の内部記事へのリンクが切れているとそこでクローリングが終了してしまう恐れがあります。

このように、外部サイトからリンクされることだけではなく、運営するWebサイトの内部管理も重要です。


イベント