WebサイトのSEO対策において重要とされる「クローラー」。ざっくりとしたイメージはあるけれど、実は深く理解していない方も多いのではないでしょうか。
特にWebサイトの運営に何らかの立場で関わっているならば、必ず中身を知っておきたい言葉です。今回は、検索エンジンにおけるクローラーの意味や仕組み、SEO（Search Engine Optimization）対策との関係についてご紹介します。
クローラーの基本を理解しよう
クローラーとは？
語源（crawl）に「這う」という意味があるように、クローラーは「さまざまなWebページを巡回して、自動でサイトや記事の内容（画像や動画など）を収集するプログラム」のことです。プログラムのほかに、「ロボット」と解釈してもいいでしょう。
Googleの検索エンジンは独自のクローラーを使用し、検索結果に反映しています。Googleが持つクローラーとしては、「Googlebot」（Web検索）、「Googlebot-Image」（画像検索）、「Googlebot-News」（ニュース用）などがあります。
また、Google以外のクローラーとしては、bingbot（Microsoft運営のBingに対応）、Yahoo Slurp（Yahooのクローラー※日本以外）などがあります。
クローラーの仕組み
クローラーは世界中のWebサイトに収集ロボットを放ち、データや更新情報を収集しています。テキストや画像、動画といったあらゆるコンテンツを収集した後は、各自設定された検索データベースに保存します。この流れを毎日のように繰り返しています。
収集していく経路としては、収集を行っているWebページに貼られているリンク先に飛ぶという形をとります。つまり、「リンクを伝って情報収集を行う」ということがクローラーの基本的な仕組みになります。
また、更新したコンテンツをクローラーが収集したかどうか確認する方法もあります。最も簡単な方法としては、「site:検索」があります。以下の写真では、「UX MILKのWebサイト（http://uxmilk.jp/）」を「site:検索」しています。
「site:検索」で検索結果に該当コンテンツが表示されれば、すでに「クローリング（クローラーが該当コンテンツを収集）」されたことになります。
「クローラビリティ」と「SEO」を高める
「クローラビリティ」とは、「クローラーの巡回のしやすさ」です。クローラーも万能ではなく、全てのWebページを巡回しなかったり、公開直後のページを発見するのに時間がかかったりします。クローラビリティを高めるためには、「仕組み」でも言及したように「外部サイトからのリンク」などが大切です。
また、「SEO」とは、検索サイト（GoogleやYahoo! JAPANなど）で関連キーワードで検索されたときに、自社コンテンツが上位に表示されるための対策のことです。クローラビリティを高めることで、もれなくスピーディーに収集され、検索エンジンのデータベースに保存されます。そうすることで、SEOにも良い影響が生まれます。
気をつけるべきポイント
例えば、運営Webサイト上のとあるページにクローラーが来たとします。しかし、そのページにあった他の内部記事へのリンクが切れているとそこでクローリングが終了してしまう恐れがあります。
このように、外部サイトからリンクされることだけではなく、運営するWebサイトの内部管理も重要です。
