クローラーとは | まーくんのアフィリエイト学校

アフィリエイトを始めるために知っておきたいことなどの基礎から、運営に関する知識やテクニックなどの応用まで様々なノウハウを学ぶことができます

クローラーとは

公開日 最終更新日

クローラーとは、Web上のサイト・画像・動画などの情報を集め、データベースに保管するプログラムのことです。私たちが検索エンジンでスムーズに検索できるのはこのクローラーが情報を集めてくれているお陰です。ロボットやスパイダーとも呼ばれます。

クローラーというのはサイトの情報を収集するプログラムの総称で、有名どころだと「Googlebot(Google)」や「bingbot(マイクロソフト)」などがあります。

 

サイトを公開したらそのまま検索エンジンに登録されるわけじゃないくまね
そうなんです、公開したとしてもクローラーに見つけてもらえてなければ、検索結果にも出てこないんです~

 

クローラーに見つけてもらう

公開したばかりのサイトをクローラーがすぐに見つけてくれるとは限りません。

クローラーに見つかりやすくし、サイト内を巡回しやすいように工夫することを「クローラビリティ」と呼び、これがSEO対策の基本となります。

 

 

クローラーは文字しか理解できない

人に何かを伝える場合、画像や動画はとても重要な要素となります。

しかし、そうした記事は人には分かりやすくとも、そこに画像・動画があるということしか分からないクローラーにはあまり意味がありません。

▲画像が画像であることしか分からない

 

なので、クローラーに記事の内容を理解させるために、しっかりとテキストでも補完してあげましょう。

因みに、クローラーに分かりやすいサイト作りを「クローラビリティ」というのに対し、人に分かりやすいサイト作りを「ユーザビリティ」と言います。

▲例)ユーザビリティが低い

 

SEO対策をする場合、「ユーザビリティ」と「クローラビリティ」両方を兼ね備えたサイトを作っていくことが重要になってきます。

クローラビリティを高める

Googlebotに着目した場合、クローラビリティを高めることは必然的にユーザビリティも高めることに繋がります。

すぐに実践できる代表的なSEO対策を挙げていきましょう。

 

・分かりやすいディレクトリ構造

・関連性のある内部リンク

 

1つずつ順に見ていきます。

 

分かりやすいディレクトリ構造

上の図のようなディレクトリ構造は、トップページからのカテゴリーが雑多になりすぎていて、ユーザーからもクローラーからも分かりにくい構造になってしまっています。

関連性のあるテーマどうしディレクトリにまとめることで、クローラーからはもちろん、ユーザーにも分かりやすいサイト構造になります。

 

関連性のある内部リンク

クローラーはリンクを辿ってクロールしていきます。

そして、Googleは関連性の高いリンク先を評価します。上位表示させたいからと言って、関連性の低いページへの内部リンクは極力削除しておきたいところです。

 

ところで、前に「ページが多すぎるとクローラーがちゃんと巡回できなくなる」って聞いたくま。その対策はどうすればいいくま?
まーくん、実はそれ杞憂なんですよ~

 

 

クローラーがクロールしてくれなくなる?

 

クローラーには「クロールバジェット」と呼ばれる、所謂クロールの限界のようなものがあります。

サイト内にリンクが無数にある場合、クローラーが全てのページを巡回してくれなくなる可能性があるというもの。

しかし、結論から言うと「クロールバジェットは気にする必要はない」です。

 

クロールバジェットに関してのインタビューでGoogleのジョン・ミューラー氏はこう述べています。

引用元:https://webtan.impress.co.jp/e/2016/08/19/23592

 

上記のことから、Webページ制作者が管理者のみであるようなサイトではクロールバジェットの心配をする必要はほとんどないと言えます。

 

「クローラー」のおさらい

簡単に今回のまとめをしておくです~。
見出しタイトル

・クローラーはサイトの情報を収集するプログラム

・クロールバジェットは気にしなくていい

 

関連用語

インデックス

noindex

robot.txt

 

その他参考になる記事

クローラーって何!? SEOに絶対必要!サイトの情報を取得させ、検索結果に表示させよう:ferret

クローラーとは?SEOに必要な基礎知識とクローリングを最適化する方法:innova

クローラーとは:SEO HACKS

 

アフィリエイト用語辞典 一覧に戻る