Googleやbingなどの検索エンジンはクローラーと呼ばれるロボットを使ってWeb上に存在するページのデータを収集しています。こちらのページではクローラーについてご説明します。クローラーにページを巡回してもらいやすくする方法についても解説していますので、ご参考にしていただきますと幸いです。
＜目次＞
1．クローラーとは
2．クローラーに巡回してもらうには
2-1．インデックス登録をリクエストする
2-2．サイトマップを送信する
目次
1．クローラーとは
クローラーとはWeb上にどのようなページがあるか巡回して、各ページの情報を収集するロボットのことです。クローラーが収集した情報は検索エンジンのデータベースに登録され、検索エンジンはその情報を基に検索順位を決めています。なお、検索エンジンのデータベースにページの情報が登録されることを「インデックス登録」と言います。
GoogleであればGooglebotというクローラーがWeb上にあるページの情報収集をして、Googleのデータベースに情報を登録します。そして、Googleはデータベースの内容を基に、検索キーワードと関連性が高いページを1位から順番に表示させています。
2．クローラーに巡回してもらうには
検索結果に表示されるにはクローラーにページを巡回してもらい、そのページの情報をデータベースに登録してもらう必要があります。ページを新たに追加したら、クローラーにできるだけ早く巡回してもらうために以下の2つをおこなうようにしましょう。
2-1．インデックス登録をリクエストする
Googleが提供しているサーチコンソールというツールでインデックス登録をリクエストすることができます。サーチコンソールの画面左にある「URL検索」をクリックして、インデックス登録したいページのURLを入力しましょう。そのページがまだインデックス登録されていない場合は「インデックス登録をリクエスト」という文字が表示されますので、クリックするとインデックス登録をリクエストすることができます。
2-2．サイトマップを送信する
サイトマップとはサイト全体のページ構成を記載したページのことです。サイトマップがあるとクローラーがサイト全体を巡回しやすくなりますので、インデックス登録されやすくなります。サーチコンソールの画面左にある「サイトマップ」をクリックして、サイトマップのURLを入力するとGoogleにサイトマップを送信することができます。ページを追加してサイトマップを更新したら、Googleにサイトマップを送信しましょう。
