ロボット型検索エンジンは、インターネット上のWebサイトやWebページの情報を収集するために、クローラーロボットと呼ばれるソフトウェアを使用します。このプログラムは、 「ボット（Bot）」「スパイダー」「ロボット」等とも呼ばれています。Googleの検索エンジンには「Googlebot」と呼ばれるクローラーがあり、このクローラーロボットが収集した情報は、検索エンジンのデータベースに登録されます。

ユーザーがキーワード検索を行うと、検索エンジンはデータベース内でキーワードに最もふさわしい内容を検索し、それらのWebページを順番に表示します。表示される内容は、ロボットが独自のアルゴリズムでWebサイトやWebページの内容から抽出した情報です。

ロボット型検索エンジンには以下のメリットがあります。

1. 大量のWebページをカバーしている: ロボット型検索エンジンは、自動でWebページを巡回するため、多くのWebページを収集してインデックス化することができます。そのため、広範な情報を検索することができます。
2. 検索結果の正確性が高い: ロボット型検索エンジンは、アルゴリズムによってWebページを分析し、適切な検索結果を提供します。そのため、検索結果の正確性が高く、ユーザーが求める情報を見つけることができます。
3. スピードが速い: ロボット型検索エンジンは、自動でWebページを巡回するため、多くのWebページを短時間で収集し、インデックス化することができます。そのため、検索結果を高速に提供することができます。
4. 継続的な更新が可能: ロボット型検索エンジンは、定期的にWebページを巡回して情報を更新するため、最新の情報を提供することができます。

以上のように、ロボット型検索エンジンは、大量の情報をカバーし、検索結果の正確性が高く、スピードが速く、継続的な更新が可能なため、多くのユーザーに利用されています。

逆にデメリットは以下です

1. インデックスが遅れる可能性がある :ロボット型検索エンジンは、クローラーロボットがWebページを収集し、データベースに登録するまでに時間がかかる場合があります。そのため、新しいWebページが作成された場合や既存のWebページが更新された場合、その情報が検索エンジンに反映されるまでに時間がかかることがあります。
2. 検索結果が不完全である可能性がある: ロボット型検索エンジンは、自動的にWebページを収集するため、Webページの構造やHTMLコードの不備によって情報が収集できない場合があります。そのため、検索結果に欠落した情報がある可能性があります。
3. スパムページが検索結果に表示される可能性がある :スパムページは、検索エンジンの検索結果に不正に表示されることがあります。ロボット型検索エンジンは、スパムページを自動的に判別するアルゴリズムを持っていますが、完全に排除することは難しい場合があります。
4. 検索結果が偏る可能性がある: 検索エンジンのアルゴリズムによって、検索結果が偏る場合があります。特定のWebページやWebサイトが頻繁に表示される場合、他のWebページやWebサイトが隠れてしまう可能性があります。

2019年に全てのサービスが終了したディレクトリ型検索エンジンが終了する前は、Webサイトを検索エンジンに登録するときは、トップページの情報だけでOKでした。そのため、サイト運営者はトップページのデザインやコンテンツに注力しました。しかし、現在はロボット型検索エンジンが主流であり、ページ単位で細かく登録されるようになりました。その結果、トップページだけでなく、カテゴリーページやサブページやも多く表示されるようになりました。

この変化により、サイト運営者はどのWebページも検索エンジンに表示されることを想定し、全てのWebページを整備する必要が生じました。初めて訪問するユーザーにも見やすいように、すべてのWebページを整えることが求められ、検索エンジンからWebサイトを訪れるユーザーが最初に目にするWebページを「ランディングページ」と呼ぶようになりました。

これが一体、何を意味するか？Googleのボットが何をしているかが分かれば、自ずとやるべき事が見えてきます。良質な記事を大量に書くことにより、ユーザーの目にとまる確率が上がり、サイト内への回遊率、ひいてはトップページからあなたのビジネスに繋がるページへ誘導することが可能になります。