БИБЛИОТЕКА ВЕБ-САЙТА
Поисковый робот
Программа, являющаяся составной частью поисковой машины(поисковой системы), и
предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика.
Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины.
Запретить индексацию всего сайта или его части можно с помощью файла robots.txt,
содержащего инструкции для поисковых роботов.
См.также: Поисковая машина | Поисковик | Искалка | Поисковая система | Интернет сайт
сайты регулярно обходятся и индексируются ПОИСКОВЫМИ РОБОТАМИ
есть примерно 180 штук основных поисковых роботов
что же такое частота визитов и алгоритм поисковой машины
|
|