Поисковые роботы.
Поисковые роботы - программы, входящие в состав программного обеспечения поисковой машины. Поисковые роботы занимаются индексацией страниц - скачивают страницы и заносят в индекс. Интеллектуальный поисковый робот может определить, изменялась ли страница с прошлого посещения и стоит ли тратить время и компьютерные ресурсы на повторную индексацию страницы.

У Яндекса, например, есть несколько роботов, которые представляются по-разному.
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов IP роботов Яндекса - военная тайна.