robots.txt
robots.txt - файл robots.txt запрещает индексацию поисковыми системами отдельных частей сайта (страниц) или даже всего сайта.

Пример 1:
# robots.txt for http://www.reklama.su/

Код:
User-Agent: *
Disallow: /cyberworld/map/ # this is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear

В примере 1 закрывается от индексации поисковиками содержимое директорий /cyberworld/map/ и /tmp/.

Пример 2:
# robots.txt for http://www.reklama.su/

Код:
User-Agent: *
Disallow: /cyberworld/map/ # this is an infinite virtual URL space

# Cybermapper knows where to go

User-Agent: cybermapper
Disallow:

В примере 2 закрывается от индексации содержимое директории /cyberworld/map/, однако поисковому роботу поисковой системы cybermapper все разрешено.

Пример 3:
# robots.txt for http://www.reklama.su/

Код:
User-Agent: *
Disallow: /

В примере 3 любому поисковому роботу поисковых систем запрещается индексировать сервер.

В настоящее время стандарт несколько изменился, например, можно записывать в строке User-Agent несколько имен роботов, разделенных пробелами или табуляторами.