|
|
Host
1-е значение - хост, он же ip
2-е значение - директива Host - нестандартное расширение (от Яндекса) стандарта robots.txt. Для того, чтобы индексировалось выбранное вами зеркало сайта, достаточно запретить индексацию всех остальных зеркал при помощи файла robots.txt. Это можно сделать, используя нестандартное расширение стандарта robots.txt — директиву Host, в качестве ее параметра указав имя основного зеркала. Если www.reklama.su - основное зеркало, то robots.txt должен выглядеть примерно так:
Код:
User-Agent: *
Disallow: /forum
Disallow: /cgi-bin
Host: www.reklama.su
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Host необходимо добавлять в группе, начинающейся с записи User-Agent, непосредственно после записей Disallow.
Аргументом директивы Host является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием. Если какой-либо сайт не указан в качестве аргумента для Host, для него подразумевается наличие директивы Disallow: /, т.е. полный запрет индексации (при наличии в группе хотя бы одной корректной директивы Host).
|
|