Как правильно создать robots.txt? Правила настройки и проверки robots.txt для новичков
Автор: Илья Жуйков- Опубликовано:18.04.2013
- Комментарии:
1 Комментарий - Рубрика:
Для начинающих - Просмотров: 9 920
Для чего нужен robots.txt, и где размещать этот файл – такие же важные вопросы, как и правильность его написания. Начну с того, для чего он нужен.
Файл robots.txt содержит перечень инструкций для роботов поисковых систем, которые разрешают, но чаще – запрещают роботам-паукам просматривать отдельные документы на сайте или целые разделы. Например, не просматривать страницы из архива или версии документов для печати.