Обычно владельцы сайтов заинтересованы в том, чтобы их проекты быстрее индексировались поисковыми системами. Но бывают ситуации, когда сайт необходимо закрыть от поисковых систем. Например, если проект находится в стадии разработки или тестирования или на субдомене «вдруг» появился дубль сайта. В данной статье будет рассказано, как полностью закрыть сайт от индексации поисковыми системами.

Способы закрытия сайта от индексации поисковиками

1. Закрытие сайта через robots.txt

Закрыть сайт через robots.txt очень просто: достаточно в корне сайта разместить файл robots.txt со следующим содержанием:

User-agent: *
Disallow: /

Закрытие сайта от индексации через CMS

В ряде CMS по умолчанию имеется функция закрытия сайта от индексации. Также в ряде CMS по умолчанию можно открыть или закрыть индексацию конкретной страницы. Посмотрите настройки вашей системы управления – возможно, там уже есть такая функция и она доступна без установки дополнительных модулей.

Закрытие сайта от индексации с помощью специальных модулей

Для разных систем управления существуют различные модули, позволяющие открывать или закрывать от индексации конкретные страницы или сайт в целом. Обычно они прописывают соответствующие команды на каждой странице в блоке . Установка и настройка соответствующих модулей происходит по-разному, поэтому стандартной инструкции тут дать не получится.

Закрытие сайта от индексации вручную

В блоке необходимо добавить следующую строку:

Эта строка запретить индексировать страницу.

Закрытие сайта от индексации через .htaccess

Файл .htaccess позволяет управлять доступом в различные папки и файлы на хостинге, где размещен ваш сайт. В корневой папке он также присутствует.

Можно прописать в этом файле следующую команду:

Deny from all
Allow from [ваш IP-адрес]

Эта команда запрещает доступ к сайту всем, кроме пользователя с указанного IP-адреса. Таким образом роботы поисковых систем не смогут попасть на сайт, а вы – сможете. Минус способа в том, что и обычные посетители не смогут попасть на сайт.

Закрыть сайт через .htaccess можно, если вы разрабатываете новый проект и не хотите, чтобы посторонние его могли даже теоретически увидеть.

Как закрыть сайт от индексации только в Яндексе?

Если необходимо закрыть страницы только для Яндекса, то будет достаточным прописать в robots.txt следующую команду:

User-agent: Yandex
Disallow: /

Как закрыть сайт от индексации только в Google?

Аналогично необходимо прописать команду, которая запретит индексировать сайт роботу Google. Вот как она выглядит:

User-agent: Googlebot
Disallow: /

Обратите внимание! В ряде случаев роботы малоизвестных поисковых систем серьезно нагружают хостинг во время индексации сайта. В этом случае можно запретить данным роботам индексировать сайт, чтобы снизить нагрузку на хостинг. Однако далеко не все роботы следуют инструкциям в файле robots.txt, поэтому совет – не панацея на все случаи жизни.

Как быстро сайт исчезнет из индекса?

Если вы закрыли сайт от индексации, он со временем исчезнет из индекса поисковых систем. На практике процесс может затянуться, и первые страницы начнут выпадать из индекса через 2-4 недели после закрытия сайта от индексации.

Ускорить удаление страниц можно через панели вебмастера. Для Яндекса соответствующий инструмент находится по адресу https://webmaster.yandex.ru/delurl.xml, а для Google — https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=.

Запрет на индексацию сайта не означает, что в будущем сайт не сможет участвовать в поиске. Если вы отмените запрет, сайт снова начнет индексироваться.