В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.

1. Яндекс не индексирует сайт полностью

1.1. Яндекс не индексирует новый сайт

Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.

Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:

1. Добавьте ссылку на сайт в специальную форму: https://webmaster.yandex.ru/addurl.xml
2. Добавьте сайт в сервис Яндекс.Вебмастер: https://webmaster.yandex.ru
3. Добавьте на сайт Яндекс.Метрику
4. Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);

Если данные меры не помогли, напишите в службу поддержки Яндекса – они укажут на причину, по которой Яндекс не индексирует молодой сайт. Например, данный домен, на котором вы создали новый сайт, ранее мог быть заблокирован в Яндексе по каким-то причинам (посмотрите историю домена в сервисе https://archive.org/web/web.php).

1.2. Старый сайт частично или полностью выпал из индекса

Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).

Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС. Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.

Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:

1. Случайно запретили индексацию в файле Robots.txt. Проверьте его содержание.
2. Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).

2. Яндекс не индексирует страницы на сайте

Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:

1. Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
2. На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
3. Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
4. На страницу нет ссылок – соответственно, поисковая система не может ее найти.
5. Страница запрещена к индексации в файле Robots.txt. Проверьте содержание файла.
6. Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
7. Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.