Первое условие для успешного продвижения сайта – нахождение его страниц в индексе, то есть базе поисковика. Есть много случаев, когда важные документы там отсутствуют, и пользователи не могут их найти. В результате проект теряет аудиторию.

Прочитав статью, вы узнаете:

• как проверить, какие страницы сайта находятся в индексе Яндекса или Google,
• узнаете способы посмотреть количество документов в базе поисковой системы,
• познакомитесь с полезными SEO-сервисами.

Но вначале немного теории. Она поможет лучше разобраться в вопросе.

Что такое индекс поисковой системы?

Это база данных, в которой находится информация обо всех документах, которые могут участвовать в поиске (к ним относятся и файлы, изображения, и другие виды визуального и текстового контента).

Например, Яндекс индексирует файлы с расширениями PDF, DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office); ODS, ODP, ODT, ODG (Open Office); RTF, TXT, SWF. Он также обрабатывает стандартные HTML-страницы и графику (JPG, PNG и другие). Интересно, что если файл офисного документа весит больше 10Мб, то он не индексируется. Об этом написано в помощи для вебмастеров.

Если говорить о страницах, то не все из них включаются в эту базу. Например, туда могут не попасть:

• Документы, которые робот (Crawler) признал низкокачественными или маловостребованными.
• Дубли, неканонические страницы.
• Документы с неуникальным контентом.
• Страницы, закрытые от индексации или отдающие ошибку в коде состояния HTTP (301, 404, 503).

Подробнее об индексе поисковой машины можно посмотреть в Википедии.

В Google имеется основной индекс и дополнительный (Supplemental Index или на сленге SEO-специалистов «сопли»).

В дополнительный индекс попадают страницы, которые имеют более низкое качество, чем документы из основной базы. Они не участвуют в основном поиске, их редко посещает Googlebot, они практически не приносят трафик.

В дополнительный индекс Google обычно попадают:

• документы с неуникальным контентом,
• страницы, на которых практически отсутствует контент или с текстом менее 500 символов,
• дубли,
• иногда в туда могут попадать документы с низким ссылочным весом.

Почему важно проверять количество страниц в индексе Яндекса или Google?

• Этот показатель влияет на потенциальный трафик, то есть количество переходов, которое можно получить из поисковых систем. Чем больше документов сайта участвуют в поиске, тем выше шанс получить визиты по разным запросам, особенно низкочастотным.
• Если число страниц в индексе Яндекса и Google сильно отличается, это может говорить о наличии технических проблем, недоработках в структуре, перелинковке, качестве контента. Необходимо проводить аудит и разбираться в ситуации.
• Количество страниц в индексе Яндекса и Google может указывать на масштаб сайта и уровень его авторитетности. Чем шире проект охватывает семантику в нише, тем лучше его могут оценивать алгоритмы. Поэтому имеет смысл проверять этот показатель не только у себя, но и конкурентов.
• В случае интернет-магазинов количество страниц в индексе Яндекса может указывать на широту ассортимента. Это – один из важных показателей, который влияет на оценку коммерческих факторов, а они в свою очередь – на позиции.

Также важна скорость индексации. Если она низкая, в индексе будут устаревшие версии документов, а новые будут попадать в поиск с большой задержкой. Чтобы решить эту проблему, посмотрите статью, как ускорить индексацию сайта.

Если вы видите, что количество страниц в индексе Яндекса перестало расти, возможно, проект уперся в лимит числа документов, которые могут быть в базе поисковика. Он устанавливается для каждого интернет-проекта и зависит от его масштаба. Данная проблема возникает редко, но на крупных порталах может появиться. В этом случае потребуется закрыть от индексации второстепенные страницы, чтобы более важные попали в базу и участвовали в поиске.

Как узнать, сколько страниц в индексе Яндекса или Google?

Есть несколько способов проверить этот показатель:

1. Введите в поисковую строку запрос: site:URL. Посмотрите пример на скриншоте ниже:

Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы – Яндекса или Google в зависимости от того, где вы задаете запрос. Этот способ позволяет узнать число страниц в базе поисковой машины у любого сайта, в том числе конкурента.

2. Проверить количество документов в индексе Google можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер: в нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра информации потребуется подтвердить права на сайт. Поэтому данный способ не подходит для анализа конкурентов.

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число документов в индексе, но и историю индексации, причины удаления отдельных страниц из базы, дату последнего их посещения роботом.

Этот раздел помогает выявлять технические и иные проблемы, которые могут периодически появляться.

3. При помощи онлайн-сервисов, например, многие бесплатные инструменты для проведения SEO-аудитов выводят информацию о количестве документов в индексе.

Как проверить страницу в индексе Яндекса или Google?

Часто вебмастеру требуется узнать, находится в базе поисковика конкретная страница или нет. Самый простой способ – ввести поисковый запрос, состоящий из ее адреса. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:

В Яндекс.Вебмастер есть функция, которая позволяет следить за важными страницами, чтобы они не выпадали из поиска. Чтобы добавить URL в список отслеживаемых, зайдите в раздел «Индексирование» -> «Мониторинг важных страниц» и в открывшейся форме добавьте нужные:

Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор. Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по их количеству. Также сервис позволяет снимать позиции по запросам, проводить группировку и решать другие задачи.

Как вернуть или добавить страницу в индекс?

В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить документ на переиндексацию или добавить новый в базу:

• Переобход страниц в Яндекс.Вебмастер
• Отправить документ на индексацию в Google

Второй способ отправить страницу на переиндексацию – это добавить ссылки на нее в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем. Заказать подобную услугу можно на бирже Кворк.

Если вы отправили URL на индексацию, но он не появился в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать контент на нем.

Как ускорить индексацию сайта?

Это можно сделать на разных этапах продвижения:

1. Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового ресурса в индекс.
2. Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и проверять новые материалы на нем.
3. Следите за качеством текстов. Они должны быть уникальными, полезными, хорошо оформленными.
4. Периодически проводите технический аудит, чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые разделы от роботов.
5. Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить ее в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в базу, несмотря на ваши действия. Иногда решить проблему помогает только обращение в службу поддержки Яндекса или на форум Google.
6. Если страницы стали вылетать из базы ПС, проверьте ресурс на наличие фильтров, уникальность текстов и техническую сторону его работы.
7. Если интернет-ресурс слишком большой, вы можете достигнуть лимита по числу документов в индексе (он есть для каждого ресурса). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные оставались в поиске.

В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google и узнать, сколько страниц находится в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.

Читайте также:

• Как снять позиции сайта в Яндексе и Google? Список полезных сервисов
• Что такое уникальность текста и сколько процентов допустимо при проверке данного показателя?
• Как сократить время ответа сервера?