- Опубликовано:30.01.2024
- Комментарии:
Нет комментариев - Рубрика:
Оптимизация - Просмотров: 424
В интернете существует много ботов, которые сканируют сайты. Часть из них лучше блокировать, чтобы они не создавали нагрузку на сервера. Сделать это можно, прописав запрет на индексацию сайта определенным ботом в файле robots.txt.
Некоторые роботы могут игнорировать такую директиву. Тогда их можно блокировать в htaccess. Если вам сложно настроить такую блокировку, можно обратиться к программистам на бирже Кворк или других сайтах для фрилансеров. Они помогут настроить сервер и запретить доступ к страницам определенным краулерам по их User-Agent.
Важно! Не стоит блокировать поискового робота Google и Яндекса. Если вы пользуетесь определенными SEO-сервисами для анализа собственной ссылочной массы или внутренней перелинковки, не закрывайте сайт от их ботов. Вы исключите информацию о своем ресурсе из соответствующего SEO-сервиса.
База ботов и краулеров поисковых систем
Список постоянно обновляется. Если вы хотите дополнить информацию, пожалуйста, оставьте комментарий под статьей. Мы обновим базу краулеров и исправим ошибки, если они имеются в тексте.
|
User-agent |
Кому принад- |
Описание бота |
Рекомен- |
|
AhrefsBot |
Ahrefs Pte Ltd |
Собирает данные по ссылкам для сервиса Ahrefs. |
На усмотрение вебмастера |
|
SemrushBot |
SEO-сервис Semrush |
Собирает данные для своей базы. |
На усмотрение вебмастера |
|
MJ12bot |
Бот компании Majestic |
Собирает информацию для различных SEO-сервисов. |
На усмотрение вебмастера |
|
PetalBot |
Поисковый паук системы Petal Search от компании Huawei. |
Запрашивает только контент и изображения, обычно не создает нагрузку на сервер (посылает около 4 запросов в минуту). |
Да |
|
BLEXBot |
BLEXbot была разработана командой WebMeUp |
Собирает данные для базы ссылок. Используется для инструментов WebMeUp SEO и Backlink WebMeUp. |
Да |
|
coccocbot-web |
Поисковый паук системы Coc Coc (Вьетнам). |
Ищет и загружает контент веб-сайта, а затем добавляет его в базу данных поисковой системы Coc Coc. |
Да, если ваш проект не рассчитан на Вьетнам. |
|
Baiduspider |
Бот поисковой системы Baidu (Китай). |
Поисковый робот Baidu. |
Да, если ваш проект не работает в Китае. |
|
Cliqzbot |
Веб-краулер компании Cliqz. |
Сканирует страницы сайта и добавляет их в базу Cliqz. Учитывает команды в robots.txt. |
Да |
|
DotBot |
Бот компании Moz. |
Собирает данные для сервиса Moz. |
Да, если не пользуетесь сервисом Moz. |
|
GetIntent Crawler |
Краулер от компании GetIntent. |
Собирает данные о сайтах для маркетинговых целей, например, для анализа перспектив размещения контекстной рекламы. |
Да |
|
SeopultContentAnalyzer |
Бот компании PromoPult. |
Собирает SEO-данные сайта вроде обратных ссылок, ключевых слов сайта и т. п |
Да |
|
serpstatbot |
Serpstat |
Собирает данные по обратным ссылкам. |
Да |
|
LinkpadBot |
Бот сервиса LinkPad. |
LinkpadBot собирает информацию о ссылочном профиле сайтов. |
Да |
|
DataForSeoBot |
Бот сервиса DataForSeo |
Проверяет обратные ссылки. |
Да |
|
Scrapy |
Scrapy.org |
Парсер сайтов. |
Да |
|
FlipboardRSS |
Бот платформы Flipboard |
Берет RSS-ленту для публикации. |
Да |
|
Amazonbot |
Amazon |
Краулер предназначен для сбора информации и анализа страниц для сервиса Amazon Alexa. Часто создает высокую нагрузку на сервер. |
Да |
|
Googlebot |
|
Поисковый робот компании Google. |
Нет |
|
YandexBot |
Яндекс |
Основной поисковый краулер Яндекса. |
Нет |
|
YandexTurbo |
Яндекс |
Краулер для страниц Яндекс Турбо, на сайте появляется только в том случае, если к нему подключены Турбо-страницы. Обходит RSS-фид для Турбо-страниц. |
Нет |
|
YandexFavicons |
Яндекс |
Скачивает фавиконки для отображения в результатах поиска. |
Нет |
|
YandexImages |
Яндекс |
Индексирует изображения для показа на Яндекс.Картинках. |
Нет |
|
YandexVideoParser |
Яндекс |
Индексирует видео для показа в поиске Яндекса по видео. |
Нет |
|
Diffbot |
Diffbot.com |
Бот парсера. |
Да |
|
Needle |
Npmjs.com |
Парсер, сборщик данных об организации. |
Да |
Скачать таблицу в формате .pdf
Вы можете использовать User-Agent из списка, чтобы заблокировать определенных пауков в файле robots.txt. Подробные инструкции содержатся в этой статье.
Если у вас остались вопросы или вы хотите добавить в базу нового краулера, пожалуйста, оставьте комментарий под статьей. Мы будем благодарны за новую информацию.
Читайте также:
Нет ответов