Список поисковых роботов: база ботов поисковых систем с User-agent | AdBlogger.ru


виджет ВКонтакте




база поисковых роботов

В интернете существует много ботов, которые сканируют сайты. Часть из них лучше блокировать, чтобы они не создавали нагрузку на сервера. Сделать это можно, прописав запрет на индексацию сайта определенным ботом в файле robots.txt.

Некоторые роботы могут игнорировать такую директиву. Тогда их можно блокировать в htaccess. Если вам сложно настроить такую блокировку, можно обратиться к программистам на бирже Кворк или других сайтах для фрилансеров. Они помогут настроить сервер и запретить доступ к страницам определенным краулерам по их User-Agent.

Важно! Не стоит блокировать поискового робота Google и Яндекса. Если вы пользуетесь определенными SEO-сервисами для анализа собственной ссылочной массы или внутренней перелинковки, не закрывайте сайт от их ботов. Вы исключите информацию о своем ресурсе из соответствующего SEO-сервиса.

База ботов и краулеров поисковых систем

Список постоянно обновляется. Если вы хотите дополнить информацию, пожалуйста, оставьте комментарий под статьей. Мы обновим базу краулеров и исправим ошибки, если они имеются в тексте.

User-agent

Кому принад-
лежит бот

Описание бота

Рекомен-
дуется блоки-
ровать в robots.txt?

AhrefsBot

Ahrefs Pte Ltd

Собирает данные по ссылкам для сервиса Ahrefs.

На усмотрение вебмастера

SemrushBot

SEO-сервис Semrush

Собирает данные для своей базы.

На усмотрение вебмастера

MJ12bot

Бот компании Majestic

Собирает информацию для различных SEO-сервисов.

На усмотрение вебмастера

PetalBot

Поисковый паук системы Petal Search от компании Huawei.

Запрашивает только контент и изображения, обычно не создает нагрузку на сервер (посылает около 4 запросов в минуту).

Да

BLEXBot

BLEXbot была разработана командой WebMeUp

Собирает данные для базы ссылок. Используется для инструментов WebMeUp SEO и Backlink WebMeUp.

Да

coccocbot-web

Поисковый паук системы Coc Coc (Вьетнам).

Ищет и загружает контент веб-сайта, а затем добавляет его в базу данных поисковой системы Coc Coc.

Да, если ваш проект не рассчитан на Вьетнам.

Baiduspider

Бот поисковой системы Baidu (Китай).

Поисковый робот Baidu.

Да, если ваш проект не работает в Китае.

Cliqzbot

Веб-краулер компании Cliqz.

Сканирует страницы сайта и добавляет их в базу Cliqz. Учитывает команды в robots.txt.

Да

DotBot

Бот компании Moz.

Собирает данные для сервиса Moz.

Да, если не пользуетесь сервисом Moz.

GetIntent Crawler

Краулер от компании GetIntent.

Собирает данные о сайтах для маркетинговых целей, например, для анализа перспектив размещения контекстной рекламы.

Да

SeopultContentAnalyzer

Бот компании PromoPult.

Собирает SEO-данные сайта вроде обратных ссылок, ключевых слов сайта и т. п

Да

serpstatbot

Serpstat

Собирает данные по обратным ссылкам.

Да

LinkpadBot

Бот сервиса LinkPad.

LinkpadBot собирает информацию о ссылочном профиле сайтов.

Да

DataForSeoBot

Бот сервиса DataForSeo

Проверяет обратные ссылки.

Да

Scrapy

Scrapy.org

Парсер сайтов.

Да

FlipboardRSS

Бот платформы Flipboard

Берет RSS-ленту для публикации.

Да

Amazonbot

Amazon

Краулер предназначен для сбора информации и анализа страниц для сервиса Amazon Alexa. Часто создает высокую нагрузку на сервер.

Да

Googlebot

Google

Поисковый робот компании Google.

Нет

YandexBot

Яндекс

Основной поисковый краулер Яндекса.

Нет

YandexTurbo

Яндекс

Краулер для страниц Яндекс Турбо, на сайте появляется только в том случае, если к нему подключены Турбо-страницы. Обходит RSS-фид для Турбо-страниц.

Нет

YandexFavicons

Яндекс

Скачивает фавиконки для отображения в результатах поиска.

Нет

YandexImages

Яндекс

Индексирует изображения для показа на Яндекс.Картинках.

Нет

YandexVideoParser

Яндекс

Индексирует видео для показа в поиске Яндекса по видео.

Нет

Diffbot

Diffbot.com

Бот парсера.

Да

Needle

Npmjs.com

Парсер, сборщик данных об организации.

Да

Вы можете использовать User-Agent из списка, чтобы заблокировать определенных пауков в файле robots.txt. Подробные инструкции содержатся в этой статье.

Если у вас остались вопросы или вы хотите добавить в базу нового краулера, пожалуйста, оставьте комментарий под статьей. Мы будем благодарны за новую информацию.

Читайте также:




Rss Commenti

Нет ответов

Оставить комментарий











Авторы   |   Чек-листы и шаблоны   |   Биржи ссылок   |   Каталог софта


AdBlogger.ru – справочник SEO-специалиста.
© 2007 – 2024