Если посмотреть логи, то на многих сайтах можно увидеть визиты странного бота ClaudeBot. Он активно сканирует сайт, но не понятно, зачем. В этой статье разберемся, что это за бот и стоит ли ему блокировать доступ.

Что это за бот?

ClaudeBot – это сканирующий робот нейросети Claude, разработанной американской компанией Anthropic. По информации из интернета, он собирает контент, на котором потом обучается данная нейросеть.

Бот приходит с американских IP-адресов, например, IP 216.73.216.62 (находится в г. Колумбус, штат Огайо).

Стоит ли блокировать ClaudeBot?

Да, т.к. какой-либо пользы он не несет, но в случае, если его не заблокировать, то может создавать дополнительную нагрузку на сервер. Порой он активно сканирует страницы.

Кроме того, нет никакого смысла делиться с ИИ своим контентом. Получить какой-то трафик из нейросети Claude российскому сайту вряд ли возможно.

Как запретить ClaudeBot сканировать сайт?

В интернете есть инструкции, как запретить данному боту доступ к сайту через htaccess. Но на практике достаточно добавить в файл robots.txt следующую команду:

User-agent: ClaudeBot/1.0
Disallow: /

Бот перед сканированием сайта запрашивает файл robots.txt, и если в нем установлен для него запрет на сканирование документов, то контент не скачивает. Таким образом число запросов резко сокращается и проблема с дополнительной нагрузкой решается.

Полезные статьи:

• База поисковых роботов с User-agent
• Быстрые ответы от YandexGPT: как туда попасть?
• Как правильно создать файл robots.txt? Правила настройки
• Бесплатный курс по SEO для новичков