robots.txt для ИИ-ботов: кого пускать, кого закрывать — GPTBot, OAI-SearchBot, ClaudeBot, YandexAdditional

Короткий ответ: закрывать нужно ботов, которые собирают контент для обучения моделей (GPTBot, ClaudeBot, Google-Extended) — если вы не хотите, чтобы ваши тексты попали в будущий трейн. Поисковых и ответных ботов (OAI-SearchBot, Claude-SearchBot, PerplexityBot, YandexAdditional) правильнее открывать — они отвечают за то, появится ли ваш сайт в ответе ChatGPT, Claude, Perplexity или в быстрых ответах Яндекса с YandexGPT прямо сейчас. Это два разных решения, и объединять их в одно правило «запретить всех ИИ-ботов» — ошибка, которая стоит видимости в быстрорастущем канале трафика.

Какие ИИ-боты вообще заходят на ваш сайт

ИИ-бот — это автоматический краулер, который крупная ИИ-компания использует для сбора веб-контента. У каждой компании их обычно минимум два: один собирает данные для обучения базовой модели, второй — для живого поиска и генерации ответов пользователю. Решать судьбу этих двух ботов нужно раздельно, а не одной строкой в robots.txt.

Источники по первым четырём строкам — официальная документация компаний, ссылки ниже в разделе «Источники». По Яндексу тоже есть официальное описание, но оно касается узкой задачи — быстрых ответов, а не обучения моделей или общей выдачи; подробности — в отдельном разделе ниже.

Чем GPTBot отличается от OAI-SearchBot и почему это разные решения

GPTBot — это краулер OpenAI, который собирает контент для обучения будущих версий моделей; запрет GPTBot в robots.txt — это фактически опт-аут вашего контента из тренировочных данных. OAI-SearchBot — отдельный краулер, отвечающий за то, попадёт ли страница в поисковые ответы ChatGPT; OpenAI прямо рекомендует разрешать OAI-SearchBot в robots.txt владельцам, которые хотят быть видимыми в ИИ-поиске OpenAI Developer Platform, 2025–2026. ChatGPT-User — третий токен: он срабатывает, когда живой пользователь ChatGPT в моменте просит модель открыть конкретную страницу, и, по данным OpenAI, для таких визитов правила robots.txt могут не применяться, поскольку инициатор — человек, а не фоновый обход.

Практический вывод для бизнеса: можно одновременно закрыть GPTBot (не отдавать контент в трейн) и открыть OAI-SearchBot (остаться видимым в ответах ChatGPT). Это не противоречие — это два разных контракта с OpenAI, и большинство компаний, которые дорожат органическим ИИ-трафиком, выбирают именно такую комбинацию.

Чем отличаются подходы Anthropic, Perplexity и Google к обучению и поиску

У Anthropic та же логика «обучение отдельно от поиска», но токенов три: ClaudeBot — краулер для обучения моделей Claude, закрыть его — значит исключить будущий контент сайта из трейна; Claude-User — визит в ответ на прямой запрос пользователя Claude; Claude-SearchBot — краулер, который анализирует контент и влияет на качество и релевантность поисковых ответов Claude. Anthropic публикует список IP-адресов для верификации ботов на claude.com/crawling/bots.json и честно предупреждает: блокировка по IP ненадёжна и может помешать боту даже прочитать сам файл robots.txt — верификацию лучше делать именно по опубликованному списку, а не по диапазонам, собранным вручную Anthropic Support, 2025–2026. Отдельная деталь, которой нет у OpenAI: Anthropic поддерживает нестандартную директиву Crawl-delay — вместо полного запрета можно просто замедлить обход ClaudeBot, если проблема не в принципе «обучать или не обучать», а в нагрузке на сервер.

Perplexity заявляет, что PerplexityBot не используется для обучения моделей — его единственная задача — появляться в поисковой выдаче Perplexity, это прямой аналог OAI-SearchBot Perplexity AI, 2025–2026. Perplexity-User — фетч по запросу живого пользователя, который, по данным Perplexity, как правило игнорирует robots.txt, потому что обход инициирован человеком, а не автоматическим краулером. Для верификации Perplexity, как и OpenAI, публикует JSON-файлы с IP-диапазонами ботов — это нужно тем, кто стоит за WAF или Cloudflare и не может доверять одному user-agent, который легко подделать.

У Google токен называется Google-Extended, и у него нет собственного HTTP user-agent — обход физически идёт под обычным Googlebot Google Search Central, 2025–2026. Это ключевое отличие от схемы OpenAI и Anthropic: там обучающий и поисковый бот — два разных процесса, а у Google обход один, и Google-Extended управляет только правом использовать контент для обучения будущих моделей Gemini и для grounding — подстановки данных из поискового индекса в ответ модели. Блокировка Google-Extended не влияет на присутствие сайта в обычном поиске Google и не является ранжирующим сигналом. Эта развязка для многих собственников бизнеса контринтуитивна: кажется логичным, что раз бот Google — значит, трогает SEO, но по официальной позиции Google это не так.

YandexAdditional: что он на самом деле контролирует

YandexAdditional (в примерах robots.txt встречается и под именем YandexAdditionalBot) — официально описанный токен: Яндекс.Вебмастер прямо называет его в разделе о быстрых ответах и приводит строку user-agent для проверки запросов — Mozilla/5.0 (compatible; YandexAdditional/1.0; +http://yandex.com/bots) Яндекс.Вебмастер, «Быстрый ответ». Правило Disallow для этого токена убирает контент страницы только из быстрых ответов, которые Яндекс формирует с помощью YandexGPT, — на индексацию и позиции в обычной поисковой выдаче оно не влияет; это прямо сказано в документации. Изменения в robots.txt применяются не мгновенно: по данным того же раздела, обновление занимает 2–14 дней.

Это принципиально отличает YandexAdditional от GPTBot или ClaudeBot. Там закрытие бота — решение не отдавать контент в обучающую выборку на будущее и потенциально более заметная потеря видимости. Здесь — узкая настройка одного блока на странице результатов, а не инструмент защиты контента от использования моделью в принципе. Если цель — не светиться именно в блоке быстрых ответов с YandexGPT, закрывать YandexAdditional можно без риска потерять позиции в основной выдаче. Отдельно про присутствие сайта в генеративных ответах и в сервисе Нейро стоит почитать материал про видимость сайта в Алисе — это смежный, но отдельный от быстрых ответов продукт Яндекса.

Как прописать правила для каждого бота в robots.txt

robots.txt — это текстовый файл в корне сайта, который объявляет правила обхода для конкретных user-agent. Файл состоит из блоков: строка User-agent с именем бота, за ней одна или несколько строк Allow или Disallow. Правило применяется только к тому боту, чей user-agent указан в блоке — общий блок со звёздочкой (User-agent: звёздочка) не отменяет и не заменяет отдельные блоки для именованных ботов.

Практический набор правил для компании, которая хочет закрыть обучающих ботов и оставить открытыми поисковых, выглядит как отдельные блоки: один блок с User-agent GPTBot и Disallow для всего сайта (косая черта); отдельный блок с User-agent OAI-SearchBot без строки Disallow, то есть разрешение по умолчанию; аналогично отдельные блоки для ClaudeBot (закрыт) и Claude-SearchBot (открыт); отдельный блок для PerplexityBot (как правило, открыт, если нужна видимость в Perplexity); и блок для Google-Extended, если его закрытие принципиально для политики использования контента.

Что важно учитывать при настройке:

• User-agent регистронезависим, но имя бота должно совпадать точно — лишний пробел или опечатка в названии токена делает правило бесполезным, бот просто его не найдёт.
• Верификация по IP надёжнее, чем по user-agent, если сайт стоит за WAF или Cloudflare и есть подозрение, что под чужим user-agent скрывается не тот бот, за которого он себя выдаёт.
• Crawl-delay у Anthropic — это компромисс между полным запретом и полным доступом, если цель — снизить нагрузку, а не исключить контент из трейна.
• Правило в robots.txt — это просьба, а не технический барьер: добросовестные боты OpenAI, Anthropic, Perplexity его соблюдают, но полной гарантии нет, и для чувствительных данных нужны серверные меры, а не только файл правил.

Рядом с robots.txt стоит держать в уме файл llms.txt — отдельный механизм разметки контента для ИИ-агентов, который решает другую задачу, подробнее — в материале про llms.txt для сайта.

Стоит ли блокировать всех ИИ-ботов подряд

Нет, если сайт зависит от органического трафика и хочет быть видимым в ИИ-поиске. По данным масштабного анализа ~140 миллионов сайтов, опубликованного в мае 2025 года, GPTBot оказался самым блокируемым ИИ-ботом — его закрывают 5,89% сайтов (с учётом поддоменов — до 7,3%), далее идут CCBot (5,85%), Amazonbot (5,78%), Bytespider и ClaudeBot (по 5,74%), Google-Extended (5,71%) Ahrefs, Patrick Stox, 2025. Если считать только явные (named) блокировки конкретного бота, а не общие правила, цифры куда ниже: GPTBot блокируют явно 0,5% сайтов, ClaudeBot — 0,28%. Быстрее всех за год выросла блокировка именно ClaudeBot (+32,67%), следом anthropic-ai (+25,14%) и Claude-Web (+20,66%). По тому же обзору Ahrefs чаще других блокируют сайты в сегментах искусства и развлечений (45%) и права и госуправления (42%), а число известных ИИ-ботов выросло с 10 в августе 2023 года до 21 в декабре 2024 года.

Эти цифры — мировой контекст, в основном западный и англоязычный веб; прямого аналогичного открытого исследования по Рунету нет, и переносить проценты Ahrefs на российский сегмент как факт не стоит. Но логика переносится: чем агрессивнее бот сканирует сайт, тем чаще его блокируют — по тому же исследованию чаще сталкиваются с блокировкой именно самые активные боты, то есть управлять списком ботов вручную раз в год уже недостаточно.

Отдельная цена сплошной блокировки — потеря видимости именно в поисковых и ответных ботах (OAI-SearchBot, Claude-SearchBot, PerplexityBot), а не только защита от трейна. Если часть вашей аудитории уже спрашивает совета у ChatGPT, Claude или Perplexity, закрытый OAI-SearchBot или Claude-SearchBot — это самостоятельное решение не участвовать в этом канале, и принимать его стоит осознанно, а не как побочный эффект строки «запретить всех ИИ-ботов». Общую рамку для оценки видимости в разных типах выдачи стоит держать рядом с подходом GEO/AEO-оптимизации и настройкой Bing Webmaster Tools для ИИ-поиска — тот же принцип «поисковый бот отдельно от обучающего» там тоже применим.

Частые ошибки

• Закрывают всех ИИ-ботов одним правилом со звёздочкой. Такое правило одновременно режет обучающих ботов и поисковые боты типа OAI-SearchBot и Claude-SearchBot, из-за чего сайт пропадает не только из трейна, но и из ИИ-поисковой видимости, хотя задача часто была только защитить контент от обучения.
• Путают GPTBot и ChatGPT-User, считая их одним и тем же ботом. Это разные токены с разной логикой: один — фоновый обход для обучения, другой — визит по прямому запросу живого пользователя, и к нему правила robots.txt применяются иначе.
• Верифицируют бота только по user-agent. User-agent легко подделать; для чувствительных решений (например, доступ к закрытым разделам) нужна проверка по IP-диапазонам из официальных списков OpenAI, Anthropic или Perplexity, а не по строке заголовка запроса.
• Считают, что блокировка YandexAdditional грозит потерей позиций в обычном поиске. По документации Яндекс.Вебмастера этот токен отвечает только за показ контента в быстрых ответах с YandexGPT; индексация и ранжирование в основной выдаче при блокировке не страдают.
• Переносят процент блокировки GPTBot или ClaudeBot из западных исследований на российский рынок как факт. Данные Ahrefs построены на ~140 миллионах преимущественно западных сайтов и не заменяют отсутствующее исследование по Рунету.
• Считают, что блокировка Google-Extended защищает позиции в обычном поиске Google. По официальной позиции Google этот токен не влияет на присутствие сайта в стандартной выдаче — это отдельная настройка только для обучения и grounding будущих моделей Gemini.

Источники

• Bots — OpenAI Developer Platform (GPTBot, OAI-SearchBot, ChatGPT-User), OpenAI, 2025–2026
• Does Anthropic crawl data from the web, and how can site owners block the crawler? — Anthropic Support, 2025–2026
• Bots — PerplexityBot and Perplexity-User, Perplexity AI, 2025–2026
• Overview of Google crawlers and fetchers, incl. Google-Extended — Google Search Central, 2025–2026
• AI Bot Block Rates: Who's Blocking GPTBot, ClaudeBot and Others — Ahrefs (Patrick Stox), 2025

FAQ

Нужно ли блокировать GPTBot, если мой сайт — интернет-магазин?

Зависит от цели. Если задача — не отдавать тексты описаний товаров и статей в обучающую выборку OpenAI, GPTBot стоит закрыть. Это не повлияет на видимость магазина в ответах ChatGPT — за неё отвечает отдельный бот OAI-SearchBot, который можно оставить открытым независимо от решения по GPTBot.

Можно ли одновременно закрыть ClaudeBot и открыть Claude-SearchBot?

Да, это два независимых токена с разными правилами в robots.txt. Закрытие ClaudeBot — это отказ от участия в обучении будущих моделей Claude, а открытый Claude-SearchBot сохраняет шанс сайта появиться в поисковых ответах Claude.

Что будет, если заблокировать все ИИ-боты через robots.txt со звёздочкой?

Сайт исчезнет не только из обучающих выборок OpenAI, Anthropic и Google, но и из поисковых ответов ChatGPT, Claude и Perplexity, потому что общее правило накрывает и обучающих, и поисковых ботов одновременно. Для бизнеса, которому важен трафик из ИИ-поиска, это может означать потерю канала, который уже используется частью аудитории.

Стоит ли закрывать YandexAdditional на российском сайте?

По документации Яндекс.Вебмастера блокировка YandexAdditional убирает контент страницы только из быстрых ответов, которые генерирует YandexGPT, и не влияет на индексацию или позиции в обычной выдаче. Решение безопасное: можно закрывать этот токен, если не хотите, чтобы отрывки с сайта показывались в блоке быстрых ответов, — риска для органического трафика это не несёт. Изменение применяется не мгновенно: по данным Яндекса, обновление данных занимает 2–14 дней.

Как проверить, что бот, который заходит на сайт, действительно GPTBot, а не подделка?

User-agent в заголовке запроса можно подделать, поэтому для надёжной проверки нужно сверять IP-адрес запроса со списком, который OpenAI публикует в отдельном JSON-файле с диапазонами адресов бота. Аналогичные списки IP публикуют Anthropic и Perplexity.

Влияет ли блокировка Google-Extended на позиции сайта в обычном поиске Google?

Нет. Google-Extended управляет только использованием контента для обучения будущих моделей Gemini и для grounding, но не имеет отдельного краулера — обход всё равно идёт под обычным Googlebot, и блокировка этого токена не является ранжирующим сигналом для стандартной выдачи.

Нужно ли отдельно настраивать правила для ChatGPT-User и Claude-User?

Теоретически можно, но на практике это боты, которые срабатывают по прямому запросу живого пользователя внутри ChatGPT или Claude, и по заявлениям самих компаний правила robots.txt к таким визитам применяются слабее, чем к фоновым обучающим или поисковым краулерам. Большинство компаний не видит смысла их блокировать отдельно.

Если тема управления видимостью сайта в ИИ-поисковиках и построения системного маркетинга из таких деталей вам откликается — на интенсиве Marketing OS разбираем, как выстроить маркетинг, который работает как система, а не набор разовых настроек.