Тёмная воронка ИИ-агентов в B2B: как увидеть исследование, которое идёт не от человека

ИИ-агента покупателя видно только в серверных логах: GA4 и Яндекс.Метрика его не фиксируют, потому что большинство ИИ-ботов не выполняют JavaScript. Чтобы отследить, как агент изучает ваш сайт перед сделкой, выгрузите логи сервера или CDN, проверьте ботов по опубликованным IP-диапазонам и обратному DNS и отделите плановых краулеров от агентов, которые приходят по запросу живого человека: ChatGPT-User, Claude-User, Perplexity-User. Заходы таких агентов на страницы цен, демо и сравнений сегодня ближе всего к сделке из всего, что можно измерить.

Тёмная воронка ИИ-агентов — это часть исследования покупателя, которую за него проводит ИИ-ассистент: читает страницы вендоров, сравнивает условия и собирает шортлист. В веб-аналитике компании от этого исследования не остаётся ни визита, ни события. Механика родственна тёмному трафику из мессенджеров и закрытых чатов: решение формируется там, куда счётчик не дотягивается, а в CRM сделка приходит как прямой заход или звонок без источника.

Почему GA4 и Яндекс.Метрика не видят ИИ-агента покупателя?

Счётчики веб-аналитики работают через JavaScript в браузере, а большинство ИИ-ботов JavaScript не выполняют, поэтому их заходы в отчёты не попадают. Similarweb в разборе 2026 года прямо называет первым шагом анализ серверных и CDN-логов: клиентская аналитика большинство ИИ-ботов не фиксирует (Similarweb, 2026).

Из этого следуют две вещи. Первая: в Яндекс.Метрике и GA4 вы видите только людей, которые перешли по ссылке из ответа ИИ. Вторая: сам момент, когда агент прочитал вашу страницу цен и решил, включать ли компанию в ответ, в браузерной аналитике не отражается никогда. Отдельная задача — размечать переходы живых людей из ChatGPT, Perplexity и Алисы в счётчиках; эта статья разбирает то, что происходит до перехода, то есть сам визит агента.

Серверный лог — это запись каждого HTTP-запроса к сайту: время, IP-адрес, адрес страницы, код ответа и строка user-agent. Его пишут веб-сервер (nginx, Apache) или CDN. Если сайт стоит за Cloudflare или другим CDN, часть запросов до вашего сервера не доходит, и смотреть нужно логи CDN.

Какие ИИ-боты заходят на сайт и чем они отличаются?

У крупных вендоров по три бота с разными задачами: один собирает данные для обучения, второй индексирует для поиска, третий открывает страницу по запросу конкретного пользователя в моменте. Для B2B-маркетинга важнее всего третий тип: это и есть агент покупателя.

OpenAI описывает ChatGPT-User как агента, который заходит на страницу, когда живой пользователь ChatGPT или GPT Actions просит его об этом. Компания пишет, что правила robots.txt к таким заходам «могут не применяться», потому что действие инициировал пользователь (OpenAI, 2026). Заблокировать этого агента через robots.txt нельзя, и для маркетолога это скорее хорошая новость: запрет на ChatGPT-User означал бы отказ отвечать покупателю, который уже спрашивает о вас.

Anthropic устроила своих ботов похоже: ClaudeBot собирает данные для обучения, Claude-SearchBot индексирует для поиска в Claude, Claude-User открывает страницу по запросу пользователя (Anthropic, 2026). Разница с OpenAI в одном пункте: Anthropic заявляет, что все три бота соблюдают robots.txt, включая Claude-User. Если вы закрыли сайт для ботов Anthropic целиком, агент покупателя в Claude ваши страницы тоже не прочитает.

Google делит своих роботов на три категории: общие краулеры всегда соблюдают robots.txt, особые краулеры могут его нарушать, сборщики по запросу пользователя его игнорируют: заход инициировал человек (Google Search Central, 2026). Логика у трёх вендоров одна: заход по просьбе живого человека отделён от планового обхода.

Как отличить настоящего ИИ-бота от подделки?

Строке user-agent верить нельзя: её подделывает любой скрипт за одну строку кода. Надёжная проверка состоит из двух независимых шагов: IP-адрес запроса совпадает с диапазоном, который вендор опубликовал сам, и обратный DNS-запрос подтверждается прямым.

Google описывает этот протокол подробно (Google Search Central, 2026), OpenAI публикует IP-диапазоны своих ботов в JSON-файлах, например список OAI-SearchBot на openai.com/searchbot.json (OpenAI, 2026). Порядок проверки для каждого IP из логов:

1. Отобрать запросы, у которых user-agent содержит имя ИИ-бота. Это подсказка, где искать.
2. Сверить IP с JSON-файлом диапазонов этого вендора.
3. Выполнить обратный DNS-запрос по IP и убедиться, что имя хоста принадлежит домену вендора.
4. Выполнить прямой DNS-запрос по полученному имени и проверить, что он возвращает тот же IP.
5. Пометить запрос как подтверждённый, если сошлись оба шага; остальные считать неподтверждёнными и анализировать отдельно.

Неподтверждённый заход под именем GPTBot или ClaudeBot отправил кто-то другой: парсер, сборщик цен или чужой скрипт. Если смешать такие заходы с настоящими ботами, картина воронки искажается.

Как разложить заходы ИИ-ботов по воронке B2B?

Разделы сайта нужно сопоставить с этапами воронки, а ботов — разделить на плановых краулеров и агентов по запросу пользователя. Similarweb предлагает для этого схему TOFU, MOFU и BOFU, где каждому этапу соответствуют свои адреса (Similarweb, 2026).

TOFU, или верх воронки, — это блог и материалы: адреса вида /blog/ и /resources/. Сюда массово ходит GPTBot, но на этом этапе покупатель вендора не выбирает. MOFU, середина воронки, — это страницы возможностей, решений и сценариев: /features/, /solutions/, /use-cases/. По наблюдению Similarweb, эти разделы обычно обойдены краулерами хуже других. BOFU, низ воронки, — это /pricing/, /demo/ и /comparison/, где покупатель выбирает вендора. Плановые краулеры доходят сюда реже, чем до блога.

Вторая ось — тип бота. Similarweb называет агентов по запросу пользователя теневыми краулерами (shadow crawlers): ChatGPT-User, Perplexity-User, Claude-User. Плановые краулеры — GPTBot, ClaudeBot, PerplexityBot. Заход теневого краулера на BOFU-страницу означает, что прямо сейчас кто-то попросил ассистента разобраться в ваших ценах или сравнить вас с конкурентом. Плановый обход той же страницы такого сигнала не несёт.

Для B2B этот сигнал полезен вместе с ABM-подходом: всплеск теневых заходов на страницу сравнения с конкретным конкурентом подсказывает, на какие аргументы смотрит сейчас ваш сегмент. Конкретную компанию по такому заходу не опознать: запрос приходит с IP-адресов вендора ИИ, и адрес самого покупателя в лог не попадает.

Что значат разрывы в матрице «раздел сайта × тип бота»?

Матрица, где строки — разделы сайта, а столбцы — типы ботов, показывает, на каком этапе ИИ теряет вашу компанию. Similarweb выделяет четыре типовых разрыва, и у каждого своя причина (Similarweb, 2026).

Причина из второй строки часто лежит за пределами маркетинга: защиту от ботов на CDN настраивает команда эксплуатации, и о блокировке ИИ-краулеров маркетинг может не знать. Четвёртая строка грозит страницам цен, собранным калькулятором на JavaScript: человек видит тарифы, а агент получает пустую страницу.

Сколько весит ИИ-трафик и можно ли переносить чужие цифры на Россию?

По открытым западным данным ИИ-поиск даёт доли процента визитов, а на сайте Ahrefs конверсия таких визитов оказалась кратно выше органической. Цифры сильно зависят от выборки и методологии, а для B2B-сегмента и рунета открытых измерений нет.

Ahrefs посчитала данные собственного сайта: за 30 дней до июня 2025 года ИИ-поиск дал около 0,5% трафика (0,3% за год), но около 12,1% регистраций. Конверсия визита из ИИ-поиска вышла примерно в 23 раза выше, чем из обычной органики (Ahrefs, 2025). По отдельному исследованию Ahrefs примерно на 3000 сайтах ИИ-боты дают в среднем около 0,17% визитов и 0,12% просмотров, хотя бы один визит из ИИ-чатбота был у 63% сайтов, а половину всех ИИ-переходов обеспечивает ChatGPT.

Разницу между 0,5% и 0,17% во многом объясняет выборка. Ahrefs — SEO-сайт, который ИИ охотно цитирует по своей теме, а 3000 сайтов — общая выборка. Обе цифры собраны на западном веб-трафике и для B2B-сайта в России ориентиром служить не могут.

Похожая оговорка касается долей ботов. По данным Cloudflare Radar на май 2026 года, которые приводит Similarweb, в трафике ИИ-краулеров на Googlebot приходилось около 27%, на Meta-ExternalAgent около 12%, на GPTBot около 10%, а доля ClaudeBot выросла с 9% до 20% (Similarweb, 2026). Там же упомянуто 30-дневное исследование 12 сайтов: GPTBot давал в среднем около 4200 запросов на сайт в сутки, медиана суммарных суточных запросов ChatGPT-User и Perplexity-User составила около 690 на сайт, глубина сессии ClaudeBot — 5,2 страницы против 3,8 у GPTBot. Двенадцать западных сайтов — малая выборка даже для Запада.

Что переносится на Россию, а что нет:

• Переносится методика: проверка по IP-диапазонам и обратному DNS, разделение плановых краулеров и агентов по запросу, матрица TOFU, MOFU и BOFU по серверным логам. Она не зависит от юрисдикции и работает на российском хостинге и CDN.
• Не переносятся доли трафика по ботам. Их собрали на западной выборке, а российский трафик искажают VPN и частичные блокировки сервисов.
• Не измерена доля YandexGPT, GigaChat и Алисы в агентских заходах на B2B-сайты. Ни один открытый источник из перечисленных в этой статье таких данных не приводит, и на ноябрь 2026 года открытых данных по локальным ИИ-агентам в B2B нет.

Практический вывод для российского сайта: ищите в своих логах user-agent ботов Яндекса и Сбера, связанных с YandexGPT, Алисой и GigaChat, сверяйтесь с их официальной документацией по аналогии с OpenAI, Anthropic и Google и стройте собственную базу. Западные проценты прогнозом для вашего трафика не считайте.

Как добиться, чтобы ИИ-агент прочитал страницы цен и сравнений?

Агент прочитает BOFU-страницу, если она открыта для ботов, отдаёт контент без JavaScript и отвечает на вопросы, которые покупатель задаёт ассистенту. Первые два условия проверяются по логам и закрываются силами разработчика, третье требует переработки текстов.

Работа «GEO: Generative Engine Optimization» исследователей из Принстона, Georgia Tech, Allen Institute for AI и IIT Delhi (KDD 2024) исходит из того, что создатели контента почти не контролируют, когда и как их материал попадает в ответ генеративного поисковика (arXiv:2311.09735, 2023/2024). Авторы собрали бенчмарк GEO-bench и показали, что целевая переработка контента повышает видимость в ответах генеративных движков до 40%. Эффективность методов зависит от тематики запроса, и универсального приёма для всех ниш исследование не нашло. Замеры проводили на англоязычных запросах; как те же методы работают в ответах Алисы и GigaChat, открытых данных нет.

Для B2B-сайта из этого следует порядок работ:

• технический доступ: robots.txt, правила WAF и CDN, коды ответа BOFU-страниц;
• рендеринг: цены, тарифы и условия видны в исходном HTML без выполнения скриптов;
• содержание: страница отвечает на вопросы вашего идеального профиля клиента — для кого продукт, сколько стоит, чем отличается от альтернатив, какие сроки внедрения;
• измерение: ежемесячный срез матрицы «раздел × тип бота» по подтверждённым заходам.

Ответственность за этот срез стоит закрепить за конкретным человеком в маркетинге. Логи лежат у эксплуатации, тексты у маркетинга, и без владельца разрыв из таблицы выше живёт месяцами.

Частые ошибки

• Искать агентов в Яндекс.Метрике и GA4. Счётчики работают через JavaScript, а большинство ИИ-ботов его не выполняют; без серверных или CDN-логов воронка ИИ-агентов остаётся невидимой.
• Верить строке user-agent. Её подделывает любой парсер; без сверки IP с диапазонами вендора и двойного DNS-запроса в отчёт попадут чужие скрипты под видом GPTBot.
• Сваливать всех ботов в одну кучу. Тысячи запросов GPTBot к блогу ничего не говорят о спросе; сигнал покупки несут заходы ChatGPT-User, Claude-User и Perplexity-User на страницы цен, демо и сравнений.
• Закрыть сайт для ИИ целиком из осторожности. Для Anthropic запрет в robots.txt отключит и Claude-User, то есть агент покупателя не прочитает ваши страницы в момент выбора.
• Прятать цены в калькуляторе на JavaScript. Агент дойдёт до страницы, получит пустой HTML и соберёт шортлист без вас.
• Планировать бюджет по западным долям. Цифры Ahrefs и Cloudflare Radar собраны на западном трафике; для рунета и B2B открытых данных нет, и ориентиром служат только собственные логи.

Источники

• GPTBot, OAI-SearchBot, ChatGPT-User — Crawlers documentation — OpenAI, 2026
• Does Anthropic crawl data from the web, and how can site owners block the crawler? — Anthropic, 2026
• Verify requests from Google crawlers and fetchers — Google Search Central, 2026
• AI Bot Funnel Analysis: How to Map Crawl Paths in Server Logs and Fix Your Agentic Search Gaps — Similarweb, 2026
• Does AI Search Traffic Convert Better Than Traditional Search? — Ahrefs, 2025
• GEO: Generative Engine Optimization — arXiv, KDD 2024

FAQ

Можно ли увидеть ИИ-агента покупателя в Яндекс.Метрике?

Нет. Яндекс.Метрика и GA4 собирают данные через JavaScript в браузере, а большинство ИИ-ботов JavaScript не выполняют. В счётчике видны только люди, которые перешли на сайт по ссылке из ответа ассистента; сами заходы агентов фиксируют только серверные или CDN-логи.

Какой ИИ-бот ближе всего к реальному покупателю?

Ближе всего агенты, которые открывают страницу по запросу живого пользователя: ChatGPT-User у OpenAI, Claude-User у Anthropic, Perplexity-User у Perplexity. Их заход означает, что человек прямо сейчас попросил ассистента изучить ваш сайт. GPTBot и ClaudeBot обходят сайты по плану и о спросе не говорят.

Нужно ли блокировать ИИ-ботов в robots.txt?

Блокировка ботов для обучения моделей — решение юристов и владельца контента. Ботов поиска и агентов по запросу пользователя B2B-компании выгоднее пускать: Anthropic заявляет, что Claude-User соблюдает robots.txt, поэтому запрет лишит агента покупателя доступа к вашим страницам. К ChatGPT-User, по документации OpenAI, правила robots.txt могут не применяться.

Как проверить, что запрос пришёл от настоящего GPTBot?

Сверьте IP-адрес запроса с JSON-файлом диапазонов, который публикует OpenAI, затем выполните обратный DNS-запрос по IP и прямой запрос по полученному имени хоста. Если оба шага сошлись, заход подтверждён. Строка user-agent служит только подсказкой: её легко подделать.

Сколько трафика дают ИИ-ассистенты B2B-сайту в России?

Открытых данных нет. Западные цифры Ahrefs (около 0,17% визитов на выборке примерно из 3000 сайтов и около 0,5% на собственном сайте Ahrefs, 2025) собраны на другом рынке, а российский трафик искажают VPN и частичные блокировки. Ориентир — ваши собственные логи за несколько месяцев.

Видны ли в логах YandexGPT, Алиса и GigaChat?

Доля этих ассистентов в агентских заходах на B2B-сайты в открытых источниках не измерена. Ищите в своих логах user-agent ботов Яндекса и Сбера, сверяйтесь с их официальной документацией и проверяйте IP так же, как для OpenAI, Anthropic и Google.

Какие страницы смотреть в первую очередь?

Страницы цен, демо и сравнений с конкурентами, то есть низ воронки. Здесь покупатель выбирает вендора, а плановые краулеры доходят сюда реже, чем до блога. Теневые заходы агентов на эти страницы — главный сигнал, отказы с кодом 4xx и пустой HTML на них — главная потеря.

ИИ-ассистенты уже участвуют в B2B-закупках, и измерять их работу приходится там, где маркетинг обычно не смотрит. На интенсиве Marketing OS маркетинг собирают как управляемую систему: у каждого канала, включая ИИ-поиск, есть метрика, владелец и связь с P&L. Если хотите выстроить такую систему на данных своей компании, приходите на ближайший поток.