Инкрементальность рекламы: холдаут-тест, который показывает, что реклама реально добавила

Холдаут-тест считается просто: вы делите аудиторию на группу, которая видит рекламу, и контрольную группу, которая её не видит, а затем сравниваете конверсию (или выручку на пользователя) между ними. Разница между группами и есть инкрементальность — то, что реклама добавила сверх органики. Всё остальное в этой статье — про то, как не испортить этот простой расчёт на практике, потому что именно там чаще всего и проваливаются холдаут-тесты.

Если вы CMO или собственник, который смотрит на ROMI в рекламном кабинете и не доверяет ему до конца — это правильная интуиция. Атрибуция считает клики и последние касания, а не отвечает на вопрос «купил бы клиент и без рекламы». Холдаут-тест — единственный метод, который отвечает именно на этот вопрос напрямую, без модельных допущений.

Что такое инкрементальность и почему атрибуция её не считает

Атрибуционные модели — first click, last click, линейная, U-образная — распределяют уже случившиеся конверсии между каналами. Они отвечают на вопрос «какой канал коснулся клиента перед покупкой», а не «купил бы клиент без этого канала». Это принципиально разные вопросы.

Классический пример из практики: ретаргетинг почти всегда показывает фантастический ROMI по last-click, потому что показывается людям, которые уже собирались купить — они добавили товар в корзину, ушли, вернулись через баннер и оформили заказ. Атрибуция запишет конверсию на ретаргетинг. По нашим наблюдениям, холдаут-тест такой кампании нередко показывает инкрементальность в диапазоне 5–15% от заявленной атрибуции, то есть большая часть этих продаж случилась бы и без рекламы.

Инкрементальность — это разница между фактическим результатом с рекламой и контрфактическим результатом без неё. Контрфактический результат нельзя пронаблюдать напрямую (нельзя одновременно показать и не показать рекламу одному и тому же человеку), поэтому используется холдаут-группа как приближение к этому контрфакту.

Логика холдаут-теста: как устроен эксперимент

Механика теста укладывается в четыре шага.

1. Вы делите целевую аудиторию на тестовую группу (видит рекламу) и контрольную группу (не видит рекламу или видит плейсхолдер).
2. Группы формируются случайным образом до старта кампании, а не по результатам — иначе тест теряет силу.
3. Кампания идёт заданный период при равных прочих условиях для обеих групп.
4. По итогам сравниваются конверсия, выручка на пользователя или другая целевая метрика между группами; статистическая значимость разницы подтверждает или опровергает эффект.

Ключевое отличие холдаут-теста от обычного теста креативов в том, что здесь тестируется сам факт присутствия рекламы, а не её вариант — вопрос не «какой креатив лучше сработал», а «сработала ли реклама вообще».

Виды холдаут-тестов и когда какой выбрать

*Meta признана экстремистской организацией, её деятельность запрещена на территории РФ.

Для CTV и офлайн-каналов гео-холдаут почти безальтернативен — там же, кстати, чаще всего и возникает вопрос инкрементальности, потому что атрибуция по кликам физически не работает. Если это ваш случай, у нас есть отдельный разбор CTV-рекламы на умных телевизорах.

Как посчитать инкрементальность: формула и пример

Базовая формула инкрементальности:

Инкрементальность = (Конверсия тестовой группы − Конверсия контрольной группы) / Конверсия тестовой группы × 100%

Разберём на цифрах. Тестовая группа (100 000 человек, видели рекламу): 3 200 конверсий, конверсия 3,2%. Контрольная группа (100 000 человек, не видели рекламу): 2 400 конверсий, конверсия 2,4%.

Инкрементальность = (3,2% − 2,4%) / 3,2% = 25%

Это значит: только 25% продаж в тестовой группе реально добавлены рекламой, остальные 75% случились бы и без неё — это органика, которую реклама лишь «перехватила» через атрибуцию. Дальше это переводится в деньги: если кампания принесла 3,2 млн рублей выручки по атрибуции, инкрементальная выручка — около 800 тысяч рублей. Именно эту цифру нужно делить на рекламный бюджет, чтобы получить honest ROMI, а не цифру из кабинета. Если вы ещё не сверяли методику расчёта ROMI в принципе, посмотрите материал как считать ROMI — холдаут-инкрементальность туда встраивается естественным образом как поправочный коэффициент.

Обязательные условия валидности: без них тест — просто красивая таблица

Холдаут-тест легко провести неправильно и получить цифру, которая выглядит убедительно, но ничего не значит. Проверьте эти условия до запуска, а не после.

• Случайность разбиения. Группы должны формироваться рандомизацией до кампании, а не отбором «похожих» пользователей постфактум — иначе вы получите систематическое смещение.
• Достаточный размер выборки. Для большинства e-com категорий с базовой конверсией 1–3% нужны десятки тысяч пользователей на группу, чтобы поймать эффект в 15–20% на приемлемом уровне значимости; для низкочастотных B2B-продаж выборки часто физически недостижимы за разумный срок — тест либо идёт дольше, либо на прокси-метриках выше по воронке.
• Изоляция от других переменных. Ценовые акции, сезонность, PR-инфоповоды, изменения на сайте должны либо отсутствовать в период теста, либо одинаково влиять на обе группы.
• Достаточная длительность. Слишком короткий тест ловит только немедленный отклик и теряет отложенные конверсии (особенно в B2B и дорогих чеках, где цикл сделки — недели).
• Чистота контрольной группы. Утечки — когда контрольная группа всё же видит рекламу через другой канал, устройство или из-за плохой настройки таргетинга — обнуляют весь тест.
• Статистическая значимость, а не визуальная разница. Разница в 0,3 п.п. может быть шумом; нужен доверительный интервал и p-value, а не «на глаз похоже на эффект».

Частые ошибки

• Слишком маленькая контрольная группа ради экономии бюджета. Владельцы бизнеса интуитивно хотят держать контроль на 2–5%, чтобы «не терять продажи» — но при таком размере статистическая мощность теста часто недостаточна, и вы получаете неопределённый результат вместо ответа.
• Тест во время промо или сезонного пика. Чёрная пятница, распродажа, вирусный пост — любой сильный внешний фактор смазывает эффект рекламы и делает вывод теста нерелевантным для обычных периодов.
• Смешение холдаут-теста с brand lift опросом. Это разные инструменты: холдаут измеряет транзакционный эффект (продажи, лиды), brand lift — эффект на узнаваемость и восприятие бренда; путать их в отчёте совету директоров — верный способ потерять доверие к цифрам. Подробнее о методике замера в статье как измерить brand lift.
• Игнорирование утечек между группами. Ретаргетинг, look-alike аудитории и кросс-девайс трекинг регулярно «протекают» в контрольную группу через смежные кампании — проверяйте настройки исключений перед стартом, а не после.
• Один тест на весь год. Инкрементальность меняется вместе с насыщением аудитории, конкурентной средой и креативной усталостью — тест, сделанный полтора года назад, не описывает текущую реальность канала.
• Выводы без доверительного интервала. Разница в конверсии без указания значимости — это не результат теста, это гипотеза, которую всё ещё нужно проверить.

Что делать с результатом теста

Инкрементальность канала — не разовая справка для отчёта, а вход в систему принятия решений о бюджете. Практический порядок действий:

1. Зафиксируйте инкрементальность как поправочный коэффициент к атрибуционному ROMI для каждого канала отдельно — усреднённая цифра по всему медиамиксу маскирует то, что один канал недоинкрементален, а другой — наоборот.
2. Пересчитайте P&L кампании на инкрементальной выручке, а не атрибуционной — это меняет картину unit-экономики иногда кардинально, особенно для ретаргетинга и брендовых поисковых кампаний.
3. Перераспределите бюджет в пользу каналов с высокой инкрементальностью, даже если их атрибуционный ROMI выглядит скромнее.
4. Повторяйте тест раз в 2–4 квартала для основных каналов и после значимых изменений в медиамиксе или креативной стратегии.
5. Включите инкрементальность как отдельную строку в регулярную отчётность — это тот аргумент, который снимает вопросы совета директоров про «а реклама вообще работает». Формат такой отчётности разобран в материале как готовить отчёт маркетинга совету директоров.

FAQ

Чем холдаут-тест отличается от A/B-теста?

A/B-тест сравнивает два варианта воздействия (например, два креатива или два оффера) — обе группы получают рекламу, просто разную. Холдаут-тест сравнивает наличие воздействия с его отсутствием: одна группа видит рекламу, вторая не видит её вовсе. Это разные вопросы: A/B отвечает «какой вариант лучше», холдаут — «работает ли реклама вообще».

Сколько длится холдаут-тест?

Минимум один полный цикл покупки в вашей категории плюс запас на отложенный эффект — для e-com это обычно 2–4 недели, для B2B с длинным циклом сделки часто 6–12 недель. Слишком короткий тест недооценивает эффект, потому что не успевает поймать отложенные конверсии.

Можно ли провести холдаут-тест с небольшим бюджетом?

Технически да, но статистическая мощность будет низкой — вы рискуете получить неопределённый результат (разница есть, но недостаточно значима, чтобы на неё опираться). Для малых бюджетов практичнее тестировать не весь медиамикс, а один канал с наибольшей неопределённостью в атрибуции, и держать тест дольше, компенсируя длительностью небольшую выборку.

Какая инкрементальность считается хорошей?

Универсального порога нет, ориентир по практике: для охватных каналов верхней воронки (branding, awareness) — от 40% и выше; для performance-каналов с точным таргетингом типа ретаргетинга инкрементальность в 10–20% — обычное дело и само по себе не признак провала, если это учтено в цене клиента. Оценивайте цифру относительно роли канала в воронке, а не в вакууме.

Нужен ли холдаут-тест, если у нас уже настроена сквозная аналитика?

Сквозная аналитика решает другую задачу — она точнее считает атрибуцию, но не отвечает на вопрос о контрфакте. Даже идеальная сквозная аналитика не знает, купил бы клиент без рекламы. Холдаут-тест и аналитика дополняют друг друга: аналитика даёт операционную картину по каждому клику, холдаут — раз в квартал даёт правду о реальном вкладе канала.

Как холдаут-тест соотносится с MMM (Marketing Mix Modeling)?

MMM оценивает вклад каналов на основе исторических данных и статистических моделей, часто на агрегированном уровне и без реального эксперимента. Холдаут-тест — это контролируемый эксперимент, который даёт более достоверную причинно-следственную оценку для конкретного канала, но дороже и не масштабируется на весь медиамикс одновременно. На практике сильные команды используют MMM для широкой картины и холдаут-тесты — для проверки и калибровки самых спорных или дорогих каналов.

Что если контрольная группа технически недостижима (например, в поиске)?

Для каналов, где нельзя физически исключить показ конкретным пользователям (брендовый поиск, некоторые виды programmatic), используют гео-холдаут или временной switchback-дизайн вместо пользовательского разбиения. Это компромисс по точности, но всё ещё несравнимо честнее, чем полагаться только на атрибуцию.

Если вы хотите не просто разово посчитать инкрементальность одного канала, а встроить honest-метрики в постоянную систему принятия решений о бюджете — это ровно то, чем мы занимаемся на интенсиве Marketing OS: разбираем ваш медиамикс, P&L и отчётность так, чтобы решения принимались на реальных цифрах, а не на цифрах из рекламного кабинета.