Вы узнаете, что ИИ улучшает кампании, когда это показывает контролируемое сравнение. Оставьте случайно выбранную группу, которая не получает связанных с ИИ изменений, запустите обе группы параллельно и сравните бизнес-результат, а не только собственный отчёт платформы. Если показанная группа не обгоняет холдаут больше, чем на обычный шум, улучшение не доказано.
Главное
- Дашборды платформ показывают результаты, которые случились, а не те, что вызвала реклама.
- Холдаут-группа, когда случайная доля аудитории не видит изменения, — самый простой честный тест.
- Тестируйте само изменение с ИИ — креатив, ставки или таргетинг — по одному.
- Задайте защитные метрики, чтобы рост одного числа не скрывал падение другого.
- Определите критерий успеха, бюджет и правило остановки до начала теста.
Почему нельзя доверять дашборду?
Потому что дашборд считает конверсии, которые часто случились бы и так. Автоматические ставки хорошо находят людей, которые и так склонны купить, и результаты выглядят сильными, не добавляя продаж.
Сравнения «до и после» завышают три фактора. Сезонность сама меняет спрос. Бюджеты и предложения меняются одновременно с ИИ-функцией. А алгоритму, нацеленному на вероятных покупателей, приписывают продажи, которых он не создавал. Сравнение, которое не учитывает это, говорит, что произошло, но не почему.
Что такое холдаут-группа?
Холдаут — это случайно выбранная группа людей или территорий, которая не получает рекламу или изменение, которое вы тестируете. Её результаты показывают, что было бы без него.
Google описывает свой инструмент Conversion Lift так: он делит аудиторию на тестовую группу, которая видит рекламу, и контрольную, которая её не видит, а разница в конверсиях между ними и есть прирост. Исследования можно разделять по пользователям или по географии, и Google отмечает, что инструмент доступен не для всех аккаунтов. Meta предлагает lift-исследования на той же идее; проверьте её актуальную документацию и доступ вашего аккаунта.
Если запустить исследование на платформе нельзя, для многих аккаунтов работает ручной вариант: приостановите активность в нескольких сопоставимых регионах, оставьте её в других и сравните.
Что такое инкрементальность?
Инкрементальность — это дополнительный результат, вызванный маркетингом, сверх того, что произошло бы и так. Это число и оценивает холдаут-тест.
Гипотетический пример: ритейлер видит 1,000 продаж в месяц в регионе, где идёт реклама, и 800 в сопоставимом регионе, где она приостановлена. Инкрементальный эффект — около 200 продаж, а не 1,000. Разделите расходы на 200, и получите реальную стоимость дополнительной продажи. Она обычно выше, чем показывает дашборд.
Как тестировать само изменение с ИИ?
Меняйте что-то одно и давайте каждому тесту чёткое сравнение. Три теста покрывают большинство случаев применения ИИ в кампаниях.
| Изменение с ИИ | Дизайн теста | Основной показатель |
|---|---|---|
| Креатив, написанный или созданный ИИ | A/B-тест против вашего лучшего текущего объявления, та же аудитория, тот же бюджет, тот же период | Стоимость результата или конверсия |
| Автоматические ставки или инструменты бюджета | Разделение по регионам или аудиториям либо функция экспериментов платформы | Инкрементальные конверсии на единицу расходов |
| Новый таргетинг на аудиторию | Холдаут расширенной аудитории | Инкрементальные продажи, доля новых клиентов |
Перед тратой бюджета слабые креативы можно отсечь предварительной оценкой, как в нашем руководстве по прогнозированию эффективности рекламы. Это сужает выбор, но решает всё равно живой тест.
Что такое защитные метрики?
Защитные метрики — это показатели, которые не должны ухудшаться, пока вы добиваетесь главной цели. Они не дают «победе» тихо навредить чему-то ещё.
- Затраты и маржа: стоимость привлечения, возврат на расходы после скидок.
- Качество клиентов: возвраты, возмещения, повторные покупки и конверсия из лида в продажу.
- Безопасность бренда и тон: жалобы, скрытия, негативные комментарии, результаты не в стиле бренда.
- Разнообразие креативов: если ИИ сводит всё к одному виду, усталость аудитории наступает раньше.
Как правильно провести тест?
- Сформулируйте вопрос. «Лучше ли версия с ИИ нашего текущего подхода по стоимости квалифицированного лида?»
- Зафиксируйте показатель, бюджет и длительность до запуска и не меняйте их по ходу теста.
- Рандомизируйте. Распределяйте группы случайно, а не по оценке.
- Проводите достаточно долго, чтобы охватить обычный цикл покупки и выйти из фазы обучения платформы.
- Проверьте размер. Крошечные группы дают шумный ответ; если результаты сильно скачут изо дня в день, считайте итог недоказанным.
- Записывайте результат, в том числе тесты, где ИИ ничего не изменил. Результат «без разницы» тоже экономит деньги.
Что, если тест не показал улучшения?
Считайте это полезным ответом. ИИ мог сэкономить время, не изменив результаты, и это всё равно может быть оправдано, если вы об этом честно говорите. Одну из частых причин объясняет наш материал о том, почему больше ИИ-контента не делает кампании лучше: больше продукции — не значит лучше.
FAQ
Чем A/B-тест отличается от теста инкрементальности?
A/B-тест сравнивает две версии чего-либо, например два объявления, которые видят люди. Тест инкрементальности сравнивает показ с отсутствием показа. A/B-тесты нужны, чтобы выбрать лучший креатив, а холдауты — чтобы понять, добавляют ли расходы продажи вообще.
Каким должен быть размер холдаута?
Настолько малым, насколько он даёт читаемый ответ, потому что каждый человек в холдауте — это упущенная продажа. Правильный размер зависит от вашего объёма и ожидаемого эффекта. Попросите аналитика или инструмент исследований платформы его оценить.
Как долго должен идти lift-тест?
Достаточно, чтобы охватить обычный цикл покупки и период обучения. Нескольких дней редко хватает для обдуманных покупок. Задайте длительность до начала.
Можно ли измерить влияние ИИ без холдаута?
Можно оценить его сравнением «до и после» или сопоставимых рынков, но они слабее. Помечайте их как оценки и подтверждайте важные решения полноценной контрольной группой, когда это возможно.
Нужно ли тестировать каждую функцию ИИ?
Нет. Сначала тестируйте изменения, связанные с реальным бюджетом или риском. За небольшими обратимыми правками можно следить по защитным метрикам.
Источники
- Справка Google Ads, О Conversion Lift.
- Материалы SOMIN: Прогнозируйте эффективность рекламы до трат и Почему больше ИИ-контента не делает кампании лучше.
