통제된 비교에서 그렇다는 결과가 나올 때 AI가 캠페인을 개선하고 있다고 말할 수 있습니다. 무작위로 고른 그룹에는 AI 기반 변경을 적용하지 않은 채 두 그룹을 나란히 운영하고, 플랫폼 자체 리포트가 아니라 비즈니스 결과를 비교하세요. 노출 그룹이 홀드아웃을 일반적인 노이즈 이상으로 앞서지 못한다면 개선은 입증되지 않은 것입니다.
핵심 요약
- 플랫폼 대시보드는 광고가 만든 결과가 아니라 발생한 결과를 보고합니다.
- 무작위로 일부가 변경을 보지 못하게 하는 홀드아웃 그룹이 가장 간단하고 정직한 테스트입니다.
- 크리에이티브, 입찰, 타기팅 같은 AI 변경 자체를 한 번에 하나씩 테스트하세요.
- 가드레일 지표를 설정해 한 지표의 상승이 다른 지표의 하락을 가리지 않게 하세요.
- 성공 지표, 예산, 중단 규칙은 테스트를 시작하기 전에 정하세요.
왜 대시보드를 믿을 수 없나요?
대시보드는 광고가 없었어도 발생했을 전환까지 세기 때문입니다. 자동 입찰은 이미 구매 가능성이 높은 사람을 찾는 데 능해서, 매출을 늘리지 않고도 성과가 좋아 보이게 만듭니다.
전후 비교를 부풀리는 요인은 세 가지입니다. 계절성이 수요를 저절로 움직입니다. 예산과 오퍼가 AI 기능과 동시에 바뀝니다. 그리고 구매 가능성이 높은 사람을 타기팅하는 알고리즘이 자신이 만들지 않은 매출까지 성과로 인정받습니다. 이런 요인을 통제하지 않은 비교는 무슨 일이 있었는지는 알려주지만 왜 그랬는지는 알려주지 않습니다.
홀드아웃 그룹이란 무엇인가요?
홀드아웃은 테스트 중인 광고나 변경을 받지 않도록 무작위로 선정한 사람 또는 지역의 그룹입니다. 이 그룹의 결과는 광고가 없었다면 어떤 일이 일어났을지를 보여줍니다.
Google은 Conversion Lift 도구를 다음과 같이 설명합니다. 타깃을 광고를 보는 처리 그룹과 보지 않는 대조 그룹으로 나누고, 두 그룹의 전환 차이가 리프트입니다. 연구는 사용자별 또는 지역별로 나눌 수 있으며, 모든 계정에서 이 도구를 쓸 수 있는 것은 아니라고 Google은 밝힙니다. Meta도 같은 개념에 기반한 리프트 연구를 제공하므로 최신 문서와 계정 접근 권한을 확인하세요.
플랫폼 연구를 실행할 수 없다면 수동 방식도 많은 계정에서 통합니다. 비슷한 지역 몇 곳에서는 활동을 중단하고 다른 곳에서는 유지한 뒤 비교하세요.
증분 효과(incrementality)란 무엇인가요?
증분 효과는 마케팅이 없었어도 발생했을 결과를 넘어서 마케팅이 추가로 만든 결과입니다. 홀드아웃 테스트가 추정하는 수치가 바로 이것입니다.
가상의 예를 들어 보겠습니다. 한 리테일러가 광고를 집행하는 지역에서 월 1,000건, 광고를 중단한 유사 지역에서 월 800건의 판매를 기록했다고 합니다. 증분 효과는 약 200건이지 1,000건이 아닙니다. 지출을 200로 나누면 추가 판매 한 건당 실제 비용을 구할 수 있습니다. 이 비용은 보통 대시보드에 나오는 수치보다 높습니다.
AI 변경 자체는 어떻게 테스트하나요?
한 번에 하나만 바꾸고 각 테스트에 명확한 비교 대상을 두세요. 캠페인에서 AI를 활용하는 대부분의 경우는 세 가지 테스트로 다룰 수 있습니다.
| AI 변경 사항 | 테스트 설계 | 핵심 지표 |
|---|---|---|
| AI가 작성·생성한 크리에이티브 | 현재 최고 성과 광고와 같은 타깃, 같은 예산, 같은 기간으로 A/B 테스트 | 결과당 비용 또는 전환율 |
| 자동 입찰 또는 예산 도구 | 지역별 또는 타깃별로 나누거나 플랫폼의 실험 기능 사용 | 지출 단위당 증분 전환 |
| 새로운 오디언스 타기팅 | 확장한 오디언스의 홀드아웃 | 증분 매출, 신규 고객 비중 |
비용을 쓰기 전에 광고 성과 예측 가이드처럼 사전 점수화로 성과가 낮은 크리에이티브를 걸러낼 수 있습니다. 후보를 좁혀 주는 것일 뿐, 최종 판단은 실제 테스트가 합니다.
가드레일 지표란 무엇인가요?
가드레일 지표는 주요 목표를 쫓는 동안 나빠지면 안 되는 수치입니다. 다른 곳을 조용히 해치는 '승리'를 막아 줍니다.
- 비용과 마진: 고객 획득 비용, 할인 후 광고 수익률.
- 고객 품질: 반품, 환불, 재구매, 리드에서 판매로의 전환율.
- 브랜드 세이프티와 톤: 불만, 숨기기, 부정적 댓글, 브랜드와 어긋나는 결과물.
- 크리에이티브 다양성: AI가 하나의 룩으로 수렴하면 피로도가 더 빨리 옵니다.
테스트는 어떻게 제대로 진행하나요?
- 질문을 적으세요. "AI 버전이 적격 리드당 비용에서 현재 방식을 이기는가?"
- 지표, 예산, 기간을 고정하세요. 론칭 전에 정하고 테스트 중에는 바꾸지 마세요.
- 무작위로 나누세요. 판단이 아니라 우연으로 그룹을 배정합니다.
- 충분히 오래 실행하세요. 평소의 구매 주기를 포괄하고 플랫폼의 학습 단계를 벗어날 만큼 운영합니다.
- 규모를 확인하세요. 그룹이 너무 작으면 결과가 불안정합니다. 일별 결과가 크게 요동치면 입증되지 않은 것으로 보세요.
- 결과를 기록하세요. AI가 차이를 만들지 못한 테스트도 포함합니다. 차이가 없다는 결과도 비용을 아껴 줍니다.
테스트에서 개선이 나타나지 않으면 어떻게 하나요?
유용한 답으로 받아들이세요. AI가 결과는 바꾸지 않고 시간만 절약했을 수도 있으며, 그렇게 밝히기만 한다면 그것도 가치가 있습니다. AI 콘텐츠를 늘려도 캠페인이 나아지지 않는 이유 글에서 흔한 이유 하나를 설명합니다. 산출물이 많다고 해서 더 좋은 산출물인 것은 아닙니다.
FAQ
A/B 테스트와 증분 효과 테스트는 어떻게 다른가요?
A/B 테스트는 광고 두 개처럼 두 가지 버전을 모두 사람들에게 보여주고 비교합니다. 증분 효과 테스트는 보여주는 것과 보여주지 않는 것을 비교합니다. 더 나은 크리에이티브를 고를 때는 A/B 테스트를, 광고비가 매출을 조금이라도 더하는지 알고 싶을 때는 홀드아웃을 사용하세요.
홀드아웃은 얼마나 커야 하나요?
읽을 수 있는 결과가 나오는 선에서 최대한 작게 잡으세요. 제외된 사람 한 명이 곧 놓친 판매 한 건이기 때문입니다. 적정 규모는 트래픽 규모와 감지하려는 효과의 크기에 따라 달라집니다. 분석 담당자나 플랫폼의 연구 도구에 추정을 요청하세요.
리프트 테스트는 얼마나 오래 실행해야 하나요?
평소의 구매 주기와 학습 기간을 포괄할 만큼 충분히 길어야 합니다. 고민 끝에 구매하는 상품은 며칠로는 거의 충분하지 않습니다. 시작하기 전에 기간을 정하세요.
홀드아웃 없이 AI의 영향을 측정할 수 있나요?
전후 비교나 유사 시장 비교로 추정할 수 있지만 신뢰도는 낮습니다. 추정치라고 표시하고, 중요한 결정은 가능하면 제대로 된 대조군으로 확인하세요.
AI 기능을 모두 테스트해야 하나요?
아니요. 실제 예산이나 위험이 큰 변경부터 테스트하세요. 작고 되돌릴 수 있는 조정은 가드레일 지표로 모니터링하면 됩니다.
출처
- Google Ads 고객센터, Conversion Lift 소개.
- SOMIN 글: 비용을 쓰기 전에 광고 성과 예측하기 및 AI 콘텐츠를 늘려도 캠페인이 나아지지 않는 이유.
