Você sabe que a IA está melhorando suas campanhas quando uma comparação controlada diz isso. Reserve um grupo escolhido ao acaso que não receba a mudança conduzida pela IA, rode os dois lado a lado e compare o resultado de negócio, não só o relatório da própria plataforma. Se o grupo exposto não superar o holdout por mais do que o ruído normal, a melhoria não está provada.
Principais conclusões
- Os dashboards das plataformas informam resultados que aconteceram, não resultados que os anúncios causaram.
- Um grupo de holdout, em que uma fatia aleatória nunca vê a mudança, é o teste honesto mais simples.
- Teste a própria mudança feita pela IA (criativo, lances ou segmentação), uma de cada vez.
- Defina métricas de proteção para que o ganho em um número não esconda a perda em outro.
- Decida a medida de sucesso, o orçamento e a regra de encerramento antes de o teste começar.
Por que você não pode confiar no dashboard?
Porque o dashboard conta conversões que, muitas vezes, aconteceriam de qualquer jeito. Os lances automatizados são ótimos em encontrar pessoas que já tinham probabilidade de comprar, o que faz os resultados parecerem fortes sem gerar vendas adicionais.
Três fatores inflam as comparações de antes e depois. A sazonalidade move a demanda por conta própria. Orçamentos e ofertas mudam ao mesmo tempo que o recurso de IA. E um algoritmo que segmenta prováveis compradores leva o crédito por vendas que não criou. Uma comparação que não controla esses fatores diz o que aconteceu, não por quê.
O que é um grupo de holdout?
Um holdout é um grupo de pessoas, ou de locais, selecionado ao acaso que não recebe os anúncios ou a mudança que você está testando. Os resultados dele mostram o que teria acontecido sem a ação.
O Google descreve sua ferramenta Conversion Lift nestes termos: ela divide um público em um grupo de tratamento, que vê os anúncios, e um grupo de controle, que não vê, e a diferença de conversões entre eles é o lift. Os estudos podem ser divididos por usuários ou por região geográfica, e o Google observa que a ferramenta não está disponível para todas as contas. A Meta oferece estudos de lift baseados na mesma ideia; confira a documentação atual e o acesso da sua conta.
Se você não puder fazer um estudo pela plataforma, uma versão manual funciona para muitas contas: pause a atividade em algumas regiões equivalentes, mantenha-a ativa em outras e compare.
O que é incrementalidade?
Incrementalidade é o resultado extra causado pelo marketing, além do que teria acontecido de qualquer forma. É o número que um teste de holdout estima.
Um exemplo hipotético: uma varejista tem 1,000 vendas por mês em uma região onde os anúncios rodam e 800 em uma região equivalente onde estão pausados. O efeito incremental é de cerca de 200 vendas, não de 1,000. Divida o investimento por 200 para obter o custo real por venda adicional. Esse custo costuma ser maior do que o do dashboard.
Como testar a própria mudança feita pela IA?
Mude uma coisa de cada vez e dê a cada teste uma comparação clara. Três testes cobrem a maioria dos usos de IA em campanhas.
| Mudança de IA | Desenho do teste | Medida principal |
|---|---|---|
| Criativo escrito ou gerado por IA | Teste A/B contra o seu melhor anúncio atual, mesmo público, mesmo orçamento, mesmo período | Custo por resultado ou taxa de conversão |
| Lances automatizados ou ferramentas de orçamento | Divisão por região ou por público, ou uso do recurso de experimentos da plataforma | Conversões incrementais por unidade de investimento |
| Nova segmentação de público | Holdout do público ampliado | Vendas incrementais, participação de novos clientes |
Antes de investir, você pode eliminar criativos fracos com uma pré-pontuação, como no nosso guia para prever o desempenho de anúncios. Isso afunila as opções. Quem decide é o teste ao vivo.
O que são métricas de proteção?
Métricas de proteção são números que não podem piorar enquanto você persegue o objetivo principal. Elas evitam uma “vitória” que prejudica silenciosamente outra coisa.
- Custo e margem: custo por aquisição, retorno sobre o investimento após descontos.
- Qualidade do cliente: devoluções, reembolsos, recompra e taxa de lead para venda.
- Brand safety e tom: reclamações, ocultações, comentários negativos, resultados fora do tom da marca.
- Variedade de criativos: se a IA converge para um único visual, a fadiga chega mais cedo.
Como conduzir o teste direito?
- Escreva a pergunta. “A versão da IA supera nossa abordagem atual em custo por lead qualificado?”
- Fixe a medida, o orçamento e a duração antes do lançamento e não os altere no meio do teste.
- Randomize. Atribua os grupos por sorteio, não por julgamento.
- Rode por tempo suficiente para cobrir seu ciclo normal de compra e sair da fase de aprendizado da plataforma.
- Verifique o tamanho. Grupos minúsculos dão respostas ruidosas; se os resultados oscilam muito de um dia para o outro, trate o resultado como não comprovado.
- Registre o resultado, inclusive nos testes em que a IA não fez diferença. Um resultado sem diferença também economiza dinheiro.
E se o teste não mostrar melhoria?
Trate isso como uma resposta útil. A IA pode ter economizado tempo sem mudar os resultados, o que ainda pode valer a pena, desde que você diga isso. Nosso texto sobre por que mais conteúdo de IA não está melhorando as campanhas explica um motivo comum: mais produção não é o mesmo que produção melhor.
FAQ
Qual é a diferença entre teste A/B e teste de incrementalidade?
Um teste A/B compara duas versões de algo, como dois anúncios, ambas exibidas às pessoas. Um teste de incrementalidade compara exibir com não exibir. Use testes A/B para escolher um criativo melhor e holdouts para descobrir se o investimento gera vendas adicionais.
Qual deve ser o tamanho de um holdout?
O menor que dê uma resposta legível, porque cada pessoa mantida de fora é uma venda perdida. O tamanho certo depende do seu volume e do efeito que você espera detectar. Peça a estimativa ao seu analista ou à ferramenta de estudos da plataforma.
Quanto tempo um teste de lift deve durar?
O suficiente para cobrir o seu ciclo de compra habitual e qualquer período de aprendizado. Poucos dias raramente bastam para compras ponderadas. Defina a duração antes de começar.
Posso medir o impacto da IA sem um holdout?
Você pode estimá-lo com comparações de antes e depois ou entre mercados equivalentes, mas elas são mais fracas. Identifique-as como estimativas e confirme as decisões importantes com um controle adequado sempre que possível.
Preciso testar todo recurso de IA?
Não. Teste primeiro as mudanças que envolvem orçamento ou risco reais. Ajustes pequenos e reversíveis podem ser monitorados com métricas de proteção.
Fontes
- Google Ads Help, About Conversion Lift.
- Posts da SOMIN: Preveja o desempenho dos anúncios antes de investir e Por que mais conteúdo de IA não está melhorando as campanhas.
