Vous savez que l'IA améliore vos campagnes quand une comparaison contrôlée le dit. Mettez de côté un groupe tiré au hasard qui ne reçoit pas le changement piloté par l'IA, faites tourner les deux en parallèle et comparez le résultat business, pas seulement le rapport de la plateforme. Si le groupe exposé ne dépasse pas le groupe témoin de plus que le bruit normal, l'amélioration n'est pas prouvée.
Points clés
- Les tableaux de bord des plateformes rapportent des résultats qui ont eu lieu, pas des résultats que les publicités ont causés.
- Un groupe témoin, où une tranche aléatoire ne voit jamais le changement, est le test honnête le plus simple.
- Testez le changement lié à l'IA lui-même (création, enchères ou ciblage), un à la fois.
- Définissez des métriques de garde-fou pour qu'un gain sur un chiffre ne masque pas une perte sur un autre.
- Fixez la mesure du succès, le budget et la règle d'arrêt avant le début du test.
Pourquoi ne pas se fier au tableau de bord ?
Parce que le tableau de bord compte des conversions qui auraient souvent eu lieu de toute façon. Les enchères automatisées excellent à trouver des gens déjà susceptibles d'acheter, ce qui fait paraître les résultats solides sans ajouter de ventes.
Trois choses gonflent les comparaisons avant/après. La saisonnalité déplace la demande d'elle-même. Les budgets et les offres changent en même temps que la fonctionnalité d'IA. Et un algorithme qui cible les acheteurs probables se voit attribuer des ventes qu'il n'a pas créées. Une comparaison qui ne neutralise pas ces effets dit ce qui s'est passé, pas pourquoi.
Qu'est-ce qu'un groupe témoin (holdout) ?
Un groupe témoin est un groupe de personnes, ou de zones, tiré au hasard, qui ne reçoit pas les publicités ni le changement testé. Ses résultats montrent ce qui se serait passé sans cela.
Google décrit son outil Conversion Lift en ces termes : il répartit une audience en un groupe de traitement qui voit les publicités et un groupe de contrôle qui ne les voit pas, et la différence de conversions entre les deux est l'incrément. Les études peuvent être réparties par utilisateurs ou par zone géographique, et Google précise que l'outil n'est pas disponible pour tous les comptes. Meta propose des études d'incrémentalité fondées sur la même idée ; vérifiez sa documentation actuelle et l'accès de votre compte.
Si vous ne pouvez pas lancer d'étude plateforme, une version manuelle convient à de nombreux comptes : mettez l'activité en pause dans quelques régions comparables, gardez-la active dans d'autres, et comparez.
Qu'est-ce que l'incrémentalité ?
L'incrémentalité est le résultat supplémentaire causé par le marketing, au-delà de ce qui se serait produit de toute façon. C'est le chiffre qu'estime un test avec groupe témoin.
Un exemple hypothétique : un détaillant réalise 1,000 ventes par mois dans une région où les publicités tournent et 800 dans une région comparable où elles sont en pause. L'effet incrémental est d'environ 200 ventes, pas 1,000. Divisez les dépenses par 200 pour obtenir le vrai coût par vente supplémentaire. Ce coût est généralement plus élevé que celui du tableau de bord.
Comment tester le changement lié à l'IA lui-même ?
Changez une seule chose à la fois et donnez à chaque test une comparaison claire. Trois tests couvrent la plupart des usages de l'IA dans les campagnes.
| Changement lié à l'IA | Conception du test | Mesure principale |
|---|---|---|
| Création rédigée ou générée par l'IA | Test A/B contre votre meilleure publicité actuelle, même audience, même budget, même période | Coût par résultat, ou taux de conversion |
| Outils d'enchères ou de budget automatisés | Répartition par région ou par audience, ou fonction d'expérimentation de la plateforme | Conversions incrémentales par unité de dépense |
| Nouveau ciblage d'audience | Groupe témoin de l'audience élargie | Ventes incrémentales, part de nouveaux clients |
Avant de dépenser, vous pouvez écarter les créations faibles par un pré-scoring, comme dans notre guide sur la prédiction de la performance publicitaire. Cela réduit le champ. C'est le test en conditions réelles qui tranche.
Que sont les métriques de garde-fou ?
Les métriques de garde-fou sont des chiffres qui ne doivent pas se dégrader pendant que vous poursuivez l'objectif principal. Elles évitent une « victoire » qui abîme discrètement autre chose.
- Coût et marge : coût par acquisition, retour sur dépenses après remises.
- Qualité des clients : retours, remboursements, réachat et taux de conversion lead-vente.
- Brand safety et ton : plaintes, masquages, commentaires négatifs, productions hors marque.
- Variété créative : si l'IA converge vers un seul look, la fatigue arrive plus tôt.
Comment mener correctement le test ?
- Écrivez la question. « La version IA bat-elle notre approche actuelle sur le coût par lead qualifié ? »
- Fixez la mesure, le budget et la durée avant le lancement, et ne les changez pas en cours de test.
- Randomisez. Constituez les groupes par tirage au sort, pas par jugement.
- Menez le test assez longtemps pour couvrir votre cycle d'achat normal et sortir de la phase d'apprentissage de la plateforme.
- Vérifiez la taille. De très petits groupes donnent des réponses bruitées ; si les résultats varient fortement d'un jour à l'autre, considérez le résultat comme non prouvé.
- Consignez le résultat, y compris les tests où l'IA n'a rien changé. Un résultat sans différence fait quand même économiser de l'argent.
Et si le test ne montre aucune amélioration ?
Voyez-y une réponse utile. L'IA a peut-être fait gagner du temps sans changer les résultats, ce qui peut rester intéressant, à condition de le dire. Notre article sur pourquoi plus de contenu IA n'améliore pas les campagnes explique une raison fréquente : produire plus n'est pas produire mieux.
FAQ
Quelle différence entre un test A/B et un test d'incrémentalité ?
Un test A/B compare deux versions d'un même élément, comme deux publicités, toutes deux montrées à des gens. Un test d'incrémentalité compare le fait de montrer au fait de ne pas montrer. Utilisez les tests A/B pour choisir une meilleure création, et les groupes témoins pour savoir si la dépense ajoute des ventes.
Quelle taille doit avoir un groupe témoin ?
Aussi petite que possible tout en donnant une réponse lisible, car chaque personne mise de côté est une vente manquée. La bonne taille dépend de votre volume et de l'effet que vous comptez détecter. Demandez à votre analyste ou à l'outil d'étude de la plateforme de l'estimer.
Combien de temps doit durer un test d'incrémentalité ?
Assez longtemps pour couvrir votre cycle d'achat habituel et toute période d'apprentissage. Quelques jours suffisent rarement pour des achats réfléchis. Fixez la durée avant de commencer.
Puis-je mesurer l'impact de l'IA sans groupe témoin ?
Vous pouvez l'estimer par des comparaisons avant/après ou par marchés appariés, mais elles sont plus faibles. Présentez-les comme des estimations et confirmez les décisions importantes avec un vrai groupe de contrôle quand c'est possible.
Dois-je tester chaque fonctionnalité d'IA ?
Non. Testez d'abord les changements qui engagent un vrai budget ou un vrai risque. Les petits ajustements réversibles peuvent être surveillés avec des métriques de garde-fou.
Sources
- Google Ads Help, About Conversion Lift.
- Articles SOMIN : Prédire la performance publicitaire avant de dépenser et Pourquoi plus de contenu IA n'améliore pas les campagnes.
