Sie wissen, dass KI Ihre Kampagnen verbessert, wenn ein kontrollierter Vergleich es zeigt. Halten Sie eine zufällig gewählte Gruppe zurück, die die KI-gestützte Änderung nicht erhält, führen Sie beide nebeneinander durch und vergleichen Sie das Geschäftsergebnis, nicht nur den Bericht der Plattform. Wenn die exponierte Gruppe das Holdout nicht um mehr als das übliche Rauschen übertrifft, ist die Verbesserung nicht belegt.
Wichtigste Erkenntnisse
- Plattform-Dashboards berichten Ergebnisse, die eingetreten sind, nicht Ergebnisse, die die Anzeigen verursacht haben.
- Eine Holdout-Gruppe, bei der ein zufälliger Teil die Änderung nie sieht, ist der einfachste ehrliche Test.
- Testen Sie die KI-Änderung selbst – Creative, Gebote oder Targeting – jeweils eine nach der anderen.
- Legen Sie Guardrail-Kennzahlen fest, damit der Gewinn bei einer Zahl nicht den Verlust bei einer anderen verdeckt.
- Legen Sie Erfolgsmaß, Budget und Abbruchregel fest, bevor der Test beginnt.
Warum können Sie dem Dashboard nicht trauen?
Weil das Dashboard Conversions zählt, die oft ohnehin stattgefunden hätten. Automatisierte Gebote sind gut darin, Menschen zu finden, die ohnehin kaufen wollten, und dadurch sehen die Ergebnisse stark aus, ohne dass mehr verkauft wird.
Drei Dinge verzerren Vorher-Nachher-Vergleiche. Saisonalität bewegt die Nachfrage von allein. Budgets und Angebote ändern sich gleichzeitig mit der KI-Funktion. Und ein Algorithmus, der wahrscheinliche Käufer anspricht, bekommt Verkäufe gutgeschrieben, die er nicht erzeugt hat. Ein Vergleich, der das nicht kontrolliert, zeigt, was passiert ist, nicht warum.
Was ist eine Holdout-Gruppe?
Ein Holdout ist eine zufällig ausgewählte Gruppe von Menschen oder Orten, die die Anzeigen oder die getestete Änderung nicht erhält. Ihre Ergebnisse zeigen, was ohne sie geschehen wäre.
Google beschreibt sein Tool Conversion Lift so: Es teilt eine Zielgruppe in eine Testgruppe, die die Anzeigen sieht, und eine Kontrollgruppe, die sie nicht sieht, und der Unterschied bei den Conversions zwischen beiden ist der Lift. Studien können nach Nutzern oder nach Geografie aufgeteilt werden, und Google weist darauf hin, dass das Tool nicht für alle Konten verfügbar ist. Meta bietet Lift-Studien auf Basis derselben Idee an; prüfen Sie die aktuelle Dokumentation und den Zugang Ihres Kontos.
Wenn Sie keine Plattformstudie durchführen können, funktioniert für viele Konten eine manuelle Variante: die Aktivität in einigen vergleichbaren Regionen pausieren, in anderen laufen lassen und vergleichen.
Was ist Inkrementalität?
Inkrementalität ist das zusätzliche Ergebnis, das durch Marketing entsteht, über das hinaus, was ohnehin passiert wäre. Es ist die Zahl, die ein Holdout-Test schätzt.
Ein hypothetisches Beispiel: Ein Händler verzeichnet 1,000 Verkäufe im Monat in einer Region, in der Anzeigen laufen, und 800 in einer vergleichbaren Region, in der sie pausiert sind. Der inkrementelle Effekt beträgt etwa 200 Verkäufe, nicht 1,000. Teilen Sie die Ausgaben durch 200, um die echten Kosten pro zusätzlichem Verkauf zu erhalten. Diese Kosten liegen meist höher als im Dashboard.
Wie testen Sie die KI-Änderung selbst?
Ändern Sie jeweils nur eine Sache und geben Sie jedem Test einen klaren Vergleich. Drei Tests decken die meisten Einsatzfälle von KI in Kampagnen ab.
| KI-Änderung | Testdesign | Primäre Kennzahl |
|---|---|---|
| KI-geschriebenes oder KI-generiertes Creative | A/B-Test gegen Ihre aktuell beste Anzeige, gleiche Zielgruppe, gleiches Budget, gleicher Zeitraum | Kosten pro Ergebnis oder Conversion-Rate |
| Automatisierte Gebote oder Budget-Tools | Aufteilung nach Region oder Zielgruppe oder Nutzung der Experiment-Funktion der Plattform | Inkrementelle Conversions pro Ausgabeneinheit |
| Neues Zielgruppen-Targeting | Holdout der erweiterten Zielgruppe | Inkrementelle Verkäufe, Anteil Neukunden |
Bevor Sie Geld ausgeben, können Sie schwache Creatives durch Vorab-Scoring aussortieren, wie in unserem Leitfaden zur Vorhersage der Anzeigenleistung. Das grenzt das Feld ein. Der Live-Test entscheidet trotzdem.
Was sind Guardrail-Kennzahlen?
Guardrail-Kennzahlen sind Zahlen, die nicht schlechter werden dürfen, während Sie dem Hauptziel nachjagen. Sie verhindern einen „Erfolg“, der stillschweigend etwas anderes beschädigt.
- Kosten und Marge: Kosten pro Akquisition, Return on Spend nach Rabatten.
- Kundenqualität: Retouren, Erstattungen, Wiederkäufe und Lead-zu-Verkauf-Quote.
- Brand Safety und Tonalität: Beschwerden, Ausblendungen, negative Kommentare, markenfremde Ergebnisse.
- Creative-Vielfalt: Wenn die KI auf einen einzigen Look zusteuert, tritt Ermüdung früher ein.
Wie führen Sie den Test richtig durch?
- Formulieren Sie die Frage. „Schlägt die KI-Version unseren aktuellen Ansatz bei den Kosten pro qualifiziertem Lead?“
- Legen Sie Kennzahl, Budget und Dauer vor dem Start fest und ändern Sie sie während des Tests nicht.
- Randomisieren Sie. Weisen Sie Gruppen per Zufall zu, nicht nach Einschätzung.
- Laufen Sie lange genug, um Ihren normalen Kaufzyklus abzudecken und die Lernphase der Plattform zu verlassen.
- Prüfen Sie die Größe. Winzige Gruppen liefern verrauschte Antworten; schwanken die Ergebnisse von Tag zu Tag stark, betrachten Sie das Resultat als nicht belegt.
- Halten Sie das Ergebnis fest, auch bei Tests, in denen die KI keinen Unterschied gemacht hat. Ein Ergebnis ohne Unterschied spart trotzdem Geld.
Was, wenn der Test keine Verbesserung zeigt?
Betrachten Sie das als nützliche Antwort. Die KI hat möglicherweise Zeit gespart, ohne die Ergebnisse zu verändern, was sich trotzdem lohnen kann, solange Sie es offen sagen. Unser Beitrag dazu, warum mehr KI-Content Kampagnen nicht besser macht, erklärt einen häufigen Grund: Mehr Output ist nicht dasselbe wie besserer Output.
FAQ
Was ist der Unterschied zwischen A/B-Tests und Inkrementalitätstests?
Ein A/B-Test vergleicht zwei Versionen von etwas, etwa zwei Anzeigen, die beide Menschen gezeigt werden. Ein Inkrementalitätstest vergleicht Ausspielen mit Nichtausspielen. Nutzen Sie A/B-Tests, um ein besseres Creative zu wählen, und Holdouts, um herauszufinden, ob die Ausgaben überhaupt Verkäufe hinzufügen.
Wie groß sollte ein Holdout sein?
So klein, dass noch eine lesbare Antwort herauskommt, denn jede zurückgehaltene Person ist ein entgangener Verkauf. Die richtige Größe hängt von Ihrem Volumen und dem Effekt ab, den Sie erkennen wollen. Bitten Sie Ihre Analystin oder Ihren Analysten oder das Studien-Tool der Plattform um eine Schätzung.
Wie lange sollte ein Lift-Test laufen?
Lange genug, um Ihren üblichen Kaufzyklus und jede Lernphase abzudecken. Wenige Tage reichen bei überlegten Käufen selten. Legen Sie die Dauer vor dem Start fest.
Kann ich die Wirkung von KI ohne Holdout messen?
Sie können sie mit Vorher-Nachher- oder Matched-Market-Vergleichen schätzen, doch diese sind schwächer. Kennzeichnen Sie sie als Schätzungen und bestätigen Sie wichtige Entscheidungen, wenn möglich, mit einer echten Kontrollgruppe.
Muss ich jede KI-Funktion testen?
Nein. Testen Sie zuerst die Änderungen, die echtes Budget oder Risiko tragen. Kleine, umkehrbare Anpassungen lassen sich stattdessen mit Guardrail-Kennzahlen überwachen.
Quellen
- Google Ads-Hilfe, About Conversion Lift.
- SOMIN-Beiträge: Anzeigenleistung vorhersagen, bevor Sie Geld ausgeben und Warum mehr KI-Content Kampagnen nicht besser macht.
