Anda tahu AI memperbaik kempen anda apabila perbandingan terkawal mengesahkannya. Tahan satu kumpulan yang dipilih secara rawak yang tidak menerima perubahan berasaskan AI, jalankan kedua-duanya serentak, dan bandingkan hasil perniagaan, bukan sekadar laporan platform sendiri. Jika kumpulan yang terdedah tidak mengatasi holdout melebihi gangguan biasa, penambahbaikan itu belum terbukti.
Perkara penting
- Papan pemuka platform melaporkan hasil yang berlaku, bukan hasil yang disebabkan oleh iklan.
- Kumpulan holdout, di mana sebahagian rawak tidak pernah melihat perubahan itu, ialah ujian jujur yang paling mudah.
- Uji perubahan AI itu sendiri — kreatif, pembidaan atau penyasaran — satu demi satu.
- Tetapkan metrik pagar pengadang supaya kenaikan pada satu angka tidak menyembunyikan kerugian pada angka lain.
- Tentukan ukuran kejayaan, bajet dan peraturan penghentian sebelum ujian bermula.
Mengapa anda tidak boleh mempercayai papan pemuka?
Kerana papan pemuka mengira penukaran yang kerap kali akan berlaku juga. Pembidaan automatik pandai mencari orang yang memang cenderung membeli, dan itu menjadikan hasil kelihatan kukuh tanpa menambah jualan.
Tiga perkara menggembungkan perbandingan sebelum dan selepas. Musim menggerakkan permintaan dengan sendirinya. Bajet dan tawaran berubah pada masa yang sama dengan ciri AI. Dan algoritma yang menyasarkan pembeli berkemungkinan diberi kredit untuk jualan yang tidak diciptanya. Perbandingan yang tidak mengawal perkara ini memberitahu anda apa yang berlaku, bukan sebabnya.
Apakah kumpulan holdout?
Holdout ialah kumpulan orang, atau tempat, yang dipilih secara rawak dan tidak menerima iklan atau perubahan yang anda uji. Hasilnya menunjukkan apa yang akan berlaku tanpanya.
Google menerangkan alat Conversion Lift dengan istilah ini: ia membahagikan khalayak kepada kumpulan rawatan yang melihat iklan dan kumpulan kawalan yang tidak, dan perbezaan penukaran antara keduanya ialah lift. Kajian boleh dibahagikan mengikut pengguna atau geografi, dan Google menyatakan alat ini tidak tersedia untuk semua akaun. Meta menawarkan kajian lift yang dibina atas idea yang sama; semak dokumentasi terkini dan akses akaun anda.
Jika anda tidak dapat menjalankan kajian platform, versi manual berfungsi untuk banyak akaun: jeda aktiviti di beberapa wilayah yang sepadan, kekalkan di wilayah lain, dan bandingkan.
Apakah incrementality?
Incrementality ialah hasil tambahan yang disebabkan oleh pemasaran, melebihi apa yang akan berlaku juga. Ia angka yang dianggar oleh ujian holdout.
Contoh hipotesis: peruncit melihat 1,000 jualan sebulan di wilayah yang menyiarkan iklan dan 800 di wilayah sepadan yang dijeda. Kesan tambahannya kira-kira 200 jualan, bukan 1,000. Bahagikan perbelanjaan dengan 200 untuk mendapat kos sebenar bagi setiap jualan tambahan. Kos itu biasanya lebih tinggi daripada yang ditunjukkan papan pemuka.
Bagaimana anda menguji perubahan AI itu sendiri?
Ubah satu perkara pada satu masa dan beri setiap ujian perbandingan yang jelas. Tiga ujian merangkumi kebanyakan penggunaan AI dalam kempen.
| Perubahan AI | Reka bentuk ujian | Ukuran utama |
|---|---|---|
| Kreatif yang ditulis atau dijana AI | Ujian A/B berbanding iklan terbaik semasa anda, khalayak sama, bajet sama, tempoh sama | Kos setiap hasil, atau kadar penukaran |
| Alat pembidaan atau bajet automatik | Bahagikan mengikut wilayah atau khalayak, atau gunakan ciri eksperimen platform | Penukaran tambahan bagi setiap unit perbelanjaan |
| Penyasaran khalayak baharu | Holdout khalayak yang diperluas | Jualan tambahan, bahagian pelanggan baharu |
Sebelum anda berbelanja, anda boleh menyingkirkan kreatif yang lemah dengan pra-pemarkahan, seperti dalam panduan kami tentang meramal prestasi iklan. Itu mengecilkan pilihan. Ujian langsung yang memutuskan.
Apakah metrik pagar pengadang?
Metrik pagar pengadang ialah angka yang tidak boleh menjadi lebih teruk semasa anda mengejar matlamat utama. Ia menghalang "kemenangan" yang diam-diam merosakkan perkara lain.
- Kos dan margin: kos setiap perolehan, pulangan perbelanjaan selepas diskaun.
- Kualiti pelanggan: pulangan, bayaran balik, pembelian berulang dan kadar prospek kepada jualan.
- Keselamatan jenama dan nada: aduan, sembunyi, komen negatif, output tidak sepadan dengan jenama.
- Kepelbagaian kreatif: jika AI menumpu kepada satu rupa, keletihan tiba lebih awal.
Bagaimana anda menjalankan ujian dengan betul?
- Tulis soalan. "Adakah versi AI mengalahkan pendekatan semasa kami pada kos setiap prospek berkelayakan?"
- Tetapkan ukuran, bajet dan tempoh sebelum pelancaran, dan jangan ubahnya pertengahan ujian.
- Rawakkan. Tetapkan kumpulan secara kebetulan, bukan mengikut pertimbangan.
- Jalankan cukup lama untuk merangkumi kitaran pembelian biasa anda dan keluar daripada fasa pembelajaran platform.
- Semak saiz. Kumpulan kecil memberi jawapan yang bergelora; jika hasil berayun liar dari hari ke hari, anggap hasilnya belum terbukti.
- Rekodkan hasil, termasuk ujian di mana AI tidak membuat perbezaan. Hasil tanpa perbezaan masih menjimatkan wang.
Bagaimana jika ujian menunjukkan tiada penambahbaikan?
Anggap itu jawapan yang berguna. AI mungkin menjimatkan masa tanpa mengubah hasil, yang masih berbaloi, selagi anda menyatakannya. Tulisan kami tentang mengapa lebih banyak kandungan AI tidak menjadikan kempen lebih baik menerangkan satu sebab biasa: lebih banyak output tidak sama dengan output yang lebih baik.
FAQ
Apakah perbezaan antara ujian A/B dan ujian incrementality?
Ujian A/B membandingkan dua versi sesuatu, seperti dua iklan, kedua-duanya ditunjukkan kepada orang. Ujian incrementality membandingkan menunjukkan dengan tidak menunjukkan. Gunakan ujian A/B untuk memilih kreatif yang lebih baik, dan holdout untuk mengetahui sama ada perbelanjaan menambah jualan langsung.
Seberapa besar holdout patut dibuat?
Sekecil yang memberi jawapan yang boleh dibaca, kerana setiap orang yang ditahan ialah jualan yang terlepas. Saiz yang betul bergantung pada volum anda dan kesan yang anda jangka untuk dikesan. Minta penganalisis anda atau alat kajian platform menganggarkannya.
Berapa lama ujian lift patut dijalankan?
Cukup lama untuk merangkumi kitaran pembelian biasa anda dan sebarang tempoh pembelajaran. Beberapa hari jarang mencukupi untuk pembelian yang dipertimbangkan. Tetapkan tempoh sebelum anda bermula.
Bolehkah saya mengukur impak AI tanpa holdout?
Anda boleh menganggarkannya dengan perbandingan sebelum dan selepas atau pasaran sepadan, tetapi ini lebih lemah. Labelkannya sebagai anggaran, dan sahkan keputusan penting dengan kawalan yang betul apabila boleh.
Adakah saya perlu menguji setiap ciri AI?
Tidak. Uji perubahan yang membawa bajet atau risiko sebenar dahulu. Pelarasan kecil yang boleh diundur boleh dipantau dengan metrik pagar pengadang.
Sumber
- Google Ads Help, About Conversion Lift.
- Siaran SOMIN: Ramal prestasi iklan sebelum anda berbelanja dan Mengapa lebih banyak kandungan AI tidak menjadikan kempen lebih baik.
