Anda tahu AI meningkatkan kampanye ketika perbandingan terkontrol mengatakannya. Tahan grup yang dipilih secara acak yang tidak mendapat perubahan berbasis AI, jalankan keduanya berdampingan, dan bandingkan hasil bisnisnya, bukan hanya laporan platform sendiri. Jika grup yang terpapar tidak mengungguli holdout lebih dari noise normal, peningkatannya belum terbukti.
Poin penting
- Dasbor platform melaporkan hasil yang terjadi, bukan hasil yang disebabkan iklan.
- Grup holdout, tempat sebagian acak tidak pernah melihat perubahan, adalah uji paling sederhana dan jujur.
- Uji perubahan AI itu sendiri — kreatif, bidding, atau penargetan — satu per satu.
- Tetapkan metrik pengaman agar kenaikan satu angka tidak menyembunyikan penurunan di angka lain.
- Tentukan ukuran keberhasilan, anggaran, dan aturan penghentian sebelum uji dimulai.
Mengapa dasbor tidak bisa dipercaya begitu saja?
Karena dasbor menghitung konversi yang sering kali tetap terjadi tanpa iklan. Bidding otomatis pandai menemukan orang yang sudah berpotensi membeli, dan itu membuat hasil tampak kuat tanpa menambah penjualan.
Tiga hal menggelembungkan perbandingan sebelum-dan-sesudah. Musiman menggeser permintaan dengan sendirinya. Anggaran dan penawaran berubah bersamaan dengan fitur AI. Dan algoritma yang menargetkan calon pembeli dikreditkan dengan penjualan yang tidak diciptakannya. Perbandingan yang tidak mengendalikan hal-hal ini hanya memberi tahu apa yang terjadi, bukan mengapa.
Apa itu grup holdout?
Holdout adalah kelompok orang, atau tempat, yang dipilih secara acak dan tidak menerima iklan atau perubahan yang Anda uji. Hasilnya menunjukkan apa yang akan terjadi tanpa perubahan itu.
Google menggambarkan alat Conversion Lift miliknya dengan istilah ini: alat itu membagi audiens menjadi grup perlakuan yang melihat iklan dan grup kontrol yang tidak, dan selisih konversi di antara keduanya adalah lift. Studi dapat dibagi menurut pengguna atau geografi, dan Google mencatat alat ini tidak tersedia untuk semua akun. Meta menawarkan studi lift yang dibangun di atas gagasan yang sama; periksa dokumentasi terbarunya dan akses akun Anda.
Jika Anda tidak bisa menjalankan studi platform, versi manual berfungsi untuk banyak akun: jeda aktivitas di beberapa wilayah yang sepadan, biarkan tetap aktif di wilayah lain, dan bandingkan.
Apa itu inkrementalitas?
Inkrementalitas adalah hasil tambahan yang disebabkan pemasaran, di luar apa yang akan terjadi juga tanpanya. Itulah angka yang diperkirakan oleh uji holdout.
Contoh hipotetis: sebuah pengecer melihat 1,000 penjualan sebulan di wilayah tempat iklan berjalan dan 800 di wilayah sepadan tempat iklan dijeda. Efek inkrementalnya sekitar 200 penjualan, bukan 1,000. Bagi belanja dengan 200 untuk mendapatkan biaya sebenarnya per penjualan tambahan. Biaya itu biasanya lebih tinggi daripada yang ditampilkan dasbor.
Bagaimana menguji perubahan AI itu sendiri?
Ubah satu hal pada satu waktu dan beri setiap uji perbandingan yang jelas. Tiga uji mencakup sebagian besar penggunaan AI dalam kampanye.
| Perubahan AI | Desain uji | Ukuran utama |
|---|---|---|
| Materi kreatif yang ditulis atau dihasilkan AI | Uji A/B melawan iklan terbaik Anda saat ini, audiens sama, anggaran sama, periode sama | Biaya per hasil, atau tingkat konversi |
| Alat bidding atau anggaran otomatis | Bagi menurut wilayah atau audiens, atau gunakan fitur eksperimen platform | Konversi inkremental per satuan belanja |
| Penargetan audiens baru | Holdout dari audiens yang diperluas | Penjualan inkremental, porsi pelanggan baru |
Sebelum membelanjakan, Anda bisa menyingkirkan materi kreatif yang lemah dengan pra-penilaian, seperti dalam panduan kami tentang memprediksi kinerja iklan. Itu mempersempit pilihan. Uji langsung yang tetap menentukan.
Apa itu metrik pengaman?
Metrik pengaman adalah angka yang tidak boleh memburuk saat Anda mengejar tujuan utama. Metrik ini mencegah "kemenangan" yang diam-diam merusak hal lain.
- Biaya dan margin: biaya per akuisisi, return on spend setelah diskon.
- Kualitas pelanggan: retur, pengembalian dana, pembelian ulang, dan tingkat prospek-ke-penjualan.
- Brand safety dan nada: keluhan, sembunyikan, komentar negatif, keluaran yang tidak sesuai merek.
- Variasi kreatif: jika AI menyatu pada satu tampilan, kejenuhan datang lebih cepat.
Bagaimana menjalankan uji dengan benar?
- Tulis pertanyaannya. "Apakah versi AI mengalahkan pendekatan kami saat ini pada biaya per prospek berkualitas?"
- Tetapkan ukuran, anggaran, dan durasi sebelum peluncuran, dan jangan ubah di tengah uji.
- Acak. Tentukan grup dengan peluang, bukan penilaian.
- Jalankan cukup lama untuk mencakup siklus pembelian normal Anda dan keluar dari fase belajar platform.
- Periksa ukuran. Grup yang sangat kecil memberi jawaban yang berisik; jika hasil berayun liar dari hari ke hari, anggap hasilnya belum terbukti.
- Catat hasilnya, termasuk uji yang AI-nya tidak membuat perbedaan. Hasil tanpa perbedaan tetap menghemat uang.
Bagaimana jika uji tidak menunjukkan peningkatan?
Anggap itu jawaban yang berguna. AI mungkin menghemat waktu tanpa mengubah hasil, yang tetap bisa layak, asalkan Anda menyatakannya. Tulisan kami tentang mengapa lebih banyak konten AI tidak membuat kampanye lebih baik menjelaskan satu alasan umum: lebih banyak keluaran tidak sama dengan keluaran yang lebih baik.
FAQ
Apa perbedaan uji A/B dan uji inkrementalitas?
Uji A/B membandingkan dua versi sesuatu, seperti dua iklan, yang keduanya ditampilkan kepada orang. Uji inkrementalitas membandingkan menampilkan dengan tidak menampilkan. Gunakan uji A/B untuk memilih kreatif yang lebih baik, dan holdout untuk mengetahui apakah belanja itu menambah penjualan sama sekali.
Seberapa besar holdout?
Sekecil mungkin yang memberi jawaban terbaca, karena setiap orang yang ditahan adalah penjualan yang terlewat. Ukuran yang tepat bergantung pada volume Anda dan efek yang ingin dideteksi. Minta analis Anda atau alat studi platform untuk memperkirakannya.
Berapa lama uji lift harus berjalan?
Cukup lama untuk mencakup siklus pembelian biasa dan periode belajar apa pun. Beberapa hari jarang cukup untuk pembelian yang dipertimbangkan matang. Tetapkan durasi sebelum Anda mulai.
Bisakah saya mengukur dampak AI tanpa holdout?
Anda bisa memperkirakannya dengan perbandingan sebelum-dan-sesudah atau pasar sepadan, tetapi ini lebih lemah. Beri label sebagai perkiraan, dan konfirmasikan keputusan penting dengan kontrol yang layak bila memungkinkan.
Perlukah menguji setiap fitur AI?
Tidak. Uji dulu perubahan yang menyangkut anggaran atau risiko nyata. Penyesuaian kecil yang bisa dibatalkan dapat dipantau dengan metrik pengaman saja.
Sumber
- Google Ads Help, About Conversion Lift.
- Tulisan SOMIN: Prediksi kinerja iklan sebelum Anda membelanjakan dan Mengapa lebih banyak konten AI tidak membuat kampanye lebih baik.
