आप तब जानते हैं कि AI आपके अभियान बेहतर कर रहा है जब नियंत्रित तुलना ऐसा कहे। बेतरतीब चुने गए एक समूह को रोककर रखें जिसे AI-आधारित बदलाव नहीं मिलता, दोनों को साथ-साथ चलाएँ, और केवल प्लेटफ़ॉर्म की रिपोर्ट नहीं, कारोबारी नतीजे की तुलना करें। अगर बदलाव पाने वाला समूह सामान्य शोर से ज़्यादा अंतर से होल्डआउट को नहीं हराता, तो सुधार साबित नहीं है।
मुख्य बातें
- प्लेटफ़ॉर्म डैशबोर्ड वे नतीजे बताते हैं जो हुए, वे नहीं जो विज्ञापनों ने कराए।
- होल्डआउट ग्रुप, जिसमें एक बेतरतीब हिस्सा बदलाव कभी नहीं देखता, सबसे सरल ईमानदार टेस्ट है।
- AI बदलाव को खुद टेस्ट करें, यानी क्रिएटिव, बिडिंग या टार्गेटिंग, एक बार में एक।
- गार्डरेल मेट्रिक तय करें ताकि एक संख्या में फ़ायदा दूसरी में नुकसान को न छिपाए।
- टेस्ट शुरू होने से पहले सफलता का पैमाना, बजट और रुकने का नियम तय करें।
आप डैशबोर्ड पर भरोसा क्यों नहीं कर सकते?
क्योंकि डैशबोर्ड ऐसे कन्वर्ज़न गिनता है जो अक्सर वैसे भी हो जाते। ऑटोमेटेड बिडिंग उन लोगों को खोजने में माहिर है जो पहले से खरीदने की संभावना रखते थे, और इससे बिक्री बढ़ाए बिना नतीजे मज़बूत दिखते हैं।
तीन चीज़ें पहले-बाद की तुलना को फुला देती हैं। मौसमी बदलाव अपने आप माँग को हिलाता है। बजट और ऑफ़र AI फ़ीचर के साथ ही बदल जाते हैं। और संभावित खरीदारों को टार्गेट करने वाले एल्गोरिदम को उस बिक्री का श्रेय मिलता है जो उसने पैदा नहीं की। जो तुलना इन्हें नियंत्रित नहीं करती, वह बताती है कि क्या हुआ, क्यों हुआ यह नहीं।
होल्डआउट ग्रुप क्या है?
होल्डआउट लोगों या जगहों का बेतरतीब चुना हुआ समूह है जिसे वे विज्ञापन या बदलाव नहीं मिलते जिन्हें आप टेस्ट कर रहे हैं। उसके नतीजे दिखाते हैं कि इसके बिना क्या होता।
Google अपने Conversion Lift टूल को इन शब्दों में बताता है: यह ऑडियंस को एक ट्रीटमेंट ग्रुप में बाँटता है जो विज्ञापन देखता है और एक कंट्रोल ग्रुप में जो नहीं देखता, और दोनों के बीच कन्वर्ज़न का अंतर ही लिफ़्ट है। स्टडी यूज़र या भूगोल के आधार पर बाँटी जा सकती हैं, और Google बताता है कि टूल सभी खातों के लिए उपलब्ध नहीं है। Meta भी इसी विचार पर बने लिफ़्ट स्टडी देता है; उसके मौजूदा दस्तावेज़ और अपने खाते की पहुँच देखें।
अगर आप प्लेटफ़ॉर्म स्टडी नहीं चला सकते, तो कई खातों के लिए मैनुअल तरीका काम करता है: कुछ मेल खाते क्षेत्रों में गतिविधि रोकें, दूसरों में चालू रखें, और तुलना करें।
इन्क्रीमेंटैलिटी क्या है?
इन्क्रीमेंटैलिटी वह अतिरिक्त नतीजा है जो मार्केटिंग ने पैदा किया, उसके ऊपर जो वैसे भी होता। होल्डआउट टेस्ट इसी संख्या का अनुमान लगाता है।
एक काल्पनिक उदाहरण: एक रिटेलर को उस क्षेत्र में महीने में 1,000 बिक्री दिखती है जहाँ विज्ञापन चलते हैं और मेल खाते उस क्षेत्र में 800 जहाँ वे रुके हैं। इन्क्रीमेंटल असर लगभग 200 बिक्री है, 1,000 नहीं। असली प्रति अतिरिक्त बिक्री लागत पाने के लिए खर्च को 200 से भाग दें। यह लागत आमतौर पर डैशबोर्ड की लागत से ज़्यादा होती है।
AI बदलाव को खुद कैसे टेस्ट करें?
एक बार में एक चीज़ बदलें और हर टेस्ट को स्पष्ट तुलना दें। तीन टेस्ट अभियानों में AI के ज़्यादातर उपयोग को कवर करते हैं।
| AI बदलाव | टेस्ट का डिज़ाइन | प्राथमिक पैमाना |
|---|---|---|
| AI से लिखा या बनाया गया क्रिएटिव | आपके मौजूदा सर्वश्रेष्ठ विज्ञापन के मुकाबले A/B टेस्ट, वही ऑडियंस, वही बजट, वही अवधि | प्रति परिणाम लागत, या कन्वर्ज़न दर |
| ऑटोमेटेड बिडिंग या बजट टूल | क्षेत्र या ऑडियंस के आधार पर बाँटें, या प्लेटफ़ॉर्म के एक्सपेरिमेंट फ़ीचर का उपयोग करें | प्रति इकाई खर्च पर इन्क्रीमेंटल कन्वर्ज़न |
| नई ऑडियंस टार्गेटिंग | विस्तारित ऑडियंस का होल्डआउट | इन्क्रीमेंटल बिक्री, नए ग्राहकों की हिस्सेदारी |
खर्च करने से पहले आप प्री-स्कोरिंग से कमज़ोर क्रिएटिव छाँट सकते हैं, जैसा हमारी विज्ञापन प्रदर्शन का पूर्वानुमान गाइड में है। इससे विकल्प घटते हैं। फ़ैसला फिर भी लाइव टेस्ट करता है।
गार्डरेल मेट्रिक क्या हैं?
गार्डरेल मेट्रिक वे संख्याएँ हैं जो मुख्य लक्ष्य का पीछा करते समय खराब नहीं होनी चाहिए। वे ऐसी "जीत" को रोकते हैं जो चुपचाप किसी और चीज़ को नुकसान पहुँचाती है।
- लागत और मार्जिन: प्रति अधिग्रहण लागत, छूट के बाद खर्च पर रिटर्न।
- ग्राहक की गुणवत्ता: रिटर्न, रिफ़ंड, दोबारा खरीद और लीड-से-बिक्री दर।
- ब्रांड सेफ़्टी और टोन: शिकायतें, हाइड, नकारात्मक टिप्पणियाँ, ब्रांड से मेल न खाने वाले आउटपुट।
- क्रिएटिव विविधता: अगर AI एक ही लुक पर सिमट जाए, तो थकान जल्दी आती है।
टेस्ट को सही ढंग से कैसे चलाएँ?
- सवाल लिखें। "क्या AI वाला संस्करण प्रति योग्य लीड लागत पर हमारे मौजूदा तरीके को हराता है?"
- पैमाना, बजट और अवधि तय करें लॉन्च से पहले, और टेस्ट के बीच में उन्हें न बदलें।
- बेतरतीब बँटवारा करें। समूह संयोग से बनाएँ, अपने फ़ैसले से नहीं।
- इतना लंबा चलाएँ कि आपका सामान्य खरीद चक्र पूरा हो और प्लेटफ़ॉर्म का लर्निंग फ़ेज़ निकल जाए।
- आकार जाँचें। बहुत छोटे समूह शोर वाले जवाब देते हैं; अगर नतीजे दिन-दर-दिन बहुत उछलें, तो परिणाम को अप्रमाणित मानें।
- नतीजा दर्ज करें, उन टेस्ट समेत जिनमें AI से कोई फ़र्क नहीं पड़ा। बिना फ़र्क वाला नतीजा भी पैसे बचाता है।
अगर टेस्ट में कोई सुधार न दिखे तो?
इसे उपयोगी जवाब मानें। हो सकता है AI ने नतीजे बदले बिना समय बचाया हो, जो फिर भी सार्थक हो सकता है, बशर्ते आप यह साफ़ कहें। हमारा लेख ज़्यादा AI कंटेंट अभियानों को बेहतर क्यों नहीं बना रहा एक आम कारण समझाता है: ज़्यादा आउटपुट का मतलब बेहतर आउटपुट नहीं है।
FAQ
A/B टेस्ट और इन्क्रीमेंटैलिटी टेस्ट में क्या अंतर है?
A/B टेस्ट किसी चीज़ के दो संस्करणों की तुलना करता है, जैसे दो विज्ञापन, जो दोनों लोगों को दिखाए जाते हैं। इन्क्रीमेंटैलिटी टेस्ट दिखाने की तुलना न दिखाने से करता है। बेहतर क्रिएटिव चुनने के लिए A/B टेस्ट और यह जानने के लिए कि खर्च से बिक्री बढ़ती भी है या नहीं, होल्डआउट इस्तेमाल करें।
होल्डआउट कितना बड़ा होना चाहिए?
उतना छोटा जितने से पढ़ने लायक जवाब मिले, क्योंकि रोके गए हर व्यक्ति का मतलब एक छूटी हुई बिक्री है। सही आकार आपकी मात्रा और जिस असर को आप पकड़ना चाहते हैं उस पर निर्भर करता है। अपने विश्लेषक या प्लेटफ़ॉर्म के स्टडी टूल से इसका अनुमान लगवाएँ।
लिफ़्ट टेस्ट कितने समय तक चलना चाहिए?
इतना कि आपका सामान्य खरीद चक्र और कोई भी लर्निंग अवधि पूरी हो जाए। सोच-समझकर की जाने वाली खरीद के लिए कुछ दिन शायद ही काफ़ी होते हैं। शुरू करने से पहले अवधि तय करें।
क्या मैं होल्डआउट के बिना AI का असर माप सकता हूँ?
आप पहले-बाद या मेल खाते बाज़ारों की तुलना से अनुमान लगा सकते हैं, पर ये कमज़ोर हैं। इन्हें अनुमान के रूप में चिह्नित करें, और महत्वपूर्ण फ़ैसलों की पुष्टि जब हो सके, उचित कंट्रोल से करें।
क्या मुझे हर AI फ़ीचर टेस्ट करना होगा?
नहीं। पहले उन बदलावों को टेस्ट करें जिनमें असली बजट या जोखिम है। छोटे, पलटे जा सकने वाले बदलावों पर इसके बजाय गार्डरेल मेट्रिक से नज़र रखी जा सकती है।
स्रोत
- Google Ads Help, About Conversion Lift।
- SOMIN की पोस्ट: खर्च करने से पहले विज्ञापन प्रदर्शन का पूर्वानुमान लगाएँ और ज़्यादा AI कंटेंट अभियानों को बेहतर क्यों नहीं बना रहा।
