คุณรู้ว่า AI ช่วยแคมเปญได้จริงเมื่อการเปรียบเทียบแบบควบคุมบอกเช่นนั้น กันกลุ่มที่สุ่มเลือกไว้ไม่ให้ได้รับการเปลี่ยนแปลงที่ขับเคลื่อนด้วย AI รันทั้งสองกลุ่มคู่กัน และเปรียบเทียบผลลัพธ์ทางธุรกิจ ไม่ใช่แค่รายงานของแพลตฟอร์มเอง หากกลุ่มที่ได้รับไม่ชนะกลุ่ม holdout เกินกว่าสัญญาณรบกวนปกติ ก็ยังไม่ถือว่าพิสูจน์การปรับปรุงได้
ประเด็นสำคัญ
- แดชบอร์ดของแพลตฟอร์มรายงานผลที่เกิดขึ้น ไม่ใช่ผลที่โฆษณาเป็นสาเหตุ
- กลุ่ม holdout ที่สุ่มส่วนหนึ่งไม่ให้เห็นการเปลี่ยนแปลงเลย เป็นการทดสอบที่ซื่อตรงที่สุดและง่ายที่สุด
- ทดสอบการเปลี่ยนแปลงของ AI เอง ไม่ว่าจะเป็นครีเอทีฟ การประมูล หรือการกำหนดเป้าหมาย ทีละอย่าง
- ตั้งเมตริก guardrail เพื่อไม่ให้ตัวเลขหนึ่งที่ดีขึ้นซ่อนตัวเลขอื่นที่แย่ลง
- กำหนดตัวชี้วัดความสำเร็จ งบประมาณ และกฎการหยุดก่อนเริ่มการทดสอบ
ทำไมจึงเชื่อแดชบอร์ดไม่ได้
เพราะแดชบอร์ดนับคอนเวอร์ชันที่มักจะเกิดขึ้นอยู่แล้ว การประมูลอัตโนมัติเก่งในการหาคนที่มีแนวโน้มซื้ออยู่แล้ว ทำให้ผลดูดีโดยไม่ได้เพิ่มยอดขาย
มีสามสิ่งที่ทำให้การเปรียบเทียบก่อน-หลังพองเกินจริง ฤดูกาลทำให้ความต้องการเปลี่ยนไปเอง งบประมาณและข้อเสนอเปลี่ยนพร้อมกับฟีเจอร์ AI และอัลกอริทึมที่กำหนดเป้าหมายผู้ที่มีแนวโน้มซื้อได้รับเครดิตจากยอดขายที่มันไม่ได้สร้างขึ้น การเปรียบเทียบที่ไม่ควบคุมปัจจัยเหล่านี้บอกคุณได้ว่าอะไรเกิดขึ้น แต่ไม่ได้บอกว่าทำไม
กลุ่ม holdout คืออะไร
holdout คือกลุ่มคนหรือสถานที่ที่สุ่มเลือกมาซึ่งไม่ได้รับโฆษณาหรือการเปลี่ยนแปลงที่คุณกำลังทดสอบ ผลของกลุ่มนี้แสดงสิ่งที่จะเกิดขึ้นหากไม่มีมัน
Google อธิบายเครื่องมือ Conversion Lift ในแนวทางนี้ คือแบ่งกลุ่มเป้าหมายเป็นกลุ่มทดลองที่เห็นโฆษณาและกลุ่มควบคุมที่ไม่เห็น ส่วนต่างของคอนเวอร์ชันระหว่างสองกลุ่มคือ lift การศึกษาแบ่งตามผู้ใช้หรือภูมิศาสตร์ได้ และ Google ระบุว่าเครื่องมือนี้ไม่มีให้ทุกบัญชี Meta มีการศึกษา lift ที่สร้างบนแนวคิดเดียวกัน ตรวจเอกสารล่าสุดและสิทธิ์เข้าถึงของบัญชีคุณ
หากรันการศึกษาของแพลตฟอร์มไม่ได้ วิธีแมนนวลใช้ได้กับหลายบัญชี คือหยุดกิจกรรมในบางภูมิภาคที่จับคู่กัน คงไว้ในภูมิภาคอื่น แล้วเปรียบเทียบ
incrementality คืออะไร
incrementality คือผลลัพธ์ส่วนเพิ่มที่การตลาดเป็นสาเหตุ เหนือกว่าสิ่งที่จะเกิดขึ้นอยู่แล้ว เป็นตัวเลขที่การทดสอบ holdout ประมาณการ
ตัวอย่างสมมุติ ผู้ค้าปลีกเห็นยอดขาย 1,000 ต่อเดือนในภูมิภาคที่รันโฆษณา และ 800 ในภูมิภาคที่จับคู่กันซึ่งหยุดโฆษณา ผลส่วนเพิ่มจึงประมาณ 200 ยอดขาย ไม่ใช่ 1,000 นำงบที่ใช้หารด้วย 200 เพื่อหาต้นทุนจริงต่อยอดขายส่วนเพิ่ม ต้นทุนนั้นมักสูงกว่าที่แดชบอร์ดแสดง
ทดสอบการเปลี่ยนแปลงของ AI เองอย่างไร
เปลี่ยนทีละอย่างและให้แต่ละการทดสอบมีการเปรียบเทียบที่ชัดเจน การทดสอบสามแบบครอบคลุมการใช้ AI ในแคมเปญส่วนใหญ่
| การเปลี่ยนแปลงของ AI | การออกแบบการทดสอบ | เมตริกหลัก |
|---|---|---|
| ครีเอทีฟที่ AI เขียนหรือสร้าง | ทดสอบ A/B กับโฆษณาที่ดีที่สุดในปัจจุบัน กลุ่มเป้าหมาย งบ และช่วงเวลาเดียวกัน | ต้นทุนต่อผลลัพธ์ หรืออัตราคอนเวอร์ชัน |
| เครื่องมือประมูลหรืองบประมาณอัตโนมัติ | แบ่งตามภูมิภาคหรือกลุ่มเป้าหมาย หรือใช้ฟีเจอร์ทดลองของแพลตฟอร์ม | คอนเวอร์ชันส่วนเพิ่มต่อหน่วยงบประมาณ |
| การกำหนดเป้าหมายกลุ่มเป้าหมายใหม่ | holdout ของกลุ่มเป้าหมายที่ขยาย | ยอดขายส่วนเพิ่ม สัดส่วนลูกค้าใหม่ |
ก่อนใช้จ่าย คุณตัดครีเอทีฟที่อ่อนออกได้ด้วยการให้คะแนนล่วงหน้า ดังในคู่มือการทำนายผลโฆษณาของเรา ซึ่งช่วยลดตัวเลือกลง แต่การทดสอบจริงยังเป็นตัวตัดสิน
เมตริก guardrail คืออะไร
เมตริก guardrail คือตัวเลขที่ต้องไม่แย่ลงในขณะที่คุณไล่ตามเป้าหมายหลัก ช่วยป้องกัน "ชัยชนะ" ที่แอบสร้างความเสียหายให้อย่างอื่น
- ต้นทุนและมาร์จิ้น: ต้นทุนต่อการได้ลูกค้า ผลตอบแทนจากงบหลังหักส่วนลด
- คุณภาพลูกค้า: การคืนสินค้า การคืนเงิน การซื้อซ้ำ และอัตราลีดสู่ยอดขาย
- ความปลอดภัยของแบรนด์และน้ำเสียง: ข้อร้องเรียน การซ่อน ความคิดเห็นเชิงลบ ผลลัพธ์ที่ไม่ตรงแบรนด์
- ความหลากหลายของครีเอทีฟ: หาก AI วนเข้าหาลุคเดียว ความล้าจะมาเร็วขึ้น
รันการทดสอบอย่างถูกต้องอย่างไร
- เขียนคำถาม "เวอร์ชัน AI ชนะแนวทางปัจจุบันของเราในเรื่องต้นทุนต่อลีดที่มีคุณภาพหรือไม่"
- กำหนดเมตริก งบประมาณ และระยะเวลาก่อนเปิดตัว และไม่เปลี่ยนระหว่างการทดสอบ
- สุ่ม กำหนดกลุ่มด้วยโอกาส ไม่ใช่ด้วยดุลยพินิจ
- รันให้นานพอที่จะครอบคลุมรอบการซื้อตามปกติและพ้นช่วงเรียนรู้ของแพลตฟอร์ม
- ตรวจขนาด กลุ่มเล็กเกินไปให้คำตอบที่ไม่นิ่ง หากผลแกว่งมากในแต่ละวัน ให้ถือว่าผลยังพิสูจน์ไม่ได้
- บันทึกผล รวมถึงการทดสอบที่ AI ไม่ทำให้ต่างออกไป ผลที่ไม่มีความแตกต่างก็ยังช่วยประหยัดเงินได้
จะทำอย่างไรหากการทดสอบไม่แสดงการปรับปรุง
ถือเป็นคำตอบที่มีประโยชน์ AI อาจประหยัดเวลาโดยไม่เปลี่ยนผลลัพธ์ ซึ่งก็ยังคุ้มค่าได้ หากคุณบอกตามตรง บทความของเราเรื่องทำไมคอนเทนต์ AI ที่มากขึ้นไม่ได้ทำให้แคมเปญดีขึ้นอธิบายสาเหตุหนึ่งที่พบบ่อย คือผลผลิตที่มากขึ้นไม่เท่ากับผลผลิตที่ดีขึ้น
FAQ
การทดสอบ A/B ต่างจากการทดสอบ incrementality อย่างไร
การทดสอบ A/B เปรียบเทียบสองเวอร์ชันของบางสิ่ง เช่น โฆษณาสองชิ้น ซึ่งแสดงให้ผู้คนดูทั้งคู่ ส่วนการทดสอบ incrementality เปรียบเทียบการแสดงกับการไม่แสดง ใช้การทดสอบ A/B เพื่อเลือกครีเอทีฟที่ดีกว่า และใช้ holdout เพื่อดูว่างบที่ใช้เพิ่มยอดขายได้จริงหรือไม่
holdout ควรใหญ่แค่ไหน
เล็กเท่าที่ยังให้คำตอบที่อ่านได้ เพราะทุกคนที่ถูกกันไว้คือยอดขายที่พลาดไป ขนาดที่เหมาะขึ้นอยู่กับปริมาณของคุณและผลที่คาดว่าจะตรวจพบ ขอให้นักวิเคราะห์หรือเครื่องมือศึกษาของแพลตฟอร์มช่วยประมาณ
lift test ควรรันนานแค่ไหน
นานพอที่จะครอบคลุมรอบการซื้อตามปกติและช่วงเรียนรู้ใดๆ ไม่กี่วันมักไม่พอสำหรับการซื้อที่ต้องพิจารณา กำหนดระยะเวลาก่อนเริ่ม
วัดผลกระทบของ AI โดยไม่มี holdout ได้หรือไม่
ประมาณการได้ด้วยการเปรียบเทียบก่อน-หลังหรือตลาดที่จับคู่กัน แต่อ่อนกว่า ระบุว่าเป็นค่าประมาณ และยืนยันการตัดสินใจสำคัญด้วยกลุ่มควบคุมที่เหมาะสมเมื่อทำได้
ต้องทดสอบทุกฟีเจอร์ AI หรือไม่
ไม่ ทดสอบการเปลี่ยนแปลงที่ใช้งบหรือมีความเสี่ยงจริงก่อน การปรับเล็กน้อยที่ย้อนกลับได้ ติดตามด้วยเมตริก guardrail แทนได้
แหล่งที่มา
- Google Ads Help, About Conversion Lift
- โพสต์ของ SOMIN: ทำนายผลโฆษณาก่อนใช้จ่าย และทำไมคอนเทนต์ AI ที่มากขึ้นไม่ได้ทำให้แคมเปญดีขึ้น
