Bạn biết AI đang cải thiện chiến dịch khi một phép so sánh có đối chứng cho thấy điều đó. Hãy giữ lại một nhóm được chọn ngẫu nhiên không nhận thay đổi do AI điều khiển, chạy song song cả hai và so sánh kết quả kinh doanh, không chỉ báo cáo của chính nền tảng. Nếu nhóm tiếp xúc không vượt nhóm holdout quá mức nhiễu thông thường, thì sự cải thiện chưa được chứng minh.
Những điểm chính
- Dashboard của nền tảng báo cáo những kết quả đã xảy ra, không phải kết quả do quảng cáo gây ra.
- Nhóm holdout, nơi một phần ngẫu nhiên không bao giờ thấy thay đổi, là phép thử trung thực đơn giản nhất.
- Hãy thử nghiệm chính thay đổi do AI — nội dung sáng tạo, đặt giá thầu hoặc nhắm mục tiêu — từng thứ một.
- Đặt chỉ số guardrail để mức tăng ở một con số không che giấu mức giảm ở con số khác.
- Quyết định thước đo thành công, ngân sách và quy tắc dừng trước khi thử nghiệm bắt đầu.
Vì sao bạn không thể tin dashboard?
Vì dashboard đếm cả những chuyển đổi vốn thường vẫn xảy ra. Đặt giá thầu tự động rất giỏi tìm những người vốn đã có khả năng mua cao, và điều đó khiến kết quả trông mạnh mà không tạo thêm doanh số.
Ba yếu tố làm phồng so sánh trước và sau. Tính mùa vụ tự nó làm thay đổi nhu cầu. Ngân sách và ưu đãi thay đổi cùng lúc với tính năng AI. Và thuật toán nhắm đến người có khả năng mua được ghi công cho những đơn hàng nó không tạo ra. Một phép so sánh không kiểm soát các yếu tố này chỉ cho bạn biết điều gì đã xảy ra, không phải vì sao.
Nhóm holdout là gì?
Holdout là một nhóm người, hoặc địa điểm, được chọn ngẫu nhiên không nhận quảng cáo hoặc thay đổi bạn đang thử nghiệm. Kết quả của nhóm này cho thấy điều sẽ xảy ra nếu không có quảng cáo.
Google mô tả công cụ Conversion Lift của mình theo cách này: chia đối tượng thành nhóm thử nghiệm thấy quảng cáo và nhóm đối chứng không thấy, và chênh lệch chuyển đổi giữa hai nhóm là mức tăng. Nghiên cứu có thể chia theo người dùng hoặc theo địa lý, và Google lưu ý công cụ không có sẵn cho mọi tài khoản. Meta cung cấp các nghiên cứu lift dựa trên cùng ý tưởng; hãy kiểm tra tài liệu hiện hành và quyền truy cập của tài khoản bạn.
Nếu không chạy được nghiên cứu của nền tảng, một phiên bản thủ công vẫn dùng được với nhiều tài khoản: tạm dừng hoạt động ở vài khu vực tương đồng, giữ chạy ở các khu vực khác và so sánh.
Incrementality là gì?
Incrementality là kết quả tăng thêm do marketing tạo ra, vượt trên những gì vẫn xảy ra nếu không có marketing. Đây là con số mà một thử nghiệm holdout ước tính.
Một ví dụ giả định: một nhà bán lẻ thấy 1,000 đơn hàng mỗi tháng ở khu vực có chạy quảng cáo và 800 ở khu vực tương đồng đã tạm dừng. Tác động tăng thêm là khoảng 200 đơn hàng, không phải 1,000. Chia chi tiêu cho 200 để có chi phí thực cho mỗi đơn hàng tăng thêm. Chi phí đó thường cao hơn con số trên dashboard.
Bạn thử nghiệm chính thay đổi do AI như thế nào?
Mỗi lần chỉ thay đổi một thứ và cho mỗi thử nghiệm một phép so sánh rõ ràng. Ba thử nghiệm bao quát hầu hết cách dùng AI trong chiến dịch.
| Thay đổi do AI | Thiết kế thử nghiệm | Thước đo chính |
|---|---|---|
| Nội dung sáng tạo do AI viết hoặc AI tạo | A/B test với quảng cáo tốt nhất hiện tại, cùng đối tượng, cùng ngân sách, cùng thời gian | Chi phí cho mỗi kết quả, hoặc tỷ lệ chuyển đổi |
| Công cụ đặt giá thầu hoặc ngân sách tự động | Chia theo khu vực hoặc đối tượng, hoặc dùng tính năng thử nghiệm của nền tảng | Chuyển đổi tăng thêm trên mỗi đơn vị chi tiêu |
| Nhắm mục tiêu đối tượng mới | Holdout của nhóm đối tượng được mở rộng | Doanh số tăng thêm, tỷ trọng khách hàng mới |
Trước khi chi tiền, bạn có thể loại các nội dung sáng tạo yếu bằng chấm điểm trước, như trong hướng dẫn dự đoán hiệu suất quảng cáo của chúng tôi. Cách đó thu hẹp lựa chọn. Thử nghiệm thực tế vẫn là bước quyết định.
Chỉ số guardrail là gì?
Chỉ số guardrail là những con số không được xấu đi trong khi bạn theo đuổi mục tiêu chính. Chúng ngăn một "chiến thắng" âm thầm gây hại cho thứ khác.
- Chi phí và biên lợi nhuận: chi phí cho mỗi lượt chuyển đổi, lợi tức chi tiêu sau chiết khấu.
- Chất lượng khách hàng: trả hàng, hoàn tiền, mua lặp lại và tỷ lệ từ khách hàng tiềm năng sang bán hàng.
- An toàn thương hiệu và giọng điệu: khiếu nại, lượt ẩn, bình luận tiêu cực, đầu ra lệch thương hiệu.
- Sự đa dạng của nội dung sáng tạo: nếu AI hội tụ về một kiểu hình thức, hiện tượng nhàm chán sẽ đến sớm hơn.
Bạn chạy thử nghiệm đúng cách như thế nào?
- Viết ra câu hỏi. "Phiên bản AI có vượt cách làm hiện tại về chi phí cho mỗi khách hàng tiềm năng đủ điều kiện không?"
- Cố định thước đo, ngân sách và thời lượng trước khi khởi chạy, và không thay đổi giữa chừng.
- Ngẫu nhiên hóa. Phân nhóm bằng ngẫu nhiên, không bằng phán đoán.
- Chạy đủ lâu để bao quát chu kỳ mua thông thường và thoát khỏi giai đoạn học của nền tảng.
- Kiểm tra quy mô. Nhóm quá nhỏ cho câu trả lời nhiễu; nếu kết quả dao động mạnh từng ngày, hãy coi kết quả là chưa được chứng minh.
- Ghi lại kết quả, kể cả những thử nghiệm mà AI không tạo khác biệt. Một kết quả không có khác biệt vẫn giúp tiết kiệm tiền.
Nếu thử nghiệm không cho thấy cải thiện thì sao?
Hãy coi đó là một câu trả lời hữu ích. AI có thể đã tiết kiệm thời gian mà không đổi kết quả, vẫn có thể đáng giá, miễn là bạn nói rõ như vậy. Bài viết của chúng tôi về vì sao nhiều nội dung AI hơn không làm chiến dịch tốt hơn giải thích một lý do phổ biến: đầu ra nhiều hơn không có nghĩa là đầu ra tốt hơn.
FAQ
A/B test và thử nghiệm incrementality khác nhau thế nào?
A/B test so sánh hai phiên bản của một thứ, như hai quảng cáo, cả hai đều được hiển thị cho mọi người. Thử nghiệm incrementality so sánh việc hiển thị với không hiển thị. Dùng A/B test để chọn nội dung sáng tạo tốt hơn, và dùng holdout để biết chi tiêu có thực sự tạo thêm doanh số hay không.
Nhóm holdout nên lớn cỡ nào?
Nhỏ đến mức vẫn cho câu trả lời đọc được, vì mỗi người bị giữ lại là một đơn hàng bỏ lỡ. Quy mô phù hợp phụ thuộc vào khối lượng và hiệu ứng bạn kỳ vọng phát hiện. Hãy nhờ nhà phân tích hoặc công cụ nghiên cứu của nền tảng ước tính.
Một lift test nên chạy bao lâu?
Đủ lâu để bao quát chu kỳ mua thông thường và mọi giai đoạn học. Vài ngày hiếm khi đủ với các quyết định mua cần cân nhắc. Hãy ấn định thời lượng trước khi bắt đầu.
Tôi có thể đo tác động của AI mà không cần holdout không?
Bạn có thể ước tính bằng so sánh trước và sau hoặc theo thị trường tương đồng, nhưng các cách này yếu hơn. Hãy ghi nhãn chúng là ước tính, và xác nhận các quyết định quan trọng bằng đối chứng đúng nghĩa khi có thể.
Tôi có cần thử nghiệm mọi tính năng AI không?
Không. Hãy thử nghiệm trước những thay đổi gắn với ngân sách hoặc rủi ro thực sự. Các điều chỉnh nhỏ, có thể hoàn tác thì theo dõi bằng chỉ số guardrail là đủ.
Nguồn
- Google Ads Help, About Conversion Lift.
- Bài viết của SOMIN: Dự đoán hiệu suất quảng cáo trước khi chi tiền và Vì sao nhiều nội dung AI hơn không làm chiến dịch tốt hơn.
