当对照比较显示有改善时，你才能确定 AI 在改善营销活动。随机留出一组不接受 AI 驱动改动的对象，让两组并行运行，比较业务结果，而不只是平台自己的报告。如果接触组的表现没有超出留出组且幅度大于正常波动，就说明改善尚未得到证明。
核心要点
- 平台数据看板报告的是已经发生的结果，而不是广告所导致的结果。
- 留出组，即随机抽取一部分人完全看不到这项改动，是最简单、最诚实的测试。
- 测试 AI 改动本身，包括创意、出价或定向，每次只测一项。
- 设置护栏指标，避免某个数字的提升掩盖了另一个数字的下降。
- 在测试开始前，确定成功衡量标准、预算和终止规则。
为什么不能相信数据看板？
因为数据看板统计的转化，很多本来就会发生。自动出价擅长找到本来就有可能购买的人，这会让结果看起来很好，却没有增加销售。
有三件事会夸大前后对比。季节性本身就会让需求变化。预算和优惠会与 AI 功能同时发生变化。而针对可能买家的算法，会被记上它并未创造的销售。不控制这些因素的比较，只能告诉你发生了什么，而不能告诉你为什么。
什么是留出组？
留出组是随机选出的一组人或地区，他们不会收到广告，也不会受到你所测试的改动的影响。他们的结果显示了没有这项投放时会发生什么。
Google 对其转化提升（Conversion Lift）工具的描述是：它把受众分成看到广告的实验组和看不到广告的对照组，两者之间的转化差异就是提升。研究可以按用户或地理区域划分，Google 还指出该工具并非对所有账户开放。Meta 提供基于同样思路的提升研究；请查看其当前文档以及你的账户权限。
如果无法进行平台研究，对许多账户来说，可以采用手动版本：在几个匹配的地区暂停投放，在其他地区保持开启，然后比较。
什么是增量？
增量是营销在原本就会发生的结果之上额外带来的结果。留出测试估算的就是这个数字。
举一个假设的例子：某零售商在投放广告的地区每月有 1,000 笔销售，在暂停投放的匹配地区有 800 笔。增量效果约为 200 笔销售，而不是 1,000 笔。用花费除以 200，就得到每增加一笔销售的真实成本。这个成本通常高于数据看板上的数字。
如何测试 AI 改动本身？
每次只改一件事，并为每项测试设定清晰的对比。三类测试能涵盖 AI 在营销活动中的大部分用法。
| AI 改动 | 测试设计 | 主要衡量指标 |
|---|---|---|
| AI 撰写或 AI 生成的创意 | 与你当前表现最好的广告做 A/B 测试，相同受众、相同预算、相同时期 | 单次转化成本，或转化率 |
| 自动出价或预算工具 | 按地区或受众划分，或使用平台的实验功能 | 每单位花费带来的增量转化 |
| 新的受众定向 | 对扩展后的受众设置留出组 | 增量销售、新客户占比 |
在花钱之前，你可以通过预评分筛掉较弱的创意，如我们的预测广告表现指南所述。这样可以缩小范围，但最终仍由线上测试来决定。
什么是护栏指标？
护栏指标是在你追求主要目标时不能恶化的数字。它们能防止某个“胜利”悄悄损害其他方面。
- 成本和利润：单次获客成本、扣除折扣后的支出回报。
- 客户质量：退货、退款、复购以及线索到销售的转化率。
- 品牌安全与调性：投诉、隐藏、负面评论、不符合品牌调性的输出。
- 创意多样性：如果 AI 的输出趋于同一种风格，审美疲劳会来得更早。
如何正确开展测试？
- 写下问题。“AI 版本在每条合格线索成本上是否优于我们目前的做法？”
- 上线前确定衡量指标、预算和时长，测试中途不要更改。
- 随机分组。靠随机而不是主观判断来分配分组。
- 运行足够长的时间，覆盖你正常的购买周期，并度过平台的学习期。
- 检查样本量。组太小会得到嘈杂的答案；如果结果逐日大幅波动，就把结论视为未经证明。
- 记录结果，包括 AI 没有带来差异的测试。没有差异的结果同样能帮你省钱。
如果测试显示没有改善怎么办？
把这当作一个有用的答案。AI 可能节省了时间却没有改变结果，只要你如实说明，这仍然可能是值得的。我们关于为什么更多 AI 内容并没有让营销活动更好的文章解释了一个常见原因：产出更多不等于产出更好。
FAQ
A/B 测试与增量测试有什么区别？
A/B 测试比较同一事物的两个版本，例如两条广告，都展示给用户。增量测试比较的是展示与不展示。用 A/B 测试来选出更好的创意，用留出组来弄清这笔花费究竟有没有增加销售。
留出组应该多大？
在能得出可读答案的前提下越小越好，因为每一个被留出的人都意味着一笔错失的销售。合适的大小取决于你的流量，以及你希望检测到的效果。可以请你的分析师或平台的研究工具来估算。
提升测试应该运行多久？
时间要足以覆盖你通常的购买周期和任何学习期。对于需要慎重考虑的购买，几天很少够用。在开始前就设定好时长。
没有留出组，能衡量 AI 的影响吗？
可以通过前后对比或匹配市场对比来估算，但这些方法较弱。请将其标注为估算值，并在可能时用规范的对照组来确认重要决策。
每一项 AI 功能都需要测试吗？
不需要。先测试涉及真实预算或风险的改动。小而可撤销的调整，可以改用护栏指标来监控。
来源
- Google Ads 帮助，关于转化提升。
- SOMIN 文章：在花钱之前预测广告表现和为什么更多 AI 内容并没有让营销活动更好。
