當對照實驗顯示有改善時，你才知道 AI 真的改善了行銷活動。保留一組隨機選出、不接受 AI 驅動變更的對象，讓兩組並行，並比較業務成果，而不只是平台自己的報告。如果曝光組的表現沒有比保留組高出正常雜訊以外的幅度，這項改善就未獲證實。
重點摘要
- 平台儀表板回報的是已經發生的結果，而不是廣告所造成的結果。
- 保留組（隨機的一部分對象完全不會看到變更）是最簡單而誠實的測試。
- 測試 AI 變更本身，無論是創意、出價還是目標設定，一次只測一項。
- 設定護欄指標，避免一項數字的進步掩蓋另一項的損失。
- 在測試開始前，先決定成功衡量標準、預算與停止規則。
為什麼不能相信儀表板？
因為儀表板統計的轉換，很多本來就會發生。自動出價很擅長找到原本就可能購買的人，這會讓成果看起來很亮眼，卻沒有增加銷售。
有三件事會讓前後比較的結果被灌水。季節性本身就會帶動需求；預算與優惠在 AI 功能上線的同時也在變動；而鎖定可能買家的演算法，會被記上它並未創造的銷售。沒有控制這些因素的比較，只能告訴你發生了什麼，無法告訴你為什麼。
什麼是保留組？
保留組是隨機選出的一群人或地區，不會收到你正在測試的廣告或變更。它的結果顯示了沒有這項變更時會發生什麼事。
Google 用以下方式描述其轉換提升度（Conversion Lift）工具：它把受眾分為會看到廣告的實驗組與不會看到的對照組，兩組轉換數的差異就是提升度。研究可以依使用者或地理區域切分，Google 也指出此工具並非所有帳號都能使用。Meta 提供建立在同樣概念上的提升度研究；請查看其最新文件與你帳號的存取權限。
如果無法執行平台提供的研究，許多帳號可以改用手動版本：在幾個條件相近的地區暫停活動，在其他地區維持上線，再進行比較。
什麼是增量效果？
增量效果是指行銷所造成的額外成果，超出沒有行銷時本來就會發生的部分。這就是保留組測試所估算的數字。
一個假設性的例子：某零售商在投放廣告的地區每月有 1,000 筆銷售，在條件相近、暫停廣告的地區有 800 筆。增量效果約為 200 筆銷售，而不是 1,000 筆。把花費除以 200，就得到每筆額外銷售的真實成本。這個成本通常比儀表板上的更高。
如何測試 AI 變更本身？
一次只改變一件事，並為每項測試設定清楚的比較對象。三項測試涵蓋了行銷活動中大多數的 AI 用法。
| AI 變更 | 測試設計 | 主要衡量指標 |
|---|---|---|
| AI 撰寫或 AI 生成的創意 | 與目前表現最好的廣告進行 A/B 測試，受眾、預算與期間皆相同 | 每次成果成本，或轉換率 |
| 自動出價或預算工具 | 依地區或受眾切分，或使用平台的實驗功能 | 每單位花費的增量轉換 |
| 新的受眾定向 | 擴大受眾的保留組 | 增量銷售、新客占比 |
在花錢之前，你可以透過預先評分刪掉表現不佳的創意，做法可參考我們的預測廣告成效指南。這能縮小範圍，但最終仍由實際測試決定。
什麼是護欄指標？
護欄指標是在你追求主要目標時，不能變差的數字。它們能阻止一場默默傷害其他部分的「勝利」。
- 成本與利潤：每次獲客成本、折扣後的廣告投資報酬率。
- 顧客品質：退貨、退款、回購，以及潛在客戶轉銷售的比率。
- 品牌安全與語氣：客訴、隱藏廣告、負面留言、不符合品牌調性的輸出。
- 創意多樣性：如果 AI 收斂到同一種風格，疲乏就會更早到來。
如何正確執行測試？
- 寫下問題。「在每位合格潛在客戶的成本上，AI 版本是否勝過我們目前的做法？」
- 在上線前確定衡量指標、預算與期間，並且不要在測試中途更改。
- 隨機分組。以機率而非主觀判斷來分配組別。
- 執行足夠長的時間，涵蓋你正常的購買週期，並讓廣告度過平台的學習期。
- 檢查規模。太小的組別會得出雜訊很大的答案；如果結果每天劇烈波動，就把結論視為未獲證實。
- 記錄結果，包括 AI 沒有造成差異的測試。沒有差異的結果同樣能省下預算。
如果測試顯示沒有改善怎麼辦？
把它當作有用的答案。AI 也許節省了時間，卻沒有改變成果，只要你如實說明，這仍然可能是值得的。我們的為什麼更多 AI 內容沒有讓行銷活動變得更好一文解釋了一個常見原因：產出更多，不等於產出更好。
FAQ
A/B 測試與增量測試有什麼差別？
A/B 測試比較同一件事的兩個版本，例如兩支廣告，兩者都會呈現給人看。增量測試比較的是「看到」與「沒看到」。用 A/B 測試挑出更好的創意，用保留組找出這筆花費到底有沒有增加銷售。
保留組該多大？
在能得出清楚答案的前提下越小越好，因為每一個被保留的人都是一筆錯失的銷售。合適的大小取決於你的流量，以及你預期要偵測的效果。請分析師或平台的研究工具來估算。
提升度測試該進行多久？
時間要長到足以涵蓋你一般的購買週期與任何學習期。對於需要深思熟慮的購買，幾天通常不夠。請在開始前設定好期間。
沒有保留組，也能衡量 AI 的影響嗎？
你可以用前後比較或配對市場比較來估算，但這些方法比較弱。請將其標示為估算，並在可能時用真正的對照組來確認重要決策。
每個 AI 功能都需要測試嗎？
不需要。先測試涉及真實預算或風險的變更。小幅且可還原的調整，則可以改用護欄指標來監控。
來源
- Google 廣告說明，關於轉換提升度。
- SOMIN 文章：在花錢之前預測廣告成效與為什麼更多 AI 內容沒有讓行銷活動變得更好。
