AIがキャンペーンを改善しているかどうかは、管理された比較で分かります。ランダムに選んだグループにはAIによる変更を適用せず、両方を並行して走らせ、プラットフォーム自身のレポートではなくビジネス上の結果で比較します。変更を受けたグループがホールドアウトを通常のばらつきを超えて上回らなければ、改善は証明されていません。
主なポイント
- プラットフォームのダッシュボードが報告するのは、起きた結果であって、広告が引き起こした結果ではありません。
- ランダムな一部が変更を一切受けないホールドアウト群は、もっともシンプルで誠実なテストです。
- AIによる変更そのもの（クリエイティブ、入札、ターゲティング）を、1つずつテストします。
- ガードレール指標を設定し、ある数字の改善が別の数字の悪化を覆い隠さないようにします。
- 成功の指標、予算、終了ルールは、テストを始める前に決めておきます。
なぜダッシュボードを信用できないのか？
ダッシュボードは、本来なら発生していたはずのコンバージョンも数えているからです。自動入札は、もともと購入する可能性の高い人を見つけるのが得意で、それが売上を増やさずに成果を良く見せます。
施策前後の比較を膨らませる要因は3つあります。需要は季節性によって勝手に動きます。予算やオファーはAI機能と同時に変わります。そして購入しそうな人を狙うアルゴリズムは、自分が生み出したわけではない売上まで自分の成果にします。これらを統制しない比較では、何が起きたかは分かっても、なぜ起きたかは分かりません。
ホールドアウト群とは？
ホールドアウトとは、ランダムに選んだ人（または地域）のグループで、テスト対象の広告や変更を受けないものです。その結果は、それがなかった場合に何が起きたかを示します。
Googleはコンバージョンリフトツールを次のように説明しています。オーディエンスを、広告を見る処理群と見ない対照群に分け、その2つのコンバージョン数の差がリフトです。調査はユーザー単位でも地域単位でも分けられ、Googleは、このツールはすべてのアカウントで使えるわけではないと注記しています。Metaも同じ考え方に基づくリフト調査を提供しています。最新のドキュメントと、自社アカウントで使えるかを確認してください。
プラットフォームの調査が実施できなくても、多くのアカウントで使える手動の方法があります。条件の近い数地域で施策を止め、他の地域では続けて、比較するのです。
インクリメンタリティとは？
インクリメンタリティとは、何もしなくても起きたはずの結果を上回って、マーケティングが生み出した追加の成果です。ホールドアウトテストが推定するのは、この数字です。
仮の例です。ある小売業者は、広告を配信した地域では月に1,000件、広告を止めた条件の近い地域では800件の売上があります。増分の効果は1,000件ではなく、約200件です。支出額を200で割ると、追加1件あたりの本当のコストが分かります。このコストは、通常、ダッシュボード上の数字より高くなります。
AIによる変更そのものはどうテストする？
一度に変えるのは1つだけにして、テストごとに明確な比較対象を用意します。キャンペーンでのAIの利用は、ほとんどが次の3つのテストでカバーできます。
| AIによる変更 | テスト設計 | 主な指標 |
|---|---|---|
| AIが書いた、またはAIが生成したクリエイティブ | 現在もっとも成果の良い広告とのA/Bテスト（同じオーディエンス、同じ予算、同じ期間） | 成果あたりのコスト、またはコンバージョン率 |
| 自動入札または予算ツール | 地域またはオーディエンスで分割、あるいはプラットフォームの実験機能を使う | 支出額あたりの増分コンバージョン |
| 新しいオーディエンスターゲティング | 拡張したオーディエンスのホールドアウト | 増分の売上、新規顧客の割合 |
費用をかける前に、広告パフォーマンスの予測のガイドで紹介しているように、事前スコアリングで成果の弱いクリエイティブを絞り込めます。それで候補を減らせますが、決めるのは実際のテストです。
ガードレール指標とは？
ガードレール指標とは、主要な目標を追う間に悪化してはならない数字です。ほかの何かを静かに損なう「勝利」を防いでくれます。
- コストと利益率：獲得単価、割引後の広告費用対効果。
- 顧客の質：返品、返金、リピート購入、リードから売上への転換率。
- ブランドセーフティとトーン：苦情、非表示、否定的なコメント、ブランドらしくない出力。
- クリエイティブの多様性：AIがひとつのテイストに収束すると、疲弊が早く来ます。
テストを正しく実施するには？
- 問いを書く。「AI版は、有望リードあたりのコストで現在のやり方を上回るか？」
- 指標、予算、期間を開始前に固定し、テストの途中で変えません。
- ランダム化する。グループは判断ではなく、無作為に割り当てます。
- 十分な期間実施する。通常の購買サイクルをカバーし、プラットフォームの学習期間を抜けるまで続けます。
- 規模を確認する。グループが小さいと結果がぶれます。日ごとに結果が大きく揺れるなら、結論は未証明として扱います。
- 結果を記録する。AIが差を生まなかったテストも含めます。差がないという結果も、費用の節約になります。
テストで改善が見られなかったら？
それも有益な答えと受け止めましょう。AIは結果を変えずに時間を節約したのかもしれず、それ自体に価値がある場合もあります。ただし、そのことは明記してください。よくある理由のひとつ、つまりアウトプットが増えることは、アウトプットが良くなることとは違うという点は、AIコンテンツを増やしてもキャンペーンが良くならない理由で解説しています。
FAQ
A/Bテストとインクリメンタリティテストの違いは？
A/Bテストは、2つの広告など、2つのバージョンを比較し、どちらも人々に見せます。インクリメンタリティテストは、見せる場合と見せない場合を比較します。より良いクリエイティブを選ぶにはA/Bテスト、その支出が売上を増やしているかどうかを知るにはホールドアウトを使います。
ホールドアウトの規模はどのくらいにすべき？
読み取れる答えが出る範囲で、できるだけ小さくします。対象から外した人は、すべて取りこぼした売上になるからです。適切な規模は、ボリュームと検出したい効果の大きさで決まります。アナリストか、プラットフォームの調査ツールに見積もってもらいましょう。
リフトテストはどのくらいの期間実施すべき？
通常の購買サイクルと学習期間をカバーできる長さです。検討に時間のかかる購入では、数日では足りないのが普通です。期間は開始前に決めておきます。
ホールドアウトなしでAIの影響を測定できる？
施策前後の比較や、条件を揃えた市場の比較で推定はできますが、信頼性は劣ります。推定値であることを明記し、重要な判断は、可能なら適切な対照群で確認しましょう。
AI機能はすべてテストする必要がある？
いいえ。実際の予算やリスクを伴う変更から先にテストします。元に戻せる小さな調整は、ガードレール指標で監視すれば足ります。
出典
- Google広告ヘルプ、コンバージョンリフトについて。
- SOMINの記事：費用をかける前に広告パフォーマンスを予測するとAIコンテンツを増やしてもキャンペーンが良くならない理由。
