Malalaman mong pinapabuti ng AI ang iyong mga campaign kapag sinabi ito ng kontroladong paghahambing. Magtabi ng random na napiling grupo na hindi makakatanggap ng pagbabagong dulot ng AI, patakbuhin ang dalawa nang magkatabi, at ikumpara ang resulta sa negosyo, hindi lang ang sariling ulat ng platform. Kung hindi nalamangan ng exposed na grupo ang holdout nang higit sa karaniwang ingay, hindi napatunayan ang pagbuti.
Mga pangunahing aral
- Iniuulat ng mga dashboard ng platform ang mga resultang nangyari, hindi ang mga resultang naidulot ng mga ad.
- Ang holdout group, kung saan may random na bahagi na hindi kailanman nakakakita ng pagbabago, ang pinakasimple at tapat na pagsubok.
- Subukan ang mismong pagbabago ng AI — creative, bidding o targeting — isa-isa.
- Magtakda ng guardrail metrics para hindi matakpan ng pag-angat ng isang numero ang pagbaba ng isa pa.
- Ipasya ang sukatan ng tagumpay, ang budget at ang patakaran sa paghinto bago magsimula ang pagsubok.
Bakit hindi mo mapagkakatiwalaan ang dashboard?
Dahil binibilang ng dashboard ang mga conversion na madalas ay mangyayari pa rin kahit wala ang ad. Mahusay ang automated bidding sa paghahanap ng mga taong malamang na bibili na, at dahil dito ay mukhang malakas ang resulta nang hindi nagdaragdag ng benta.
Tatlong bagay ang nagpapalaki sa mga paghahambing na bago-at-pagkatapos. Kusang gumagalaw ang demand dahil sa seasonality. Nagbabago ang mga budget at alok kasabay ng AI feature. At ang algorithm na tumatarget sa mga malamang na bibili ay nabibigyan ng kredito sa mga benta na hindi naman nito nilikha. Ang paghahambing na hindi kumokontrol sa mga ito ay nagsasabi kung ano ang nangyari, hindi kung bakit.
Ano ang holdout group?
Ang holdout ay random na napiling grupo ng mga tao, o lugar, na hindi tumatanggap ng mga ad o ng pagbabagong sinusubok mo. Ipinapakita ng resulta nito kung ano ang mangyayari kung wala ito.
Inilalarawan ng Google ang Conversion Lift tool nito sa ganitong paraan: hinahati nito ang audience sa treatment group na nakakakita ng mga ad at control group na hindi, at ang pagkakaiba ng mga conversion sa pagitan nila ang lift. Maaaring hatiin ang mga pag-aaral ayon sa user o heograpiya, at binabanggit ng Google na hindi available ang tool sa lahat ng account. May mga lift study ang Meta na nakabatay sa parehong ideya; tingnan ang kasalukuyang dokumentasyon nito at ang access ng iyong account.
Kung hindi ka makapagpatakbo ng pag-aaral ng platform, may manwal na bersyon na gumagana sa maraming account: ihinto ang aktibidad sa ilang magkatugmang rehiyon, panatilihin itong live sa iba, at ikumpara.
Ano ang incrementality?
Ang incrementality ay ang dagdag na resultang naidulot ng marketing, higit sa kung ano ang mangyayari pa rin. Ito ang numerong tinatantiya ng holdout test.
Hypothetical na halimbawa: nakakakita ang isang retailer ng 1,000 benta kada buwan sa rehiyong may tumatakbong ad at 800 sa katugmang rehiyong naka-pause ang mga ito. Ang incremental na epekto ay mga 200 benta, hindi 1,000. Hatiin ang gastos sa 200 para makuha ang tunay na gastos kada dagdag na benta. Karaniwang mas mataas ang gastos na iyon kaysa sa nasa dashboard.
Paano mo susubukan ang mismong pagbabago ng AI?
Isa-isahin ang pagbabago at bigyan ang bawat pagsubok ng malinaw na paghahambingan. Tatlong pagsubok ang sumasaklaw sa karamihan ng paggamit ng AI sa mga campaign.
| Pagbabago ng AI | Disenyo ng pagsubok | Pangunahing sukatan |
|---|---|---|
| Creative na isinulat o binuo ng AI | A/B test laban sa kasalukuyan mong pinakamahusay na ad, parehong audience, parehong budget, parehong panahon | Gastos kada resulta, o conversion rate |
| Mga automated bidding o budget tool | Hatiin ayon sa rehiyon o audience, o gamitin ang experiment feature ng platform | Incremental na conversion kada yunit ng gastos |
| Bagong audience targeting | Holdout ng pinalawak na audience | Incremental na benta, bahagi ng mga bagong customer |
Bago ka gumastos, maaari mong tanggalin ang mahihinang creative gamit ang pre-scoring, tulad ng nasa aming gabay sa paghula sa performance ng ad. Pinaliliit nito ang pagpipilian. Ang live na pagsubok pa rin ang magpapasya.
Ano ang guardrail metrics?
Ang guardrail metrics ay mga numerong hindi dapat lumala habang hinahabol mo ang pangunahing layunin. Pinipigilan nila ang "panalo" na tahimik na nakakasira sa iba.
- Gastos at margin: gastos kada acquisition, return on spend pagkatapos ng discount.
- Kalidad ng customer: returns, refunds, paulit-ulit na pagbili at lead-to-sale rate.
- Brand safety at tono: reklamo, hide, negatibong komento, output na wala sa brand.
- Pagkakaiba-iba ng creative: kung iisang itsura ang pinupuntahan ng AI, mas maagang darating ang fatigue.
Paano mo patatakbuhin nang tama ang pagsubok?
- Isulat ang tanong. "Nalalamangan ba ng bersyon ng AI ang kasalukuyan naming paraan sa gastos kada qualified na lead?"
- Itakda ang sukatan, budget at tagal bago ang launch, at huwag baguhin habang tumatakbo ang pagsubok.
- I-randomise. Italaga ang mga grupo sa pamamagitan ng pagkakataon, hindi ng paghuhusga.
- Patakbuhin nang sapat na tagal para masakop ang karaniwan mong ikot ng pagbili at makalabas sa learning phase ng platform.
- Suriin ang laki. Maingay ang sagot ng maliliit na grupo; kung malaki ang swing ng resulta araw-araw, ituring na hindi napatunayan ang kinalabasan.
- Itala ang resulta, kasama ang mga pagsubok kung saan walang pinagbago ang AI. Nakakatipid pa rin ng pera ang resultang walang pagkakaiba.
Paano kung walang pagbuti ang ipakita ng pagsubok?
Ituring itong kapaki-pakinabang na sagot. Maaaring nakatipid ng oras ang AI nang hindi binabago ang mga resulta, na maaaring sulit pa rin, basta't sasabihin mo ito. Ipinapaliwanag ng aming artikulo tungkol sa bakit hindi pinapabuti ng mas maraming AI content ang mga campaign ang isang karaniwang dahilan: hindi pareho ang mas maraming output at mas mahusay na output.
FAQ
Ano ang pagkakaiba ng A/B testing at incrementality testing?
Ikinukumpara ng A/B test ang dalawang bersyon ng isang bagay, tulad ng dalawang ad, na parehong ipinapakita sa mga tao. Ikinukumpara ng incrementality test ang pagpapakita laban sa hindi pagpapakita. Gamitin ang A/B test para pumili ng mas magandang creative, at ang holdout para malaman kung nagdaragdag ba talaga ng benta ang gastos.
Gaano kalaki dapat ang holdout?
Kasing liit hangga't nagbibigay ito ng nababasang sagot, dahil bawat taong itinabi ay nawawalang benta. Nakadepende ang tamang laki sa iyong volume at sa epektong inaasahan mong matukoy. Hilingin sa iyong analyst o sa study tool ng platform na tantyahin ito.
Gaano katagal dapat tumakbo ang lift test?
Sapat na haba para masakop ang karaniwan mong ikot ng pagbili at anumang learning period. Bihirang sapat ang ilang araw para sa mga pinag-iisipang pagbili. Itakda ang tagal bago ka magsimula.
Masusukat ko ba ang epekto ng AI nang walang holdout?
Maaari mo itong tantyahin gamit ang paghahambing na bago-at-pagkatapos o matched-market, pero mas mahina ang mga ito. Lagyan ng label na tantiya, at kumpirmahin ang mahahalagang desisyon gamit ang tamang control kung kaya mo.
Kailangan ko bang subukan ang bawat AI feature?
Hindi. Subukan muna ang mga pagbabagong may malaking budget o panganib. Ang maliliit at nababawing pag-aayos ay maaaring bantayan gamit ang guardrail metrics.
Mga pinagmulan
- Google Ads Help, About Conversion Lift.
- Mga post ng SOMIN: Hulaan ang performance ng ad bago gumastos at Bakit hindi pinapabuti ng mas maraming AI content ang mga campaign.
