Incrementality Testing: Dokážte, že reklama prináša predaje

Čo je incrementality testing a prečo vám to ROAS nepovie

Tento rozhovor vediem minimálne raz za mesiac. Zakladateľ mi ukáže brandovú search kampaň s 12x ROAS a chce vedieť, či ju má zdvojnásobiť. Moja protiotázka: koľko z tých zákazníkov napísalo názov vašej firmy do Googlu preto, že už boli rozhodnutí nakúpiť?

Nikto v miestnosti to nevie. Ani reklamná platforma. Tá vie len to, že pred nákupom prišiel klik. To je korelácia a stojí na nej každý atribučný report.

Incrementality testing odpovedá na inú otázku: čo by sa stalo, keby reklama vôbec nebežala? Zámerne reklamu nezobrazíte porovnateľnej skupine a potom zmeriate rozdiel vo výsledkoch. Tento rozdiel je inkrementálny efekt. Všetko ostatné sú predaje, ktoré by ste urobili tak či tak.

Nie je to akademické puntičkárstvo. Keď eBay vo veľkom terénnom experimente vypol reklamy na brandové kľúčové slová, výskumníci zistili, že brandové reklamy nemali žiadny merateľný krátkodobý prínos a že návratnosť platených vyhľadávaní ako celku bola len „zlomkom bežných neexperimentálnych odhadov“ (Blake, Nosko a Tadelis, Econometrica 2015). Ďalšia štúdia postavená na 15 veľkých experimentoch na Facebooku dospela k záveru, že bežne používané observačné metódy často nedokážu presne zmerať skutočný efekt reklamy, a to ani po zohľadnení rozsiahlych demografických a behaviorálnych dát (Gordon a kol., Marketing Science 2019).

Ak ste čítali môj rozbor, prečo si atribučné modely navzájom odporujú, toto je chýbajúci kúsok skladačky. Atribučné modely rozdeľujú zásluhy. Nikdy vám nepovedia, či boli tie zásluhy zaslúžené.

Tri spôsoby, ako robiť incrementality testing v marketingu

Incrementality testing v marketingu má v praxi tri podoby. Líšia sa v tom, kto riadi randomizáciu, aké dáta potrebujete a do akej miery musíte veriť dodávateľovi, ktorý test realizuje.

Metóda	Ako vzniká kontrolná skupina	Najvhodnejšie pre	Hlavná slabina
Lift štúdia platformy (Meta, Google)	Platforma náhodne nezobrazí reklamy časti oprávnených používateľov	Otázky v rámci jednej platformy, rýchle nastavenie	Platforma si známkuje vlastnú domácu úlohu; meria len svoje reklamy
Geo experiment	Vo vybraných regiónoch pozastavíte alebo zmeníte výdavky a porovnáte ich so spárovanými regiónmi	Otázky naprieč kanálmi, offline predaje, TV, retail	Potrebuje dosť regiónov a stabilné regionálne predaje
Holdout (on/off) test	Kanál úplne vypnete na určené obdobie alebo pre určité publikum	Brand search, retargeting, menšie kanály	Časový šum; sezónnosť môže signál úplne prekryť

Lift štúdie platforiem

Meta Conversion Lift rozdelí vaše oprávnené publikum na testovaciu skupinu, ktorá reklamy vidí, a kontrolnú skupinu, ktorá ich nevidí, a potom porovná konverzné pomery. Za štatisticky spoľahlivý lift Meta považuje výsledok so spoľahlivosťou 90 percent a vyššou. Meta incrementality testing je pre väčšinu inzerentov najjednoduchší vstupný bod, pretože randomizácia prebieha na úrovni používateľov priamo v platforme, čo je štatisticky čistejšie než čokoľvek, čo si postavíte sami.

Google incrementality testing funguje podobne. Google Ads Conversion Lift ponúka dva typy štúdií: jednu založenú na používateľoch a druhú na geografii, pričom geo verzia podporuje aj offline dáta. Pre verziu založenú na používateľoch uvádza dokumentácia Googlu minimálny rozpočet kampane USD 5 000 a aspoň 1 000 zaznamenaných konverzií a upozorňuje, že štúdie s dlhým konverzným oneskorením, ktoré bežali kratšie ako 14 dní, vykázali až o 17 percent nižší absolútny lift. Toto minimum je novinka: Google v novembri 2025 oznámil, že experimenty, ktoré kedysi stáli aj viac ako USD 100 000, sa dnes dajú urobiť za USD 5 000.

Pre incrementality testing priamo v Google Ads pokrýva geo nastavenie Search, Shopping, Performance Max, Demand Gen, Display, Video aj App, kampane však musia cieliť na jednu krajinu a Google neodporúča pokračovať, ak kontrola realizovateľnosti (feasibility check) vráti hodnotenie „Low“.

Moja výhrada k obom: platforma, ktorá vám reklamy predáva, je zároveň tá, ktorá ich meria. Randomizácia je v poriadku. Lenže definícia konverzie, atribučné okno aj to, ktoré konverzie sa rátajú, pochádzajú z trackingu tej istej platformy. Ak sa vám pixel spúšťa dvakrát, lift štúdia to zdedí.

Geo experimenty

Geo experiment používa ako jednotku randomizácie regióny. V testovacích regiónoch výdavky zvýšite, znížite alebo pozastavíte a predaje porovnáte s kontrolnými regiónmi, ktoré sa historicky hýbu rovnako. Keďže výsledky meriate vo vlastných predajných dátach, a nie cez pixel, geo testy fungujú aj pre kanály, kde platforma konverziu nevidí: TV, podcasty, predaj v kamenných predajniach, telefonické objednávky.

Open-source balík GeoLift od Mety používa na zostavenie porovnávacej skupiny metódu syntetickej kontroly (synthetic control) a obsahuje power kalkulačky na výber trhov ešte pred spustením. Je zadarmo a beží v R.

Komerčné platformy ako Haus a Measured predávajú geo a holdout testovanie ako službu, dizajn testu, výber trhov aj vyhodnotenie za vás riešia oni. Či sa to oplatí, závisí od toho, koľko testov plánujete a či má niekto interne kapacitu model vlastniť.

Jednoduché holdouty

Najpriamočiarejšia metóda: vypnite to a sledujte. Pozastavte brand search na tri týždne. Vylúčte náhodných 20 percent zo zoznamu zákazníkov z retargetingu. Nastavenie nestojí nič, a preto je to často prvý test, ktorý odporúčam pre brand search a retargeting, teda presne tie dve miesta, kde atribúcia reklamám najspoľahlivejšie pripisuje viac, než si zaslúžia.

Slabinou je čas: ak konkurent spustí akciu presne v týždňoch, keď máte brand search vypnutý, tieto dva efekty od seba neoddelíte. Holdouty s rozdelením publika (náhodné vylúčenia zo zoznamu) sú oveľa dôveryhodnejšie než porovnania pred a po.

Uživí váš rozpočet vôbec test?

Tu väčšina testov zlyhá ešte pred začiatkom. Keď pre klienta pripravujem test, prvá otázka neznie „aký nástroj?“, ale „aký najmenší lift potrebujete zachytiť a máte na to dostatočný objem?“

Štatistická sila (power) závisí od troch vecí: základného konverzného pomeru, veľkosti efektu, ktorý chcete zachytiť, a počtu ľudí alebo regiónov v každej skupine. Rozhoduje najmä veľkosť efektu.

Hypotetický príklad: rovnaké publikum, dve rôzne otázky

Predpokladajme, že retargetingové publikum bez reklám konvertuje na 2 percentá. Pri štandardnom vzorci na veľkosť vzorky pre dva podiely (95-percentná spoľahlivosť, 80-percentná sila, rovnaká matematika ako v kalkulačke veľkosti vzorky Evana Millera):

Lift, ktorý chcete zachytiť	Konverzný pomer s reklamami	Potrebný počet používateľov na skupinu	Približný počet konverzií v kontrolnej skupine
30 % relatívny lift	2,6 %	približne 9 800	približne 196
10 % relatívny lift	2,2 %	približne 80 700	približne 1 614

Zníženie zachytiteľného efektu z 30 na 10 percent si vyžaduje zhruba osemkrát väčšiu vzorku. Pri kanáli, ktorý už prevádzkujete vo veľkom, je lift, o ktorom sa oplatí diskutovať, zvyčajne ten malý. To znamená, že test, ktorý naozaj potrebujete, je ten drahý.

Praktické pravidlá, ktoré používam pri návrhu testu:

• Minimálny zachytiteľný efekt (MDE) odvoďte od obchodného rozhodnutia, nie od nádeje. Ak by ste kanál vypli len vtedy, keď je jeho lift pod 15 percent, navrhnite test tak, aby zachytil 15 percent. Nič menšie nie je podstatné.
• Test nechajte bežať aspoň dva celé nákupné cykly. Vyššie spomínané odporúčanie Googlu ku konverznému oneskoreniu je dobrá spodná hranica: pod 14 dní podhodnotíte oneskorené konverzie.
• Najprv testujte celý kanál, až potom taktiky. Zistiť, či Meta vôbec funguje, si vyžaduje menšiu silu testu než zistiť, či Advantage+ porazí manuálne kampane.

Ak vám power kalkulácia povie, že potrebujete päť mesiacov holdoutu na kanáli s mesačnými výdavkami EUR 3 000, úprimná odpoveď znie: tento kanál izolovane otestovať nemôžete. Spojte ho s ďalšími alebo otestujte väčšiu zmenu výdavkov.

V tejto fáze testy potichu zabíja aj rozbitý tracking. Ak sa počty konverzií líšia medzi GA4, reklamnou platformou a vaším backendom (tomuto problému sa venujem v článku prečo nesedia konverzie v GA4 a Google Ads), je chybný váš základ a s ním aj každý odhad sily testu, ktorý na ňom stojí. Predtým, než navrhnem akýkoľvek lift test, robím audit merania, ktorý overí, že konverzným dátam sa dá veriť. Inak meriate lift vlastných chýb v trackingu.

Ako by mali výsledky prekalibrovať atribúciu a MMM

Výsledok lift testu, ktorý leží v prezentácii, nič nezmení. Zmyslom incrementality testingu je opraviť systémy, podľa ktorých robíte denné a štvrťročné rozhodnutia.

Prekalibrovanie atribúcie pomocou faktora inkrementality

Najjednoduchšia metóda: vydeľte inkrementálne konverzie z testu počtom konverzií, ktoré platforma za rovnaké obdobie pripísala sebe. Tento pomer sa stane násobiteľom pre reportovaný výkon.

Hypotetický príklad: Meta počas štvortýždňového testu reportuje 1 000 pripísaných nákupov. Lift štúdia nájde 400 inkrementálnych nákupov. Váš faktor inkrementality je 0,4. Z reportovaného 4x ROAS na tomto kanáli sa stane inkrementálny ROAS 1,6x. Ak je váš break-even ROAS 2,5x, škálovali ste kanál, ktorý na marži prerába.

Tento faktor aplikujte v reportingu a zvážte ho aj pri cieľoch biddingu. V kombinácii s profit on ad spend namiesto ROAS z tržieb sa dostanete blízko k číslu, ktoré naozaj zaujíma vášho finančného riaditeľa. Faktory sa časom posúvajú, preto hlavné kanály testujem znova každých šesť až dvanásť mesiacov alebo po veľkých zmenách v kreatívnej stratégii či výdavkoch.

Najviac to platí, ak ste investovali do multi-touch atribučného modelu. MTA rozdeľuje zásluhy medzi touchpointy inteligentnejšie, no stále ich rozdeľuje aj za predaje, ktoré by sa možno udiali tak či tak. Faktory inkrementality sú korekčná vrstva navrchu.

Kalibrácia marketing mix modelov

MMM a experimenty sú navrhnuté tak, aby fungovali spolu. Google Meridian umožňuje nastaviť vlastné ROI priory na základe minulých experimentov a Robyn od Mety podporuje kalibráciu podľa lift štúdií a geo testov, ako sú Conversion Lift a GeoLift.

Modelovaniu som sa venoval v článku marketing mix modeling pre stredne veľké rozpočty. Stručne: nekalibrovaný MMM ochotne pripíše zásluhy tomu kanálu, ktorého výdavky náhodou rástli spolu so sezónnym dopytom. Jeden dobre zvládnutý geo test na vašom najväčšom kanáli model obmedzí viac než ďalší rok dát.

Postup, ktorý odporúčam

1. Najprv opravte tracking. Počty konverzií sa musia zhodovať s backendom v rámci tolerancie, ktorú viete vysvetliť.
2. Spustite lacný holdout na najpodozrivejšom kanáli. Zvyčajne je to brand search alebo retargeting.
3. Spustite lift štúdiu platformy na vašom najväčšom platenom sociálnom kanáli, ak spĺňate požiadavky na objem.
4. Prejdite na geo testovanie, keď potrebujete odpovede naprieč kanálmi alebo predávate offline.
5. Výsledky premietnite do atribučných faktorov a MMM priorov. A potom pravidelne testujte znova.

FAQ

Nie ste si istí, či sú vaše konverzné dáta dosť čisté na lift test, alebo čo s výsledkom urobiť, keď ho budete mať? Objednajte si audit marketingového merania a poviem vám, ktorý kanál testovať ako prvý, či to váš objem unesie a ako odpoveď premietnuť späť do reportingu.