Meten · 3 min leestijd
A/B-testen die wel iets opleveren
Twee onderwerpregels tegen elkaar testen is zo ingesteld. Een test opzetten waar je echt iets van leert, vraagt meer. Over hypotheses, steekproefgrootte en de juiste winnaar.
Bijna elk e-mailplatform heeft een knop voor een A/B-test. Je maakt twee varianten, het platform stuurt ze naar een deel van je lijst en verklaart na een paar uur een winnaar. Dat voelt als datagedreven werken. In de praktijk zijn veel van die winnaars toeval.
Dit artikel gaat over hoe je een test opzet waar je wel iets aan hebt.
Begin met een vraag, niet met twee varianten
Een goede test begint met een hypothese: een verwachting die je kunt toetsen en waar je iets mee doet als hij klopt.
- Zwak: Welke onderwerpregel scoort beter?
- Sterk: Als we de prijs in de onderwerpregel noemen, klikken meer mensen door naar de productpagina, omdat ze vooraf weten waar ze aan toe zijn.
Met de tweede vraag leer je iets wat je in volgende mails opnieuw kunt gebruiken. Met de eerste weet je alleen welke van twee zinnen die ene keer won.
Eén verschil per test
Verander je de onderwerpregel, de afbeelding en de knoptekst tegelijk, dan weet je achteraf niet wat het verschil maakte. Test één ding tegelijk. Wil je meerdere elementen tegelijk onderzoeken, dan heb je een multivariate test nodig, en daarvoor zijn veel grotere aantallen nodig.
Kies de juiste winnaar
Laat je platform de winnaar kiezen op basis van openingen, dan meet je iets wat je nauwelijks meer kunt vertrouwen. Door Apple Mail Privacy Protection tellen veel openingen mee die geen echte openingen zijn. Kies daarom een cijfer dat dichter bij je doel ligt:
- klikken of unieke klikken, als het doel is dat mensen doorklikken;
- conversies of omzet, als je die aan de mail kunt koppelen;
- afmeldingen, als controle: een variant met meer klikken maar ook veel meer afmeldingen is geen echte winnaar.
Hoe groot moet je test zijn?
Hier gaat het vaak mis. Kleine verschillen meten vraagt grote groepen. Een rekenvoorbeeld met de gangbare uitgangspunten (95% betrouwbaarheid, 80% kans dat je een echt verschil ook ziet):
| Je wilt kunnen zien dat … | Nodig per variant |
|---|---|
| klikratio stijgt van 2,0% naar 2,5% | ongeveer 14.000 |
| klikratio stijgt van 2,0% naar 3,0% | ongeveer 3.800 |
| openpercentage stijgt van 20% naar 22% | ongeveer 6.500 |
Heb je 2.000 ontvangers per variant, dan kun je dus alleen grote verschillen betrouwbaar meten. Is je lijst klein, test dan minder vaak en kies grotere verschillen, zoals een totaal andere aanpak in plaats van één ander woord. Een calculator voor statistische significantie helpt je om achteraf te bepalen of het verschil echt is.
Pas op met “test en stuur de winnaar”
Veel platformen sturen eerst twee varianten naar bijvoorbeeld 10% van de lijst en na een paar uur de winnaar naar de rest. Daar zitten twee haken aan:
- De wachttijd is vaak te kort. Na twee uur heeft maar een deel van de lezers gereageerd, en wie snel reageert is niet per se representatief.
- De rest krijgt de mail later. Een ander verzendmoment kan op zich al een ander resultaat geven, los van de variant.
Bij tijdgevoelige mails werkt het redelijk. Wil je vooral iets leren, stuur dan beide varianten tegelijk naar een groter deel van de lijst en kies daarna in rust.
Leg vast wat je leert
Een test die nergens wordt opgeschreven, wordt een jaar later opnieuw gedaan. Houd een simpel testlogboek bij met per test: datum, hypothese, varianten, aantallen, resultaat, en wat je ermee doet. Na een jaar heb je dan een verzameling inzichten over je eigen lezers die je nergens anders vindt.
Samengevat
- Begin met een hypothese waar je iets mee kunt.
- Verander één ding tegelijk.
- Kies de winnaar op klikken of conversie, niet op openingen.
- Reken uit hoeveel ontvangers je nodig hebt voordat je begint.
- Wees voorzichtig met automatisch de winnaar versturen na een paar uur.
- Houd een testlogboek bij.