A/B testen in het hoogseizoen, doen of niet doen?
Vaak gehoord: in het hoogseizoen voeren wij geen A/B testen uit. De reden is dan meestal
om zoveel mogelijk risico te vermijden. Het kan namelijk altijd zo zijn dat de variant slechter
presteert dan het origineel en in het hoogseizoen kunnen de kosten dan al snel oplopen.
Daarnaast loop je bij het uitvoeren van een experiment altijd risico op het introduceren van
een bug op de website. Dit is iets dat je natuurlijk wil vermijden, zeker in het hoogseizoen.
Maar is het dan de juiste keuze om je hele CRO traject stil te leggen, of zijn er ook andere
opties? Om tóch door te kunnen blijven optimaliseren in het hoogseizoen, kun je kiezen voor
Multi-Armed Bandit Testing.
Multi-Armed Bandit Testing
De naam is gebaseerd op de ouderwetse gokmachines in casino’s met een enkele hendel.
Stel, er staat een hele rij gokmachines en je wil jouw opbrengst van die avond
maximaliseren. Dan moet je dus de gokmachine selecteren die de hoogste uitbetaling
garandeert, maar je weet natuurlijk niet welke dat is. Dan zou je de verschillende machines
moeten uitproberen, maar je wil tegelijkertijd de meest uitbetalende gokmachine exploiteren.
Multi-Armed Bandit Testing maakt gebruik van een geautomatiseerde vorm van verdeling
van traffic tussen het origineel en de variant(en). Er zijn verschillende vormen waarin een
Multi-Armed Bandit Test gedraaid kan worden. Eén van de meest gebruikte binnen CRO is
de vorm waarin een x percentage (bijvoorbeeld 10%) ‘ouderwets’ wordt verdeeld tussen alle
varianten en de rest van het verkeer gaat naar de best presterende variant. Deze vorm
wordt ook wel Epsilon-Greedy genoemd.
Het financieel risico dat een bedrijf hiermee loopt wordt geminimaliseerd en het optimalisatie
team kan hierdoor gewoon door blijven gaan met waar het goed in is tijdens het
hoogseizoen.
Exploratie vs Exploitatie
Klinkt natuurlijk goed, maar waarom zou je dan niet alle experimenten op deze manier
blijven uitvoeren? Hiervoor moeten we goed kijken naar het doel van het experiment.
Bij een traditionele A/B test is het doel exploratie, het achterhalen van welke hypothese
bevestigd kan worden en dus uiteindelijk welke variant het beste presteert. Het liefst
natuurlijk met een bepaald niveau van significantie, met genoeg data zodat je de prestaties
van alle varianten kunt analyseren om zwakke en sterke punten te vinden.
Bij Multi-Armed Bandit Testing is het doel echter exploitatie, door zo weinig mogelijk
middelen te verspillen aan een inferieure variant. Dit is een zeer belangrijke nuance. Het
duurt op deze manier veel langer om statistische significantie te bereiken, waardoor je
uiteindelijk een lager aantal aan experimenten kunt uitvoeren op jaarbasis. De winst van het
traject gaat uiteindelijk wel zitten in de winnaars die geïmplementeerd worden (maar pas op
met de doorrekening van je winst!), dus vandaar dat er in de meeste situaties wordt gekozen
voor een reguliere A/B test. Daarnaast ondersteunen niet alle A/B testing tools deze
methode, waardoor het ook technisch lastig kan worden om dit alsnog mogelijk te maken.
Als je financieel risico wilt beperken maar toch door wilt testen in het hoogseizoen, dan is
Multi-Armed Bandit Testing een hele mooie oplossing.
Kijk naar het grotere plaatje
Mocht er nu geen mogelijkheid zijn tot de implementatie van een Multi-Armed Bandit Test of
is er meer behoefte aan exploratie, dan is het raadzaam om niet te veel vanuit angst
beslissingen te nemen. Kijk eens naar het grotere plaatje! Een CRO traject zal – over het
hele jaar bezien – altijd winnaars en verliezers opleveren. Over het geheel gezien zal de
balans echter positief uitslaan (mits er genoeg winnaars worden gevonden en deze ook
daadwerkelijk worden geïmplementeerd). Eén verliezer zal deze balans als het goed is niet
naar de negatieve kant doen omslaan. Heb dan ook vertrouwen in het optimalisatie team,
het hoogseizoen is immers een uitgelezen kans om in versneld tempo te experimenteren!
Om wederom het risico te minimaliseren is het wel verstandig om geen enorm (technisch)
complexe testen te gaan draaien, een bug op de website is in deze periode een absolute no
go. Dit is hét moment om het Quality Assurance proces twee keer door te lopen, om er zeker
van te zijn dat er geen foutjes in zijn geslopen.
Andere aspecten uit het conversietraject
Is er nu echt geen enkele mogelijkheid tot het uitvoeren van experimenten in het
hoogseizoen? Verleg dan eens de focus naar andere aspecten uit het conversietraject, zoals
online of offline gebruikersonderzoek, een hernieuwde deep dive in Google Analytics of een
uitgebreide competitieve analyse. Dit is dan namelijk het moment om de backlog uit te
breiden met goed onderbouwde hypotheses en je concurrentie in de gaten te houden.
Blijf experimenteren!
Concluderend: het advies is om altijd te blijven experimenteren om alle potentie uit conversie
optimalisatie te halen. Door in te zetten op winstmaximalisatie door middel van Multi-Armed
Bandit Testing kan financieel risico beperkt blijven. Anderzijds zijn reguliere A/B testen ook
zeker een optie. Probeer wel om de complexiteit laag te houden om de kans op bugs te
minimaliseren. Op het moment dat dit echt niet kan, verleg dan de focus naar online of
offline gebruikersonderzoek. Zo kan je jouw backlog weer aanvullen met mooie hypotheses
die je kan valideren na het hoogseizoen.
Bekijk onze cases
