Google Website Optimizer Calculator

Ik vond vanmiddag toevallig een tooltje die ik ooit gemaakt had op basis van Google's eigen Website Optimizer Duurcalculator. Waarom had ik die tool gemaakt? Omdat de tool van Google zelf in mijn ogen niet voldoet. Wat kun je dan met die tool? Berekenen hoe lang een A/B of multivariate test ongeveer gaat duren voor er statistisch significante resultaten zijn.

Google's Tool

De tool van google ziet er als volgt uit:

De eerste 4 velden zijn prima in te vullen. Je kiest een aantal combinaties, je zoekt het aantal pageviews op die je normaal op de te testen pagina haalt. Je wil 100% van het bezoek in het experiment en je succespercentage zoek je op in je Analytics pakket, dit percentage is afhankelijk van het doel van je test.

Maar dan het laatste vakje: de verwachte verbetering. Tja, weetikveel? De klant wil 50%, ik denk dat 5% al mooi is, en de waarheid zal er tussen liggen. Maar op basis van het aantal dagen dat een test zal duren kies je vaak ook het aantal varianten dat je wil testen. Hoe meer varianten je in een korte tijd kunt testen hoe meer je uit de test haalt. Maar zonder een goede inschatting van de te verwachten verbetering weet je niet hoe lang een test duurt.

André's testduur calculator

En daarom heb ik onderstaande tool gemaakt. Je vult de bekende velden in, en in de tabel wordt dan het aantal dagen getoond dat nodig is voor een significant resultaat. Door nu te spelen met de waardes zie je ook direct het effect op de periode. Je kunt beter zien in welke periode een bepaalde verbetering te halen is: hoe meer groen, hoe beter het is. Je kunt beter inschatten welk aantal varianten haalbaar is: bij veel verbetering snel resultaat en bij minder verbetering toch nog altijd binnen een paar weken.

Vul de velden in:

Click to activate social bookmarks