Google Website Optimizer Calculator

Ik vond vanmiddag toevallig een tooltje die ik ooit gemaakt had op basis van Google's eigen Website Optimizer Duurcalculator. Waarom had ik die tool gemaakt? Omdat de tool van Google zelf in mijn ogen niet voldoet. Wat kun je dan met die tool? Berekenen hoe lang een A/B of multivariate test ongeveer gaat duren voor er statistisch significante resultaten zijn.

Google's Tool

De tool van google ziet er als volgt uit:

De eerste 4 velden zijn prima in te vullen. Je kiest een aantal combinaties, je zoekt het aantal pageviews op die je normaal op de te testen pagina haalt. Je wil 100% van het bezoek in het experiment en je succespercentage zoek je op in je Analytics pakket, dit percentage is afhankelijk van het doel van je test.

Maar dan het laatste vakje: de verwachte verbetering. Tja, weetikveel? De klant wil 50%, ik denk dat 5% al mooi is, en de waarheid zal er tussen liggen. Maar op basis van het aantal dagen dat een test zal duren kies je vaak ook het aantal varianten dat je wil testen. Hoe meer varianten je in een korte tijd kunt testen hoe meer je uit de test haalt. Maar zonder een goede inschatting van de te verwachten verbetering weet je niet hoe lang een test duurt.

André's testduur calculator

En daarom heb ik onderstaande tool gemaakt. Je vult de bekende velden in, en in de tabel wordt dan het aantal dagen getoond dat nodig is voor een significant resultaat. Door nu te spelen met de waardes zie je ook direct het effect op de periode. Je kunt beter zien in welke periode een bepaalde verbetering te halen is: hoe meer groen, hoe beter het is. Je kunt beter inschatten welk aantal varianten haalbaar is: bij veel verbetering snel resultaat en bij minder verbetering toch nog altijd binnen een paar weken.

Vul de velden in:

Click to activate social bookmarks

 
  • Easy Optimalisatie

    Leuke tool, maar is dit niet ook afhankelijk van wat de klant precies wil. Ik bedoel, significante verschillen zijn van belang maar kleine verschillen worden vanzelf significant naar mate de steekproefgrootte oploopt. Is het dan voor sommige campagnes niet belangrijker om, naar mate er verschillen te zien zijn, meteen de knoop er door te hakken en de campagne verder te optimaliseren?

    groeten,

    Stijn Driessen

  • @Stijn: helemaal mee eens. Maar je moet voordat je gaat testen toch een soort van indicatie hebben hoe lang het ongeveer zou kunnen duren. Dat is met deze simpele tool makkelijk in te schatten.

  • fees

    Dank je wel voor de super info op je site

  • Daan

    Ik ben bezig om te testen op bounce rate. We willen graag de bounce rate terugbrengen. Ik heb veel gezocht op internet maar ik kan er niet achter komen hoe ik hierbij de duur van de test moet berekenen. Moet ik dan het bouncepercentage invullen bij als huidige conversie percentage?

    We hebben twee testcombinaties. Ongeveer 40 bezoekers per dag. 100% van bezoekers in experiment. En nu een bouncerate van ongeveer 70%.

    Alvast bedankt!

  • Stel dat je de bouncerate van 70% naar 60% wil verlagen, dat betekent dat van elke 100 bezoekers er ipv 30 nu 40 bezoekers verder de site in moeten gaan. Dat is een stijging in conversies van 40/30 = 33%.

    Als ik dan in de tabel: 2, 40, 100, 40 invul zie ik dat het 4 dagen zal duren voor je significant resultaat zal zien.