Vältä nämä 4 yleisintä virhettä A/B testauksessa Analytiikka

Viime vuosien aikana A/B testauksesta on muodostunut yksi digimarkkinoijien tärkeimmistä taidoista ja työkalusta. A/B testaus tarkoittaa, että testataan mikä vaihtoehto suoriutuu parhaiten mitattuna valitulla mittarilla. Tarkalleen ottaen testataan kumpi kahdesta vaihtoehdosta suoriutuu paremmin. Tosin yleensä A/B testauksena tarkoitetaan myös monimuuttujatestausta, jossa kahden eri vaihtoehdon sijaan testataan useita vaihtoehtoja keskenään.

A/B testauksen suosio ja yleisyys perustuu sen hyödyllisyyteen ja helppouteen. Sen suurin heikkous on, että sen avulla voidaan helposti tehdä virheellisiä johtopäätöksiä, jotka voivat johtaa suuriin virheisiin. Alla olen listannut 4 yleisintä virhettä, joita tehdään  A/B testauksen yhteydessä:

1. Oletetaan, että testin tulokset ovat aina samat

Maailma muuttuu ja niin muuttuvat myös ihmisten maut ja päätökset. Jos joku vaihtoehto oli paras vuosi sitten, ei se välttämättä ole enää paras. Lisäksi testattaessa tulee ottaa huomioon ajankohta jolloin testi suoritettiin sekä testin kesto. Testin tulos voi riippua esimerkiksi siitä suoritettiinko testi aamulla vai illalla, arkipäivänä vai viikonloppuna, kesällä vai talvella tai Suomessa vai Japanissa.

2. Datan vähyys ja tilastollisen testauksen puute

Testin voittaja voidaan päättää liian ajoissa, jolloin näennäisesti luullaan, että tiedetään jo mikä vaihtoehdoista on paras. Tarvittavan datan määrä riippuu siitä, kuinka luottavaisia oikean voittajan valinnasta halutaan olla,  ja kuinka isoja erot eri vaihtoehtojen kesken ovat. Tarvittavan datamäärän ennustamiseen on hyvä käyttää Testsignificanse-sivua.
Tilastollisen testauksen avulla pystytään myös lähes aina ratkaisemaan onko dataa tarpeeksi johtopäätöksen tekoon. Tilastollisen testauksen avulla todetaan, millä luottamustasolla tiedetään testin voittaja, eikä testin voittaja johdu satunnaisista vaihteluista eri vaihtoehtojen kesken. Voit ehkä opiskeluajoiltasi muistaa, että tilastollinen testaus on monimutkaista, mutta tosiasiassa se on yksinkertaista ja netistä löytyy useita apuvälineitä tähän tarkoitukseen. Googlen avulla löydät nopeasti Exceliin ladattavan mallin tai voit käyttää esimerkiksi House of Kaizenin nettisivuilla olevaa työkalua.

 3. Testaaminen ilman suunnitelmaa

Testauksen taustalla tulisi aina olla selkeä suunnitelma, mitä testataan ja miksi. Ilman suunnitelmaa testataan helposti vain lähes turhia mielipideasioita, kuten onko parempi, että call-to-action painikkeen väri on sininen vaivihreä. Tällöin testataan usein myös lähes identtisiä vaihtoehtoja keskenään, jolloin myöskään erot eivät tule olemaan suuria.
Tärkeintä olisi, että ensimmäiseksi testataan tärkeimpiä asioita ja eri vaihtoehdot poikkeavat  toisistaan selkeästi. Seuraavilla testeillä voidaan testata pienempiä muutoksia voittaneen vaihtoehdon sisällä. Suunnitelma auttaa varmistamaan, että testataan tärkeimpiä asioita ja helpottaa päätöksentekoa siitä, milloin kannattaa siirtyä testaamaan seuraavaa asiaa. Suunnitelman yhteydessä olisi hyvä muodostaa myös hypoteesit, siitä minkä takia toisen vaihtoehdon oletetaan voittavan. Näin pystytään paremmin ymmärtämään syitä tulosten takana.

4. Uutta testiä ei aloiteta valmistuneen jälkeen

Testattavaa riittää aina ja testauksen tulisi olla jatkuvaa eikä vain kertaluonteista. Kun testi on valmis, pitäisi olla selvä käsitys, mitä testataan seuraavaksi. Jos koetaan, että jo äsken testattuun asiaan on saatu tarpeeksi parannusta ja uudet parannukset ovat pieniä, kannattaa testata seuraavaksi tärkeintä asiaa.

Kun vältät nämä virheet pääset pitkälle A/B testauksessa ja saat häikäistyä taidoillasi kollegasi ja esimiehesi. Ja mikä tärkeintä vältettyä ehkä kalliidenkin virheiden tekemiset. Mitkä ovat sinun mielestä A/B testauksen yleisimmät virheet tai parhaat vinkit?


Comments

  1. Mielenkiintoinen postaus!

  2. […] Hakukoneoptimointi: Vältä nämä 4 yleisintä virhettä A/B testauksessa […]

  3. […] mitä tehdä jos A/B-testin perusteella havaitaan, että sininen väriteema brändin nettisivuilla tuo selkeästi paremmat […]

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *