Bayeslainen vs frekventisti A/B-testaus: opas maallikoille

Mitä on A/B-testaus? 

Mikäli et tiedä, mitä A/B-testaus on, otetaan pieni yleiskatsaus. 

Yleisesti ottaen, A/B-testaus tarkoittaa, että käytät tilastollista dataa selvittääksesi millä tekijöillä on suurin vaikutus nettisivusi (tai mainosten, uutiskirjeiden jne.) konversioprosenttiin. 

Yksinkertaisesti:

1. Luo kaksi (tai useampia) versiota halutusta nettisivustasi, 
2. Näytä nämä versiot nettisivun vierailijoille (on olemassa eri tapoja tehdä tämä) ja
3. Kun testi on tehty, analysoit tulokset ja katsot mikä versio suoriutui parhaiten, tai suoriutuu todennäköisimmin parhaiten (=mikä versio tuo lisää konversiota). 

Näin sinun ei tarvitse pohjata markkinointipäätöksiäsi mututuntumaan, vaan sinulla on tietoa mikä oikeasti toimii. 

Voit analysoida testausdataa eri lähestymistavoin, kuten bayeslaisella tai frekventistimenetelmällä. 

Miten bayeslainen ja frekventismi eroavat lähestymistapoina toisistaan? 

Niillä on erilaset tulkinnat todennäköisyydestä. Tarkastelemme eroja lähemmin pian. 

Emme mene kuitenkaan liikaa yksityiskohtiin tilastotieteestä puhuttaessa. Mikäli haluat tietää enemmän metodeista, katso lue lisää-osiosta artikkelin lopusta!

Mitä A/B-testauksella mitataan?

Asiat, jota pyrit testaamaan voivat olla hyvinkin yksinkertaisia. Itse asiassa, jopa kaikista pienimmillä yksityiskohdilla voi olla suuri vaikutus asiakaskokemukseen. 

Puhun esimerkiksi toimintakutsunapin sijoittamisesta, tai siitä, millä näkyvillä olevalla elementillä on vaikutusta ihmisten käytökseen. 

Jos esimerkiksi näytät arvosteluja tai suosituksia nettisivuillas, voit kokeilla erilaisia vaihtoehtoja ja kenties oppia jotain yllättävää.

Tämän lisäksi ei olisi järkeä testata liian montaa muuttujaa kerralla. 

Jos sinulla on viisi eri asiaa meneillään, miten voit osoittaa mikä niistä oikeasti vaikuttaa konversioon?

On parasta testata pieniä asioita yksi kerrallaan, jotta saat tarkempia tuloksia.

Frekventistinen lähestymistapa A/B-testaukseen

Frekventistinen lähestymistapa on näistä kahdesta perinteisempi. 

Muista, että sinulla on kaksi versiota nettisivusta: muuttuja A ja muuttuja B. 

Oletat, että yksi seuraavista hypoteeseista pitää paikkansa:

1. A:n ja B:n välillä ei ole eroa (= nollahypoteesi=
2. A:n ja B:n välillä on eroa

Sinun (tai tietokoneohjelman) tehtävänä on testata kumpi pitää paikkansa. Lisäksi tarvitset tarpeeksi todisteita siitä, että nollahypoteesi ei pidä paikkaansa. 

Tehdäksesi tämän, sinun on valittava otoskoko (=vierailijoiden määrä), joka näkee kunkin version nettisivusta. 

Kun otos on täysi, lopetat testin ja analysoit tulokset. 

Testin ongelmana kuitenkin on, että näillä muuttujilla ei ole täsmälleen samaa konversiota, vaikka ne olisivatkin identtisiä. Sattuman takia eroja tulee aina olemaan. 

Ja tästä johtuen sinun täytyy tietää löydöstesi tilastollinen merkitsevyys, eli p-arvo. Sinun täytyy todistaa, että löydöksesi ei ole vain sattumaa. 

Kun p-arvo on riittävä, voit olettaa, että tulos on tilastollisesti merkitsevä ja jokseenkin tarkka. 

Selvittääksesi kuinka laskea p-arvo, lue esimerkiksi tämä artikkeli.

Bayeslainen lähestymistapa A/B-testaukseen 

Ideologia bayeslaisen ajattelun takana on, että päivität uskomuksia saadessasi uutta tietoa. Tämä tilastollinen menetelmä pohjautuu myös tähän ideologiaan. 

Vaikka tämä onkin uudempi, bayeslaisesta lähestymistavasta on tullut digitaalisen markkinoinnin standardi. 

Perusidea bayeslaisen tilastomenetelmän takana on, että sillä lasketaan todennäköisyyksiä, eikä niinkään testata hypoteeseja. 

Sillä lasketaan jokaisen muuttujan todennäköisyysjakauma olemassaolevan tiedon pohjalta. Tieto tulee esimerkiksi siitä, mikä on sivuston keskimääräinen konversioprosentti.

Saat siis periaatteessa vastauksen kysymykseen “Kuinka todennäköisesti A on parempi kuin B” tai toisin päin. 

Todennäköisyysarvio muuttuu aina vain tarkemmaksi, kun keräät lisää havainnointidataa. 

Matematiikka bayeslaisen metodin takana on monimutkaista, joten en edes aloita.

Kumpi tulisi valita?

Tuloksista puhuttaessa, menetelmien välillä ei ole paljoa eroa. Jos yksi muuttuja suoriutuu toista paremmin, saat sen selville molemmilla menetelmillä. 

Prosessit kuitenkin näyttävät hieman erilaisilta. 

Asiantuntijat näyttävät kääntyvän kohti bayeslaista lähestymistapaa, sillä se on joustavampi ja nopeampi. Se on myös metodi, jota useimmat A/B-testausohjelmat käyttävät. 

Kun miettii mitä juuri opimme näistä menetelmistä, se käy järkeen. Frekventistimetodilla sinun täytyy odottaa, että tietty otos on täynnä. 

Bayeslaisella analyysilla saat tulokset aiemmin. Sinun täytyy vain valita mikä on paras aika ottaa riski ja tehdä muutoksia. 

Tiivistettynä: Mitkä ovat erot ja mitä väliä sillä on? 

Erot bayesilaisella ja frekventistimetodeilla ovat: 

• Frekventistisessä lähestymistavassa testaat hypoteeseja ja saat kiinteän pisteen (=mikä on testisi “oikea” konversioprosentti)
• Bayeslainen tilastomenetelmä koskee hypoteesien todennäköisyyksiä, eikä anna kiinteää numeroa (=miten todennäköisesti toinen vaihtoehto on toista parempi)
• Frekventistitestaus vie bayesilaista enemmän aikaa. 

Mutta mitä tämä tarkoittaa yrityksellesi? Mitä väliä tällä on?

Digitaalisen markkinoinnin asiantuntijat tuntuvat ajattelevan, että bayeslainen metodi on parempi, ja antaa mahdollisuuden reagoida joustavasti. 

Tulokset ovat kuitenkin samanlaiset metodista huolimatta. Ei ole niin, että frekventistisellä metodilla saat tulokseksi, että A on parempi, ja bayeslaisella taas jotain aivan muuta. 

Joten jos kaikki tämä menee ihan yli hilseen ja sinulla ei ole syytä suosia toista vaihtoehtoa… Ehkä tämä ei ole tärkein asia jota sinun tulee pohtia. 

Haluat ehkä valita itsellesi työkalun, joka käyttää toista näistä lähestymistavoista, mutta muuten sinun kannattaisia keskittyä muuhun. 

Lue lisää

Mikäli tämä opas maallikoille ei ollut tarpeeksi sinulle, tässä on joitain lähteitä, jotka voivat auttaa sinut pidemmälle: 

• Bayesian vs. Frequentist A/B Testing: What’s the Difference?
• Frequentist vs. Bayesian approach in A/B testing
• How to run better and more intuitive A/B tests using Bayesian statistics

Ja mikäli tilastokärpänen puraisi, tässä vähän raskaampaa luettavaa:

• Gronau, Q. F., Raj, K. N., & Wagenmakers, E. J. (2019). Informed Bayesian inference for the A/B test. https://arxiv.org/pdf/1905.02068.pdf 
• Mayo, D. G., & Cox, D. R. (2006). Frequentist statistics as a theory of inductive inference. In Optimality (pp. 77-97). Institute of Mathematical Statistics. https://doi.org/10.1214/074921706000000400 
• M. J. Bayarri. J. O. Berger. “The Interplay of Bayesian and Frequentist Analysis.” Statist. Sci. 19 (1) 58 – 80, February 2004. https://doi.org/10.1214/088342304000000116

UKK