bayesian vs frequentist a b testing

Optimize landing pages with:

  • a/b tested testimonials and reviews
  • a/b tested lead generation widgets

Sign up free

Annapas kun arvaan: olet pyörinyt ympäri internettiä löytääksesi tietoa A/B-testauksesta, mutta olet törmännyt vain vaikeisiin ja teknisiin selityksiin asiasta. 

Tunnen tuskasi! En itsekään ole mikään teknisten tai matemaattisten asioiden asiantuntija. 

Mutta älä huoli, sillä tässä blogipostauksessa selitämme sinulle bayeslaisen ja frekvenssiin pohjautuvan A/B-testauksen maallikon termein. (Tai ainakin yritän: product ownerimme mielestä ei ole olemassa “maallikon” selitystä asiaan! 😅)

Kun olet lukenut tämän et ole näiden metodien asiantuntija, mutta ainakin tiedät mitä ne ovat.

Jos etsit tarkkoja metodeja ja ohjeita todennäköisyyksien laskemiseen, niin parempi onni ensi kerralla!

Mitä on A/B-testaus? 

Mikäli et tiedä, mitä A/B-testaus on, otetaan pieni yleiskatsaus. 

Yleisesti ottaen, A/B-testaus tarkoittaa, että käytät tilastollista dataa selvittääksesi millä tekijöillä on suurin vaikutus nettisivusi (tai mainosten, uutiskirjeiden jne.) konversioprosenttiin

Yksinkertaisesti:

  1. Luo kaksi (tai useampia) versiota halutusta nettisivustasi, 
  2. Näytä nämä versiot nettisivun vierailijoille (on olemassa eri tapoja tehdä tämä) ja
  3. Kun testi on tehty, analysoit tulokset ja katsot mikä versio suoriutui parhaiten, tai suoriutuu todennäköisimmin parhaiten (=mikä versio tuo lisää konversiota). 

Näin sinun ei tarvitse pohjata markkinointipäätöksiäsi mututuntumaan, vaan sinulla on tietoa mikä oikeasti toimii. 

a/b test principle

Voit analysoida testausdataa eri lähestymistavoin, kuten bayeslaisella tai frekventistimenetelmällä. 

Miten bayeslainen ja frekventismi eroavat lähestymistapoina toisistaan? 

Niillä on erilaset tulkinnat todennäköisyydestä. Tarkastelemme eroja lähemmin pian. 

Emme mene kuitenkaan liikaa yksityiskohtiin tilastotieteestä puhuttaessa. Mikäli haluat tietää enemmän metodeista, katso lue lisää-osiosta artikkelin lopusta!

Mitä A/B-testauksella mitataan?

Asiat, jota pyrit testaamaan voivat olla hyvinkin yksinkertaisia. Itse asiassa, jopa kaikista pienimmillä yksityiskohdilla voi olla suuri vaikutus asiakaskokemukseen. 

Puhun esimerkiksi toimintakutsunapin sijoittamisesta, tai siitä, millä näkyvillä olevalla elementillä on vaikutusta ihmisten käytökseen. 

Jos esimerkiksi näytät arvosteluja tai suosituksia nettisivuillas, voit kokeilla erilaisia vaihtoehtoja ja kenties oppia jotain yllättävää.

a/b test reviews

Tämän lisäksi ei olisi järkeä testata liian montaa muuttujaa kerralla. 

Jos sinulla on viisi eri asiaa meneillään, miten voit osoittaa mikä niistä oikeasti vaikuttaa konversioon?

On parasta testata pieniä asioita yksi kerrallaan, jotta saat tarkempia tuloksia.

Frekventistinen lähestymistapa A/B-testaukseen

Frekventistinen lähestymistapa on näistä kahdesta perinteisempi. 

Muista, että sinulla on kaksi versiota nettisivusta: muuttuja A ja muuttuja B. 

Oletat, että yksi seuraavista hypoteeseista pitää paikkansa:

  1. A:n ja B:n välillä ei ole eroa (= nollahypoteesi=
  2. A:n ja B:n välillä on eroa

Sinun (tai tietokoneohjelman) tehtävänä on testata kumpi pitää paikkansa. Lisäksi tarvitset tarpeeksi todisteita siitä, että nollahypoteesi ei pidä paikkaansa. 

hypothesis definition

Tehdäksesi tämän, sinun on valittava otoskoko (=vierailijoiden määrä), joka näkee kunkin version nettisivusta. 

Kun otos on täysi, lopetat testin ja analysoit tulokset. 

Testin ongelmana kuitenkin on, että näillä muuttujilla ei ole täsmälleen samaa konversiota, vaikka ne olisivatkin identtisiä. Sattuman takia eroja tulee aina olemaan. 

Ja tästä johtuen sinun täytyy tietää löydöstesi tilastollinen merkitsevyys, eli p-arvo. Sinun täytyy todistaa, että löydöksesi ei ole vain sattumaa. 

Kun p-arvo on riittävä, voit olettaa, että tulos on tilastollisesti merkitsevä ja jokseenkin tarkka. 

Selvittääksesi kuinka laskea p-arvo, lue esimerkiksi tämä artikkeli.

frequentist a/b testing method

Bayeslainen lähestymistapa A/B-testaukseen 

Ideologia bayeslaisen ajattelun takana on, että päivität uskomuksia saadessasi uutta tietoa. Tämä tilastollinen menetelmä pohjautuu myös tähän ideologiaan. 

Vaikka tämä onkin uudempi, bayeslaisesta lähestymistavasta on tullut digitaalisen markkinoinnin standardi. 

Perusidea bayeslaisen tilastomenetelmän takana on, että sillä lasketaan todennäköisyyksiä, eikä niinkään testata hypoteeseja. 

Sillä lasketaan jokaisen muuttujan todennäköisyysjakauma olemassaolevan tiedon pohjalta. Tieto tulee esimerkiksi siitä, mikä on sivuston keskimääräinen konversioprosentti.

Saat siis periaatteessa vastauksen kysymykseen “Kuinka todennäköisesti A on parempi kuin B” tai toisin päin. 

Todennäköisyysarvio muuttuu aina vain tarkemmaksi, kun keräät lisää havainnointidataa. 

Matematiikka bayeslaisen metodin takana on monimutkaista, joten en edes aloita.

bayesian a/b testing method

Kumpi tulisi valita?

Tuloksista puhuttaessa, menetelmien välillä ei ole paljoa eroa. Jos yksi muuttuja suoriutuu toista paremmin, saat sen selville molemmilla menetelmillä. 

Prosessit kuitenkin näyttävät hieman erilaisilta. 

Asiantuntijat näyttävät kääntyvän kohti bayeslaista lähestymistapaa, sillä se on joustavampi ja nopeampi. Se on myös metodi, jota useimmat A/B-testausohjelmat käyttävät. 

Kun miettii mitä juuri opimme näistä menetelmistä, se käy järkeen. Frekventistimetodilla sinun täytyy odottaa, että tietty otos on täynnä. 

Bayeslaisella analyysilla saat tulokset aiemmin. Sinun täytyy vain valita mikä on paras aika ottaa riski ja tehdä muutoksia. 

Tiivistettynä: Mitkä ovat erot ja mitä väliä sillä on? 

Erot bayesilaisella ja frekventistimetodeilla ovat: 

  • Frekventistisessä lähestymistavassa testaat hypoteeseja ja saat kiinteän pisteen (=mikä on testisi “oikea” konversioprosentti)
  • Bayeslainen tilastomenetelmä koskee hypoteesien todennäköisyyksiä, eikä anna kiinteää numeroa (=miten todennäköisesti toinen vaihtoehto on toista parempi)
  • Frekventistitestaus vie bayesilaista enemmän aikaa. 

Mutta mitä tämä tarkoittaa yrityksellesi? Mitä väliä tällä on?

Digitaalisen markkinoinnin asiantuntijat tuntuvat ajattelevan, että bayeslainen metodi on parempi, ja antaa mahdollisuuden reagoida joustavasti. 

Tulokset ovat kuitenkin samanlaiset metodista huolimatta. Ei ole niin, että frekventistisellä metodilla saat tulokseksi, että A on parempi, ja bayeslaisella taas jotain aivan muuta. 

Joten jos kaikki tämä menee ihan yli hilseen ja sinulla ei ole syytä suosia toista vaihtoehtoa… Ehkä tämä ei ole tärkein asia jota sinun tulee pohtia. 

Haluat ehkä valita itsellesi työkalun, joka käyttää toista näistä lähestymistavoista, mutta muuten sinun kannattaisia keskittyä muuhun. 

Lue lisää

Mikäli tämä opas maallikoille ei ollut tarpeeksi sinulle, tässä on joitain lähteitä, jotka voivat auttaa sinut pidemmälle: 

Ja mikäli tilastokärpänen puraisi, tässä vähän raskaampaa luettavaa:

UKK

Mitä on A/B-testaus?

A/B-testauksessa kahta muuttujaa verrataan tilastollisen analyysin keinoin. Digitaalisessa markkinoinnissa yleensä testataan kumpi versio nettisivusta tai mainoksesta luo enemmän konversiota.

Mitä ovat bayesilanen metodi ja frekventistimetodi?

Frekventisti-lähestymistapa ja bayesilainen lähestymistapa ovat menetelmiä tilastollisessa analyysissa. Niitä voidaan soveltaa esimerkiksi A/B-testauksen tulosten analysointiin.  

Mitä ovat frekventistiset tilastomenetelmät?

A/B-testauksessa frekventistimenetelmät antavat vastauksen kysymykseen “kummalla nettisivulla on parempi konversio?”. Ensiksi määrittelet muuttujat ja otoskoon. Sen jälkeen tutkit niiden eroja ja käytät p-arvoa määrittämään löydöstesi tilastollisen merkitsevyyden. 

Mikä on bayesilainen menetelmä?

Bayesilaisella menetelmällä pyritään löytämään kumpi muuttuja A/B-testissäsi menestyy paremmin. Mitä enemmän dataa keräät, sitä tarkemmaksi arvio muuttuu. Bayesilainen menetelmä ei anna tarkkaa vastausta, vaan vaihteluvälin, jolla muuttuja toimii.

Kumpi on parempi, frekventisti vai bayesilaisuus? 

Menetelmät kertovat sinulle saman asian. Alan asiantuntijat kuitenkin turvautuvat bayesilaisiin menetelmiin nykyään, sillä ne ovat joustavampia ja tuovat arvioita nopeammin.