Bayesianische vs. Frequentistische A/B-Testing: Leitfaden für Dummies

Was ist A/B-Testing?

Falls Sie noch nichts über A/B-Testing wissen, geben wir Ihnen einen kurzen Überblick.

Im Allgemeinen bedeutet A/B-Testing, dass Sie anhand statistischer Daten herausfinden, welche Elemente die größte Wirkung auf die Konversionsrate Ihrer Website (oder Anzeigen, Newsletter usw.) haben.

Im Grunde genommen, Sie: 

1. zwei (oder mehrere) Versionen der gewünschten Webseite erstellen, 
2. diese Versionen Ihren Website-Besuchern zeigen (es gibt verschiedene Möglichkeiten, dies zu tun) und 
3. Nach Abschluss der Prüfung analysieren Sie die Ergebnisse und stellen fest, welche Version besser abgeschnitten hat oder voraussichtlich besser abschneiden wird (=welche Version mehr Konversionen generiert).

Auf diese Weise müssen Sie sich bei Ihren Marketingentscheidungen nicht auf eine “Ahnung” oder ein Gefühl stützen, sondern Sie haben echte Daten darüber, was wirklich funktioniert.

Sie können die Prüfungsdaten nach verschiedenen Ansätzen analysieren, z. B. nach der Bayes’schen Statistik oder der Frequentistischen Statistik.

Wie unterscheiden sich also bayesianische und frequentistische Ansätze voneinander?

Im Grunde genommen haben sie unterschiedliche Interpretationen der Wahrscheinlichkeiten. Wir werden uns die Unterschiede demnächst kurz ansehen.

Wir gehen jedoch nicht zu sehr ins Detail, was die Statistiken betrifft. Wenn Sie mehr über die genauen Methoden erfahren möchten, lesen Sie die weiterführende Literatur am Ende des Artikels!

Welche Dinge werden mit A/B-Testing gemessen?

Die Dinge, die Sie prüfen, müssen nicht unbedingt großartig sein.

In der Tat können die kleinsten Details manchmal große Auswirkungen auf das Kundenerlebnis haben.Ich spreche von Dingen wie der Platzierung eines CTA-Buttons oder davon, welches präsentierte Element einen größeren Effekt auf das Verhalten der Menschen hat.

Wenn Sie zum Beispiel auf Ihrer Website Bewertungen oder Testimonials präsentieren, können Sie verschiedene Optionen ausprobieren und vielleicht etwas Überraschendes erfahren.

Außerdem wäre es nicht sinnvoll, zu viele Variablen gleichzeitig zu prüfen. 

Wenn Sie 5 verschiedene Dinge tun, wie können Sie herausfinden, welche davon wirklich die Konversionen beeinflussen?

Es ist am besten, kleine Dinge einzeln zu prüfen, um sicherzustellen, dass Sie genaue Ergebnisse erhalten.

Grundgedanke des Frequentismus-Ansatzes für A/B-Testing

Der frequentistische Ansatz ist der traditionellere der beiden Ansätze.

Denken Sie daran, dass Sie zwei Versionen der Website haben: Variable A und Variable B.

Sie nehmen an, dass eine der folgenden Hypothesen wahr ist:

1. Es gibt keinen Unterschied zwischen A und B (=Nullhypothese)
2. Es gibt einen Unterschied zwischen A und B

Ihre Aufgabe (oder die Aufgabe der Software-Tools) ist es, zu prüfen, welche Hypothese wahr ist. Außerdem brauchen Sie genügend Beweise, um zu beweisen, dass die Nullhypothese nicht wahr ist.

Dazu wählen Sie eine Stichprobengröße (=Anzahl der Besucher), die jede Version der Website sehen sollen.

Sobald der Stichprobenumfang erreicht ist, beenden Sie den Test und können mit der Analyse der Ergebnisse beginnen.

Das Problem bei der Prüfung ist, dass die Varianten wahrscheinlich nicht genau die gleiche Konversionsrate haben werden, selbst wenn sie identisch wären. Es gibt zwangsläufig einige Unterschiede, die auf Zufälle zurückzuführen sind.

Aus diesem Grund müssen Sie die statistische Signifikanz des Ergebnisses kennen, d. h. den p-Wert. Sie müssen beweisen, dass das Ergebnis nicht nur ein Zufall ist.

Wenn der p-Wert angemessen ist, können Sie davon ausgehen, dass das Ergebnis statistisch signifikant und einigermaßen genau ist.

Wie Sie den p-Wert berechnen können, erfahren Sie z. B. in diesem Artikel.

Grundgedanke des Bayes’schen Ansatzes für A/B-Testing

Die Ideologie hinter dem Bayes’schen Denken ist, dass man seine Überzeugungen aktualisiert, wenn man neue Informationen erhält. Auch die statistische Methode basiert auf dieser Ideologie.

Obwohl der Bayes’sche Ansatz neuer ist, hat er sich zum Standard in der digitalen Marketingbranche entwickelt.

Der Grundgedanke der Bayes’schen Statistik besteht darin, dass sie Wahrscheinlichkeiten berechnet, anstatt Hypothesen zu prüfen.

Es berechnet die Wahrscheinlichkeitsverteilung jeder Variante auf der Grundlage von Vorabinformationen. Das Vorwissen stammt z. B. aus der Frage, wie hoch die durchschnittliche Konversionsrate für eine Website ist.

Im Grunde erhalten Sie eine Antwort auf die Frage “Wie wahrscheinlich ist es, dass A besser ist als B” oder umgekehrt.

Die Wahrscheinlichkeitsschätzung wird immer genauer, je mehr Beobachtungsdaten Sie sammeln.

Die Mathematik, die hinter der Bayes-Methode steht, ist sehr komplex, so dass ich darauf nicht näher eingehen werde.

Welche sollten Sie wählen?

In Bezug auf die Ergebnisse gibt es keine großen Unterschiede zwischen den Ansätzen. Wenn eine Variante besser abschneidet als die andere, wird dies bei beiden Methoden deutlich.

Allerdings sehen die Prozesse etwas anders aus.

Die Experten scheinen sich für den Bayes’schen Ansatz zu entscheiden, da er flexibler und schneller ist. Es ist auch die Methode, die die meisten Software-Tools für A/B-Testing verwenden.

Wenn man bedenkt, was wir gerade über die beiden Ansätze gelernt haben, macht das Sinn.

Beim frequentistischen Ansatz muss man warten, bis eine bestimmte Datenstichprobe erfüllt ist. 

Bei der Bayes’schen Analyse können Sie Schätzungen früher erhalten. Sie müssen nur entscheiden, wann der beste Zeitpunkt ist, das Risiko einzugehen und Änderungen vorzunehmen.

TLDR: Was ist der Unterschied und was bedeutet er für mich?

Die Unterschiede zwischen Bayes’schen und Frequentistischen Methoden sind: 

• Beim Frequentismus prüft man Hypothesen und erhält eine Festpunktschätzung (=die “wahre” Konversionsrate in Ihrem Test).
• In der Bayes’schen Statistik werden Wahrscheinlichkeiten für die Hypothesen vergeben, nicht eine feste Zahl (=wie wahrscheinlich ist eine Option besser als die andere).
• Frequentistische Prüfungen benötigen mehr Zeit als Bayes’sche Schätzungen.

Aber was bedeutet das für Ihr Unternehmen? Warum sollte Sie das interessieren?

Experten für digitales Marketing scheinen der Meinung zu sein, dass Bayes’sche Methoden besser sind und flexiblere Reaktionen ermöglichen.

Die Ergebnisse sind jedoch unabhängig von der Methode letztlich ähnlich. Es ist ja nicht so, dass die Frequentisten-Analyse besagt, dass A besser ist, während die Bayesianer das Gegenteil behaupten.

Wenn Ihnen das alles zu hoch ist und Sie keine starke ideologische Präferenz für eine der beiden Optionen haben… Vielleicht ist das nicht das Wichtigste, was Sie in Betracht ziehen sollten.

Und wenn Sie eine Software für A/B-Testing einsetzen, müssen Sie sich über diese Dinge keine Gedanken machen. 

Vielleicht möchten Sie sich für ein Tool entscheiden, das den einen oder anderen dieser Ansätze verwendet, aber ansonsten sollten Sie sich wahrscheinlich auf etwas anderes konzentrieren.

Weitere Lektüre

Wenn Ihnen dieser Leitfaden für Dummies nicht ausreicht, finden Sie hier einige Ressourcen, die Ihnen weiterhelfen könnten:

• Bayesian vs. Frequentist A/B Testing: What’s the Difference?
• Frequentist vs. Bayesian approach in A/B testing
• How to run better and more intuitive A/B tests using Bayesian statistics

Für den Fall, dass Sie das Statistikfieber gepackt hat, finden Sie hier einige schwerere Ressourcen:

• Gronau, Q. F., Raj, K. N., & Wagenmakers, E. J. (2019). Informed Bayesian inference for the A/B test. https://arxiv.org/pdf/1905.02068.pdf 
• Mayo, D. G., & Cox, D. R. (2006). Frequentist statistics as a theory of inductive inference. In Optimality (pp. 77-97). Institute of Mathematical Statistics. https://doi.org/10.1214/074921706000000400 
• M. J. Bayarri. J. O. Berger. “The Interplay of Bayesian and Frequentist Analysis.” Statist. Sci. 19 (1) 58 – 80, February 2004. https://doi.org/10.1214/088342304000000116

FAQ