Bayesianische vs. Frequentistische A/B-Testing: Leitfaden für Dummies

Trustmary teamTrustmary team
Zuletzt bearbeitet: 8. November 2022
bayesian vs frequentist a b testing

Lassen Sie mich raten: Sie haben sich im Internet nach Informationen über A/B-Testing umgesehen, sind aber nur auf sehr technische und schwierige Erklärungen gestoßen.

Ich fühle Ihren Schmerz! Ich bin selbst nicht der technischste oder mathematischste Mensch.

Aber keine Sorge, in diesem Blog werden die Prinzipien der bayesianischen und frequentistischen A/B-Testing in Laiensprache erklärt. (Versuchen Sie es zumindest: Unser Produktverantwortlicher ist der Meinung, dass es keine “für Dummies”-Erklärung zu diesem Thema gibt!😅)

Nach dieser Lektüre werden Sie zwar kein Experte für diese Methoden sein, aber zumindest wissen Sie, was sie sind.

Wenn Sie nach genaueren Methoden und Anleitungen suchen, wie Sie selbst Wahrscheinlichkeiten berechnen können: Viel Glück beim nächsten Mal!

Was ist A/B-Testing?

Falls Sie noch nichts über A/B-Testing wissen, geben wir Ihnen einen kurzen Überblick.

Im Allgemeinen bedeutet A/B-Testing, dass Sie anhand statistischer Daten herausfinden, welche Elemente die größte Wirkung auf die Konversionsrate Ihrer Website (oder Anzeigen, Newsletter usw.) haben.

Im Grunde genommen, Sie: 

  1. zwei (oder mehrere) Versionen der gewünschten Webseite erstellen, 
  2. diese Versionen Ihren Website-Besuchern zeigen (es gibt verschiedene Möglichkeiten, dies zu tun) und 
  3. Nach Abschluss der Prüfung analysieren Sie die Ergebnisse und stellen fest, welche Version besser abgeschnitten hat oder voraussichtlich besser abschneiden wird (=welche Version mehr Konversionen generiert).

Auf diese Weise müssen Sie sich bei Ihren Marketingentscheidungen nicht auf eine “Ahnung” oder ein Gefühl stützen, sondern Sie haben echte Daten darüber, was wirklich funktioniert.

a/b test principle

Sie können die Prüfungsdaten nach verschiedenen Ansätzen analysieren, z. B. nach der Bayes’schen Statistik oder der Frequentistischen Statistik.

Wie unterscheiden sich also bayesianische und frequentistische Ansätze voneinander?

Im Grunde genommen haben sie unterschiedliche Interpretationen der Wahrscheinlichkeiten. Wir werden uns die Unterschiede demnächst kurz ansehen.

Wir gehen jedoch nicht zu sehr ins Detail, was die Statistiken betrifft. Wenn Sie mehr über die genauen Methoden erfahren möchten, lesen Sie die weiterführende Literatur am Ende des Artikels!

Welche Dinge werden mit A/B-Testing gemessen?

Die Dinge, die Sie prüfen, müssen nicht unbedingt großartig sein.

In der Tat können die kleinsten Details manchmal große Auswirkungen auf das Kundenerlebnis haben.Ich spreche von Dingen wie der Platzierung eines CTA-Buttons oder davon, welches präsentierte Element einen größeren Effekt auf das Verhalten der Menschen hat.

Wenn Sie zum Beispiel auf Ihrer Website Bewertungen oder Testimonials präsentieren, können Sie verschiedene Optionen ausprobieren und vielleicht etwas Überraschendes erfahren.

a/b test reviews

Außerdem wäre es nicht sinnvoll, zu viele Variablen gleichzeitig zu prüfen. 

Wenn Sie 5 verschiedene Dinge tun, wie können Sie herausfinden, welche davon wirklich die Konversionen beeinflussen?

Es ist am besten, kleine Dinge einzeln zu prüfen, um sicherzustellen, dass Sie genaue Ergebnisse erhalten.

Grundgedanke des Frequentismus-Ansatzes für A/B-Testing

Der frequentistische Ansatz ist der traditionellere der beiden Ansätze.

Denken Sie daran, dass Sie zwei Versionen der Website haben: Variable A und Variable B.

Sie nehmen an, dass eine der folgenden Hypothesen wahr ist:

  1. Es gibt keinen Unterschied zwischen A und B (=Nullhypothese)
  2. Es gibt einen Unterschied zwischen A und B

Ihre Aufgabe (oder die Aufgabe der Software-Tools) ist es, zu prüfen, welche Hypothese wahr ist. Außerdem brauchen Sie genügend Beweise, um zu beweisen, dass die Nullhypothese nicht wahr ist.

hypothesis definition

Dazu wählen Sie eine Stichprobengröße (=Anzahl der Besucher), die jede Version der Website sehen sollen.

Sobald der Stichprobenumfang erreicht ist, beenden Sie den Test und können mit der Analyse der Ergebnisse beginnen.

Das Problem bei der Prüfung ist, dass die Varianten wahrscheinlich nicht genau die gleiche Konversionsrate haben werden, selbst wenn sie identisch wären. Es gibt zwangsläufig einige Unterschiede, die auf Zufälle zurückzuführen sind.

Aus diesem Grund müssen Sie die statistische Signifikanz des Ergebnisses kennen, d. h. den p-Wert. Sie müssen beweisen, dass das Ergebnis nicht nur ein Zufall ist.

Wenn der p-Wert angemessen ist, können Sie davon ausgehen, dass das Ergebnis statistisch signifikant und einigermaßen genau ist.

Wie Sie den p-Wert berechnen können, erfahren Sie z. B. in diesem Artikel.

frequentist a/b testing method

Grundgedanke des Bayes’schen Ansatzes für A/B-Testing

Die Ideologie hinter dem Bayes’schen Denken ist, dass man seine Überzeugungen aktualisiert, wenn man neue Informationen erhält. Auch die statistische Methode basiert auf dieser Ideologie.

Obwohl der Bayes’sche Ansatz neuer ist, hat er sich zum Standard in der digitalen Marketingbranche entwickelt.

Der Grundgedanke der Bayes’schen Statistik besteht darin, dass sie Wahrscheinlichkeiten berechnet, anstatt Hypothesen zu prüfen.

Es berechnet die Wahrscheinlichkeitsverteilung jeder Variante auf der Grundlage von Vorabinformationen. Das Vorwissen stammt z. B. aus der Frage, wie hoch die durchschnittliche Konversionsrate für eine Website ist.

Im Grunde erhalten Sie eine Antwort auf die Frage “Wie wahrscheinlich ist es, dass A besser ist als B” oder umgekehrt.

Die Wahrscheinlichkeitsschätzung wird immer genauer, je mehr Beobachtungsdaten Sie sammeln.

Die Mathematik, die hinter der Bayes-Methode steht, ist sehr komplex, so dass ich darauf nicht näher eingehen werde.

bayesian a/b testing method

Welche sollten Sie wählen?

In Bezug auf die Ergebnisse gibt es keine großen Unterschiede zwischen den Ansätzen. Wenn eine Variante besser abschneidet als die andere, wird dies bei beiden Methoden deutlich.

Allerdings sehen die Prozesse etwas anders aus.

Die Experten scheinen sich für den Bayes’schen Ansatz zu entscheiden, da er flexibler und schneller ist. Es ist auch die Methode, die die meisten Software-Tools für A/B-Testing verwenden.

Wenn man bedenkt, was wir gerade über die beiden Ansätze gelernt haben, macht das Sinn.

Beim frequentistischen Ansatz muss man warten, bis eine bestimmte Datenstichprobe erfüllt ist. 

Bei der Bayes’schen Analyse können Sie Schätzungen früher erhalten. Sie müssen nur entscheiden, wann der beste Zeitpunkt ist, das Risiko einzugehen und Änderungen vorzunehmen.

TLDR: Was ist der Unterschied und was bedeutet er für mich?

Die Unterschiede zwischen Bayes’schen und Frequentistischen Methoden sind: 

  • Beim Frequentismus prüft man Hypothesen und erhält eine Festpunktschätzung (=die “wahre” Konversionsrate in Ihrem Test).
  • In der Bayes’schen Statistik werden Wahrscheinlichkeiten für die Hypothesen vergeben, nicht eine feste Zahl (=wie wahrscheinlich ist eine Option besser als die andere).
  • Frequentistische Prüfungen benötigen mehr Zeit als Bayes’sche Schätzungen.

Aber was bedeutet das für Ihr Unternehmen? Warum sollte Sie das interessieren?

Experten für digitales Marketing scheinen der Meinung zu sein, dass Bayes’sche Methoden besser sind und flexiblere Reaktionen ermöglichen.

Die Ergebnisse sind jedoch unabhängig von der Methode letztlich ähnlich. Es ist ja nicht so, dass die Frequentisten-Analyse besagt, dass A besser ist, während die Bayesianer das Gegenteil behaupten.

Wenn Ihnen das alles zu hoch ist und Sie keine starke ideologische Präferenz für eine der beiden Optionen haben… Vielleicht ist das nicht das Wichtigste, was Sie in Betracht ziehen sollten.

Und wenn Sie eine Software für A/B-Testing einsetzen, müssen Sie sich über diese Dinge keine Gedanken machen. 

Vielleicht möchten Sie sich für ein Tool entscheiden, das den einen oder anderen dieser Ansätze verwendet, aber ansonsten sollten Sie sich wahrscheinlich auf etwas anderes konzentrieren.

Weitere Lektüre

Wenn Ihnen dieser Leitfaden für Dummies nicht ausreicht, finden Sie hier einige Ressourcen, die Ihnen weiterhelfen könnten:

Für den Fall, dass Sie das Statistikfieber gepackt hat, finden Sie hier einige schwerere Ressourcen:

FAQ

Was ist eine A/B-Testing?

Bei der A/B-Testing werden zwei Variablen mit Hilfe einer statistischen Analyse miteinander verglichen. Im digitalen Marketing bedeutet dies in der Regel, dass geprüft wird, welche Version der Website oder der Anzeige mehr Conversions generiert.

Was sind frequentistische und bayesianische Methoden?

Frequentistische und Bayes’sche Ansätze sind Methoden der statistischen Analyse. Sie können z. B. bei der Analyse der Ergebnisse eines A/B-Tests angewendet werden.

Was sind frequentistische statistische Methoden?

Bei A/B-Testing liefern frequenzstatistische Methoden eine Antwort auf die Frage “Welche Website hat die bessere Konversionsrate?”. Zunächst legen Sie die Variablen und den Stichprobenumfang fest. Anschließend untersuchen Sie die Unterschiede zwischen den Variablen und ermitteln mit Hilfe des p-Werts die statistische Signifikanz Ihrer Ergebnisse. 

Was ist die Bayes’sche Methode?

Bei der Bayes’schen Methode geht es darum, herauszufinden, welche Variable Ihres A/B-Tests wahrscheinlich besser abschneidet. Je mehr Daten Sie sammeln, desto genauer wird die Schätzung. Die Bayes-Methode liefert keine exakte Antwort, sondern eher eine Spanne, in der sich die Variable bewegen wird.

Was ist besser, der frequentistische oder der bayesianische Ansatz?

Beide Methoden sagen Ihnen im Wesentlichen dasselbe. Experten auf diesem Gebiet setzen jedoch heutzutage auf Bayes’sche Methoden, da diese flexibler sind und schneller Schätzungen liefern.



Trustmary ist der effektivste Weg, um durch die Verbesserung des digitalen Vertrauens mehr Verkäufe zu erzielen.