Multivariate vs. A/B-Tests: Der Unterschied wird erklärt

A/B-Tests erklärt

A/B-Testing ist eine Strategie zur Conversion-Rate-Optimierung, bei der Sie herausfinden wollen, welche der beiden Versionen Ihrer Website besser funktioniert = mehr Konversionen bringt.

Im Allgemeinen umfasst ein A/B-Test zwei Versionen Ihrer Website oder eines Website-Elements. Diese Versionen sollten nur einen Unterschied aufweisen, damit wir sehen können, wie sich dieser eine Faktor auf die Conversion Rates auswirkt.

In der Praxis bedeutet dies, dass Sie Ihre ursprüngliche Website haben, eine andere Version mit einer kleinen Änderung erstellen und sich die Frage stellen: Ist die neue Version besser als die aktuelle Version?

Der Anwendungsfall könnte sein 

• Welches Bild funktioniert am besten?
• Welche Platzierung der CTA-Schaltfläche am besten funktioniert
• Welche Rezension funktioniert am besten?
• Und andere Details wie diese

Wenn Sie einen A/B-Test mit zu vielen Seitenelementen beginnen, können Sie nicht sicher sein, welches von ihnen die Ergebnisse des Experiments beeinflusst hat. Die Methodik ist dafür einfach nicht flexibel genug.

Definition von multivariaten Tests

Multivariate Tests (MVT-Tests) sind A/B-Tests auf Steroiden.

Anstelle von zwei Variablen können Sie verschiedene Seitenelemente und deren Kombinationen untersuchen! 

Sie können z. B. drei verschiedene Bilder und drei verschiedene Schriftarten verwenden und für jede Kombination eine eigene Seitenversion erstellen, so dass sich 9 verschiedene Versionen der Seite ergeben.

Mit dieser Methode lernen Sie, wie die Variablen miteinander interagieren: Sie erfahren, welche Elemente am besten zusammenarbeiten.

Übertreiben Sie es aber nicht, denn sonst wird der Test zu schwer und dauert zu lange.

In der Tat sind multivariate Tests recht komplex und benötigen Zeit, weshalb Sie sich auf das Gesamtbild konzentrieren sollten. 

Wählen Sie Elemente, die wirklich einen Unterschied für Ihre Conversion Rate ausmachen, anstatt kleinere Details zu verbessern (überlassen Sie das den A/B-Testern).

Anwendungsfälle für multivariate Tests:

• Wenn Sie radikale Veränderungen vornehmen wollen
• Sehen, wie verschiedene Elemente zusammenwirken
• Wenn Sie mehrere Verbesserungsideen haben und alle gleichzeitig testen wollen

Was ist der Unterschied zwischen den beiden?

Technisch gesehen ist das multivariate Testen eine “Unterkategorie” des A/B-Tests. 

Noch einmal: Der Unterschied besteht darin, dass sich A/B-Tests in der Regel auf jeweils eine Variable konzentrieren, während multivariate Tests (wie der Name schon sagt) dazu verwendet werden können, mehrere Variablen gleichzeitig zu testen.

Achtung! Das Beispielbild unten zeigt 9 verschiedene Versionen einer Website, aber das bedeutet nicht, dass sie für Ihren Test genau gleich sein muss.

Einen genaueren Vergleich finden Sie in der Tabelle.

Ähnlichkeiten zwischen den beiden 

Mal sehen, was die beiden gemeinsam haben!

Die Ähnlichkeiten haben eher mit dem Planungsprozess zu tun, damit, wie man die besten Ergebnisse erzielt und wie man auf sie reagiert.

• Bevor Sie einen Test starten, analysieren Sie Ihr Problem
• Bestimmen Sie ein Konversionsziel
• Eine Hypothese oder mehrere Hypothesen formulieren
• Richten Sie den Test sorgfältig so ein, dass er das misst, was Sie messen wollen.
• Genügend Besucher auf jede Testseite leiten
• Die Ergebnisse müssen statistisch signifikant sein, um aussagekräftig zu sein.
• Nach der Analyse der Ergebnisse und der Bestätigung, dass sie korrekt sind, Änderungen vornehmen
• Beide Tests können mit Hilfe von Software-Tools durchgeführt werden
• Erfolgreiche Tests verhelfen Ihnen zu mehr Umsätzen und Verkäufen
• Wenn Sie keine signifikante Veränderung der Testergebnisse feststellen, sollten Sie Ihre Aufmerksamkeit auf andere Dinge als Ihre Website richten.

Wie wäre es, sie gleichzeitig zu verwenden?

Wie Sie sehen, haben beide Testmethoden ihre eigenen Vor- und Nachteile. Sie fragen sich vielleicht, ob Sie beide gleichzeitig nutzen können.

Es ist nicht empfehlenswert, mehrere Tests gleichzeitig für dieselbe Seite durchzuführen. Es ist äußerst schwierig, den Verkehr gleichmäßig auf alle verschiedenen Versionen der Seite zu verteilen, und es würde lange dauern, bis eine statistische Signifikanz erreicht wird.

Allerdings bedeutet die Verwendung des einen oder des anderen nicht, dass Sie sich für immer daran halten müssen!

Wenn Sie mehrere Landing-Pages haben, können Sie eine Landing-Page mit einem MVT-Test und eine andere mit einem A/B-Test testen, wenn das den Prozess beschleunigen würde, herauszufinden, wie Sie Ihre Website auf lange Sicht organisieren sollten. Diese Strategie hat allerdings ihre Tücken.

Es könnte eine gute Idee sein, die Methoden als gegenseitige Unterstützung im Prozess der Konversionsoptimierung zu verwenden.

Wenn Sie z. B. zwei sehr unterschiedliche Landing-Page-Ideen haben (so weit, dass es sich nicht einmal um dieselben Elemente handelt), könnten Sie zunächst einen A/B-Test mit den beiden Seiten durchführen, die Seite mit der besten Leistung ermitteln und dann genauer untersuchen, welche einzelnen Elemente und Kombinationen die Wirkung maximieren.

Denken Sie daran, dass die Durchführung dieser Tests Sie von Ihren anderen Aufgaben abhält, und Sie sollten sorgfältig abwägen, ob die Tests der beste Weg sind, Ihre Zeit und Mühe zu investieren.

Was ist zu tun, wenn keine Besserung eintritt?

A/B-Tests und multivariate Tests sind wirksame Techniken zur Conversion-Rate-Optimierung, mit denen Sie den größten Nutzen aus Ihrem bestehenden Website-Traffic ziehen können.

Denken Sie daran, dass die Optimierung der Konversionsrate einer Website nicht alles ist. Wenn die Tests keine signifikante Verbesserung der Conversion Rate zeigen, egal was Sie tun, ist das kein Zeichen dafür, dass Sie mehr Tests durchführen sollten: Es ist ein Zeichen dafür, dass Sie sich auf die Verbesserung von etwas anderem konzentrieren sollten.

Vielleicht brauchen Sie in erster Linie mehr Besucher (machen Sie mehr aufsuchendes Marketing), oder es geht um Ihr Produkt, den Preis, die Kundenerfahrung, die Glaubwürdigkeit und so weiter.

Um herauszufinden, was Ihre Website-Besucher wirklich daran hindert, zu konvertieren, führen Sie Umfragen durch und fragen Sie die Besucher direkt!

Schlussfolgerung

Der Unterschied zwischen A/B- und multivariaten Tests besteht darin, dass 

• Beim A/B-Testing testen Sie zwischen zwei Versionen Ihrer Webseite (ohne zu wissen, was die Unterschiede bei den Konversionen tatsächlich verursacht), und 
• Der multivariate Test berücksichtigt alle Elemente und alle möglichen Kombinationen und zeigt auf, mit welchen Seitenelementen die Besucher am meisten interagieren.

Beide Testmethoden haben ihre Vor- und Nachteile, und Sie sollten sorgfältig abwägen, welche Methode für Ihren nächsten Test besser geeignet ist.

Es ist möglich, beide Tests zur gegenseitigen Unterstützung in Ihrem Optimierungsprozess einzusetzen, aber nicht gleichzeitig.

Vergessen Sie nicht, wirklich zu prüfen, ob die Optimierung der Website-Konversion das Beste ist, was Sie jetzt für Ihr Unternehmen tun können. Wenn Sie noch nicht viele Besucher haben oder wenn Ihr Produkt unzureichend ist, gibt es dringendere Probleme zu lösen.

Wenn Sie sich entschließen, einen multivariaten oder A/B-Test durchzuführen, gibt es zahlreiche Software-Tools wie Trustmary, die Ihnen dabei helfen.

Weitere Lektüre

• Multivariate Tests: Die Grundlagen, die Sie brauchen
• Bayesianische vs. Frequentistische A/B-Tests: Leitfaden für Dummies
• Der endgültige Leitfaden zur Optimierung der Conversion Rate

FAQ