Was ist A/B-Testing?

Ein A/B-Test stellt zwei Versionen derselben Sache gegenüber. Version A ist meist die aktuelle, Version B enthält eine konkrete Änderung: eine andere Überschrift, ein anderes Formular, ein anders dargestellter Preis. Die Besucher werden zufällig auf beide verteilt, und jede Gruppe sieht nur ihre Variante. Weil beide Versionen gleichzeitig live sind und die Zuteilung zufällig erfolgt, wirkt alles Übrige auf beide Gruppen gleich: die Jahreszeit, eine laufende Kampagne, eine Meldung über die Branche.

Diese Gleichzeitigkeit macht aus einem Vergleich einen Test. Ohne sie hast du zwei verschiedene Zeiträume und keine Möglichkeit zu erkennen, ob die Verbesserung von deiner Änderung kommt oder vom Markt.

Die Methode ist keine Besonderheit von Webseiten. Sie funktioniert genauso bei E-Mail-Betreffzeilen, Anzeigenmotiven, Registrierungsstrecken und angezeigten Preisen. Von Fall zu Fall unterscheidet sich, wie viel Volumen nötig ist und wie schnell es zusammenkommt.

Ein sauber aufgesetzter Test folgt immer derselben Reihenfolge. Wer einen Schritt überspringt, macht das Ergebnis meist wertlos.

Zuerst formulierst du eine Hypothese, die auch falsch sein kann: „Das Formular über den Seitenumbruch zu ziehen, erhöht die Angebotsanfragen." Dann legst du eine einzige primäre Metrik fest, die entscheidet, und rechnest aus, wie viele Besucher nötig sind. Diese Rechnung hängt vom kleinsten Effekt ab, den du noch erkennen willst: Je kleiner die gesuchte Verbesserung, desto größer die nötige Stichprobe. Einen Sprung von 20 % in der Conversion-Rate nachzuweisen kostet einen Bruchteil des Traffics, den ein Nachweis von 2 % verlangt.

Steht die Stichprobengröße, startest du die zufällige Verteilung und lässt den Test laufen. Ist das geplante Volumen erreicht, prüfst du, ob der beobachtete Unterschied noch mit Zufall vereinbar ist. Üblich sind 95 % Konfidenz. Das heißt, du akzeptierst eine Wahrscheinlichkeit von 5 %, einen Gewinner anzuerkennen, den es gar nicht gibt. Diese 5 % gelten nur, wenn du das Ergebnis ein einziges Mal ansiehst, am Ende.

Der letzte Schritt ist die Entscheidung: B ausrollen, bei A bleiben oder den Test mit größerer Stichprobe wiederholen. Auch ein flaches Ergebnis ist eine Information, weil es eine Idee aussortiert, bevor daraus ein Projekt wird.

Der Wert des A/B-Testings liegt weniger im Finden von Gewinnern. Er liegt darin, Verlierer gar nicht erst auszurollen. Ein Relaunch, der die Conversion um 5 % senkt, fällt monatelang niemandem auf, wenn ihn keiner gegen die Vorversion gemessen hat, und bis dahin hat das Team schon darauf aufgebaut.

Die meisten Tests enden flach oder negativ. Am Anfang entmutigt das, und es ist der nützlichste Teil der Methode: Jede mit Daten verworfene Idee ist Budget, das nicht in ihre Entwicklung fließt.

Auch die Diskussion im Team verändert sich. Eine Hypothese, die vor dem Blick auf die Daten aufgeschrieben wurde, lässt sich bewerten. Eine Meinung darüber, welche Überschrift besser klingt, nicht. A/B-Testing verlagert die Debatte vom Geschmack zum Ergebnis, und das wiegt besonders schwer, wenn die Entscheidung ein Formular betrifft, durch das das ganze Geschäft läuft.

• Lege primäre Metrik und Stichprobengröße vor dem Start fest und notiere beides dort, wo du sie später nicht mehr ändern kannst.
• Lass den Test bis zum geplanten Volumen laufen und schließe immer volle Wochen ab: Ein Montag verhält sich anders als ein Sonntag.
• Ändere pro Test nur eine Sache, wenn du das Ergebnis erklären können willst.
• Nutzt der Test verschiedene URLs, leite mit einem 302 um und richte das rel="canonical" der Variante auf die ursprüngliche URL. Google verlangt es so.
• Baue den Testaufbau ab, sobald die Entscheidung gefallen ist. Google weist darauf hin, dass ein deutlich länger als nötig aktives Experiment als Täuschungsversuch gewertet werden kann.
• Bewahre auch die flachen und die negativen Tests auf. Sie sind das Protokoll dessen, was bereits geprüft wurde, und verhindern, dass in einem Jahr dasselbe Experiment noch einmal läuft.

• Den Test am ersten Tag stoppen, an dem „signifikant" erscheint. Jeder Zwischenblick gibt dem Zufall eine neue Gelegenheit, die Schwelle zu überschreiten. Bei wiederholtem Nachsehen liegt die tatsächliche Wahrscheinlichkeit eines falschen Gewinners weit über den angekündigten 5 %.
• Den Klick auf den Button messen statt die Bestellung. Eine Variante kann bei den Klicks gewinnen und beim Umsatz verlieren.
• Einen 301-Redirect für den Test verwenden. Google ersetzt dann die ursprüngliche URL im Index durch die der Variante, und nach dem Testende rankt die falsche URL.
• Googlebot eine andere Version ausliefern, „um ihn nicht zu stören". Das ist Cloaking und verstößt gegen die Spam-Richtlinien von Google.
• Einen Test auf einer Seite starten, die so wenig Traffic hat, dass sie die Stichprobengröße nie erreicht, und trotzdem mit den vorhandenen Daten entscheiden.