23. Juni 2017 // von Nathalie

A/B Testing

A/B Testing ist in aller Munde – auch bei Thomann. Seit einiger Zeit tasten wir uns an dieses Thema heran und informieren uns über die unterschiedlichen Möglichkeiten wie A/B-Tests durchgeführt, welche Bereiche auf der mobilen Thomann-Webseite getestet werden oder wie die A und B (und auch C) Varianten aussehen können und wie die Ergebnisse eines Tests zu interpretieren sind. Doch um all diese Fragen diskutieren zu können, mussten wir zunächst einmal herausfinden, was genau A/B-Testing bedeutet.

Was ist AB Testing?

A/B Testing ist ein Verfahren, das derzeit häufig auf Webseiten eingesetzt wird, um herauszufinden, ob die Gestaltung oder die Positionierung eines Elementes der Seite ein bestimmtes Nutzerverhalten erzielt. Anders formuliert: Es soll getestet werden, ob eine neue Variante (B) besser performed als die aktuell bestehende Variante (A).

Zum Beispiel könnte die Annahme sein, dass ein grüner „Jetzt kaufen"-Button auf der Checkout-Seite einladender wirkt und daher öfter geklickt wird als der derzeit bestehende „Jetzt kaufen“-Button in rot. Die Hypothese ist also: Mit einem grünen Button kaufen die Nutzer öfter ein.

Um den A/B-Test durchzuführen wird der grüne Button implementiert und an 50% der Besucher ausgespielt - die restlichen 50% sehen, wie bisher auch, den roten Button. Nach der Testphase wird ausgewertet, welche Variante der Hypothese am nächsten gekommen ist.

Was ist wichtig beim Durchführen von Tests?

Das Verfahren soll zur Optimierung der Conversion Rate im Hinblick auf ein bestimmtes Ziel dienen, welches für jeden Test neu definiert werden muss. Was möchte ich mit meiner neuen Variante B erreichen bzw. verbessern?

  • Eine Steigerung der Käufe, wie im Beispiel mit dem grünen Button?
  • Mehr Klicks auf den Share-Button?
  • Mehr Pageviews?
  • Eine niedrigere Absprungrate?
  • Mehr Anmeldungen für den Newsletter?

Es gibt ganz unterschiedliche Ziele, die mit A/B Testing verfolgt werden können. Wichtig ist jedoch, dass vor dem Starten des Tests eine konkrete Annahme definiert wird, damit die gesammelten Daten auf diese These hin interpretiert werden können.

Eine eine ebenso große Rolle spielen die Dauer und der Zeitpunkt des Tests. Je nachdem, auf welches Ziel hin getestet werden soll, muss darauf geachtet werden, an welchen Tagen der Test läuft. Ist er über ein Wochenende aktiv? Oder nur an Werktagen? Liegt möglicherweise ein Feiertag innerhalb des Testzeitraums? Wie ist das Wetter im Laufe in dieser Zeit? Im besten Falle sollte er über mehrere Tage laufen, um äußere Faktoren und große Ausreißer auszugleichen.

Außerdem gilt die Regel: Ein Test kommt selten allein! Ein einzelner A/B Test kann keine definitive Antwort geben, sondern nur einen Einblick gewähren in die Auswirkungen, die die Änderung nach sich ziehen könnte. Was wäre zum Beispiel, wenn zwar der grüne Button öfter geklickt wird als der rote, aber vielleicht wird der rote häufiger genutzt, wenn er sich an einer anderen Position auf der Seite befindet? Hier zeigt sich, wie schnell vermeintlich simple Tests plötzlich verschachtelt und zu schwierigeren Fragestellungen werden können. A/B Testing ist also immer ein iteratives Verfahren, das viele Fragen stellt und sich den Antworten immer nur nähern, sie aber nie definitiv beantworten kann.

Welche Möglichkeiten für A/B Tests gibt es?

Schon vor einiger Zeit haben wir ein eigenes internes Testing-Framework entwickelt. Per Zufall wird dort entschieden, in welche Gruppe der Benutzer eingeteilt wird, also ob er Version A oder B sieht. Da wir ohnehin bereits mit Splunk als Analysetool arbeiten, kann auch dort nachverfolgt werden, welche Variante welchen Einfluss auf das Verhalten der Nutzer bezüglich der eingangs festgelegten Hypothese hat. Ein großer Vorteil des selbst entwickelten Frameworks ist, dass wir viele dieser Daten für interne Auswertungen ohnehin schon sammeln, wir müssen sie lediglich mit dem Test in Verbindung setzen. Allerdings bedeutet das auch, dass wir die anfallenden Daten selbst interpretieren müssen. Dazu sind extrem gute statistische Kenntnisse notwendig und auch die oben genannten äußeren Faktoren müssen mit in die Berechnung einfließen. Zudem ist es notwendig, dass jeder Test, der durchgeführt werden soll, von einem Entwickler implementiert und neu eingebunden wird, egal ob die Änderung ein komplexer Eingriff in die Seitenstruktur ist oder ob nur ein einzelner Button neu eingefärbt wird.

Alternativ gibt es auf dem Markt sehr viele externe Dienstleister, die sich auf diese Problematik spezialisiert haben. Ein Testing-Tool bringt zum einen den Vorteil mit sich, dass kleinere Layout-Tests über einen WYSIWYG-Editor auch von Nicht-Entwicklern erstellt und gestartet werden können. So können beliebig viele Tests durchgeführt werden, ohne einen Entwickler belangen zu müssen, so lange das initiale JavaScript-Snippet auf der Seite eingebunden ist. Zum anderen kommt ein solches Tool mit einer eigenen StatsEngine daher, die uns die komplexe statistische Auswertung abnimmt und die Ergebnisse in Form von übersichtlichen und filterbaren Graphen bereitstellt. Auch die unvorhersehbaren äußeren Einflüsse und starke Ausreißer verarbeitet die Statistikmaschine automatisch, sodass wir uns auf die Testauswertung konzentrieren können.

Welches Tool nutzen wir?

Unser Ziel ist es zunächst, eine eigene Testing-Kultur zu entwickeln, also erst einmal mit kleineren Tests zu starten um zu schauen, wie wir mit den entsprechenden Ergebnissen umgehen müssen. Daher haben wir uns nach externen Tools umgesehen, von denen wir uns einen erleichterten Einstieg versprechen: VWO, Optimizely und Google Optimize haben wir genauer unter die Lupe genommen. Da Googles Testing-Tool noch zu unausgereift wirkte und Optimizely für unseren Einstieg ein wenig übermächtig daher kam, haben wir mit VWO eine sehr intuitive Möglichkeit gefunden, einfache Layout-Tests anzulegen und durchzuführen.

VWO bietet ein übersichtliches Dashboard, einen leicht zu bedienenden WYSIWYG-Editor, über den auch komplexere JavaScript-Anweisungen gesendet werden können und eine ansprechende Gestaltung der ausgewerteten Daten. Damit hätten wir nun also alle Grundvoraussetzungen geschaffen, um ins Testing-Business einzusteigen!

Über wichtige, überraschende oder wegweisende Erkenntnisse werden wir euch natürlich an dieser Stelle auf dem Laufenden halten. Aber erstmal heißt es:

Let’s test!

Verwandte Blogposts