1
Nov
2020
0

Weil du nicht nach Haarwuchsmitteln suchst – A/B-Testing im E-Commerce

Warum Testing & Analytics in einem Onlineshop so wichtig sind

Du bist auf der Suche nach einem neuen Bildschirm und dann siehst du das, was alle sehen – einen Werbebanner für das neueste Haarwuchsmittel. Genau das wolltest du jetzt sehen… Oder sollen wir dir lieber einen Banner anbieten, der wirklich zu dir passt? Um zu wissen, was dir bei der Suche hilft, testen wir neue Features. Wie das Testing abläuft und wir uns weiterentwickeln, verraten wir dir hier.

Wie können wir otto.de besser machen? Diese Frage treibt uns als Digital Analysts bei OTTO an. Wir suchen Probleme, entdecken Potenziale und testen unsere neusten Features. Gemeinsam mit unseren Kolleg*innen entwickeln wir otto.de für unsere Kund*innen immer weiter und sind so an der Umsatzentwicklung von OTTO beteiligt.

Digital Analysts in allen Teams

Der E-Commerce-Bereich ist bei uns in „Produkte“ aufgeteilt: Ein interdisziplinäres Fachteam betreut zum Beispiel die Storefront otto.de, ein anderes die Suche. In jedem dieser Teams unterstützen wir und begleiten die gesamte Customer Journey mit dem Ziel, das Erlebnis auf otto.de besser zu machen. Vom Einsprung der User bis hin zum Kaufabschluss im Check-out-Prozess. Dabei folgen wir einem Schema, um zu wertvollen Ergebnissen zu kommen:

Was wir besser machen können – die Produkt-Discovery

Am Anfang steht das Problem und das muss aufgespürt werden, bevor es behoben werden kann. Aber wie? Durch Interviews mit unseren Usern und durch Potenzial-Analysen identifizieren wir Entwicklungsmöglichkeiten auf otto.de.

Die Lösung! Und jetzt? – die Konzeptionsphase

Ist eine Lösung gefunden, beginnt das Fachteam mit der Entwicklung eines Features und wir beginnen mit der Konzeption des Tests. Doch was möchten wir mit dem neuen Feature erreichen? Dieser Frage begegnen wir mit belastbaren Hypothesen: „Mit der Ausspielung personalisierter Banner, sehen sich in der Testgruppe 10% mehr User Produkte aus dem Sortiment an.“ Zur Hypothesenformulierung wird eine KPI (Kennzahl) herangezogen, auf die sich das Feature auswirkt, zum Beispiel die Click-Through-Rate. Außerdem bestimmen wir mit einer Laufzeitschätzung, wie lange wir testen müssen, um valide Ergebnisse zu erhalten. Ein Test auf der Storefront beansprucht einen kürzeren Testzeitraum, da ihn mehr User sehen als eine Veränderung im Check-out-Prozess.

Wie wir testen – die Exekutionsphase

Wirkt das neue Feature jetzt positiv auf die User Experience? Ja oder nein. So simpel lässt sich die Idee des A/B-Testings herunterbrechen: Dabei werden die Besucher*innen der Website per Zufall in zwei Gruppen eingeteilt. Einer Gruppe wird der Status-Quo ausgespielt, die Testgruppe bekommt die Veränderung zu sehen. Oder, um es noch konkreter zu machen: Die einen sehen immer noch Haarwuchsmittel und dir werden die neusten Gaming-Monitore empfohlen. Das „Zielgruppen-Splitting“ hilft, die beiden Gruppen für den A/B-Test zu bilden. Durch einen Cookie können wir erkennen, ob du zum ersten Mal auf otto.de unterwegs bist. Ist das der Fall, wirst du zufällig einer der beiden Gruppen zugeordnet. Mit den definierten KPIs können wir jetzt messen, ob wir dir bei der Suche nach Monitoren helfen konnten.

Wann ist ein Test abgeschlossen? – die Auswertung

Wenn du von uns inspiriert einen neuen Bildschirm gefunden hast, war der Test erfolgreich. So einfach ist es leider nicht. Mit Hilfe von deskriptiven Analysen schauen wir, worauf sich unser Feature noch auswirkt: Wirkt es je Warengruppe unterschiedlich? Wie wird das Feature auf verschiedenen Devices angenommen? Und gehen einzelne Altersgruppen anders mit der Veränderung um?

Die angefallenen Daten verwalten wir mit Technologien wie Hadoop, der Google Cloud oder mit eigenen Tools der OTTO Business Intelligence. Mittels SQL fragen wir alle für den Test relevanten Daten ab und verarbeiten sie mit Python oder PySpark. Aber auch Sprachen wie R, oder Scala können hierfür genutzt werden. Für die Auswertung der jetzt strukturierten Daten nutzen wir inferenzstatistische Methoden wie den Wilcoxon- oder den T-Test. Erst wenn wir alle Daten ausgewertet haben und alle Testergebnisse vorliegen, sprechen wir Handlungsempfehlungen aus. Vielleicht sollte das Feature noch weiterentwickelt werden oder es war ein voller Erfolg und wir können es für alle User ausspielen.


„Data Engineer Jannis Bär und Digital Analyst Vikash Sharma berichten über ihre Rollen im Produktenwicklungsprozess und erklären wie ein A/B-Test auf otto.de abläuft.“

Fazit: Testen, lernen, testen, lernen

Du siehst also: Das Testen von neuen Ideen ist wichtig, damit wir stetig dazu lernen. Unser Ziel ist es, dass die User ihre Zeit effizient auf unserer Seite verbringen und Inhalte mit Mehrwert sehen. Und wir zeigen dir Haarwuchsmittel erst dann, wenn du sie auch wirklich brauchst.

Autoren: Jannis Bär und Vikash Sharma

Weitere spannende Themen rund um die Entwicklung von otto.de, findest du in unserem Tech-Blog.
Du möchtest uns bei der Weiterentwicklung unterstützen und die Zukunft von otto.de mitgestalten? Auf otto.jobs findest du alle wichtigen Informationen.

Leave a Reply