A/B/n-Split

Youtube-Video: Erfahren Sie, wie Sie A/B/n-Tests im Pushwoosh Customer Journey Builder einrichten und analysieren

Verwenden Sie das A/B/n-Split-Element, um zu testen, welche Nachrichtensequenzen für Ihre Conversion-Ziele am besten funktionieren. Optimieren Sie die Kommunikation, indem Sie den effektivsten Ansatz für Ihre Zielgruppe finden.

A/B/n-Split-Einstellungen konfigurieren

Nachdem Sie das A/B/n-Split-Element auf der Leinwand platziert haben, doppelklicken Sie darauf, um die Testeinstellungen zu konfigurieren.

Anzahl der Zweige festlegen

Verwenden Sie das Dropdown-Menü Zweige, um auszuwählen, wie viele Varianten Sie testen möchten (bis zu 4). Standardmäßig ist Zweig A die Kontrollgruppe.

Benutzerverteilung auf die Zweige definieren

Legen Sie den Prozentsatz der Benutzer fest, die zu jedem Zweig geleitet werden sollen, und stellen Sie sicher, dass die Summe 100 % beträgt. Um die Benutzer gleichmäßig auf die Zweige aufzuteilen, klicken Sie auf Verteilung zurücksetzen.

Wählen, wie der Gewinner ausgewählt wird

Sie haben zwei Möglichkeiten:

Sie wählen den Gewinner manuell aus

Sie werden die Ergebnisse überprüfen und den gewinnenden Zweig später manuell auswählen. Dies erfordert eine kontinuierliche Überwachung und manuelle Deaktivierung. Erfahren Sie mehr

Der Gewinner wird automatisch nach Ziel ausgewählt

Das System überwacht das Kampagnenziel und deaktiviert schwächere Zweige, sobald statistische Signifikanz erreicht ist. Neue Benutzer werden dann zum gewinnenden Zweig geleitet.

Wenn die automatische Gewinnerauswahl aktiviert ist, wählen Sie, wie das System den Gewinner bewerten soll:

• Erstes Ziel, das Signifikanz erreicht. Das System überwacht alle zugewiesenen Ziele und wählt das erste aus, das statistische Signifikanz erreicht.

• Ein spezifisches Ziel auswählen (zum Beispiel CheckoutSuccess). Dieses Ziel wird verwendet, um zu bewerten, welcher Zweig am besten abschneidet.

Klicken Sie nach der Konfiguration auf Speichern, um Ihre Testeinstellungen zu übernehmen.

Wie man A/B/n-Tests einrichtet und durchführt

Einen Test einrichten

Die Journey anhalten

Wenn Sie A/B/n-Tests in einer aktiven Journey einrichten möchten, halten Sie diese zuerst an. Um mehr über die Bearbeitung einer aktiven Journey zu erfahren, lesen Sie diesen Artikel.

Mindestens ein Conversion-Ziel definieren

Legen Sie mindestens ein Conversion-Ziel fest, das zur Berechnung der Testergebnisse verwendet wird. Wenn Sie beispielsweise testen möchten, welche von zwei Push-Benachrichtigungen am effektivsten ist, können Sie das PW_InAppPurchase-Ereignis als Conversion-Ziel festlegen.

Wenn Sie mehrere Conversion-Ziele angeben, werden die Ergebnisse für jedes Ziel separat berechnet.

Das A/B/n-Split-Element hinzufügen

Platzieren Sie das A/B/n-Split-Element nach einem beliebigen anderen Element auf der Leinwand und doppelklicken Sie darauf, um den Test zu konfigurieren.

Zweige und Benutzerverteilung festlegen

Wählen Sie die Anzahl der Zweige aus. Sie können bis zu vier Zweige zu Ihrem Test hinzufügen. Der erste Zweig wird immer als Kontrollgruppe betrachtet, mit der die Ergebnisse in anderen Zweigen verglichen werden. Folgen Sie dieser Anleitung weiter, um zu erfahren, wie Sie diesen Zweig je nach Ihren Bedürfnissen einrichten.

Legen Sie als Nächstes den Prozentsatz der Benutzer fest, die zu jedem Zweig gehen. Die Summe aller Zweige sollte 100 % betragen. Entsprechend dem von Ihnen festgelegten Prozentsatz werden Benutzer in der Journey, die diesen Schritt erreichen, zufällig auf die angegebene Anzahl von Zweigen aufgeteilt.

Bitte beachten Sie, dass Benutzer, die Zweig A zugewiesen sind, als Kontrollgruppe betrachtet werden, mit der die Ergebnisse in anderen Zweigen verglichen werden. Der nächste Schritt beschreibt, wie Zweig A für verschiedene Fälle eingerichtet wird.

Hinweis

Möglicherweise möchten Sie einen höheren Prozentsatz für Zweig A (die Originalversion) festlegen, um eine neue Kampagnenversion sorgfältig zu testen, ohne geringere Conversions zu riskieren.

Wir empfehlen jedoch, eine gleichmäßige Verteilung einzurichten. In diesem Fall erhalten Sie statistisch signifikante Ergebnisse schneller.

Gewinner-Auswertungsmodus auswählen

Wählen Sie, wie der Gewinner ermittelt wird:

• Automatische Auswahl nach Ziel. Das System verfolgt ein definiertes Ziel, erkennt den leistungsstärksten Zweig anhand statistischer Signifikanz und leitet neue Benutzer automatisch zum Gewinner.
• Manuelle Auswahl. Sie überprüfen die Testergebnisse und entscheiden manuell, welcher Zweig am besten abschneidet. Diese Option erfordert, dass Sie den Test überwachen und leistungsschwächere Zweige manuell deaktivieren. Erfahren Sie mehr

Inhalt für jeden Zweig konfigurieren

Jetzt können Sie Kommunikationsflüsse für jeden Zweig einrichten. Da Zweig A eine Kontrollgruppe ist, müssen Sie ihn je nach Fall auf eine bestimmte Weise konfigurieren:

• Den bestehenden Kommunikationsfluss mit neuen Versionen vergleichen. In diesem Fall sollte die bestehende Version in Zweig A sein. Stellen Sie außerdem sicher, dass das Conversion-Ziel in jedem Zweig, einschließlich Zweig A, erreicht werden kann.
• Nur neue Versionen miteinander vergleichen. Da es keinen alten Kommunikationsfluss gibt, wird eine der neuen Versionen als Kontrollgruppe markiert (die in Zweig A dargestellte). Stellen Sie sicher, dass das Conversion-Ziel in allen Zweigen erreicht werden kann.
• Eine bestehende Version ohne Kommunikation mit neuen Kommunikationsflüssen vergleichen. Zum Beispiel möchten Sie am Ende einer Journey eine weitere Push-Benachrichtigung hinzufügen, um zu sehen, ob die Kampagnenleistung im Vergleich zur Originalversion ohne diese Push-Benachrichtigung steigt. In diesem Fall sollte die ‚leere‘ Version in Zweig A dargestellt werden. Um zuverlässige Ergebnisse zu erhalten, fügen Sie jedem Zweig eine gleiche Zeitverzögerung hinzu:

Die Journey starten

Wenn alles bereit ist, starten Sie die Journey.

Die Ergebnisse analysieren

Sobald der Test gestartet ist, können Sie Echtzeitstatistiken dazu sehen.

Auf der Journey-Leinwand sehen Sie die Anzahl der Benutzer, die jeden Zweig durchlaufen:

Um die Testergebnisse anzuzeigen, doppelklicken Sie auf das A/B/n-Split-Element. Sie sehen die Statistiken für jeden Zweig, einschließlich der Conversion zum ausgewählten Ziel und der Metriken, die zur Berechnung der statistischen Signifikanz verwendet werden.

Wenn Sie mehrere Conversion-Ziele festgelegt haben, können Sie die Ergebnisse für jedes davon anzeigen, indem Sie das erforderliche Ziel aus der Liste auswählen:

Automatischer Modus

Wenn Sie die automatische Gewinnerauswahl aktiviert haben, überwacht Pushwoosh kontinuierlich das ausgewählte Ziel. Sobald ein Zweig statistische Signifikanz erreicht, wird er als Gewinner markiert. Schwächere Zweige werden automatisch deaktiviert, und neue Benutzer werden ausschließlich zum gewinnenden Zweig geleitet. Es ist keine manuelle Aktion erforderlich.

Wenn Ihr Test einen statistisch signifikanten Gewinner hat und Sie die manuelle Gewinnerauswahl verwenden, können Sie leistungsschwächere Zweige sofort ausschalten, indem Sie auf Nur Gewinner beibehalten klicken. Neue Benutzer in der Journey werden zum gewinnenden Zweig geleitet. Benutzer, die bereits zu deaktivierten Zweigen gegangen sind, werden diese weiterhin durchlaufen, bis sie die Journey abschließen.

Hinweis

Sie können Zweige auch manuell deaktivieren, dies erfordert jedoch das Anhalten der Journey.

Sie können Testergebnisse für einen bestimmten Zeitraum anzeigen. Wählen Sie dazu den gewünschten Zeitraum im linken Bereich aus und doppelklicken Sie auf das A/B/n-Split-Element. Sie sehen die Statistiken für die angegebene Zeit.

Die Testergebnisse werden wie folgt berechnet:

• Die Conversion wird basierend auf der Anzahl der Benutzer im Zweig und den abgeschlossenen Conversion-Zielen berechnet. Zweig A wird als Baseline markiert, da er die Kontrollgruppe darstellt.
• Bei der Berechnung der statistischen Signifikanz werden der Z-Score und der P-Wert berücksichtigt. Wenn das Ergebnis gültig ist, wird es als Signifikant markiert.
• Ein Zweig gilt als Gewinner, wenn er die höchste Conversion aufweist und dieses Ergebnis als Signifikant markiert ist.

Hinweis

Wenn das Ergebnis als Signifikant markiert ist, bedeutet dies, dass sein Konfidenzniveau 90 % beträgt. Wenn dieser Prozentsatz für Sie nicht ausreicht, können Sie das Ergebnis berechnen, indem Sie ein anderes Konfidenzniveau angeben. Sie können zum Beispiel diesen Rechner verwenden.

Zweige deaktivieren

Automatischer Modus

Im automatischen Modus deaktiviert Pushwoosh bei Identifizierung eines statistisch signifikanten Gewinners automatisch leistungsschwächere Zweige, leitet alle neuen Benutzer zum gewinnenden Zweig und lässt bestehende Benutzer in ihrem zugewiesenen Zweig fortfahren, bis sie die Journey abschließen. Es ist keine manuelle Aktion erforderlich.

Wenn Pushwoosh einen statistisch signifikanten Gewinner identifiziert hat, können Sie leistungsschwächere Zweige sofort ausschalten, indem Sie im Fenster der Teststatistiken auf Nur Gewinner beibehalten klicken. In diesem Fall müssen Sie die Journey nicht anhalten. Wenn ein Zweig schlecht abschneidet, können Sie ihn deaktivieren. Neue Benutzer gelangen nicht mehr in den deaktivierten Zweig.

Um einen Zweig zu deaktivieren, halten Sie zuerst die Journey an:

Doppelklicken Sie danach auf das A/B/n-Split-Element. Setzen Sie 0 % für diesen Zweig und verteilen Sie den Prozentsatz der Benutzer, die zu den verbleibenden Zweigen gehen, neu: