A/B/n-Split

Youtube-Video: Erfahren Sie, wie Sie A/B/n-Tests im Pushwoosh Customer Journey Builder einrichten und analysieren

Verwenden Sie das A/B/n-Split-Element, um zu testen, welche Nachrichtensequenzen für Ihre Conversion-Ziele am besten funktionieren. Optimieren Sie die Kommunikation, indem Sie den effektivsten Ansatz für Ihre Zielgruppe finden.

Konfigurieren Sie die A/B/n-Split-Einstellungen

Nachdem Sie das A/B/n-Split-Element auf der Arbeitsfläche platziert haben, doppelklicken Sie darauf, um die Testeinstellungen zu konfigurieren.

Legen Sie die Anzahl der Zweige fest

Verwenden Sie das Dropdown-Menü Zweige, um auszuwählen, wie viele Varianten Sie testen möchten (bis zu 4). Standardmäßig ist Zweig A die Kontrollgruppe.

Definieren Sie die Benutzerverteilung auf die Zweige

Legen Sie den Prozentsatz der Benutzer fest, die zu jedem Zweig geleitet werden sollen, und stellen Sie sicher, dass die Summe 100 % ergibt. Um die Benutzer gleichmäßig auf die Zweige aufzuteilen, klicken Sie auf Verteilung zurücksetzen.

Wählen Sie, wie der Gewinner ermittelt wird

Sie haben zwei Möglichkeiten:

Sie wählen den Gewinner manuell aus

Sie werden die Ergebnisse überprüfen und den gewinnenden Zweig später manuell auswählen. Dies erfordert eine fortlaufende Überwachung und manuelle Deaktivierung. Erfahren Sie mehr

Der Gewinner wird automatisch nach Ziel ausgewählt

Das System überwacht das Kampagnenziel und deaktiviert schwächere Zweige, sobald statistische Signifikanz erreicht ist. Neue Benutzer werden dann zum gewinnenden Zweig geleitet.

Wenn die automatische Gewinnerauswahl aktiviert ist, wählen Sie, wie das System den Gewinner bewerten soll:

• Erstes Ziel, das Signifikanz erreicht. Das System überwacht alle zugewiesenen Ziele und wählt das erste aus, das statistische Signifikanz erreicht.

• Wählen Sie ein bestimmtes Ziel aus (zum Beispiel CheckoutSuccess). Dieses Ziel wird verwendet, um zu bewerten, welcher Zweig am besten abschneidet.

Klicken Sie nach der Konfiguration auf Speichern, um Ihre Testeinstellungen zu übernehmen.

Wie man A/B/n-Tests einrichtet und durchführt

Einen Test einrichten

Pausieren Sie die Journey

Wenn Sie A/B/n-Tests in einer aktiven Journey einrichten möchten, pausieren Sie diese zuerst. Um mehr über die Bearbeitung einer aktiven Journey zu erfahren, lesen Sie diesen Artikel.

Definieren Sie mindestens ein Conversion-Ziel

Legen Sie mindestens ein Conversion-Ziel fest, das zur Berechnung der Testergebnisse verwendet wird. Wenn Sie beispielsweise testen möchten, welche von zwei Push-Benachrichtigungen am effektivsten ist, können Sie das PW_InAppPurchase-Ereignis als Conversion-Ziel festlegen.

Wenn Sie mehrere Conversion-Ziele angeben, werden die Ergebnisse für jedes Ziel separat berechnet.

Fügen Sie das A/B/n-Split-Element hinzu

Platzieren Sie das A/B/n-Split-Element nach einem beliebigen anderen Element auf der Arbeitsfläche und doppelklicken Sie darauf, um den Test zu konfigurieren.

Zweige und Benutzerverteilung festlegen

Wählen Sie die Anzahl der Zweige aus. Sie können bis zu vier Zweige zu Ihrem Test hinzufügen. Der erste Zweig wird immer als Kontrollgruppe betrachtet, mit der die Ergebnisse in anderen Zweigen verglichen werden. Folgen Sie dieser Anleitung weiter, um zu erfahren, wie Sie diesen Zweig je nach Ihren Bedürfnissen einrichten.

Legen Sie als Nächstes den Prozentsatz der Benutzer fest, die zu jedem Zweig gelangen. Die Summe aller Zweige sollte 100 % betragen. Entsprechend dem von Ihnen festgelegten Prozentsatz werden Journey-Teilnehmer, die diesen Journey-Schritt erreichen, zufällig auf die angegebene Anzahl von Zweigen aufgeteilt.

Bitte beachten Sie, dass Benutzer, die Zweig A zugewiesen sind, als Kontrollgruppe betrachtet werden, mit der die Ergebnisse in anderen Zweigen verglichen werden. Der nächste Schritt beschreibt, wie Sie Zweig A für verschiedene Fälle einrichten.

Hinweis

Möglicherweise möchten Sie einen höheren Prozentsatz für Zweig A (die Originalversion) festlegen, um eine neue Kampagnenversion sorgfältig zu testen, ohne geringere Conversions zu riskieren.

Wir empfehlen jedoch, eine gleichmäßige Verteilung einzurichten. In diesem Fall erhalten Sie schneller statistisch signifikante Ergebnisse.

Gewinner-Bewertungsmodus auswählen

Wählen Sie, wie der Gewinner ermittelt wird:

• Automatische Auswahl nach Ziel. Das System verfolgt ein definiertes Ziel, erkennt den leistungsstärksten Zweig anhand statistischer Signifikanz und leitet neue Benutzer automatisch zum Gewinner.
• Manuelle Auswahl. Sie überprüfen die Testergebnisse und entscheiden manuell, welcher Zweig am besten abschneidet. Diese Option erfordert, dass Sie den Test überwachen und leistungsschwächere Zweige manuell deaktivieren. Erfahren Sie mehr

Inhalte für jeden Zweig konfigurieren

Jetzt können Sie Kommunikationsabläufe für jeden Zweig einrichten. Da Zweig A eine Kontrollgruppe ist, müssen Sie ihn je nach Ihrem Fall auf eine bestimmte Weise konfigurieren:

• Testen Sie den bestehenden Kommunikationsablauf gegen neue Versionen. In diesem Fall sollte die bestehende Version in Zweig A sein. Stellen Sie außerdem sicher, dass das Conversion-Ziel in jedem Zweig, einschließlich Zweig A, erreicht werden kann.
• Testen Sie nur neue Versionen gegeneinander. Da es keinen alten Kommunikationsablauf gibt, wird eine der neuen Versionen als Kontrollgruppe markiert (die in Zweig A dargestellte). Stellen Sie sicher, dass das Conversion-Ziel in allen Zweigen erreicht werden kann.
• Testen Sie eine bestehende Version ohne jegliche Kommunikation gegen neue Kommunikationsabläufe. Zum Beispiel möchten Sie am Ende einer Journey eine weitere Push-Benachrichtigung hinzufügen, um zu sehen, ob die Kampagnenleistung im Vergleich zur Originalversion ohne diese Push-Benachrichtigung steigt. In diesem Fall sollte die ‚leere‘ Version in Zweig A dargestellt werden. Um zuverlässige Ergebnisse zu erhalten, fügen Sie jedem Zweig eine gleiche Zeitverzögerung hinzu:

Starten Sie die Journey

Wenn alles bereit ist, starten Sie die Journey.

Analysieren Sie die Ergebnisse

Sobald der Test gestartet ist, können Sie Echtzeit-Statistiken dazu sehen.

Auf der Journey-Arbeitsfläche sehen Sie die Anzahl der Benutzer, die jeden Zweig durchlaufen:

Um die Testergebnisse anzuzeigen, doppelklicken Sie auf das A/B/n-Split-Element. Sie sehen die Statistiken für jeden Zweig, einschließlich der Conversion zum ausgewählten Ziel und der Metriken, die zur Berechnung der statistischen Signifikanz verwendet werden.

Wenn Sie mehrere Conversion-Ziele festgelegt haben, können Sie die Ergebnisse für jedes davon anzeigen, indem Sie das erforderliche Ziel aus der Liste auswählen:

Automatischer Modus

Wenn Sie die automatische Gewinnerauswahl aktiviert haben, überwacht Pushwoosh kontinuierlich das ausgewählte Ziel. Sobald ein Zweig statistische Signifikanz erreicht, wird er als Gewinner markiert. Schwächere Zweige werden automatisch deaktiviert, und neue Benutzer werden ausschließlich zum gewinnenden Zweig geleitet. Es ist keine manuelle Aktion erforderlich.

Wenn Ihr Test einen statistisch signifikanten Gewinner hat und Sie die manuelle Gewinnerauswahl verwenden, können Sie leistungsschwächere Zweige sofort ausschalten, indem Sie auf Nur Gewinner beibehalten klicken. Neue Journey-Teilnehmer werden zum gewinnenden Zweig geleitet. Benutzer, die bereits zu deaktivierten Zweigen gelangt sind, werden diese weiterhin durchlaufen, bis sie die Journey abschließen.

Hinweis

Sie können Zweige auch manuell deaktivieren, dies erfordert jedoch das Pausieren der Journey.

Sie können Testergebnisse für einen bestimmten Zeitraum anzeigen. Wählen Sie dazu den gewünschten Zeitraum im linken Bereich aus und doppelklicken Sie auf das A/B/n-Split-Element. Sie sehen die Statistiken für die angegebene Zeit.

Die Testergebnisse werden wie folgt berechnet:

• Die Conversion wird basierend auf der Anzahl der Benutzer im Zweig und den abgeschlossenen Conversion-Zielen berechnet. Zweig A wird als Baseline markiert, da er die Kontrollgruppe darstellt.
• Bei der Berechnung der statistischen Signifikanz werden der Z-Wert und der P-Wert berücksichtigt. Wenn das Ergebnis gültig ist, wird es als Signifikant markiert.
• Ein Zweig gilt als Gewinner, wenn er die höchste Conversion aufweist und dieses Ergebnis als Signifikant markiert ist.

Hinweis

Wenn das Ergebnis als Signifikant markiert ist, bedeutet dies, dass sein Konfidenzniveau 90 % beträgt. Wenn dieser Prozentsatz für Sie nicht ausreicht, können Sie das Ergebnis berechnen, indem Sie ein anderes Konfidenzniveau angeben. Sie können zum Beispiel diesen Rechner verwenden.

Zweige deaktivieren

Automatischer Modus

Im automatischen Modus deaktiviert Pushwoosh bei Identifizierung eines statistisch signifikanten Gewinners automatisch leistungsschwächere Zweige, leitet alle neuen Benutzer zum gewinnenden Zweig und lässt bestehende Benutzer in ihrem zugewiesenen Zweig fortfahren, bis sie die Journey abschließen. Es ist keine manuelle Aktion erforderlich.

Wenn Pushwoosh einen statistisch signifikanten Gewinner identifiziert hat, können Sie leistungsschwächere Zweige sofort ausschalten, indem Sie im Fenster mit den Teststatistiken auf Nur Gewinner beibehalten klicken. In diesem Fall müssen Sie die Journey nicht pausieren. Wenn ein Zweig schlecht abschneidet, können Sie ihn deaktivieren. Neue Benutzer gelangen dann nicht mehr in den deaktivierten Zweig.

Um einen Zweig zu deaktivieren, pausieren Sie zuerst die Journey:

Doppelklicken Sie danach auf das A/B/n-Split-Element. Setzen Sie 0 % für diesen Zweig und verteilen Sie den Prozentsatz der Benutzer neu, die zu den verbleibenden Zweigen gehen: