Holdout Split

Verwenden Sie das Element Holdout Split, um einen Anteil der Benutzer vom Rest einer Journey zurückzuhalten und dann deren Zielerfüllung mit allen zu vergleichen, die über diesen Punkt hinaus fortgefahren sind. Im Gegensatz zur kontoweiten Kontrollgruppe, die pro Anwendung fest ist und Marketingnachrichten überall blockiert, gilt ein Holdout Split nur innerhalb einer Journey, an einem Punkt in ihrem Ablauf.

Wann Holdout Split verwendet werden sollte

• Messen Sie die Wirkung einer Journey an einem gewählten Punkt. Halten Sie einen Anteil der Benutzer zurück, die diesen Punkt erreichen, und sehen Sie, ob die Schritte danach Ihre Conversion-Ziele stärker bewegen, als das Überspringen dieser Schritte es täte.
• Testen Sie ein bestimmtes Segment oder einen bestimmten Ablauf. Kombinieren Sie Holdout Split mit einem zielgruppenbasierten Einstieg oder einem triggerbasierten Einstieg, um die Wirkung nur für die für diese Kampagne relevanten Benutzer zu messen, statt Ihre gesamte Anwendung zurückzuhalten.
• Erhalten Sie einen Uplift pro Ziel, nicht nur eine Ereigniszahl. Wenn die Journey mehrere Conversion-Ziele hat, meldet Holdout Split Uplift und statistische Signifikanz für jedes einzeln.

Platzieren Sie zum Beispiel Holdout Split nach dem Einstieg und vor Ihren Onboarding-Nachrichten. Vergleichen Sie ein Kauf-Conversion-Ziel für Benutzer, die auf In journey fortgefahren sind, mit Benutzern auf Holdout, die dort aussteigen und nichts weiteres aus dieser Journey erhalten.

Voraussetzungen

Definieren Sie mindestens ein Conversion-Ziel für die Journey, wenn Sie Zahlen im Uplift-Bericht sehen möchten. Sie können Holdout Split dennoch ohne Ziel platzieren und speichern. Ohne eines zeigt der Bericht eine Aufforderung, ein Ziel hinzuzufügen, statt Raten und Uplift.

Holdout Split hinzufügen und konfigurieren

1. Platzieren Sie das Element Holdout Split an der Stelle auf der Arbeitsfläche, ab der Sie den Rest der Journey messen möchten (vor den Nachrichten oder Schritten, die Sie testen).

2. Doppelklicken Sie auf das Element, um seine Einstellungen zu öffnen.

3. Legen Sie Share held out fest: den Prozentsatz der Benutzer, die diesen Punkt erreichen und zum Zweig Holdout geleitet werden. Der Rest fährt auf dem Zweig In journey fort. Share held out akzeptiert 1–20 %.

   

4. Verbinden Sie die Zweige auf der Arbeitsfläche:

   • Lassen Sie den Zweig Holdout unverbunden. Benutzer auf diesem Zweig verlassen die Journey sofort und erhalten nichts weiteres daraus.
   • Verbinden Sie den Zweig In journey mit dem Rest Ihres Ablaufs.

5. Klicken Sie auf Save.

Nach dem Speichern sollten Sie zwei Zweige vom Element sehen: Holdout ohne nächsten Schritt, und In journey, der in den von Ihnen verbundenen Ablauf führt.

Hinweis

Zurückgehaltene Benutzer sind nur von dieser Journey ausgeschlossen. Sie können weiterhin Nachrichten aus Ihren anderen Journeys und Einmalversendungen erhalten.

Uplift-Bericht prüfen

Verwenden Sie Goal uplift vs holdout, um eine Frage zu beantworten: Erhöhen die Schritte nach diesem Punkt Ihre Conversion-Ziele im Vergleich zu Benutzern, die hier aufgehört haben?

1. Öffnen Sie die laufende Journey.

2. Öffnen Sie den Punkt Holdout Split und finden Sie Goal uplift vs holdout unterhalb der aktuellen Aufteilung.

3. Wenn Sie statt Raten einen Platzhalter sehen, kommen Sie am nächsten Tag wieder. Pushwoosh aktualisiert den Bericht einmal täglich, und die ersten Zahlen erscheinen am Tag nach dem Start der Journey.

4. Prüfen Sie im Berichtskopf Stichprobengröße und Timing, bevor Sie den Raten vertrauen:

   • Wie viele Benutzer bei der letzten Aktualisierung auf In journey und Holdout waren
   • Das Zuordnungsfenster (wie viele Tage nach dem Punkt eine Zielerfüllung noch zählt)
   • Wann der Bericht zuletzt berechnet wurde

   Eine winzige Holdout-Stichprobe macht den Uplift verrauscht, selbst wenn die In-Journey-Rate stark aussieht.

5. Vergleichen Sie für jedes Conversion-Ziel die Zweige und lesen Sie dann Uplift und Signifikanz:

   • Vergleichen Sie Conversion, in journey mit Conversion, holdout (Rate und Anzahl). Das ist der Unterschied zwischen Benutzern, die den Rest der Journey erhalten haben, und Benutzern, die danach nichts weiteres daraus erhalten haben.
   • Lesen Sie Uplift für diesen Unterschied als relative Veränderung. Ein positiver Uplift bedeutet, dass der In-Journey-Zweig besser konvertiert hat als Holdout. Hatte Holdout null Conversions für dieses Ziel, zeigt der Uplift — (keine Basis für einen relativen Unterschied).
   • Lesen Sie das Signifikanz-Abzeichen, bevor Sie den Uplift als Entscheidungsgrundlage behandeln:
     • Significant: Der Unterschied zwischen den Zweigen ist real, nicht zufällig. Vertrauen Sie der Uplift-Zahl.
     • Not significant: Pushwoosh hat genug Daten, aber der Unterschied ist nicht zuverlässig. Handeln Sie noch nicht nach dieser Uplift-Zahl.
     • Not enough data: bisher zu wenige Conversions, um es in beide Richtungen zu sagen. Lassen Sie die Journey für eine größere Stichprobe weiterlaufen.

Um jeden Holdout Split an einem Ort zu überprüfen, öffnen Sie das Kampagnen-Gesundheits-Dashboard der Journey und prüfen Sie den gleichen Bericht für jeden Punkt.

Um den Uplift für jeden Holdout-Split-Punkt als CSV-Datei mit Umsatz pro Währung zu erhalten, exportieren Sie den Uplift-Bericht über die API.

Benutzer aus jedem Zweig exportieren

Laden Sie eine Liste herunter, welche Benutzer in einer laufenden Journey zu Holdout und welche zu In journey gegangen sind.

Export users erfordert die Berechtigung Personal data in Ihrer Rolle.

1. Öffnen Sie die laufende Journey.

2. Öffnen Sie den Punkt Holdout Split.

3. Klicken Sie auf Export users unterhalb von Goal uplift vs holdout.

4. Legen Sie den Datumsbereich fest. Sie können nur Daten der letzten 2 Monate exportieren.

   

5. Klicken Sie auf Start exporting.

6. Sobald die Datei bereit ist, erscheint im selben Panel ein Download-Button. Klicken Sie darauf, um die CSV-Datei zu erhalten.

Jede Zeile listet eine Benutzer-ID und den Zweig auf, den dieser Benutzer genommen hat, holdout oder journey. Hat niemand den Punkt in diesem Datumsbereich erreicht, enthält die Datei nur die Kopfzeile.

Wenn Sie einen kontoweiten Holdout statt eines pro Journey benötigen, verwenden Sie Kontrollgruppen.