Uplift-Bericht

Der Uplift-Bericht zeigt, was eine Kampagne oder eine Journey für sich allein erreicht hat. Er vergleicht die Benutzer, die sie erhalten haben, mit dem Holdout, einer Gruppe, die Sie absichtlich zurückhalten, damit sie die Nachricht nicht bekommt, und zeigt, wie viel häufiger die erste Gruppe das Ziel erreicht hat.

Eine Kampagne erscheint nur dann im Bericht, wenn Sie sie mit einem Holdout gesendet haben, also einem Anteil der Empfänger, den Sie zurückhalten. Ihre Entwickler legen ihn mit dem Parameter holdout_percentage fest, von 1 bis 20, in der Messaging API. Eine Journey erscheint im Bericht einmal für jeden Holdout Split-Punkt, den sie enthält.

So erhalten Sie den Bericht

Journey: Öffnen Sie den Holdout Split-Punkt der Journey. Er zeigt Goal uplift vs holdout im Control Panel an.
Kampagne: Sie erhalten den Bericht nur als CSV-Datei. Der Export läuft über die API, bitten Sie also Ihre Entwickler, den Export auszuführen. Nennen Sie ihnen den Zeitraum, bis zu 90 Tage, und, falls Sie nur eine benötigen, die Kampagne oder Journey. Ohne diese Angabe umfasst die Datei alle Kampagnen und Journeys der Anwendung. Inhalt der Datei

Kontrollgruppen haben ihren eigenen Wirkungsbericht unter Settings. Er misst die Kontrollgruppen der Anwendung, nicht eine einzelne Kampagne oder Journey.

Was als Behandlung und Kontrolle zählt

Der Bericht vergleicht zwei Gruppen: Behandlung (Treatment), die Benutzer, die die Nachricht erhalten haben, und Kontrolle (Control), den Holdout, die Benutzer, die sie nicht erhalten haben.

	Behandlung	Kontrolle
Kampagne	Jeder Empfänger, an den die Kampagne gesendet wurde.	Jeder Empfänger, den der Holdout vom Erhalt abgehalten hat, wie bei den Kontrollgruppen der Anwendung.
Journey	Jeder Benutzer, der den Holdout Split-Punkt auf den Zweig In journey durchlaufen hat.	Jeder Benutzer, der zum Zweig Holdout dieses Punkts geleitet wurde.

Benutzer und Empfänger ohne User ID werden aus beiden Gruppen ausgeschlossen, weil Pushwoosh ohne sie weder erkennen kann, zu welcher Gruppe sie gehören, noch sie einer Conversion zuordnen kann.

Ziel und Attributionsfenster

Kampagne: Das Ziel und das Attributionsfenster (wie lange nach einem Versand eine Conversion noch zählt) stammen aus den Conversion-Zielen der Anwendung. Sind mehrere konfiguriert, verwendet der Bericht das kürzeste Attributionsfenster unter ihnen, damit einem Versand nie eine weit entfernte, unzusammenhängende Conversion gutgeschrieben wird.

Journey: Das Ziel sind die eigenen Goal-Punkte der Journey, und das Fenster ist die Einstellung Conversion-Zeitraum der Journey (7 Tage, wenn die Journey keine festlegt). Das Fenster beginnt, wenn ein Benutzer den Holdout Split-Punkt passiert, weil Holdout-Benutzer nie einen Versand erhalten, mit dem es beginnen könnte.

Beide schließen Ereignisse der Nachrichteninteraktion (Öffnungen, Klicks und Ähnliches) vom Ziel aus. Die Holdout-Gruppe erhält nie eine Nachricht, auf die sie reagieren könnte, daher würde das Zählen von Interaktionen nur zeigen, dass eine Nachricht versendet wurde, nicht was sie bewirkt hat. Die Analyse der Kontrollgruppen schließt sie aus demselben Grund aus.

Metriken im Bericht

Metrik	Bedeutung
Uplift %	Der prozentuale Unterschied zwischen den Konversionsraten von Behandlung und Kontrolle, bezogen auf die Kontrollrate. Gleiche Formel wie beim Uplift der Kontrollgruppen der Anwendung.
Incremental events	Eine Schätzung, wie viele Ereignisse die Behandlungsgruppe mehr erzeugt hat, als sie bei der Pro-Benutzer-Rate der Kontrollgruppe erzeugt hätte, gerechnet für alle Benutzer der Behandlung. Gleiche Formel wie Durch Messaging erzielte Konversionen.
% of treatment	Die Incremental events als Anteil an allen Ereignissen, die die Behandlungsgruppe erzeugt hat.
Z-score, P-value, Confidence %	Confidence % zeigt, wie sicher der Bericht ist, dass der Unterschied zwischen den Gruppen kein Zufall ist: Je höher, desto mehr können Sie dem Ergebnis vertrauen. Z-score und P-value sind die zugrunde liegenden Statistiken, aus demselben Test, den die Kontrollgruppen der Anwendung verwenden.
Significance	Significant, Not significant oder Not enough data. Significant bedeutet, dass Confidence % über 95 % liegt. Das gilt in beide Richtungen: Ein signifikant negativer Uplift % bedeutet, dass die Nachricht die Konversionsrate gesenkt hat. Der Wert lautet „nicht genug Daten“, wenn eine der Gruppen weniger als 10 Conversions oder weniger als 10 Nicht-Conversions hat.
Treatment revenue / Control revenue	Der Umsatz, den jede Gruppe mit dem Zielereignis des Berichts erzielt hat, getrennt nach Währung.
Incremental revenue	Die Geldversion der Incremental events: der Unterschied im Umsatz pro Benutzer zwischen Behandlung und Kontrolle, gerechnet für alle Benutzer der Behandlung, pro Währung.
Revenue tracked	Ob die Umsatzquelle für dieses Ereignis tatsächlich konfiguriert und nicht geschätzt wurde. Siehe Umsatz im Bericht.

Beispiel: Eine Journey sendet eine Willkommensnachricht an 90.000 Benutzer und hält 10.000 zurück. In der Gruppe In journey erreichen 4.500 Benutzer das Ziel (5 %). In der Gruppe Holdout sind es 400 (4 %). Der Bericht zeigt:

Metrik	Wert
Uplift %	25 %, weil 5 % ein Viertel mehr als 4 % sind
Significance	Significant, weil der Unterschied bei so großen Gruppen wahrscheinlich kein Zufall ist

Inhalt der exportierten Datei

Jede Zeile der Datei steht für eine Kampagne oder einen Holdout Split-Punkt einer Journey, für ein Zielereignis. Eine Zeile enthält:

die Kampagne oder Journey und das Zielereignis;
die Anzahl der Benutzer und Conversions in jeder Gruppe;
die Metriken aus der Tabelle oben;
den Umsatz für jede Währung.

Für jede Kampagne, jeden Holdout Split-Punkt und jedes Zielereignis enthält die Datei die neueste tägliche Berechnung innerhalb des gewählten Zeitraums. Siehe Wie weit der Bericht zurückreicht.

Für die Journey aus dem obigen Beispiel sehen die wichtigsten Spalten so aus:

Spalte	Beispiel	Bedeutung
`owner_type`	`TYPE_JOURNEY`	Die Zeile betrifft eine Journey, keine Kampagne.
`event_name`	`purchase`	Das Zielereignis.
`treatment_users`	90000	Benutzer in der Gruppe In journey.
`control_users`	10000	Benutzer in der Gruppe Holdout.
`treatment_conversions`	4500	Benutzer in der Gruppe In journey, die das Ziel erreicht haben.
`control_conversions`	400	Benutzer in der Gruppe Holdout, die das Ziel erreicht haben.
`uplift_pct`	25.00	Uplift %.
`significance`	`TYPE_SIGNIFICANT`	Significant.

Umsatz im Bericht

Umsatz der Behandlung, der Kontrolle und inkrementeller Umsatz werden für dasselbe Zielereignis, dieselben Benutzer und dasselbe Attributionsfenster gezählt wie die Conversion-Zahlen im Bericht.

Umsatz wird pro Währung geführt, nie umgerechnet

Umsatz wird nicht zwischen Währungen umgerechnet, weil Pushwoosh nur die heutigen Wechselkurse speichert und die Umrechnung eines älteren Fensters zum heutigen Kurs eine Schätzung wäre. Treatment revenue, Control revenue und Incremental revenue enthalten jeweils einen Betrag pro Währung statt einer kombinierten Summe. Umsatz aus einem Ereignis ohne Währungsangabe wird unter unknown aufgeführt.

Revenue tracked zeigt, ob die Quelle konfiguriert wurde

Revenue tracked zeigt, ob für das Zielereignis Umsatz eingerichtet wurde, sodass eine Anwendung, die ihn nie eingerichtet hat, als nicht gemessen erscheint und nicht als Umsatz null.

Pushwoosh liest den Umsatz eines Ereignisses aus drei Quellen, in dieser Reihenfolge:

Die eigenen Felder value und currency des integrierten Ereignisses PW_Conversion.
Eine Umsatzzuordnung, die Sie für dieses Ereignis konfiguriert haben.
Die veralteten Attribute __amount und __currency am Ereignis, wenn keine der beiden obigen Quellen zutrifft.

Revenue tracked ist nur bei den ersten beiden Quellen aktiviert. Bei der dritten zeigt der Bericht den Betrag trotzdem an, lässt das Kennzeichen aber deaktiviert, weil niemand Umsatz für dieses Ereignis konfiguriert hat.

Wann der Bericht aktualisiert wird

Der Bericht ist nicht in Echtzeit. Er wird einmal täglich um 01:30 UTC neu berechnet, sodass eine heute gesendete Kampagne oder ein heute passierter Journey-Punkt morgen im Bericht erscheint.

Nur laufende Journeys mit mindestens einem Goal-Punkt werden neu berechnet. Wenn eine Journey stoppt, zeigt der Holdout Split-Punkt weiterhin seine letzten Zahlen an.

Wie weit der Bericht zurückreicht

Jede tägliche Berechnung zählt Kampagnenversände aus etwa den letzten 45 Tagen und Holdout Split-Durchläufe aus den letzten 180 Tagen. Ältere Versände und Durchläufe fallen aus der nächsten Berechnung heraus, sodass eine Kampagne etwa 45 Tage nach dem Versand nicht mehr neu berechnet wird.

Pushwoosh speichert jede tägliche Berechnung 90 Tage lang. Der Holdout Split-Punkt zeigt die neueste. Ein Export zeigt die neueste innerhalb des von Ihnen angegebenen Zeitraums, sodass ein Export für einen Zeitraum vor zwei Monaten die Zahlen so zeigt, wie sie damals waren, für Versände und Durchläufe vor diesem Zeitpunkt.