FAQ zu Kontrollgruppen

Kann ich Benutzer nur für eine einzelne Journey zurückhalten, anstatt für meine gesamte App?

Ja. Verwenden Sie das Holdout-Split-Element im Customer Journey Builder, um an einem Punkt einer einzelnen Journey einen Anteil der Benutzer zurückzuhalten, statt Benutzer bei jeder Marketing-Sendung der App zurückzuhalten. Es meldet seinen eigenen Ziel-Uplift, getrennt von dieser Seite.

Kann eine Anwendung mehr als eine Kontrollgruppe haben?

Ja. Klicken Sie unter Einstellungen > Kontrollgruppen auf Kontrollgruppe hinzufügen, um eine weitere hinzuzufügen, zum Beispiel eine pro Markt.

• Jede aktivierte Gruppe gilt für jede Marketing-Sendung der App, jeweils innerhalb ihrer eigenen Länder und ihres eigenen Tags. Sie wählen keine Gruppe pro Nachricht aus.
• Ein Benutzer wird zurückgehalten, wenn eine beliebige Gruppe ihn auswählt.
• Gruppen können sich überschneiden. Pushwoosh warnt Sie und zeigt in der Liste Überschneidet sich mit N Gruppen an, da Benutzer, die auf beide Gruppen zutreffen, die Statistiken beider verzerren.

Siehe wie mehrere Kontrollgruppen zusammenwirken.

Kann ich die Kontrollgruppe löschen?

Ja, über das Drei-Punkte-Menü auf der Seite der Gruppe. Dies kann nicht rückgängig gemacht werden: Die Gruppe hält keine Benutzer mehr zurück, und alle ihre Statistiken gehen verloren. Andere Gruppen der App funktionieren weiter. Wenn keine aktivierte Gruppe mehr übrig ist, gehen Marketing-Nachrichten an alle Benutzer. Um die Gruppe zu stoppen und ihren Verlauf zu behalten, klicken Sie im Löschdialog auf Stattdessen deaktivieren oder deaktivieren Sie sie über das Drei-Punkte-Menü.

Kann ich eine Kontrollgruppe umbenennen?

Ja. Klicken Sie auf der Seite der Gruppe auf das Drei-Punkte-Menü und wählen Sie Umbenennen. Nur der Name, den Sie in Pushwoosh sehen, ändert sich: Die Benutzer in der Gruppe, ihr aktueller Zyklus und ihre Statistiken bleiben unverändert.

Welche Benutzer sind in der Kontrollgruppe?

Pushwoosh führt keine gespeicherte Liste der Mitglieder der Kontrollgruppe. Es verwendet eine Formel, eine Berechnung, die bei gleichen Eingaben immer das gleiche Ergebnis liefert, basierend auf Ihrer App, der ID des Benutzers und den aktuellen Einstellungen der Gruppe. Dies gilt für Ihre gesamte bestehende Benutzerbasis, sobald Sie die Gruppe aktivieren, nicht nur für Neuanmeldungen, und das Ergebnis bleibt für einen bestimmten Benutzer gleich, bis Sie die Gruppe neu mischen oder ihre Größe ändern, sich die ID des Benutzers ändert oder ein Zyklus der automatischen Aktualisierung endet bzw. ein Experiment sein Enddatum erreicht.

Erhalten Benutzer der Kontrollgruppe transaktionale Nachrichten?

Ja. Transaktionale Nachrichten (z. B. Passwort-Resets, Bestellbestätigungen) werden an alle Benutzer zugestellt, einschließlich der Kontrollgruppe. Nur Marketing-Nachrichten werden für Benutzer der Kontrollgruppe blockiert.

Wo stelle ich den Marketing- oder transaktionalen Nachrichtentyp ein?

Sie wählen ihn überall dort, wo Sie Nachrichten senden. Für jeden Kanal siehe Wo der Nachrichtentyp eingestellt wird.

Was passiert mit Kampagnen, die erstellt wurden, bevor ich die Kontrollgruppe aktiviert habe?

Kampagnen, die vor der Aktivierung der Kontrollgruppe erstellt wurden, funktionieren genau wie neue: Pushwoosh prüft den Nachrichtentyp einer Kampagne zum Zeitpunkt des Versands, nicht zum Zeitpunkt der Erstellung.

• Marketing-Nachricht (oder gar kein Nachrichtentyp, was bei Kampagnen, die über die API erstellt wurden, vorkommen kann): Die Kontrollgruppe schließt diese Benutzer sofort aus.
• Transaktionale Nachricht: Benutzer der Kontrollgruppe erhalten sie weiterhin wie bisher.

Bearbeiten Sie die Kampagne und setzen Sie den Nachrichtentyp auf Transaktionale Nachricht, wenn Sie alle, einschließlich der Kontrollgruppe, erreichen möchten.

Kann ich die Größe der Kontrollgruppe nach der Aktivierung ändern?

Ja. Öffnen Sie die Seite der Gruppe unter Einstellungen > Kontrollgruppen, klicken Sie auf Einstellungen der Kontrollgruppe, wählen Sie einen neuen Prozentsatz (1 % bis 20 %) und klicken Sie auf Anwenden. Pushwoosh berechnet die Mitgliedschaft für Ihre gesamte Benutzerbasis anhand des neuen Prozentsatzes neu: Das Vergrößern der Gruppe fügt Benutzer hinzu, ohne bereits vorhandene zu entfernen, und das Verkleinern gibt einige bestehende Mitglieder frei. Dies kann den Vergleich mit früheren Kampagnen beeinflussen, ändern Sie die Größe also nur bei Bedarf.

Welche Modi für Kontrollgruppen gibt es?

Drei. Dauerhaft behält dieselbe Gruppe, bis Sie sie deaktivieren. Automatische Aktualisierung ersetzt sie am Ende jedes Zyklus (1, 2 oder 3 Monate) automatisch durch eine neue Gruppe, und die vorherige Gruppe erhält wieder Nachrichten. Experiment mit Enddatum lässt die Gruppe bis zu einem von Ihnen festgelegten Datum laufen (mindestens 30 Tage in der Zukunft), danach erhalten automatisch wieder alle Nachrichten. Legen Sie den Modus beim Erstellen der Gruppe fest oder später unter Einstellungen der Kontrollgruppe, demselben Dialog, mit dem Sie Größe und Länder der Gruppe bearbeiten. Eine Änderung des Modus schließt den aktuellen Zyklus der Gruppe ab, genau wie eine Größenänderung oder Neueingrenzung.

Wie sehe ich frühere Zyklen einer Kontrollgruppe?

1. Öffnen Sie die Seite der Gruppe.
2. Klicken Sie oben rechts auf die Datumsbereichsauswahl. Sie ist bei einer Gruppe mit Automatischer Aktualisierung mit Aktueller Zyklus beschriftet, bei einer Gruppe mit Experiment mit Enddatum mit Aktuelles Experiment und hat bei einer dauerhaften Gruppe keine Beschriftung.
3. Wählen Sie einen Zyklus unter Vorherige aus. Beendete Zyklen sind nach Nummer als Zyklus oder Experiment aufgeführt.

Auch eine dauerhafte Gruppe kann frühere Zyklen haben, da eine Größenänderung, eine Neueingrenzung oder eine Änderung des Modus einen neuen Zyklus startet.

Warum haben meine Ergebnisse der Kontrollgruppe neu begonnen?

Das Messfenster wird neu gestartet, sobald sich die Mitglieder oder die Zielgruppe der Gruppe ändern:

• Sie ändern die Größe der Gruppe oder ihre Länder oder ihr Tag;
• Sie mischen die Gruppe neu;
• Sie ändern den Modus;
• ein Zyklus der automatischen Aktualisierung endet oder ein Experiment erreicht sein Enddatum.

Daten von vor diesem Zeitpunkt entsprechen nicht mehr der aktuellen Gruppe und werden daher nicht einbezogen. Beendete Zyklen bleiben in der Datumsbereichsauswahl auf der Seite der Gruppe unter Vorherige verfügbar.

Was passiert, wenn ein Experiment mit Enddatum endet?

Am von Ihnen festgelegten Bis-Datum erhalten alle Mitglieder der Gruppe automatisch wieder Marketing-Nachrichten. Das Experiment erscheint dann in der Datumsbereichsauswahl auf der Seite der Gruppe unter Vorherige, benannt als Experiment mit seiner eigenen Nummer, sodass Sie seine Ergebnisse weiterhin einsehen können.

Kann ich die Kontrollgruppe auf bestimmte Länder beschränken?

Ja. Legen Sie Länder beim Erstellen der Gruppe fest oder später: Öffnen Sie die Seite der Gruppe unter Einstellungen > Kontrollgruppen und klicken Sie auf Einstellungen der Kontrollgruppe. Lassen Sie das Feld leer, um Benutzer aus Ihrer gesamten Zielgruppe zurückzuhalten, oder wählen Sie ein oder mehrere Länder aus, um nur Geräte dort zurückzuhalten. Der Länderbereich ist eine Prüfung pro Gerät zusätzlich zur prozentualen Formel: Er ändert nicht, wen die Formel auswählt, sondern nur, welche ihrer Geräte vom Marketing ausgeschlossen werden. Das Ändern der Länder startet die Uplift-Messung neu, da sich die verglichene Zielgruppe ändert.

Was passiert mit einem Gerät ohne Länderdaten?

Es wird nie zurückgehalten, auch wenn Länder festgelegt ist und sein Benutzer ansonsten ausgewählt ist. Pushwoosh prüft das System-Tag Land eines Geräts mit dem Geltungsbereich, und ein Gerät ohne dieses Tag hat nichts zu prüfen, also erhält es weiterhin Marketing-Nachrichten.

Kann ich die Kontrollgruppe nach Tag eingrenzen?

Ja. Legen Sie Tag beim Erstellen der Gruppe fest oder später: Öffnen Sie die Seite der Gruppe unter Einstellungen > Kontrollgruppen und klicken Sie auf Einstellungen der Kontrollgruppe. Wählen Sie ein beliebiges String- oder Boolean-Tag außer Land und dann einen oder mehrere Werte. Es funktioniert wie der Länderbereich: eine Prüfung pro Gerät zusätzlich zur prozentualen Formel, kombiniert mit Länder, wenn Sie beides festlegen. Ein Gerät ohne Wert für das Tag oder mit einem Wert, den Sie nicht aufgenommen haben, erhält weiterhin Marketing-Nachrichten, auch wenn sein Benutzer ansonsten ausgewählt ist.

Wie wirkt der Tag-Bereich mit Geräte- und Benutzer-Tags zusammen?

Ein Tag, das Sie pro Gerät festlegen, beschreibt immer nur dieses eine Gerät, sodass eine Eingrenzung danach Geräte einzeln zurückhält. Ein Tag, das Sie pro Benutzer festlegen, wird auf jedes Gerät dieses Benutzers kopiert, sodass eine Eingrenzung danach alle Geräte dieses Benutzers gemeinsam zurückhält oder verschont. In beiden Fällen erhält ein Gerät ohne Wert für das Bereichs-Tag weiterhin Marketing-Nachrichten, und welche Geräte zurückgehalten werden, kann sich im Laufe der Zeit ändern, wenn sich der Tag-Wert eines Benutzers ändert, ohne dass jemand die Kontrollgruppe bearbeitet.

Was passiert, wenn ich die Kontrollgruppe deaktiviere?

Diese Gruppe hält keine Benutzer mehr zurück, und sie erhalten wieder Marketing-Nachrichten, sofern keine andere aktivierte Gruppe sie zurückhält. Wenn keine aktivierte Gruppe mehr übrig ist, gehen Marketing-Nachrichten an alle Benutzer. Die Gruppe behält ihre Einstellungen und ihren Statistikverlauf. Wenn Sie die Kontrollgruppe später ohne Neumischung wieder aktivieren, erhalten Sie genau dieselbe Gruppe zurück, da die Mitgliedschaft nach derselben Formel berechnet wird. Um nach der Reaktivierung eine andere Gruppe zu erhalten, mischen Sie sie neu.

Was bewirkt Neu mischen?

Kontrollgruppe neu mischen zieht eine brandneue Zufallsstichprobe mit demselben Prozentsatz und ersetzt die aktuelle Kontrollgruppe durch einen anderen Satz von Benutzern. Es ist über das Drei-Punkte-Menü auf der Seite der Gruppe verfügbar. Verwenden Sie es, wenn dieselben Benutzer lange Zeit vom Marketing ausgeschlossen waren und Sie eine neue Holdout-Abdeckung wünschen. Das Neumischen startet auch das Messfenster für die Kontrollgruppen-Analyse neu.

Wie sehe ich, welche Benutzer in der Kontrollgruppe sind?

Pushwoosh taggt Benutzer der Kontrollgruppe nicht. Öffnen Sie die Seite der Gruppe unter Einstellungen > Kontrollgruppen, klicken Sie auf das Drei-Punkte-Menü und wählen Sie Benutzer exportieren, um eine CSV-Datei der aktuellen Mitglieder herunterzuladen. Benutzer exportieren erfordert die Berechtigung Personenbezogene Daten in Ihrer Rolle. Um die Mitgliedschaft stattdessen programmgesteuert zu überprüfen, rufen Sie CheckControlGroupMembership aus der Control Groups API mit einer Reihe von Benutzer-IDs auf.

Warum könnte ein Benutzer in der Kontrollgruppe trotzdem Marketing-Nachrichten erhalten?

Pushwoosh berechnet die Mitgliedschaft in der Kontrollgruppe nach der User ID. Wenn dieselbe Person mehrere Kontaktmethoden (z. B. E-Mail, Push-Gerät) hat, die nicht unter einer User ID verknüpft sind, behandelt Pushwoosh sie als verschiedene Benutzer und berechnet die Mitgliedschaft für jeden separat: einer kann in der Kontrollgruppe landen, während ein anderer dies nicht tut. Eine Kontaktmethode ohne User ID wird niemals zurückgehalten, da Pushwoosh eine User ID benötigt, um die Mitgliedschaft zu berechnen. Um dies zu vermeiden, registrieren Sie alle Kontaktmethoden mit derselben User ID.

Welchen Prozentsatz für die Kontrollgruppe sollte ich wählen?

Der richtige Prozentsatz hängt von Ihren Zielen, der Größe Ihrer App und davon ab, wie Sie die Ergebnisse verwenden möchten. Ein kleinerer Prozentsatz (z. B. 3 %) hält mehr Benutzer in der Zielgruppe und kann für Teams geeignet sein, die die Reichweite priorisieren. Ein größerer Prozentsatz (z. B. 10 %) kann eine stärkere statistische Sicherheit beim Vergleich von Gruppen bieten. Sie können einen benutzerdefinierten Wert zwischen 1 % und 20 % festlegen, um Ihren Anforderungen gerecht zu werden.

Warum entspricht meine Kontrollgruppe nicht genau dem von mir eingestellten Prozentsatz?

Die auf der Seite angezeigte Gruppengröße ist die tatsächliche Anzahl der Benutzer, die die Hash-Formel der Gruppe zugewiesen hat, nicht der Prozentsatz multipliziert mit Ihrer Benutzeranzahl. Bei kleineren Apps kann diese Anzahl sichtbar vom Prozentsatz abweichen, da die Formel Benutzer einzeln verteilt, anstatt einen exakten Anteil zu ziehen. Die Anzahl wird zwischengespeichert und etwa einmal täglich aktualisiert. Sie können eine sofortige Neuberechnung von der Seite auslösen, die die vorherige Anzahl mit einem Ladeindikator anzeigt, während sie läuft.

Was bedeutet Nicht genügend Daten in der Ereignistabelle?

Nicht genügend Daten bedeutet, dass entweder die Behandlungs- oder die Kontrollgruppe während des ausgewählten Zeitfensters weniger als 10 Konversionen oder weniger als 10 Nicht-Konversionen für dieses Ereignis hatte. Pushwoosh kann nicht feststellen, ob der Unterschied zwischen den Gruppen statistisch signifikant ist, bis mehr Daten verfügbar sind.

Wie wird der Uplift berechnet?

Uplift zeigt den prozentualen Unterschied zwischen den Konversionsraten der Behandlungs- und Kontrollgruppe im Verhältnis zur Kontrollrate. Ein positiver Wert bedeutet, dass die Behandlungsgruppe besser konvertiert hat. Pushwoosh berechnet ihn als (conv. treatment − conv. control) / conv. control × 100%.

Was bedeutet Durch Messaging erzielte Konversionen?

Durch Messaging erzielte Konversionen ist die geschätzte Anzahl zusätzlicher Ereignisse, die durch Ihre Nachrichten über die ohne Messaging erwartete Anzahl hinaus generiert werden. Pushwoosh berechnet dies als (events per user in treatment − events per user in control) × treatment group size. Der Prozentsatz zeigt diese zusätzlichen Ereignisse als Anteil an allen Ereignissen der Behandlungsgruppe.

Welche Ereignisse kann ich vergleichen und wie viele?

Ereignisse, die als Konversionsziele in Customer Journey festgelegt sind, erscheinen automatisch in der Tabelle. Klicken Sie auf Ereignisse zum Vergleich hinzufügen, um jedes andere Ereignis hinzuzufügen, insgesamt bis zu 10 Ereignisse. Ereignisse zur Nachrichteninteraktion (z. B. Öffnungen, Klicks, Sendungen, Bounces) sind ausgeschlossen, auch wenn sie als Ziel festgelegt sind, da Benutzer der Kontrollgruppe niemals Marketing-Nachrichten erhalten, auf die sie reagieren könnten.