Zum Inhalt springen

Kontrollgruppen

Eine Kontrollgruppe schließt einen festen Anteil Ihrer Benutzer von Marketing-Nachrichten auf Push, E-Mail, In-App, SMS und WhatsApp aus. Pushwoosh vergleicht diese Benutzer mit allen anderen in Ihrer App, die weiterhin Kampagnen erhalten, damit Sie messen können, ob Ihre Nachrichten zu Ergebnissen führen.

Benutzer der Kontrollgruppe erhalten weiterhin transaktionale Nachrichten auf diesen Kanälen, wenn Sie den Nachrichtentyp entsprechend einstellen.

Wie die Mitgliedschaft in der Kontrollgruppe funktioniert

Anchor link to

Pushwoosh führt keine Liste darüber, wer in der Kontrollgruppe ist. Stattdessen kombiniert es bei jeder Überprüfung Ihre App, die aktuelle Versionsnummer der Gruppe und die Benutzer-ID, führt sie durch eine Hash-Formel, um eine Zahl zu erzeugen, und prüft, ob diese Zahl innerhalb des von Ihnen festgelegten Prozentsatzes liegt (zum Beispiel 5 %). Wenn ja, ist der Benutzer in der Kontrollgruppe. Wenn nein, ist er es nicht. Da es sich um eine Formel und nicht um eine gespeicherte Liste handelt, gilt die Aktivierung der Gruppe sofort für Ihre gesamte bestehende Benutzerbasis, nicht nur für Personen, die sich danach anmelden.

Das Ergebnis jedes Benutzers bleibt im Laufe der Zeit gleich: Einmal zugewiesen, bleibt ein Benutzer in oder außerhalb der Kontrollgruppe, bis Sie die Gruppe neu mischen, ihre Größe ändern oder sich die ID des Benutzers ändert. Wenn Sie also die Gruppe deaktivieren und später wieder aktivieren, ohne sie neu zu mischen, erhalten Sie genau dieselbe Gruppe wie zuvor zurück, da sich die Formel selbst nicht geändert hat.

Wie die Kontrollgruppe die Nachrichtenzustellung beeinflusst

Anchor link to

Die Mitgliedschaft in der Kontrollgruppe blockiert oder erlaubt Nachrichten basierend auf dem Nachrichtentyp, den Sie für jede Sendung festlegen.

  • Marketing-Nachricht: wird für Benutzer der Kontrollgruppe auf Push, E-Mail, In-App, SMS und WhatsApp blockiert.

  • Transaktionale Nachricht: wird auf diesen Kanälen weiterhin zugestellt. Wählen Sie Transaktionale Nachricht, wenn Sie eine Customer Journey erstellen oder eine einmalige Nachricht senden.

Wählen Sie für jede Sendung auf diesen Kanälen Marketing-Nachricht oder Transaktionale Nachricht. Siehe wo der Nachrichtentyp eingestellt wird.

Erfahren Sie mehr über Marketing- und transaktionale Nachrichten.

Eine Kontrollgruppe erstellen

Anchor link to

Erstellen Sie eine Kontrollgruppe, um einen Teil Ihrer Benutzer von Marketing-Nachrichten auszuschließen. Eine Anwendung kann nur eine haben. Neue Gruppe wird nicht mehr angezeigt, sobald Sie eine haben.

  1. Navigieren Sie zu Einstellungen > Kontrollgruppen.
  2. Klicken Sie auf Neue Gruppe.

Liste der Kontrollgruppen ohne Gruppen und ein Pfeil, der auf die Schaltfläche 'Neue Gruppe' zeigt

  1. Legen Sie die Größe der Kontrollgruppe fest: der Anteil der Benutzer, die von Marketing-Nachrichten zurückgehalten werden, von 1 % bis 20 %.

Dialogfeld für eine neue Kontrollgruppe mit einem Feld für die Größe der Kontrollgruppe

  1. Klicken Sie auf Erstellen. Die Gruppe beginnt sofort damit, ihre Mitglieder von Marketing-Nachrichten auszuschließen.

Die Kontrollgruppe verwalten

Anchor link to

Öffnen Sie Einstellungen > Kontrollgruppen und klicken Sie auf die Zeile der Gruppe, um zu ihrer eigenen Seite zu gelangen, auf der die folgenden Abschnitte gelten.

Größe der Kontrollgruppe bearbeiten

Anchor link to

Sie können die Größe einer Kontrollgruppe jederzeit von ihrer Seite aus anpassen.

  1. Klicken Sie oben rechts auf Einstellungen der Kontrollgruppe. Die Schaltfläche zeigt auch den aktuellen Prozentsatz der Gruppe an, zum Beispiel Einstellungen der Kontrollgruppe: 10 %.
  2. Wählen Sie einen neuen Prozentsatz:
  • 3 % (Maximale Reichweite): kleinste Ausschlussgruppe für sensible oder hochwertige Zielgruppen.
  • 5 % (Empfohlen für die meisten Apps): optimierte Mischung aus Messsicherheit und Benutzerreichweite.
  • 10 % (Höhere Sicherheit): größere Kontrollgruppe für eine klarere und zuverlässigere ROI-Validierung.
  • Benutzerdefiniert (1 %–20 %): legen Sie eine benutzerdefinierte Größe der Kontrollgruppe für eine flexible Messung fest.
  1. Klicken Sie auf Anwenden, um die Änderungen zu bestätigen.

Schaltfläche 'Einstellungen der Kontrollgruppe' und die für eine Kontrollgruppe verfügbaren Prozentoptionen

Die Gruppengröße neu berechnen

Anchor link to

Größe der Kontrollgruppe zeigt eine gespeicherte Zahl an, die Pushwoosh etwa einmal täglich aktualisiert. Direkt nachdem Sie die Gruppengröße geändert haben oder wenn viele neue Benutzer Ihrer App beitreten, kann diese Zahl veraltet sein.

Um sie sofort zu aktualisieren, klicken Sie neben der Gruppengröße auf Neu berechnen.

Die Kontrollgruppe neu mischen

Anchor link to

Kontrollgruppe neu mischen wählt einen neuen zufälligen Satz von Benutzern aus, wobei der gleiche Prozentsatz beibehalten wird. Alle, die sich derzeit in der Gruppe befinden, verlassen sie, und ein anderer Satz von Benutzern nimmt ihren Platz ein. Verwenden Sie dies, wenn dieselben Personen lange Zeit von Ihren Marketing-Nachrichten ausgeschlossen waren.

  1. Klicken Sie auf das Drei-Punkte-Menü oben rechts.
  2. Wählen Sie Kontrollgruppe neu mischen.

Drei-Punkte-Menü mit der Option 'Kontrollgruppe neu mischen' auf der Seite einer Kontrollgruppe

  1. Bestätigen Sie im erscheinenden Dialogfeld.

Benutzer der Kontrollgruppe exportieren

Anchor link to

Pushwoosh taggt Benutzer der Kontrollgruppe nicht, daher ist der Export von dieser Seite die einzige Möglichkeit, eine Liste der aktuellen Mitglieder zu erhalten.

  1. Klicken Sie auf das Drei-Punkte-Menü oben rechts.
  2. Wählen Sie Benutzer exportieren.
  3. Wenn der Export abgeschlossen ist, klicken Sie auf CSV herunterladen, um die Datei zu speichern.

Benachrichtigung über den Abschluss des Exports mit der Schaltfläche 'CSV herunterladen' auf der Seite einer Kontrollgruppe

Eine Kontrollgruppe deaktivieren

Anchor link to
  1. Klicken Sie auf das Drei-Punkte-Menü oben rechts.
  2. Wählen Sie Kontrollgruppe deaktivieren.

Drei-Punkte-Menü mit der Option 'Kontrollgruppe deaktivieren' auf der Seite einer Kontrollgruppe

Das Deaktivieren stoppt sofort, dass diese Gruppe Benutzer zurückhält, und sie beginnen wieder, Marketing-Nachrichten zu erhalten. Wenn Sie sie später wieder aktivieren, ohne sie neu zu mischen, reproduziert Pushwoosh genau dieselbe Gruppe, da die Mitgliedschaft nach derselben Formel berechnet wird. Um nach der Reaktivierung eine andere Gruppe zu erhalten, mischen Sie sie neu.

Die Kontrollgruppe löschen

Anchor link to

Das Löschen der Kontrollgruppe entfernt sie und ihre Konfiguration dauerhaft.

  1. Klicken Sie auf das Drei-Punkte-Menü oben rechts.
  2. Wählen Sie Gruppe löschen.
  3. Bestätigen Sie im erscheinenden Dialogfeld. Dies kann nicht rückgängig gemacht werden.

Auswirkungen der Kontrollgruppe analysieren

Anchor link to

Die Seite jeder Kontrollgruppe zeigt, wie Ihre Nachrichten im Vergleich zu dieser Gruppe abschneiden. Die Seite hat zwei Blöcke: eine Ereignisvergleichstabelle oben und einen Auswirkungsbericht darunter. Beide vergleichen zwei Benutzergruppen für jedes von Ihnen gewählte Ereignis:

  • Behandlungsgruppe: alle Benutzer, die nicht in der Kontrollgruppe sind. Sie erhalten weiterhin Ihre Marketing-Nachrichten (Push, E-Mail, In-App, SMS, WhatsApp) wie gewohnt.
  • Kontrollgruppe: die oben von Ihnen konfigurierte Holdout-Gruppe. Diese Benutzer sind von Marketing-Nachrichten ausgeschlossen, sodass jeder Unterschied in ihrem Verhalten nicht von Ihren Kampagnen beeinflusst wird.

Ereignisse vergleichen

Anchor link to
  1. Wählen Sie ein Zeitfenster: Letzte 3 Tage, Letzte 7 Tage oder Letzte 30 Tage.
  2. Überprüfen Sie die Ereignisvergleichstabelle. Sie zeigt Ereignisse nur dann automatisch an, wenn Sie Konversionsziele in Customer Journey festgelegt haben. Andernfalls ist die Tabelle zunächst leer.
  3. Klicken Sie auf Ereignisse zum Vergleichen hinzufügen, um jedes Ereignis hinzuzufügen, das Sie messen möchten. Sie können insgesamt bis zu 10 Ereignisse hinzufügen.

Seite der Kontrollgruppe mit einer Tabelle, die Ereignisse zwischen Behandlung und Kontrolle vergleicht

Die Tabelle zeigt diese Metriken für jedes Ereignis:

  • Conv. Treatment: die Konversionsrate in der Behandlungsgruppe. Dies ist der Anteil der einzigartigen Benutzer, die Ihre Marketing-Nachrichten (Push, E-Mail, In-App, SMS, WhatsApp) erhalten und das Ereignis mindestens einmal ausgelöst haben.
  • Conv. Control: die Konversionsrate in der Kontrollgruppe. Dies ist der Anteil der einzigartigen Benutzer, die von Marketing-Nachrichten zurückgehalten wurden und das Ereignis trotzdem mindestens einmal ohne den Einfluss von Nachrichten ausgelöst haben.
  • Uplift: der prozentuale Unterschied zwischen den Konversionsraten der Behandlungs- und Kontrollgruppe, relativ zur Kontrollrate. Ein positiver Wert bedeutet, dass die Behandlungsgruppe besser konvertiert hat. Berechnet als (conv. treatment − conv. control) / conv. control × 100%.
  • Signifikanz: ob der Unterschied statistisch zuverlässig ist:
    • Signifikant: der Uplift ist unwahrscheinlich auf Zufall zurückzuführen.
    • Nicht signifikant: der Unterschied ist statistisch noch nicht zuverlässig.
    • Nicht genügend Daten: eine der beiden Gruppen hat weniger als 10 Konversionen oder weniger als 10 Nicht-Konversionen für dieses Ereignis, sodass die Signifikanz nicht berechnet werden kann.

Den Auswirkungsbericht anzeigen

Anchor link to

Verwenden Sie das Dropdown-Menü Ereignis anzeigen, um ein Ereignis aus der Tabelle auszuwählen. Der Auswirkungsbericht darunter zeigt eine detailliertere Aufschlüsselung für dieses Ereignis.

Auswirkungsbericht mit Uplift, durch Messaging erzielten Konversionen und einer Tabelle zur Gruppenaufschlüsselung

  • Uplift (Änderung gegenüber der Kontrolle): wie stark sich die Konversionsrate der Behandlung von der Konversionsrate der Kontrolle unterscheidet. Dies ist derselbe Wert, der in der Ereignistabelle angezeigt wird.
  • Durch Messaging erzielte Konversionen: die geschätzte Anzahl zusätzlicher Ereignisse, die durch Ihre Nachrichten über die ohne Nachrichten erwartete Anzahl hinaus generiert wurden. Berechnet als (Ereignisse pro Benutzer in der Behandlung − Ereignisse pro Benutzer in der Kontrolle) × Größe der Behandlungsgruppe. Der Prozentsatz zeigt diese zusätzlichen Ereignisse als Anteil an allen Behandlungsereignissen.
  • Signifikanz: gibt an, ob der gemessene Unterschied statistisch zuverlässig ist. Der Bericht zeigt Signifikant, Nicht signifikant oder Nicht genügend Daten, basierend auf:
    • Konfidenz: wie sicher Pushwoosh ist, dass der Uplift einen echten Unterschied zwischen Behandlung und Kontrolle widerspiegelt und nicht auf Zufall beruht, angezeigt als Prozentsatz. Je höher die Konfidenz, desto stärker der Beweis.
    • P-Wert: zeigt, wie wahrscheinlich es ist, diesen Unterschied zufällig zu beobachten, wenn Nachrichten keine wirkliche Wirkung haben. Ein niedrigerer P-Wert liefert einen stärkeren Beweis dafür, dass der Unterschied nicht zufällig ist.
  • Z-Score: zeigt, wie weit die Leistung Ihrer beiden Gruppen auseinanderliegt. Ein Wert nahe 0 bedeutet, dass der Unterschied zufällig sein könnte. Je weiter von 0 entfernt, desto sicherer können Sie sein, dass eine Gruppe wirklich besser ist als die andere.
  • Gruppenaufschlüsselung: vergleicht die Behandlungs- und Kontrollgruppen nach Geschätzte Benutzer, Gesamtzahl der Ereignisse, Ereignisse pro Benutzer und Konv. Rate (einzigartig).

Häufig gestellte Fragen

Anchor link to

Kann eine Anwendung mehr als eine Kontrollgruppe haben?

Anchor link to

Nein. Eine Anwendung kann nur eine Kontrollgruppe haben, die automatisch auf jede Marketing-Sendung angewendet wird. Es gibt keine Möglichkeit, eine bestimmte Nachricht auf eine andere zu richten.

Kann ich die Kontrollgruppe löschen?

Anchor link to

Ja, über das Drei-Punkte-Menü auf der Seite der Gruppe. Dies kann nicht rückgängig gemacht werden und lässt die Anwendung ohne Fallback: Marketing-Nachrichten gehen an alle, bis Sie eine neue Kontrollgruppe erstellen. Um die Gruppe zu pausieren, ohne sie zu verlieren, deaktivieren Sie sie, anstatt sie zu löschen.

Welche Benutzer sind in der Kontrollgruppe?

Anchor link to

Pushwoosh führt keine gespeicherte Liste der Mitglieder der Kontrollgruppe. Es verwendet eine Formel, eine Berechnung, die bei gleichen Eingaben immer das gleiche Ergebnis liefert, basierend auf Ihrer App, der User ID und den aktuellen Einstellungen der Gruppe. Dies gilt für Ihre gesamte bestehende Benutzerbasis, sobald Sie die Gruppe aktivieren, nicht nur für neue Anmeldungen, und das Ergebnis bleibt für einen bestimmten Benutzer jedes Mal gleich, bis Sie die Gruppe neu mischen oder ihre Größe ändern.

Erhalten Benutzer der Kontrollgruppe transaktionale Nachrichten?

Anchor link to

Ja. Transaktionale Nachrichten (z. B. Passwort-Resets, Bestellbestätigungen) werden an alle Benutzer zugestellt, einschließlich der Kontrollgruppe. Nur Marketing-Nachrichten werden für Benutzer der Kontrollgruppe blockiert.

Wo stelle ich den Nachrichten-Typ ‘Marketing’ oder ‘transaktional’ ein?

Anchor link to

Sie wählen ihn überall dort, wo Sie Nachrichten senden. Für jeden Kanal siehe Wo der Nachrichtentyp eingestellt wird.

Was passiert mit Kampagnen, die erstellt wurden, bevor ich die Kontrollgruppe aktiviert habe?

Anchor link to

Kampagnen, die vor der Aktivierung der Kontrollgruppe erstellt wurden, funktionieren genau wie neue: Pushwoosh überprüft den Nachrichtentyp einer Kampagne zum Zeitpunkt des Versands, nicht zum Zeitpunkt der Erstellung.

  • Marketing-Nachricht (oder gar kein Nachrichtentyp, was bei Kampagnen vorkommen kann, die über die API erstellt wurden): Die Kontrollgruppe schließt diese Benutzer sofort aus.
  • Transaktionale Nachricht: Benutzer der Kontrollgruppe erhalten sie weiterhin wie bisher.

Bearbeiten Sie die Kampagne und stellen Sie den Nachrichtentyp auf Transaktionale Nachricht ein, wenn Sie möchten, dass sie alle erreicht, einschließlich der Kontrollgruppe.

Kann ich die Größe der Kontrollgruppe nach der Aktivierung ändern?

Anchor link to

Ja. Öffnen Sie die Seite der Gruppe unter Einstellungen > Kontrollgruppen, klicken Sie auf Einstellungen der Kontrollgruppe, wählen Sie einen neuen Prozentsatz (1 % bis 20 %) und klicken Sie auf Anwenden. Pushwoosh berechnet die Mitgliedschaft für Ihre gesamte Benutzerbasis anhand des neuen Prozentsatzes neu: Das Vergrößern der Gruppe fügt Benutzer hinzu, ohne bereits vorhandene zu entfernen, und das Verkleinern gibt einige bestehende Mitglieder frei. Dies kann den Vergleich mit früheren Kampagnen beeinträchtigen, ändern Sie die Größe also nur bei Bedarf.

Was passiert, wenn ich die Kontrollgruppe deaktiviere?

Anchor link to

Pushwoosh hält keine Benutzer mehr zurück und jeder erhält wieder Marketing-Nachrichten. Wenn Sie die Kontrollgruppe später wieder aktivieren, ohne sie neu zu mischen, erhalten Sie genau dieselbe Gruppe zurück, da die Mitgliedschaft nach derselben Formel berechnet wird. Um nach der Reaktivierung eine andere Gruppe zu erhalten, mischen Sie sie neu.

Was bewirkt ‘Neu mischen’?

Anchor link to

Kontrollgruppe neu mischen zieht eine brandneue Zufallsstichprobe mit demselben Prozentsatz und ersetzt die aktuelle Kontrollgruppe durch einen anderen Satz von Benutzern. Es ist über das Drei-Punkte-Menü auf der Seite der Gruppe verfügbar. Verwenden Sie es, wenn dieselben Benutzer lange Zeit vom Marketing ausgeschlossen waren und Sie eine neue Holdout-Abdeckung wünschen. Das Neumischen startet auch das Messfenster für die Analysen der Kontrollgruppe neu.

Wie sehe ich, welche Benutzer in der Kontrollgruppe sind?

Anchor link to

Pushwoosh taggt Benutzer der Kontrollgruppe nicht. Öffnen Sie die Seite der Gruppe unter Einstellungen > Kontrollgruppen, klicken Sie auf das Drei-Punkte-Menü und wählen Sie Benutzer exportieren, um eine CSV-Datei der aktuellen Mitglieder herunterzuladen.

Warum könnte ein Benutzer in der Kontrollgruppe trotzdem Marketing-Nachrichten erhalten?

Anchor link to

Pushwoosh berechnet die Mitgliedschaft in der Kontrollgruppe anhand der User ID. Wenn dieselbe Person mehrere Kontaktmethoden hat (z. B. E-Mail, Push-Gerät), die nicht unter einer User ID verknüpft sind, behandelt Pushwoosh sie als unterschiedliche Benutzer und berechnet die Mitgliedschaft für jeden separat: Einer kann in der Kontrollgruppe landen, während ein anderer dies nicht tut. Eine Kontaktmethode ohne User ID wird niemals zurückgehalten, da Pushwoosh eine User ID benötigt, um die Mitgliedschaft zu berechnen. Um dies zu vermeiden, registrieren Sie alle Kontaktmethoden mit derselben User ID.

Welchen Prozentsatz für die Kontrollgruppe sollte ich wählen?

Anchor link to

Der richtige Prozentsatz hängt von Ihren Zielen, der App-Größe und davon ab, wie Sie die Ergebnisse verwenden möchten. Ein kleinerer Prozentsatz (z. B. 3 %) hält mehr Benutzer im Publikum und kann für Teams geeignet sein, die die Reichweite priorisieren. Ein größerer Prozentsatz (z. B. 10 %) kann eine stärkere statistische Sicherheit beim Vergleich von Gruppen bieten. Sie können einen benutzerdefinierten Wert zwischen 1 % und 20 % festlegen, um Ihren Anforderungen gerecht zu werden.

Warum entspricht meine Kontrollgruppe nicht genau dem von mir eingestellten Prozentsatz?

Anchor link to

Die auf der Seite angezeigte Gruppengröße ist die tatsächliche Anzahl der Benutzer, die die Hash-Formel der Gruppe zugewiesen hat, nicht der Prozentsatz multipliziert mit Ihrer Benutzeranzahl. Bei kleineren Apps kann diese Anzahl sichtbar vom Prozentsatz abweichen, da die Formel Benutzer einzeln verteilt, anstatt einen exakten Anteil zu ziehen. Die Anzahl wird zwischengespeichert und etwa einmal täglich aktualisiert; Sie können eine sofortige Neuberechnung von der Seite auslösen, die die vorherige Anzahl mit einem Ladeindikator anzeigt, während sie läuft.

Was bedeutet Nicht genügend Daten in der Ereignistabelle?

Anchor link to

Nicht genügend Daten bedeutet, dass entweder die Behandlungs- oder die Kontrollgruppe während des ausgewählten Zeitfensters weniger als 10 Konversionen oder weniger als 10 Nicht-Konversionen für dieses Ereignis hatte. Pushwoosh kann nicht feststellen, ob der Unterschied zwischen den Gruppen statistisch signifikant ist, bis mehr Daten verfügbar sind.

Wie wird der Uplift berechnet?

Anchor link to

Uplift zeigt den prozentualen Unterschied zwischen den Konversionsraten der Behandlungs- und Kontrollgruppe, relativ zur Kontrollrate. Ein positiver Wert bedeutet, dass die Behandlungsgruppe besser konvertiert hat. Pushwoosh berechnet ihn als (conv. treatment − conv. control) / conv. control × 100%.

Was bedeutet Durch Messaging erzielte Konversionen?

Anchor link to

Durch Messaging erzielte Konversionen ist die geschätzte Anzahl zusätzlicher Ereignisse, die durch Ihre Nachrichten über die ohne Nachrichten erwartete Anzahl hinaus generiert wurden. Pushwoosh berechnet sie als (Ereignisse pro Benutzer in der Behandlung − Ereignisse pro Benutzer in der Kontrolle) × Größe der Behandlungsgruppe. Der Prozentsatz zeigt diese zusätzlichen Ereignisse als Anteil an allen Behandlungsereignissen.

Welche Ereignisse kann ich vergleichen und wie viele?

Anchor link to

Sie können Ereignisse vergleichen, die als Konversionsziele in Customer Journey konfiguriert sind. Sie können bis zu 10 Ereignisse zur Vergleichstabelle hinzufügen. Ereignisse zur Nachrichteninteraktion (z. B. Öffnungen, Klicks, Sendungen, Bounces) sind ausgeschlossen, auch wenn sie als Ziel festgelegt sind, da Benutzer der Kontrollgruppe niemals Marketing-Nachrichten erhalten, auf die sie reagieren könnten.