Globale Kontrollgruppe

Die Globale Kontrollgruppe ermöglicht es Ihnen, einen festen Prozentsatz Ihrer Benutzerbasis zu definieren, der von allen Marketing-Kommunikationen (Push, E-Mail, In-App) ausgeschlossen ist. Benutzer der Kontrollgruppe erhalten weiterhin transaktionale Nachrichten.

Dies hilft Ihnen, die Wirksamkeit Ihrer Messaging-Kampagnen zu messen, indem Sie die Ergebnisse von Benutzern, die die Nachrichten erhalten haben, mit denen vergleichen, die sie nicht erhalten haben (die Kontrollgruppe).

Hinweis

Die Kontrollgruppe wird auf Anwendungsebene konfiguriert.

Welche Benutzer werden eingeschlossen

Nur neue Benutzer, die sich anmelden, nachdem Sie die Kontrollgruppe aktiviert haben, können hinzugefügt werden. Pushwoosh prüft jeden neuen Benutzer einmal und weist einige von ihnen basierend auf dem von Ihnen festgelegten Prozentsatz (zwischen 1 % und 15 %) zufällig der Gruppe zu.

Benutzer bleiben in der Kontrollgruppe, es sei denn, Sie ändern die Gruppengröße oder deaktivieren die Gruppe. Die Beibehaltung der unveränderten Gruppe hilft, genaue Kampagnenergebnisse zu gewährleisten.

Wichtig

Pushwoosh weist Benutzer basierend auf ihrer Benutzer-ID zu, nicht auf dem Gerät. Wenn die Kontaktmethoden eines Benutzers, wie z. B. sein Mobilgerät, seine E-Mail-Adresse oder seine Telefonnummer, nicht unter derselben Benutzer-ID verknüpft sind, kann Pushwoosh sie als separate Benutzer behandeln. Infolgedessen könnten sie weiterhin Marketing-Nachrichten erhalten, auch wenn einer ihrer Kontaktpunkte in der Kontrollgruppe ist.

Um dies zu vermeiden, stellen Sie sicher, dass Sie alle Kontaktmethoden mit derselben Benutzer-ID registrieren.

Erfahren Sie, wie Sie Benutzer-IDs für Omnichannel-Kampagnen verwalten

Wie die Kontrollgruppe die Zustellung von Nachrichten beeinflusst

Marketing-Nachrichten (Push, E-Mail, In-App) werden für Benutzer der Kontrollgruppe bei allen Arten von Kampagnen automatisch blockiert.

Transaktionale Nachrichten (wie Passwortzurücksetzungen oder Bestellbestätigungen) werden weiterhin zugestellt. Um dies sicherzustellen, wählen Sie Transaktionale Nachricht aus, wenn Sie eine Customer-Journey-Kampagne erstellen oder eine einmalige Nachricht senden.

Hinweis

Sie müssen für jeden Push-, E-Mail- und In-App-Versand Marketing-Nachricht oder Transaktionale Nachricht auswählen. Siehe Wo der Nachrichtentyp eingestellt wird.

Wie bestehende Kampagnen behandelt werden

Kampagnen, die erstellt wurden, bevor Sie die Globale Kontrollgruppe aktiviert haben, haben keinen Nachrichtentyp festgelegt. Sie werden als transaktional behandelt und an alle Benutzer, einschließlich der Kontrollgruppe, zugestellt. Wenn Sie möchten, dass solche Kampagnen die Kontrollgruppe ausschließen, bearbeiten Sie jede Kampagne und setzen Sie den Nachrichtentyp auf Marketing.

Erfahren Sie mehr über Marketing- und transaktionale Nachrichten.

Arbeiten mit Benutzern der Kontrollgruppe

Wenn Sie die Globale Kontrollgruppe aktivieren, erstellt Pushwoosh ein System-Tag:

• Tag-Name: PW_ControlGroup
• Werte: true (Benutzer ist in der Kontrollgruppe) oder false (Benutzer ist nicht in der Kontrollgruppe)

Sie können dieses Tag verwenden, um Benutzer der Kontrollgruppe zu filtern, zu segmentieren oder zu exportieren.

Die Globale Kontrollgruppe aktivieren

Wichtig

Nur Administratoren können die Globale Kontrollgruppe erstellen, bearbeiten oder löschen. Rollen werden unter Mein Konto → Benutzer und Gruppen zugewiesen. Erfahren Sie, wie Sie Rollen und Berechtigungen verwalten.

1. Navigieren Sie zu Einstellungen > Globale Kontrollgruppe.
2. Klicken Sie auf Aktivieren.

3. Wählen Sie aus, welcher Prozentsatz der Benutzer von Marketing-Nachrichten ausgeschlossen werden soll, um die Kampagnenwirkung zu messen.

• 3 %: Maximale Reichweite Empfohlen für kleine Apps oder kritische Anwendungsfälle, bei denen das Erreichen von mehr Benutzern wichtig ist und die Messgenauigkeit leicht gelockert werden kann.
• 5 %: Empfohlen für die meisten Apps Beste Standardoption. Bietet ein gutes Gleichgewicht zwischen Messsicherheit und Benutzerreichweite.
• 10 %: Höhere Sicherheit Geeignet für groß angelegte Kampagnen oder wenn Sie eine hohe Datengenauigkeit zur Validierung des ROI benötigen.
• Benutzerdefiniert (1 %–15 %): Verwenden Sie diese Option, wenn Sie Flexibilität benötigen, um Ihren eigenen Prozentsatz basierend auf der App-Größe, dem Kampagnentyp oder den Geschäftsanforderungen zu definieren.

Klicken Sie auf Anwenden, um Ihre Auswahl zu speichern.

Hinweis

Nachdem die Kontrollgruppe aktiviert ist, sehen Sie beim Erstellen einer Kampagne eine Nachricht, dass Benutzer in der Kontrollgruppe von dieser Kampagne ausgeschlossen sind.

Die Kontrollgruppe verwalten

Die Kontrollgruppe bearbeiten

Sie können die Größe der Kontrollgruppe jederzeit unter Einstellungen > Globale Kontrollgruppe anpassen.

1. Klicken Sie auf Gruppengröße bearbeiten.
2. Wählen Sie einen neuen Prozentsatz (1 % bis 15 %).
3. Klicken Sie auf Anwenden, um die Änderungen zu bestätigen.

Wichtig

Die Änderung der Größe der Kontrollgruppe betrifft nur Benutzer, die sich nach der Änderung registrieren. Benutzer, die sich bereits in der Kontrollgruppe befinden, bleiben darin. Benutzer, die bereits in Ihrer App waren, aber nicht in der Gruppe, werden später nicht hinzugefügt. Dies kann den Vergleich der Ergebnisse mit früheren Kampagnen beeinträchtigen, ändern Sie die Größe also nur bei Bedarf.

Benutzer der Kontrollgruppe exportieren

Um eine Liste der Benutzer in der Kontrollgruppe herunterzuladen:

1. Öffnen Sie Einstellungen > Globale Kontrollgruppe.
2. Klicken Sie auf das Drei-Punkte-Menü oben rechts.
3. Wählen Sie Benutzer exportieren.
4. Wenn der Export abgeschlossen ist, klicken Sie auf CSV herunterladen, um die Datei zu speichern.

Die Kontrollgruppe deaktivieren

1. Klicken Sie auf das Drei-Punkte-Menü neben den Einstellungen der Kontrollgruppe.
2. Wählen Sie Kontrollgruppe deaktivieren.

Das Deaktivieren der Gruppe entfernt den Kontrollgruppenstatus von allen Benutzern, und sie erhalten wieder Marketing-Nachrichten. Wenn Sie sie später wieder aktivieren, erstellt Pushwoosh eine neue Gruppe mit einer neuen zufälligen Auswahl.

Auswirkungen der Kontrollgruppe analysieren

Die Seite „Globale Kontrollgruppe“ zeigt, wie Ihre Nachrichten im Vergleich zur Kontrollgruppe abschneiden. Sie vergleicht zwei Benutzergruppen für jedes von Ihnen gewählte Ereignis:

• Behandlungsgruppe: alle Benutzer, die nicht in der Kontrollgruppe sind. Sie erhalten weiterhin Ihre Marketing-Nachrichten (Push, E-Mail, In-App) wie gewohnt.
• Kontrollgruppe: die oben konfigurierte zurückgehaltene Gruppe. Diese Benutzer sind von Marketing-Nachrichten ausgeschlossen, sodass jeglicher Unterschied in ihrem Verhalten nicht von Ihren Kampagnen beeinflusst wird.

1. Wählen Sie ein Zeitfenster: Letzte 3 Tage, Letzte 7 Tage oder Letzte 30 Tage.
2. Überprüfen Sie die Ereignisvergleichstabelle. Sie ist bereits mit Ihren Konversionszielen aus der Customer Journey gefüllt.
3. Um weitere Ereignisse hinzuzufügen, klicken Sie auf Ereignisse zum Vergleich hinzufügen. Sie können insgesamt bis zu 10 Ereignisse hinzufügen.

Die Tabelle zeigt diese Metriken für jedes Ereignis:

• Konv. Behandlungsgruppe: die Konversionsrate in der Behandlungsgruppe. Dies ist der Anteil der einzigartigen Benutzer, die Ihre Marketing-Nachrichten (Push, E-Mail, In-App) erhalten und das Ereignis mindestens einmal ausgelöst haben.
• Konv. Kontrollgruppe: die Konversionsrate in der Kontrollgruppe. Dies ist der Anteil der einzigartigen Benutzer, die von Marketing-Nachrichten zurückgehalten wurden und das Ereignis trotzdem mindestens einmal ohne jeglichen Nachrichteneinfluss ausgelöst haben.
• Uplift: der prozentuale Unterschied zwischen den Konversionsraten der Behandlungs- und Kontrollgruppe, relativ zur Kontrollrate. Ein positiver Wert bedeutet, dass die Behandlungsgruppe besser konvertiert hat. Berechnet als (Konv. Behandlungsgruppe − Konv. Kontrollgruppe) / Konv. Kontrollgruppe × 100 %.
• Signifikanz: ob der Unterschied statistisch zuverlässig ist:
  • Signifikant: der Uplift ist unwahrscheinlich auf Zufall zurückzuführen.
  • Nicht signifikant: der Unterschied ist statistisch noch nicht zuverlässig.
  • Nicht genügend Daten: entweder hat eine Gruppe weniger als 10 Konversionen oder weniger als 10 Nicht-Konversionen für dieses Ereignis, sodass die Signifikanz nicht berechnet werden kann.

Wirkungsbericht

Der Wirkungsbericht zeigt eine detailliertere Aufschlüsselung für jeweils ein Ereignis. Verwenden Sie das Dropdown-Menü Ereignis anzeigen, um auszuwählen, welches Ereignis Sie untersuchen möchten.

• Uplift (Änderung gegenüber der Kontrollgruppe): wie stark sich die Konversionsrate der Behandlungsgruppe von der Konversionsrate der Kontrollgruppe unterscheidet. Dies ist derselbe Wert, der in der Ereignistabelle angezeigt wird.
• Durch Nachrichten generierte Konversionen: die geschätzte Anzahl zusätzlicher Ereignisse, die durch Ihre Nachrichten über die ohne Nachrichten erwartete Anzahl hinaus generiert wurden. Berechnet als (Ereignisse pro Benutzer in der Behandlungsgruppe − Ereignisse pro Benutzer in der Kontrollgruppe) × Größe der Behandlungsgruppe. Der Prozentsatz zeigt diese zusätzlichen Ereignisse als Anteil an allen Ereignissen der Behandlungsgruppe.
• Signifikanz: gibt an, ob der gemessene Unterschied statistisch zuverlässig ist. Der Bericht zeigt Signifikant, Nicht signifikant oder Nicht genügend Daten, basierend auf:
  • Konfidenz: wie sicher Pushwoosh ist, dass der Uplift einen echten Unterschied zwischen Behandlungs- und Kontrollgruppe widerspiegelt und nicht auf Zufall beruht, als Prozentsatz angezeigt. Je höher die Konfidenz, desto stärker der Beweis.
  • P-Wert: zeigt, wie wahrscheinlich es ist, diesen Unterschied zufällig zu beobachten, wenn Nachrichten keine wirkliche Wirkung haben. Ein niedrigerer P-Wert liefert einen stärkeren Beweis dafür, dass der Unterschied nicht zufällig ist.
• Z-Score: zeigt, wie weit die Leistung Ihrer beiden Gruppen auseinanderliegt. Ein Wert nahe 0 bedeutet, dass der Unterschied zufällig sein könnte. Je weiter von 0 entfernt, desto sicherer können Sie sein, dass eine Gruppe wirklich besser ist als die andere.
• Gruppenaufschlüsselung: vergleicht die Behandlungs- und Kontrollgruppen nach Geschätzte Benutzer, Gesamtzahl der Ereignisse, Ereignisse pro Benutzer und Konv.-Rate (einzigartig).

Häufig gestellte Fragen

Welche Benutzer werden zur Kontrollgruppe hinzugefügt?

Nur Benutzer, die sich anmelden, nachdem Sie die Kontrollgruppe aktiviert haben, können hinzugefügt werden. Wenn sich ein neuer Benutzer registriert, entscheidet Pushwoosh einmalig nach dem Zufallsprinzip, ob er in die Kontrollgruppe aufgenommen wird, basierend auf dem von Ihnen festgelegten Prozentsatz (1 % bis 15 %). Benutzer, die bereits in Ihrer Anwendung vorhanden waren, als Sie die Kontrollgruppe aktiviert haben, werden niemals hinzugefügt.

Erhalten Benutzer der Kontrollgruppe transaktionale Nachrichten?

Ja. Transaktionale Nachrichten (z. B. Passwortzurücksetzungen, Bestellbestätigungen) werden an alle Benutzer zugestellt, einschließlich der Kontrollgruppe. Nur Marketing-Nachrichten werden für Benutzer der Kontrollgruppe blockiert.

Wo stelle ich den Nachrichtentyp „Marketing“ oder „Transaktional“ ein?

Sie wählen ihn überall dort aus, wo Sie Nachrichten senden. Für jeden Kanal finden Sie Informationen unter Wo der Nachrichtentyp eingestellt wird.

Was passiert mit Kampagnen, die erstellt wurden, bevor ich die Kontrollgruppe aktiviert habe?

Für sie ist kein Nachrichtentyp festgelegt und sie werden als transaktional behandelt, sodass sie an alle, einschließlich der Kontrollgruppe, zugestellt werden. Um die Kontrollgruppe von diesen Kampagnen auszuschließen, bearbeiten Sie jede Kampagne und setzen Sie den Nachrichtentyp auf Marketing.

Kann ich die Größe der Kontrollgruppe nach der Aktivierung ändern?

Ja. Gehen Sie zu Einstellungen > Globale Kontrollgruppe, klicken Sie auf Gruppengröße bearbeiten, wählen Sie einen neuen Prozentsatz (1 % bis 15 %) und klicken Sie auf Anwenden. Der neue Prozentsatz gilt nur für Benutzer, die sich nach der Änderung registrieren. Benutzer, die sich bereits in der Kontrollgruppe befinden, bleiben darin. Benutzer, die bereits in Ihrer App waren, aber nicht in der Gruppe, werden später nicht hinzugefügt. Dies kann den Vergleich mit früheren Kampagnen beeinträchtigen, ändern Sie die Größe also nur bei Bedarf.

Was passiert, wenn ich die Kontrollgruppe deaktiviere?

Alle Benutzer gehören nicht mehr zur Kontrollgruppe und erhalten wieder Marketing-Nachrichten. Wenn Sie die Kontrollgruppe später wieder aktivieren, erstellt Pushwoosh eine neue Gruppe mit einer neuen zufälligen Auswahl von Benutzern.

Wie sehe ich, welche Benutzer sich in der Kontrollgruppe befinden?

Wenn die Kontrollgruppe aktiviert ist, erstellt Pushwoosh das System-Tag PW_ControlGroup mit dem Wert true (Benutzer ist in der Gruppe) oder false (Benutzer ist nicht in der Gruppe). Verwenden Sie dieses Tag, um Benutzer der Kontrollgruppe zu filtern, zu segmentieren oder zu exportieren.

Warum stimmt die Anzahl der Kontrollgruppe nicht mit meiner Segmentanzahl überein?

Das Tag PW_ControlGroup bleibt bei einem Benutzer bestehen, auch nachdem er sich von Push-Benachrichtigungen abgemeldet, die App deinstalliert hat oder sein Push-Token ungültig wird. Daher kann die Gesamtzahl der getaggten Benutzer höher sein als erwartet. Ein Segment oder Export, das auf diesem Tag basiert, enthält nur erreichbare Geräte: solche mit einem gültigen Push-Token, einer verifizierten E-Mail-Adresse oder einer anderen aktiven Kontaktmethode. Aus diesem Grund kann die Anzahl der Benutzer mit dem Tag PW_ControlGroup: true größer sein als die Anzahl, die Sie in einem Segment oder einer CSV-Datei sehen, die auf diesem Tag basiert.

Warum könnte ein Benutzer in der Kontrollgruppe trotzdem Marketing-Nachrichten erhalten?

Pushwoosh weist die Kontrollgruppe nach Benutzer-ID zu, nicht nach Gerät oder Kontaktmethode. Wenn dieselbe Person mehrere Kontaktmethoden hat (z. B. E-Mail, Push-Gerät), die nicht unter einer Benutzer-ID verknüpft sind, behandelt Pushwoosh sie als unterschiedliche Benutzer. Einer von ihnen kann in der Kontrollgruppe sein, während ein anderer es nicht ist, sodass letzterer weiterhin Marketing erhalten kann. Um dies zu vermeiden, registrieren Sie alle Kontaktmethoden mit derselben Benutzer-ID.

Welchen Prozentsatz für die Kontrollgruppe sollte ich wählen?

Der richtige Prozentsatz hängt von Ihren Zielen, der Größe Ihrer App und davon ab, wie Sie die Ergebnisse verwenden möchten. Ein kleinerer Prozentsatz (z. B. 3 %) hält mehr Benutzer im Publikum und kann für Teams geeignet sein, die die Reichweite priorisieren. Ein größerer Prozentsatz (z. B. 10 %) kann eine stärkere statistische Sicherheit beim Vergleich von Gruppen bieten. Sie können einen benutzerdefinierten Wert zwischen 1 % und 15 % festlegen, um Ihren Anforderungen gerecht zu werden.

Was bedeutet Nicht genügend Daten in der Ereignistabelle?

Nicht genügend Daten bedeutet, dass entweder die Behandlungs- oder die Kontrollgruppe während des ausgewählten Zeitfensters weniger als 10 Konversionen oder weniger als 10 Nicht-Konversionen für dieses Ereignis hatte. Pushwoosh kann nicht feststellen, ob der Unterschied zwischen den Gruppen statistisch signifikant ist, bis mehr Daten verfügbar sind.

Wie wird Uplift berechnet?

Uplift zeigt den prozentualen Unterschied zwischen den Konversionsraten der Behandlungs- und Kontrollgruppe, relativ zur Kontrollrate. Ein positiver Wert bedeutet, dass die Behandlungsgruppe besser konvertiert hat. Pushwoosh berechnet ihn als (Konv. Behandlungsgruppe − Konv. Kontrollgruppe) / Konv. Kontrollgruppe × 100 %.

Was bedeutet Durch Nachrichten generierte Konversionen?

Durch Nachrichten generierte Konversionen ist die geschätzte Anzahl zusätzlicher Ereignisse, die durch Ihre Nachrichten über die ohne Nachrichten erwartete Anzahl hinaus generiert wurden. Pushwoosh berechnet sie als (Ereignisse pro Benutzer in der Behandlungsgruppe − Ereignisse pro Benutzer in der Kontrollgruppe) × Größe der Behandlungsgruppe. Der Prozentsatz zeigt diese zusätzlichen Ereignisse als Anteil an allen Ereignissen der Behandlungsgruppe.

Welche Ereignisse kann ich vergleichen und wie viele?

Sie können Ereignisse vergleichen, die als Konversionsziele in der Customer Journey konfiguriert sind. Sie können bis zu 10 Ereignisse zur Vergleichstabelle hinzufügen.