Groupe de contrôle global

Le groupe de contrôle global vous permet de définir un pourcentage fixe de votre base d’utilisateurs qui sont exclus de toutes les communications marketing (Push, E-mail, In-App). Les utilisateurs du groupe de contrôle reçoivent toujours les messages transactionnels.

Cela vous aide à mesurer l’efficacité de vos campagnes de messagerie en comparant les résultats des utilisateurs qui ont reçu les messages à ceux qui ne les ont pas reçus (le groupe de contrôle).

Note

Le groupe de contrôle est configuré au niveau de l’application.

Quels utilisateurs sont inclus

Seuls les nouveaux utilisateurs qui s’inscrivent après que vous avez activé le groupe de contrôle peuvent être ajoutés. Pushwoosh vérifie chaque nouvel utilisateur une fois et en assigne certains au hasard au groupe en fonction du pourcentage que vous avez défini (entre 1 % et 15 %).

Les utilisateurs restent dans le groupe de contrôle à moins que vous ne changiez la taille du groupe ou que vous ne le désactiviez. Garder le groupe inchangé aide à maintenir des résultats de campagne précis.

Important

Pushwoosh assigne les utilisateurs en fonction de leur ID utilisateur, et non de leur appareil. Si les méthodes de contact d’un utilisateur, telles que son appareil mobile, son adresse e-mail ou son numéro de téléphone, ne sont pas liées sous le même ID utilisateur, Pushwoosh peut les traiter comme des utilisateurs distincts. Par conséquent, ils pourraient toujours recevoir des messages marketing même si l’un de leurs points de contact est dans le groupe de contrôle.

Pour éviter cela, assurez-vous d’enregistrer toutes les méthodes de contact avec le même ID utilisateur.

Apprenez à gérer les ID utilisateur pour les campagnes omnicanal

Comment le groupe de contrôle affecte la livraison des messages

Les messages marketing (Push, E-mail, In-App) sont automatiquement bloqués pour les utilisateurs du groupe de contrôle dans tous les types de campagnes.

Les messages transactionnels (comme les réinitialisations de mot de passe ou les confirmations de commande) sont toujours livrés. Pour garantir cela, sélectionnez Message transactionnel lors de la création d’une campagne de parcours client ou de l’envoi d’un message ponctuel.

Note

Vous devez choisir Message marketing ou Message transactionnel pour chaque envoi de push, d’e-mail et d’in-app. Voir où définir le type de message.

Comment les campagnes existantes sont traitées

Les campagnes qui ont été créées avant que vous n’activiez le groupe de contrôle global n’ont pas de type de message défini. Elles sont traitées comme transactionnelles et sont livrées à tous les utilisateurs, y compris le groupe de contrôle. Si vous souhaitez que de telles campagnes excluent le groupe de contrôle, modifiez chaque campagne et définissez le type de message sur Marketing.

En savoir plus sur les messages marketing et transactionnels.

Travailler avec les utilisateurs du groupe de contrôle

Lorsque vous activez le groupe de contrôle global, Pushwoosh crée un tag système :

• Nom du tag : PW_ControlGroup
• Valeurs : true (l’utilisateur est dans le groupe de contrôle) ou false (l’utilisateur n’y est pas)

Vous pouvez utiliser ce tag pour filtrer, segmenter ou exporter les utilisateurs du groupe de contrôle.

Activer le groupe de contrôle global

Important

Seuls les administrateurs peuvent créer, modifier ou supprimer le groupe de contrôle global. Les rôles sont assignés dans Mon compte → Utilisateurs et groupes. Apprenez à gérer les rôles et les permissions.

1. Naviguez vers Paramètres > Groupe de contrôle global.
2. Cliquez sur Activer.

3. Sélectionnez le pourcentage d’utilisateurs qui seront exclus des messages marketing pour mesurer l’impact de la campagne.

• 3 % : Portée maximale Recommandé pour les petites applications ou les cas d’utilisation critiques où atteindre plus d’utilisateurs est important et où la précision de la mesure peut être légèrement assouplie.
• 5 % : Recommandé pour la plupart des applications Meilleure option par défaut. Fournit un bon équilibre entre la confiance dans la mesure et la portée des utilisateurs.
• 10 % : Confiance plus élevée Convient aux campagnes à grande échelle ou lorsque vous avez besoin d’une grande précision des données pour valider le ROI.
• Personnalisé (1 %–15 %) : Utilisez cette option lorsque vous avez besoin de flexibilité pour définir votre propre pourcentage en fonction de la taille de l’application, du type de campagne ou des besoins de l’entreprise.

Cliquez sur Appliquer pour enregistrer votre sélection.

Note

Une fois le groupe de contrôle activé, lors de la création d’une campagne, vous verrez un message indiquant que les utilisateurs du groupe de contrôle sont exclus de cette campagne.

Gérer le groupe de contrôle

Modifier le groupe de contrôle

Vous pouvez ajuster la taille du groupe de contrôle à tout moment depuis Paramètres > Groupe de contrôle global.

1. Cliquez sur Modifier la taille du groupe.
2. Choisissez un nouveau pourcentage (de 1 % à 15 %).
3. Cliquez sur Appliquer pour confirmer les changements.

Important

Changer la taille du groupe de contrôle n’affecte que les utilisateurs qui s’inscrivent après le changement. Les utilisateurs déjà dans le groupe de contrôle y restent. Les utilisateurs qui étaient déjà dans votre application mais pas dans le groupe ne sont pas ajoutés ultérieurement. Cela peut affecter la façon dont vous comparez les résultats avec les campagnes antérieures, donc ne modifiez la taille qu’en cas de nécessité.

Exporter les utilisateurs du groupe de contrôle

Pour télécharger une liste des utilisateurs du groupe de contrôle :

1. Ouvrez Paramètres > Groupe de contrôle global.
2. Cliquez sur le menu à trois points en haut à droite.
3. Sélectionnez Exporter les utilisateurs.
4. Lorsque l’exportation est terminée, cliquez sur Télécharger le CSV pour enregistrer le fichier.

Désactiver le groupe de contrôle

1. Cliquez sur le menu à trois points à côté des paramètres du groupe de contrôle.
2. Sélectionnez Désactiver le groupe de contrôle.

La désactivation du groupe supprime le statut de groupe de contrôle de tous les utilisateurs, et ils recommenceront à recevoir des messages marketing. Si vous le réactivez plus tard, Pushwoosh crée un nouveau groupe avec une nouvelle sélection aléatoire.

Analyser l’impact du groupe de contrôle

La page du groupe de contrôle global montre la performance de votre messagerie par rapport au groupe de contrôle. Elle compare deux groupes d’utilisateurs sur n’importe quel événement que vous choisissez :

• Groupe de traitement : tous les utilisateurs qui ne sont pas dans le groupe de contrôle. Ils continuent de recevoir vos messages marketing (Push, E-mail, In-App) comme d’habitude.
• Groupe de contrôle : le groupe de retenue que vous avez configuré ci-dessus. Ces utilisateurs sont exclus des messages marketing, donc toute différence dans leur comportement n’est pas influencée par vos campagnes.

1. Sélectionnez une période : 3 derniers jours, 7 derniers jours, ou 30 derniers jours.
2. Examinez le tableau de comparaison des événements. Il est déjà rempli avec vos Objectifs de conversion du Parcours client.
3. Pour ajouter plus d’événements, cliquez sur Ajouter des événements à comparer. Vous pouvez ajouter jusqu’à 10 événements au total.

Le tableau affiche ces métriques pour chaque événement :

• Conv. Traitement : le taux de conversion dans le groupe de traitement. C’est la part d’utilisateurs uniques qui ont reçu vos messages marketing (Push, E-mail, In-App) et ont déclenché l’événement au moins une fois.
• Conv. Contrôle : le taux de conversion dans le groupe de contrôle. C’est la part d’utilisateurs uniques qui ont été exclus des messages marketing et ont quand même déclenché l’événement au moins une fois, sans aucune influence de la messagerie.
• Uplift : la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux de contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Calculé comme (conv. traitement − conv. contrôle) / conv. contrôle × 100 %.
• Signifiance : indique si la différence est statistiquement fiable :
  • Significatif : il est peu probable que l’uplift soit dû au hasard.
  • Non significatif : la différence n’est pas encore statistiquement fiable.
  • Pas assez de données : l’un ou l’autre groupe a moins de 10 conversions ou moins de 10 non-conversions pour cet événement, donc la signifiance ne peut pas être calculée.

Rapport d’impact

Le Rapport d’impact montre une analyse plus approfondie pour un événement à la fois. Utilisez le menu déroulant Voir l’événement pour choisir l’événement à inspecter.

• Uplift (changement par rapport au contrôle) : de combien le taux de conversion du traitement diffère du taux de conversion du contrôle. C’est la même valeur que celle affichée dans le tableau des événements.
• Conversions générées par la messagerie : le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Calculé comme (événements par utilisateur dans le traitement − événements par utilisateur dans le contrôle) × taille du groupe de traitement. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements du traitement.
• Signifiance : indique si la différence mesurée est statistiquement fiable. Le rapport affiche Significatif, Non significatif, ou Pas assez de données, en fonction de :
  • Confiance : à quel point Pushwoosh est sûr que l’uplift reflète une réelle différence entre le traitement et le contrôle, plutôt qu’un hasard, affiché en pourcentage. Plus la confiance est élevée, plus la preuve est solide.
  • Valeur p : montre la probabilité d’observer cette différence par hasard si la messagerie n’a pas d’effet réel. Une valeur p plus faible fournit une preuve plus solide que la différence n’est pas aléatoire.
• Score Z : montre à quel point les performances de vos deux groupes sont éloignées. Un score proche de 0 signifie que la différence pourrait être aléatoire. Plus il est éloigné de 0, plus vous pouvez être confiant que l’un des groupes est réellement meilleur que l’autre.
• Répartition par groupe : compare les groupes de Traitement et de Contrôle par Utilisateurs estimés, Nombre total d’événements, Événements par utilisateur, et Taux de conv. (unique).

Foire aux questions

Quels utilisateurs sont ajoutés au groupe de contrôle ?

Seuls les utilisateurs qui s’inscrivent après que vous avez activé le groupe de contrôle peuvent être ajoutés. Lorsqu’un nouvel utilisateur s’inscrit, Pushwoosh décide de manière aléatoire une seule fois s’il entre dans le groupe de contrôle, en utilisant le pourcentage que vous avez défini (de 1 % à 15 %). Les utilisateurs qui existaient déjà dans votre application lorsque vous avez activé le groupe de contrôle n’y sont jamais ajoutés.

Les utilisateurs du groupe de contrôle reçoivent-ils des messages transactionnels ?

Oui. Les messages transactionnels (par ex. réinitialisations de mot de passe, confirmations de commande) sont livrés à tous les utilisateurs, y compris le groupe de contrôle. Seuls les messages marketing sont bloqués pour les utilisateurs du groupe de contrôle.

Où puis-je définir le type de message marketing ou transactionnel ?

Vous le choisissez partout où vous envoyez des messages. Pour chaque canal, consultez Où définir le type de message.

Qu’advient-il des campagnes créées avant que j’aie activé le groupe de contrôle ?

Leur type de message n’est pas défini et elles sont traitées comme transactionnelles, donc elles sont livrées à tout le monde, y compris le groupe de contrôle. Pour exclure le groupe de contrôle de ces campagnes, modifiez chaque campagne et définissez le type de message sur Marketing.

Puis-je changer la taille du groupe de contrôle après l’avoir activé ?

Oui. Allez dans Paramètres > Groupe de contrôle global, cliquez sur Modifier la taille du groupe, choisissez un nouveau pourcentage (de 1 % à 15 %), et cliquez sur Appliquer. Le nouveau pourcentage ne s’applique qu’aux utilisateurs qui s’inscrivent après le changement. Les utilisateurs déjà dans le groupe de contrôle y restent. Les utilisateurs qui étaient déjà dans votre application mais pas dans le groupe ne sont pas ajoutés ultérieurement. Cela peut affecter la comparaison avec les campagnes antérieures, donc ne modifiez la taille qu’en cas de nécessité.

Que se passe-t-il si je désactive le groupe de contrôle ?

Tous les utilisateurs cessent de faire partie du groupe de contrôle et recommencent à recevoir des messages marketing. Si vous réactivez le groupe de contrôle plus tard, Pushwoosh crée un nouveau groupe avec une nouvelle sélection aléatoire d’utilisateurs.

Comment puis-je voir quels utilisateurs sont dans le groupe de contrôle ?

Lorsque le groupe de contrôle est activé, Pushwoosh crée le tag système PW_ControlGroup avec la valeur true (l’utilisateur est dans le groupe) ou false (l’utilisateur n’y est pas). Utilisez ce tag pour filtrer, segmenter ou exporter les utilisateurs du groupe de contrôle.

Pourquoi le nombre d’utilisateurs du groupe de contrôle ne correspond-il pas au nombre de mon segment ?

Le tag PW_ControlGroup reste sur un utilisateur même après qu’il se soit désabonné des notifications push, ait désinstallé l’application, ou que son jeton push soit devenu invalide, donc le nombre total d’utilisateurs tagués peut être plus élevé que prévu. Un segment ou une exportation construit à partir de ce tag n’inclut que les appareils joignables : ceux avec un jeton push valide, un e-mail vérifié, ou une autre méthode de contact active. C’est pourquoi le nombre d’utilisateurs tagués PW_ControlGroup: true peut être plus grand que le nombre que vous voyez dans un segment ou un CSV construit à partir de ce tag.

Pourquoi un utilisateur du groupe de contrôle pourrait-il quand même recevoir des messages marketing ?

Pushwoosh assigne le groupe de contrôle par ID utilisateur, non par appareil ou méthode de contact. Si la même personne a plusieurs méthodes de contact (par ex. e-mail, appareil push) qui ne sont pas liées sous un seul ID utilisateur, Pushwoosh les traite comme des utilisateurs différents. L’un d’eux peut être dans le groupe de contrôle tandis qu’un autre ne l’est pas, donc ce dernier peut toujours recevoir du marketing. Pour éviter cela, enregistrez toutes les méthodes de contact avec le même ID utilisateur.

Quel pourcentage de groupe de contrôle devrais-je choisir ?

Le bon pourcentage dépend de vos objectifs, de la taille de votre application, et de la manière dont vous prévoyez d’utiliser les résultats. Un pourcentage plus petit (par ex. 3 %) maintient plus d’utilisateurs dans l’audience et peut convenir aux équipes qui privilégient la portée. Un pourcentage plus grand (par ex. 10 %) peut donner une confiance statistique plus forte lors de la comparaison des groupes. Vous pouvez définir une valeur Personnalisée entre 1 % et 15 % pour répondre à vos besoins.

Que signifie Pas assez de données dans le tableau des événements ?

Pas assez de données signifie que soit le groupe de traitement, soit le groupe de contrôle a eu moins de 10 conversions ou moins de 10 non-conversions pour cet événement pendant la période sélectionnée. Pushwoosh ne peut pas déterminer si la différence entre les groupes est statistiquement significative tant que plus de données ne sont pas disponibles.

Comment est calculé l’Uplift ?

L’Uplift montre la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux de contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Pushwoosh le calcule comme (conv. traitement − conv. contrôle) / conv. contrôle × 100 %.

Que signifie Conversions générées par la messagerie ?

Conversions générées par la messagerie est le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Pushwoosh le calcule comme (événements par utilisateur dans le traitement − événements par utilisateur dans le contrôle) × taille du groupe de traitement. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements du traitement.

Quels événements puis-je comparer et combien ?

Vous pouvez comparer les événements configurés comme Objectifs de conversion dans le Parcours client. Vous pouvez ajouter jusqu’à 10 événements au tableau de comparaison.