Passer au contenu

Groupes de contrôle

Un groupe de contrôle exclut une part fixe de vos utilisateurs des messages marketing sur Push, E-mail, In-App, SMS et WhatsApp. Pushwoosh compare ces utilisateurs à tous les autres dans votre application qui continuent de recevoir des campagnes, afin que vous puissiez mesurer si vos messages génèrent des résultats.

Les utilisateurs du groupe de contrôle reçoivent toujours les messages transactionnels sur ces canaux lorsque vous définissez le type de message en conséquence.

Fonctionnement de l’appartenance au groupe de contrôle

Anchor link to

Pushwoosh ne conserve pas de liste des membres du groupe de contrôle. À la place, à chaque vérification, il combine votre application, le numéro de version actuel du groupe et l’ID utilisateur, les passe dans une formule de hachage pour produire un nombre, et vérifie si ce nombre se situe dans le pourcentage que vous avez défini (par exemple, 5 %). Si oui, l’utilisateur est dans le groupe de contrôle. Sinon, il ne l’est pas. Comme il s’agit d’une formule plutôt que d’une liste enregistrée, l’activation du groupe s’applique immédiatement à l’ensemble de votre base d’utilisateurs existante, et pas seulement aux personnes qui s’inscrivent par la suite.

Le résultat de chaque utilisateur reste le même dans le temps : une fois assigné, un utilisateur reste dans ou hors du groupe de contrôle jusqu’à ce que vous remaniiez le groupe, changiez sa taille, ou que l’ID de l’utilisateur change. Donc, si vous désactivez le groupe et le réactivez plus tard sans le remanier, vous retrouverez exactement le même groupe qu’auparavant, puisque la formule elle-même n’a pas changé.

Comment le groupe de contrôle affecte la livraison des messages

Anchor link to

L’appartenance au groupe de contrôle bloque ou autorise les messages en fonction du type de message que vous définissez pour chaque envoi.

  • Message marketing : bloqué pour les utilisateurs du groupe de contrôle sur Push, E-mail, In-App, SMS et WhatsApp.

  • Message transactionnel : toujours livré sur ces canaux. Sélectionnez Message transactionnel lors de la création d’un parcours client ou de l’envoi d’un message ponctuel.

Choisissez Message marketing ou Message transactionnel pour chaque envoi sur ces canaux. Voir où définir le type de message.

En savoir plus sur les messages marketing et transactionnels.

Créer un groupe de contrôle

Anchor link to

Créez un groupe de contrôle pour commencer à exclure une partie de vos utilisateurs des messages marketing. Une application ne peut en avoir qu’un seul. Nouveau groupe cesse d’apparaître une fois que vous en avez un.

  1. Naviguez vers Paramètres > Groupes de contrôle.
  2. Cliquez sur Nouveau groupe.

Liste des groupes de contrôle sans aucun groupe pour le moment et une flèche pointant vers le bouton Nouveau groupe

  1. Définissez la Taille du groupe de contrôle : la part des utilisateurs exclus des messages marketing, de 1 % à 20 %.

Boîte de dialogue Nouveau groupe de contrôle avec un champ pour la taille du groupe de contrôle

  1. Cliquez sur Créer. Le groupe commence à exclure ses membres des messages marketing immédiatement.

Gérer le groupe de contrôle

Anchor link to

Ouvrez Paramètres > Groupes de contrôle et cliquez sur la ligne du groupe pour accéder à sa propre page, où les sections ci-dessous s’appliquent.

Modifier la taille du groupe de contrôle

Anchor link to

Vous pouvez ajuster la taille d’un groupe de contrôle à tout moment depuis sa page.

  1. Cliquez sur Paramètres du groupe de contrôle en haut à droite. Le bouton affiche également le pourcentage actuel du groupe, par exemple Paramètres du groupe de contrôle : 10 %.
  2. Choisissez un nouveau pourcentage :
  • 3 % (Portée maximale) : le plus petit groupe d’exclusion pour les audiences sensibles ou de grande valeur.
  • 5 % (Recommandé pour la plupart des applications) : un mélange optimisé entre la confiance de la mesure et la portée des utilisateurs.
  • 10 % (Confiance supérieure) : un groupe de contrôle plus grand pour une validation du ROI plus claire et plus fiable.
  • Personnalisé (1 %–20 %) : définissez une taille de groupe de contrôle personnalisée pour une mesure flexible.
  1. Cliquez sur Appliquer pour confirmer les changements.

Bouton Paramètres du groupe de contrôle et options de pourcentage disponibles pour un groupe de contrôle

Recalculer la taille du groupe

Anchor link to

Taille du groupe de contrôle affiche un nombre enregistré que Pushwoosh met à jour environ une fois par jour. Juste après avoir changé la taille du groupe, ou lorsque de nombreux nouveaux utilisateurs rejoignent votre application, ce nombre peut être obsolète.

Pour le mettre à jour immédiatement, cliquez sur Recalculer à côté de la taille du groupe.

Remanier le groupe de contrôle

Anchor link to

Remanier le groupe de contrôle sélectionne un nouvel ensemble aléatoire d’utilisateurs, en gardant le même pourcentage. Toutes les personnes actuellement dans le groupe en sortent, et un ensemble différent d’utilisateurs prend leur place. Utilisez cette fonction lorsque les mêmes personnes ont été exclues de vos messages marketing pendant une longue période.

  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Remanier le groupe de contrôle.

Menu à trois points avec l'option Remanier le groupe de contrôle sur la page d'un groupe de contrôle

  1. Confirmez dans la boîte de dialogue qui apparaît.

Exporter les utilisateurs du groupe de contrôle

Anchor link to

Pushwoosh n’attribue pas de tag aux utilisateurs du groupe de contrôle, donc l’exportation depuis cette page est le seul moyen d’obtenir une liste des membres actuels.

  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Exporter les utilisateurs.
  3. Lorsque l’exportation est terminée, cliquez sur Télécharger le CSV pour enregistrer le fichier.

Notification d'exportation terminée avec le bouton Télécharger le CSV sur la page d'un groupe de contrôle

Désactiver un groupe de contrôle

Anchor link to
  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Désactiver le groupe de contrôle.

Menu à trois points avec l'option Désactiver le groupe de contrôle sur la page d'un groupe de contrôle

La désactivation empêche ce groupe d’exclure des utilisateurs immédiatement, et ils recommencent à recevoir des messages marketing. Si vous le réactivez plus tard sans le remanier, Pushwoosh reproduit exactement le même groupe, car l’appartenance est calculée par la même formule. Pour obtenir un groupe différent après la réactivation, remaniez-le.

Supprimer le groupe de contrôle

Anchor link to

La suppression du groupe de contrôle le supprime ainsi que sa configuration de manière permanente.

  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Supprimer le groupe.
  3. Confirmez dans la boîte de dialogue qui apparaît. Cette action est irréversible.

Analyser l’impact du groupe de contrôle

Anchor link to

La page de chaque groupe de contrôle montre comment vos messages performent par rapport à ce groupe. La page comporte deux blocs : un tableau de comparaison des événements en haut et un Rapport d’impact en dessous. Les deux comparent deux groupes d’utilisateurs sur n’importe quel événement que vous choisissez :

  • Groupe de traitement : tous les utilisateurs qui ne sont pas dans le groupe de contrôle. Ils continuent de recevoir vos messages marketing (Push, E-mail, In-App, SMS, WhatsApp) comme d’habitude.
  • Groupe de contrôle : le groupe témoin que vous avez configuré ci-dessus. Ces utilisateurs sont exclus des messages marketing, donc toute différence dans leur comportement n’est pas influencée par vos campagnes.

Comparer les événements

Anchor link to
  1. Sélectionnez une période : 3 derniers jours, 7 derniers jours ou 30 derniers jours.
  2. Examinez le tableau de comparaison des événements. Il n’affiche les événements automatiquement que si vous avez défini des objectifs de conversion dans Customer Journey. Sinon, le tableau est initialement vide.
  3. Cliquez sur Ajouter des événements à comparer pour ajouter tout événement que vous souhaitez mesurer. Vous pouvez ajouter jusqu’à 10 événements au total.

Page du groupe de contrôle avec un tableau comparant les événements entre le groupe de traitement et le groupe de contrôle

Le tableau affiche ces métriques pour chaque événement :

  • Conv. Treatment : le taux de conversion dans le groupe de traitement. C’est la part d’utilisateurs uniques qui ont reçu vos messages marketing (Push, E-mail, In-App, SMS, WhatsApp) et ont déclenché l’événement au moins une fois.
  • Conv. Control : le taux de conversion dans le groupe de contrôle. C’est la part d’utilisateurs uniques qui ont été exclus des messages marketing et ont quand même déclenché l’événement au moins une fois, sans aucune influence des messages.
  • Uplift : la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux du contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Calculé comme (conv. traitement − conv. contrôle) / conv. contrôle × 100 %.
  • Significance : indique si la différence est statistiquement fiable :
    • Significant : l’amélioration n’est probablement pas due au hasard.
    • Not significant : la différence n’est pas encore statistiquement fiable.
    • Not enough data : l’un ou l’autre groupe a moins de 10 conversions ou moins de 10 non-conversions pour cet événement, donc la significativité ne peut pas être calculée.

Consulter le rapport d’impact

Anchor link to

Utilisez le menu déroulant Voir l’événement pour sélectionner un événement du tableau. Le Rapport d’impact ci-dessous montre une analyse plus approfondie pour cet événement.

Rapport d'impact montrant l'amélioration, les conversions générées par les messages et un tableau de répartition par groupe

  • Uplift (changement par rapport au contrôle) : de combien le taux de conversion du traitement diffère du taux de conversion du contrôle. C’est la même valeur que celle affichée dans le tableau des événements.
  • Conversions générées par les messages : le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Calculé comme (événements par utilisateur dans le traitement − événements par utilisateur dans le contrôle) × taille du groupe de traitement. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements du traitement.
  • Significance : indique si la différence mesurée est statistiquement fiable. Le rapport affiche Significant, Not significant ou Not enough data, en fonction de :
    • Confidence : à quel point Pushwoosh est sûr que l’amélioration reflète une réelle différence entre le traitement et le contrôle, plutôt qu’un hasard, affiché en pourcentage. Plus la confiance est élevée, plus la preuve est solide.
    • P-value : montre la probabilité d’observer cette différence par hasard si la messagerie n’a aucun effet réel. Une P-value plus faible fournit une preuve plus solide que la différence n’est pas aléatoire.
  • Z-score : montre à quel point les performances de vos deux groupes sont éloignées. Un score proche de 0 signifie que la différence pourrait être aléatoire. Plus il est éloigné de 0, plus vous pouvez être sûr qu’un groupe est réellement meilleur que l’autre.
  • Répartition par groupe : compare les groupes de Traitement et de Contrôle par Utilisateurs estimés, Nombre total d’événements, Événements par utilisateur et Taux de conv. (unique).

Foire aux questions

Anchor link to

Une application peut-elle avoir plusieurs groupes de contrôle ?

Anchor link to

Non. Une application ne peut avoir qu’un seul groupe de contrôle, appliqué automatiquement à chaque envoi marketing. Il n’y a aucun moyen de cibler un message spécifique sur un groupe différent.

Puis-je supprimer le groupe de contrôle ?

Anchor link to

Oui, depuis le menu à trois points sur la page du groupe. Cette action est irréversible et laisse l’application sans solution de repli : les messages marketing sont envoyés à tout le monde jusqu’à ce que vous créiez un nouveau groupe de contrôle. Pour mettre le groupe en pause sans le perdre, désactivez-le au lieu de le supprimer.

Quels utilisateurs font partie du groupe de contrôle ?

Anchor link to

Pushwoosh ne conserve pas de liste enregistrée des membres du groupe de contrôle. Il utilise une formule, un calcul qui donne toujours la même réponse pour les mêmes entrées, en se basant sur votre application, l’ID de l’utilisateur et les paramètres actuels du groupe. Cela s’applique à l’ensemble de votre base d’utilisateurs existante dès que vous activez le groupe, pas seulement aux nouvelles inscriptions, et le résultat reste le même pour un utilisateur donné à chaque fois, jusqu’à ce que vous remaniiez le groupe ou changiez sa taille.

Les utilisateurs du groupe de contrôle reçoivent-ils des messages transactionnels ?

Anchor link to

Oui. Les messages transactionnels (par ex. réinitialisations de mot de passe, confirmations de commande) sont livrés à tous les utilisateurs, y compris le groupe de contrôle. Seuls les messages marketing sont bloqués pour les utilisateurs du groupe de contrôle.

Où dois-je définir le type de message marketing ou transactionnel ?

Anchor link to

Vous le choisissez partout où vous envoyez des messages. Pour chaque canal, consultez Où définir le type de message.

Qu’advient-il des campagnes créées avant que j’active le groupe de contrôle ?

Anchor link to

Les campagnes créées avant l’activation du groupe de contrôle fonctionnent exactement comme les nouvelles : Pushwoosh vérifie le type de message d’une campagne au moment de l’envoi, pas au moment de la création.

  • Message marketing (ou aucun type de message, ce qui peut arriver pour les campagnes créées via l’API) : le groupe de contrôle exclut ces utilisateurs immédiatement.
  • Message transactionnel : les utilisateurs du groupe de contrôle continuent de le recevoir comme avant.

Modifiez la campagne et définissez le type de message sur Message transactionnel si vous voulez qu’il atteigne tout le monde, y compris le groupe de contrôle.

Puis-je modifier la taille du groupe de contrôle après l’avoir activé ?

Anchor link to

Oui. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur Paramètres du groupe de contrôle, choisissez un nouveau pourcentage (de 1 % à 20 %), et cliquez sur Appliquer. Pushwoosh recalcule l’appartenance pour toute votre base d’utilisateurs en fonction du nouveau pourcentage : l’agrandissement du groupe ajoute des utilisateurs sans supprimer personne qui s’y trouve déjà, et la réduction libère certains membres existants. Cela peut affecter la comparaison avec les campagnes précédentes, donc ne modifiez la taille que lorsque c’est nécessaire.

Que se passe-t-il si je désactive le groupe de contrôle ?

Anchor link to

Pushwoosh cesse de retenir des utilisateurs et tout le monde recommence à recevoir des messages marketing. Si vous réactivez le groupe de contrôle plus tard sans le remanier, vous retrouverez exactement le même groupe, car l’appartenance est calculée par la même formule. Pour obtenir un groupe différent après la réactivation, remaniez-le.

Que fait la fonction Remanier ?

Anchor link to

Remanier le groupe de contrôle tire un tout nouvel échantillon aléatoire au même pourcentage, remplaçant le groupe de contrôle actuel par un ensemble différent d’utilisateurs. Cette option est disponible dans le menu à trois points sur la page du groupe. Utilisez-la lorsque les mêmes utilisateurs ont été exclus du marketing pendant une longue période et que vous souhaitez une nouvelle couverture témoin. Le remaniement redémarre également la fenêtre de mesure pour les analyses du groupe de contrôle.

Comment puis-je voir quels utilisateurs sont dans le groupe de contrôle ?

Anchor link to

Pushwoosh n’attribue pas de tag aux utilisateurs du groupe de contrôle. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur le menu à trois points, et sélectionnez Exporter les utilisateurs pour télécharger un CSV des membres actuels.

Pourquoi un utilisateur du groupe de contrôle pourrait-il encore recevoir des messages marketing ?

Anchor link to

Pushwoosh calcule l’appartenance au groupe de contrôle par ID utilisateur. Si la même personne a plusieurs méthodes de contact (par ex. e-mail, appareil push) qui ne sont pas liées sous un seul ID utilisateur, Pushwoosh les traite comme des utilisateurs différents et calcule l’appartenance pour chacun séparément : l’un peut se retrouver dans le groupe de contrôle tandis que l’autre non. Une méthode de contact sans aucun ID utilisateur n’est jamais exclue, car Pushwoosh a besoin d’un ID utilisateur pour calculer l’appartenance. Pour éviter cela, enregistrez toutes les méthodes de contact avec le même ID utilisateur.

Quel pourcentage de groupe de contrôle devrais-je choisir ?

Anchor link to

Le bon pourcentage dépend de vos objectifs, de la taille de votre application et de la manière dont vous prévoyez d’utiliser les résultats. Un pourcentage plus faible (par ex. 3 %) maintient plus d’utilisateurs dans l’audience et peut convenir aux équipes qui privilégient la portée. Un pourcentage plus élevé (par ex. 10 %) peut donner une confiance statistique plus forte lors de la comparaison des groupes. Vous pouvez définir une valeur Personnalisée entre 1 % et 20 % pour répondre à vos besoins.

Pourquoi mon groupe de contrôle n’est-il pas exactement le pourcentage que j’ai défini ?

Anchor link to

La taille du groupe affichée sur la page est le nombre réel d’utilisateurs que la formule de hachage a attribué au groupe, et non le pourcentage multiplié par votre nombre d’utilisateurs. Sur les applications plus petites, ce nombre peut différer visiblement du pourcentage, car la formule distribue les utilisateurs individuellement plutôt que d’échantillonner une part exacte. Le nombre est mis en cache et actualisé environ une fois par jour ; vous pouvez déclencher un recalcul immédiat depuis la page, qui affiche le nombre précédent avec un indicateur de chargement pendant son exécution.

Que signifie Not enough data dans le tableau des événements ?

Anchor link to

Not enough data signifie que soit le groupe de traitement, soit le groupe de contrôle a eu moins de 10 conversions ou moins de 10 non-conversions pour cet événement pendant la période sélectionnée. Pushwoosh ne peut pas déterminer si la différence entre les groupes est statistiquement significative tant que plus de données ne sont pas disponibles.

Comment est calculé l’Uplift ?

Anchor link to

L’Uplift montre la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux du contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Pushwoosh le calcule comme (conv. traitement − conv. contrôle) / conv. contrôle × 100 %.

Que signifie Conversions générées par les messages ?

Anchor link to

Conversions générées par les messages est le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Pushwoosh le calcule comme (événements par utilisateur dans le traitement − événements par utilisateur dans le contrôle) × taille du groupe de traitement. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements du traitement.

Quels événements puis-je comparer et combien ?

Anchor link to

Vous pouvez comparer les événements configurés comme objectifs de conversion dans Customer Journey. Vous pouvez ajouter jusqu’à 10 événements au tableau de comparaison. Les événements d’engagement avec les messages (par ex. ouvertures, clics, envois, rebonds) sont exclus même s’ils sont définis comme un objectif, car les utilisateurs du groupe de contrôle ne reçoivent jamais de messages marketing auxquels réagir.