Passer au contenu

Groupes de contrôle

Un groupe de contrôle exclut une part fixe de vos utilisateurs des messages marketing sur Push, E-mail, In-App, SMS et WhatsApp. Pushwoosh compare ces utilisateurs à tous les autres utilisateurs de votre application qui continuent de recevoir des campagnes, afin que vous puissiez mesurer si vos messages génèrent des résultats.

Les utilisateurs du groupe de contrôle reçoivent toujours les messages transactionnels sur ces canaux lorsque vous définissez le type de message en conséquence.

Comment fonctionne l’appartenance au groupe de contrôle

Anchor link to

Pushwoosh ne conserve pas de liste des membres du groupe de contrôle. À la place, à chaque vérification, il combine votre application, le numéro de version actuel du groupe et l’ID utilisateur, les passe dans une formule de hachage pour produire un nombre, et vérifie si ce nombre se situe dans le pourcentage que vous avez défini (par exemple, 5 %). Si oui, l’utilisateur fait partie du groupe de contrôle. Sinon, il n’en fait pas partie. Comme il s’agit d’une formule plutôt que d’une liste enregistrée, l’activation du groupe s’applique immédiatement à l’ensemble de votre base d’utilisateurs existante, et pas seulement aux personnes qui s’inscrivent par la suite.

Le résultat de chaque utilisateur reste le même dans le temps : une fois assigné, un utilisateur reste dans ou hors du groupe de contrôle jusqu’à ce que vous remaniiez le groupe, changiez sa taille, ou que l’ID de l’utilisateur change. Donc, si vous désactivez le groupe et le réactivez plus tard sans le remanier, vous retrouverez exactement le même groupe qu’auparavant, puisque la formule elle-même n’a pas changé.

Comment le groupe de contrôle affecte la livraison des messages

Anchor link to

L’appartenance au groupe de contrôle bloque ou autorise les messages en fonction du type de message que vous définissez pour chaque envoi.

  • Message marketing : bloqué pour les utilisateurs du groupe de contrôle sur Push, E-mail, In-App, SMS et WhatsApp.

  • Message transactionnel : toujours livré sur ces canaux. Sélectionnez Message transactionnel lors de la création d’un parcours client ou de l’envoi d’un message unique.

Choisissez Message marketing ou Message transactionnel pour chaque envoi sur ces canaux. Voir où définir le type de message.

En savoir plus sur les messages marketing et transactionnels.

Créer un groupe de contrôle

Anchor link to

Créez un groupe de contrôle pour commencer à exclure une partie de vos utilisateurs des messages marketing. Le Panneau de Contrôle en crée un par application. Nouveau groupe cesse d’apparaître une fois que vous en avez un.

  1. Naviguez vers Paramètres > Groupes de contrôle.
  2. Cliquez sur Nouveau groupe.

Liste des groupes de contrôle sans groupe pour l'instant et une flèche pointant vers le bouton Nouveau groupe

  1. Définissez la Taille du groupe de contrôle : la part d’utilisateurs exclus des messages marketing, de 1 % à 20 %.

Boîte de dialogue Nouveau groupe de contrôle avec un champ pour la taille du groupe de contrôle

  1. Cliquez sur Créer. Le groupe commence à exclure ses membres des messages marketing immédiatement.

Gérer le groupe de contrôle

Anchor link to

Ouvrez Paramètres > Groupes de contrôle et cliquez sur la ligne du groupe pour accéder à sa propre page, où les sections ci-dessous s’appliquent.

Modifier la taille et les pays du groupe de contrôle

Anchor link to

Vous pouvez ajuster la taille d’un groupe de contrôle, et les pays qu’il exclut, à tout moment depuis sa page.

  1. Cliquez sur Paramètres du groupe de contrôle en haut à droite. Le bouton affiche également le pourcentage actuel du groupe, par exemple Paramètres du groupe de contrôle : 10 %.
  2. Choisissez un nouveau pourcentage :
  • 3 % (Portée maximale) : le plus petit groupe d’exclusion pour les audiences sensibles ou à haute valeur.
  • 5 % (Recommandé pour la plupart des applications) : mélange optimisé entre la confiance de la mesure et la portée des utilisateurs.
  • 10 % (Confiance supérieure) : groupe de contrôle plus grand pour une validation du ROI plus claire et plus fiable.
  • Personnalisé (1 %–20 %) : définissez une taille de groupe de contrôle personnalisée pour une mesure flexible.
  1. Dans Pays, sélectionnez un ou plusieurs pays pour limiter le groupe de contrôle, ou laissez ce champ vide pour exclure des utilisateurs de l’ensemble de votre audience.
  2. Cliquez sur Appliquer pour confirmer les modifications.

Boîte de dialogue des paramètres du groupe de contrôle avec les options de pourcentage et un champ Pays montrant l'Azerbaïdjan et le Kazakhstan sélectionnés

Limiter le groupe de contrôle par pays

Anchor link to

La portée par pays est une deuxième vérification, par appareil, en plus de l’appartenance au groupe de contrôle. Définissez-la dans la même boîte de dialogue Paramètres du groupe de contrôle décrite dans Modifier la taille et les pays du groupe de contrôle.

  • Pays vide : chaque utilisateur sélectionné par la formule de pourcentage est exclu, quel que soit son emplacement.
  • Pays non vide : seuls les appareils dont le tag système Pays correspond à l’un des pays sélectionnés sont exclus. Un appareil en dehors des pays sélectionnés continue de recevoir des messages marketing, même si son utilisateur est l’un de ceux sélectionnés par la formule de pourcentage.

Recalculer la taille du groupe

Anchor link to

La Taille du groupe de contrôle affiche un nombre enregistré que Pushwoosh met à jour environ une fois par jour. Juste après avoir modifié la taille du groupe, ou lorsque de nombreux nouveaux utilisateurs rejoignent votre application, ce nombre peut être obsolète.

Pour le mettre à jour immédiatement, cliquez sur Recalculer à côté de la taille du groupe.

Remanier le groupe de contrôle

Anchor link to

Remanier le groupe de contrôle sélectionne un nouvel ensemble aléatoire d’utilisateurs, en gardant le même pourcentage. Tous les membres actuels du groupe le quittent, et un ensemble différent d’utilisateurs prend leur place. Utilisez cette option lorsque les mêmes personnes ont été exclues de vos messages marketing pendant une longue période.

  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Remanier le groupe de contrôle.

Menu à trois points avec l'option Remanier le groupe de contrôle sur la page d'un groupe de contrôle

  1. Confirmez dans la boîte de dialogue qui apparaît.

Exporter les utilisateurs du groupe de contrôle

Anchor link to

Pushwoosh n’ajoute pas de tag aux utilisateurs du groupe de contrôle. Exportez depuis cette page pour une liste ponctuelle, ou appelez CheckControlGroupMembership pour vérifier un lot d’ID utilisateur par programmation.

  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Exporter les utilisateurs.
  3. Lorsque l’exportation est terminée, cliquez sur Télécharger le CSV pour enregistrer le fichier.

Notification d'exportation terminée avec le bouton Télécharger le CSV sur la page d'un groupe de contrôle

Désactiver un groupe de contrôle

Anchor link to
  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Désactiver le groupe de contrôle.

Menu à trois points avec l'option Désactiver le groupe de contrôle sur la page d'un groupe de contrôle

La désactivation empêche ce groupe d’exclure des utilisateurs immédiatement, et ils recommencent à recevoir des messages marketing. Si vous le réactivez plus tard sans le remanier, Pushwoosh reproduit exactement le même groupe, car l’appartenance est calculée par la même formule. Pour obtenir un groupe différent après la réactivation, remaniez-le.

Supprimer le groupe de contrôle

Anchor link to

La suppression du groupe de contrôle le supprime ainsi que sa configuration de manière permanente.

  1. Cliquez sur le menu à trois points en haut à droite.
  2. Sélectionnez Supprimer le groupe.
  3. Confirmez dans la boîte de dialogue qui apparaît. Cette action est irréversible.

Analyser l’impact du groupe de contrôle

Anchor link to

La page de chaque groupe de contrôle montre les performances de vos messages par rapport à ce groupe. La page comporte deux blocs : un tableau de comparaison des événements en haut et un Rapport d’impact en dessous. Les deux comparent deux groupes d’utilisateurs sur n’importe quel événement que vous choisissez :

  • Groupe de traitement : tous les utilisateurs qui ne sont pas dans le groupe de contrôle. Ils continuent de recevoir vos messages marketing (Push, E-mail, In-App, SMS, WhatsApp) comme d’habitude.
  • Groupe de contrôle : le groupe témoin que vous avez configuré ci-dessus. Ces utilisateurs sont exclus des messages marketing, donc toute différence dans leur comportement n’est pas influencée par vos campagnes.

Comparer les événements

Anchor link to
  1. Sélectionnez une période : 3 derniers jours, 7 derniers jours, ou 30 derniers jours.
  2. Examinez le tableau de comparaison des événements. Il n’affiche les événements automatiquement que si vous avez défini des Objectifs de Conversion dans le Parcours Client. Sinon, le tableau est initialement vide.
  3. Cliquez sur Ajouter des événements à comparer pour ajouter tout événement que vous souhaitez mesurer. Vous pouvez ajouter jusqu’à 10 événements au total.

Page du groupe de contrôle avec un tableau comparant les événements entre le traitement et le contrôle

Le tableau affiche ces métriques pour chaque événement :

  • Conv. Traitement : le taux de conversion dans le groupe de traitement. C’est la part d’utilisateurs uniques qui ont reçu vos messages marketing (Push, E-mail, In-App, SMS, WhatsApp) et ont déclenché l’événement au moins une fois.
  • Conv. Contrôle : le taux de conversion dans le groupe de contrôle. C’est la part d’utilisateurs uniques qui ont été exclus des messages marketing et ont quand même déclenché l’événement au moins une fois, sans aucune influence des messages.
  • Uplift : la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux de contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Calculé comme (conv. traitement − conv. contrôle) / conv. contrôle × 100 %.
  • Significativité : si la différence est statistiquement fiable :
    • Significatif : l’uplift est peu susceptible d’être dû au hasard.
    • Non significatif : la différence n’est pas encore statistiquement fiable.
    • Données insuffisantes : l’un ou l’autre groupe a moins de 10 conversions ou moins de 10 non-conversions pour cet événement, la significativité ne peut donc pas être calculée.

Consulter le rapport d’impact

Anchor link to

Utilisez le menu déroulant Voir l’événement pour sélectionner un événement du tableau. Le Rapport d’impact ci-dessous montre une analyse plus détaillée pour cet événement.

Rapport d'impact montrant l'uplift, les conversions générées par les messages et un tableau de répartition des groupes

  • Uplift (changement par rapport au contrôle) : de combien le taux de conversion du traitement diffère de celui du contrôle. C’est la même valeur que celle affichée dans le tableau des événements.
  • Conversions générées par les messages : le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Calculé comme (événements par utilisateur dans le traitement − événements par utilisateur dans le contrôle) × taille du groupe de traitement. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements de traitement.
  • Significativité : indique si la différence mesurée est statistiquement fiable. Le rapport affiche Significatif, Non significatif, ou Données insuffisantes, en se basant sur :
    • Confiance : à quel point Pushwoosh est sûr que l’uplift reflète une réelle différence entre le traitement et le contrôle, plutôt qu’un hasard, affiché en pourcentage. Plus la confiance est élevée, plus la preuve est solide.
    • Valeur p : montre la probabilité d’observer cette différence par hasard si la messagerie n’a aucun effet réel. Une valeur p plus faible fournit une preuve plus solide que la différence n’est pas aléatoire.
  • Score Z : montre à quel point les performances de vos deux groupes sont éloignées. Un score proche de 0 signifie que la différence pourrait être aléatoire. Plus il est éloigné de 0, plus vous pouvez être confiant qu’un groupe est réellement meilleur que l’autre.
  • Répartition des groupes : compare les groupes de Traitement et de Contrôle par Utilisateurs estimés, Nombre total d’événements, Événements par utilisateur, et Taux de conv. (unique).

Foire aux questions

Anchor link to

Une application peut-elle avoir plus d’un groupe de contrôle ?

Anchor link to

Dans le Panneau de Contrôle, non. Il crée un groupe de contrôle par application, appliqué automatiquement à chaque envoi marketing. C’est une limite de l’interface, pas de la plateforme. Le panneau n’offre pas de moyen de cibler un message spécifique sur un groupe différent.

Puis-je supprimer le groupe de contrôle ?

Anchor link to

Oui, depuis le menu à trois points sur la page du groupe. Cette action est irréversible et laisse l’application sans solution de repli : les messages marketing sont envoyés à tout le monde jusqu’à ce que vous créiez un nouveau groupe de contrôle. Pour mettre le groupe en pause sans le perdre, désactivez-le au lieu de le supprimer.

Quels utilisateurs font partie du groupe de contrôle ?

Anchor link to

Pushwoosh ne conserve pas de liste enregistrée des membres du groupe de contrôle. Il utilise une formule, un calcul qui donne toujours la même réponse pour les mêmes entrées, en se basant sur votre application, l’ID de l’utilisateur et les paramètres actuels du groupe. Cela s’applique à l’ensemble de votre base d’utilisateurs existante dès que vous activez le groupe, pas seulement aux nouvelles inscriptions, et le résultat reste le même pour un utilisateur donné à chaque fois, jusqu’à ce que vous remaniiez le groupe ou changiez sa taille.

Les utilisateurs du groupe de contrôle reçoivent-ils des messages transactionnels ?

Anchor link to

Oui. Les messages transactionnels (par ex. réinitialisations de mot de passe, confirmations de commande) sont livrés à tous les utilisateurs, y compris le groupe de contrôle. Seuls les messages marketing sont bloqués pour les utilisateurs du groupe de contrôle.

Où puis-je définir le type de message marketing ou transactionnel ?

Anchor link to

Vous le choisissez partout où vous envoyez des messages. Pour chaque canal, consultez Où définir le type de message.

Qu’advient-il des campagnes créées avant que j’active le groupe de contrôle ?

Anchor link to

Les campagnes créées avant l’activation du groupe de contrôle fonctionnent exactement comme les nouvelles : Pushwoosh vérifie le type de message d’une campagne au moment de l’envoi, pas au moment de la création.

  • Message marketing (ou aucun type de message, ce qui peut arriver pour les campagnes créées via l’API) : le groupe de contrôle exclut ces utilisateurs immédiatement.
  • Message transactionnel : les utilisateurs du groupe de contrôle continuent de le recevoir comme avant.

Modifiez la campagne et définissez le type de message sur Message transactionnel si vous voulez qu’il atteigne tout le monde, y compris le groupe de contrôle.

Puis-je modifier la taille du groupe de contrôle après l’avoir activé ?

Anchor link to

Oui. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur Paramètres du groupe de contrôle, choisissez un nouveau pourcentage (de 1 % à 20 %), et cliquez sur Appliquer. Pushwoosh recalcule l’appartenance pour toute votre base d’utilisateurs en fonction du nouveau pourcentage : augmenter la taille du groupe ajoute des utilisateurs sans retirer ceux qui y sont déjà, et la réduire libère certains membres existants. Cela peut affecter la comparaison avec les campagnes précédentes, donc ne modifiez la taille que lorsque c’est nécessaire.

Puis-je limiter le groupe de contrôle à des pays spécifiques ?

Anchor link to

Oui. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur Paramètres du groupe de contrôle, et définissez les Pays. Laissez ce champ vide pour exclure des utilisateurs de l’ensemble de votre audience, ou sélectionnez un ou plusieurs pays pour n’exclure que les appareils qui s’y trouvent. La portée par pays est une vérification par appareil en plus de la formule de pourcentage : elle ne change pas qui la formule sélectionne, mais seulement lesquels de leurs appareils sont exclus du marketing. La modification des Pays redémarre la mesure de l’uplift, car l’audience comparée change.

Qu’arrive-t-il à un appareil sans données de pays ?

Anchor link to

Il n’est jamais exclu, même lorsque des Pays sont définis et que son utilisateur est par ailleurs sélectionné. Pushwoosh vérifie le tag système Pays d’un appareil par rapport à la portée, et un appareil sans ce tag n’a rien à vérifier, il continue donc de recevoir des messages marketing.

Que se passe-t-il si je désactive le groupe de contrôle ?

Anchor link to

Pushwoosh cesse d’exclure des utilisateurs et tout le monde recommence à recevoir des messages marketing. Si vous réactivez le groupe de contrôle plus tard sans le remanier, vous retrouverez exactement le même groupe, car l’appartenance est calculée par la même formule. Pour obtenir un groupe différent après la réactivation, remaniez-le.

Que fait l’option Remanier ?

Anchor link to

Remanier le groupe de contrôle tire un tout nouvel échantillon aléatoire au même pourcentage, remplaçant le groupe de contrôle actuel par un ensemble différent d’utilisateurs. Cette option est disponible dans le menu à trois points sur la page du groupe. Utilisez-la lorsque les mêmes utilisateurs ont été exclus du marketing pendant une longue période et que vous souhaitez une nouvelle couverture de groupe témoin. Le remaniement redémarre également la fenêtre de mesure pour les analyses du groupe de contrôle.

Comment puis-je voir quels utilisateurs sont dans le groupe de contrôle ?

Anchor link to

Pushwoosh n’ajoute pas de tag aux utilisateurs du groupe de contrôle. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur le menu à trois points, et sélectionnez Exporter les utilisateurs pour télécharger un CSV des membres actuels. Pour vérifier l’appartenance par programmation, appelez CheckControlGroupMembership avec un lot d’ID utilisateur.

Pourquoi un utilisateur du groupe de contrôle pourrait-il encore recevoir des messages marketing ?

Anchor link to

Pushwoosh calcule l’appartenance au groupe de contrôle par ID utilisateur. Si la même personne a plusieurs méthodes de contact (par ex. e-mail, appareil push) qui ne sont pas liées sous un seul ID utilisateur, Pushwoosh les traite comme des utilisateurs différents et calcule l’appartenance pour chacun séparément : l’un peut se retrouver dans le groupe de contrôle tandis que l’autre non. Une méthode de contact sans aucun ID utilisateur n’est jamais exclue, car Pushwoosh a besoin d’un ID utilisateur pour calculer l’appartenance. Pour éviter cela, enregistrez toutes les méthodes de contact avec le même ID utilisateur.

Quel pourcentage de groupe de contrôle devrais-je choisir ?

Anchor link to

Le bon pourcentage dépend de vos objectifs, de la taille de votre application et de la manière dont vous prévoyez d’utiliser les résultats. Un pourcentage plus faible (par ex. 3 %) conserve plus d’utilisateurs dans l’audience et peut convenir aux équipes qui privilégient la portée. Un pourcentage plus élevé (par ex. 10 %) peut donner une confiance statistique plus forte lors de la comparaison des groupes. Vous pouvez définir une valeur Personnalisée entre 1 % et 20 % pour répondre à vos besoins.

Pourquoi mon groupe de contrôle n’est-il pas exactement du pourcentage que j’ai défini ?

Anchor link to

La taille du groupe affichée sur la page est le nombre réel d’utilisateurs que la formule de hachage a assignés au groupe, et non le pourcentage multiplié par votre nombre d’utilisateurs. Sur les applications plus petites, ce nombre peut différer visiblement du pourcentage, car la formule distribue les utilisateurs individuellement plutôt que d’échantillonner une part exacte. Le nombre est mis en cache et actualisé environ une fois par jour ; vous pouvez déclencher un recalcul immédiat depuis la page, qui affiche le nombre précédent avec un indicateur de chargement pendant son exécution.

Que signifie Données insuffisantes dans le tableau des événements ?

Anchor link to

Données insuffisantes signifie que soit le groupe de traitement, soit le groupe de contrôle a eu moins de 10 conversions ou moins de 10 non-conversions pour cet événement pendant la période sélectionnée. Pushwoosh ne peut pas déterminer si la différence entre les groupes est statistiquement significative tant que plus de données ne sont pas disponibles.

Comment l’Uplift est-il calculé ?

Anchor link to

Uplift montre la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux de contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Pushwoosh le calcule comme (conv. traitement − conv. contrôle) / conv. contrôle × 100 %.

Que signifie Conversions générées par les messages ?

Anchor link to

Conversions générées par les messages est le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Pushwoosh le calcule comme (événements par utilisateur dans le traitement − événements par utilisateur dans le contrôle) × taille du groupe de traitement. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements de traitement.

Quels événements puis-je comparer et combien ?

Anchor link to

Vous pouvez comparer les événements configurés comme Objectifs de Conversion dans le Parcours Client. Vous pouvez ajouter jusqu’à 10 événements au tableau de comparaison. Les événements d’engagement de message (par ex. ouvertures, clics, envois, rebonds) sont exclus même s’ils sont définis comme un objectif, car les utilisateurs du groupe de contrôle ne reçoivent jamais de messages marketing auxquels réagir.