FAQ sur les groupes de contrôle

Puis-je exclure des utilisateurs pour un seul journey au lieu de toute mon application ?

Oui. Utilisez l’élément Holdout Split dans Customer Journey Builder pour exclure une part des utilisateurs à un point d’un seul journey, au lieu d’exclure des utilisateurs de chaque envoi marketing de l’application. Il reporte son propre uplift d’objectif, séparément de cette page.

Une application peut-elle avoir plus d’un groupe de contrôle ?

Oui. Cliquez sur Ajouter un groupe de contrôle dans Paramètres > Groupes de contrôle pour en ajouter un autre, par exemple un par marché.

• Chaque groupe activé s’applique à chaque envoi marketing de l’application, chacun dans ses propres pays et selon son propre tag. Vous ne choisissez pas de groupe par message.
• Un utilisateur est exclu si l’un des groupes le sélectionne.
• Les groupes peuvent se chevaucher. Pushwoosh vous avertit et affiche Chevauche N groupes dans la liste, car les utilisateurs qui correspondent aux deux groupes faussent les statistiques des deux.

Consultez comment plusieurs groupes de contrôle fonctionnent ensemble.

Puis-je supprimer le groupe de contrôle ?

Oui, depuis le menu à trois points sur la page du groupe. Cette action est irréversible : le groupe cesse d’exclure des utilisateurs, et toutes ses statistiques sont perdues. Les autres groupes de l’application continuent de fonctionner. S’il ne reste aucun groupe activé, les messages marketing sont envoyés à tous les utilisateurs. Pour arrêter le groupe et conserver son historique, cliquez sur Désactiver plutôt dans la boîte de dialogue de suppression, ou désactivez-le depuis le menu à trois points.

Puis-je renommer un groupe de contrôle ?

Oui. Sur la page du groupe, cliquez sur le menu à trois points et sélectionnez Renommer. Seul le nom que vous voyez dans Pushwoosh change : les utilisateurs du groupe, son cycle actuel et ses statistiques restent les mêmes.

Quels utilisateurs font partie du groupe de contrôle ?

Pushwoosh ne conserve pas de liste enregistrée des membres du groupe de contrôle. Il utilise une formule, un calcul qui donne toujours la même réponse pour les mêmes entrées, en se basant sur votre application, l’ID de l’utilisateur et les paramètres actuels du groupe. Cela s’applique à l’ensemble de votre base d’utilisateurs existante dès que vous activez le groupe, pas seulement aux nouvelles inscriptions, et le résultat reste le même pour un utilisateur donné jusqu’à ce que vous remaniiez le groupe ou changiez sa taille, que l’ID de l’utilisateur change, ou qu’un cycle Actualisation automatique se termine ou qu’une Expérience atteigne sa date de fin.

Les utilisateurs du groupe de contrôle reçoivent-ils des messages transactionnels ?

Oui. Les messages transactionnels (par ex. réinitialisations de mot de passe, confirmations de commande) sont livrés à tous les utilisateurs, y compris le groupe de contrôle. Seuls les messages marketing sont bloqués pour les utilisateurs du groupe de contrôle.

Où puis-je définir le type de message marketing ou transactionnel ?

Vous le choisissez partout où vous envoyez des messages. Pour chaque canal, consultez Où définir le type de message.

Qu’advient-il des campagnes créées avant que j’active le groupe de contrôle ?

Les campagnes créées avant l’activation du groupe de contrôle fonctionnent exactement comme les nouvelles : Pushwoosh vérifie le type de message d’une campagne au moment de l’envoi, pas au moment de la création.

• Message marketing (ou aucun type de message, ce qui peut arriver pour les campagnes créées via l’API) : le groupe de contrôle exclut ces utilisateurs immédiatement.
• Message transactionnel : les utilisateurs du groupe de contrôle continuent de le recevoir comme avant.

Modifiez la campagne et définissez le type de message sur Message transactionnel si vous voulez qu’il atteigne tout le monde, y compris le groupe de contrôle.

Puis-je modifier la taille du groupe de contrôle après l’avoir activé ?

Oui. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur Paramètres du groupe de contrôle, choisissez un nouveau pourcentage (de 1 % à 20 %), et cliquez sur Appliquer. Pushwoosh recalcule l’appartenance pour toute votre base d’utilisateurs en fonction du nouveau pourcentage : augmenter la taille du groupe ajoute des utilisateurs sans retirer ceux qui y sont déjà, et la réduire libère certains membres existants. Cela peut affecter la comparaison avec les campagnes précédentes, donc ne modifiez la taille que lorsque c’est nécessaire.

Quels modes de groupe de contrôle sont disponibles ?

Trois. Permanent conserve le même groupe jusqu’à ce que vous le désactiviez. Actualisation automatique le remplace automatiquement par un nouveau groupe à la fin de chaque cycle (1, 2 ou 3 mois), et le groupe précédent recommence à recevoir des messages. Expérience avec date de fin fait fonctionner le groupe jusqu’à une date que vous définissez (au moins 30 jours plus tard), puis tout le monde recommence automatiquement à recevoir des messages. Définissez le mode lors de la création du groupe, ou plus tard dans Paramètres du groupe de contrôle, la même boîte de dialogue que celle utilisée pour modifier la taille et les pays du groupe. Changer le mode clôt le cycle actuel du groupe, comme un redimensionnement ou un changement de portée.

Comment voir les cycles passés d’un groupe de contrôle ?

1. Ouvrez la page du groupe.
2. Cliquez sur le sélecteur de période en haut à droite. Il est libellé Cycle actuel pour un groupe Actualisation automatique, Expérience actuelle pour un groupe Expérience avec date de fin, et n’a pas de libellé pour un groupe Permanent.
3. Choisissez un cycle sous Précédents. Les cycles terminés sont listés par numéro, sous la forme Cycle ou Expérience.

Un groupe Permanent peut aussi avoir des cycles passés, car un redimensionnement, un changement de portée ou un changement de mode en démarre un nouveau.

Pourquoi les résultats de mon groupe de contrôle sont-ils repartis de zéro ?

La fenêtre de mesure redémarre chaque fois que les membres ou l’audience du groupe changent :

• vous redimensionnez le groupe ou changez ses pays ou son tag ;
• vous remaniez le groupe ;
• vous changez le mode ;
• un cycle Actualisation automatique se termine ou une Expérience atteint sa date de fin.

Les données antérieures à ce moment ne correspondent plus au groupe actuel, elles ne sont donc pas incluses. Les cycles terminés restent disponibles sous Précédents dans le sélecteur de période de la page du groupe.

Que se passe-t-il à la fin d’une Expérience avec date de fin ?

À la date Au que vous avez définie, tous les membres du groupe recommencent automatiquement à recevoir des messages marketing. L’expérience apparaît ensuite sous Précédents dans le sélecteur de période de la page du groupe, nommée Expérience avec son propre numéro, pour que vous puissiez toujours consulter ses résultats.

Puis-je limiter le groupe de contrôle à des pays spécifiques ?

Oui. Définissez Pays lors de la création du groupe, ou plus tard : ouvrez la page du groupe depuis Paramètres > Groupes de contrôle et cliquez sur Paramètres du groupe de contrôle. Laissez ce champ vide pour exclure des utilisateurs de l’ensemble de votre audience, ou sélectionnez un ou plusieurs pays pour n’exclure que les appareils qui s’y trouvent. La portée par pays est une vérification par appareil en plus de la formule de pourcentage : elle ne change pas qui la formule sélectionne, mais seulement lesquels de leurs appareils sont exclus du marketing. La modification des Pays redémarre la mesure de l’uplift, car l’audience comparée change.

Qu’arrive-t-il à un appareil sans données de pays ?

Il n’est jamais exclu, même lorsque des Pays sont définis et que son utilisateur est par ailleurs sélectionné. Pushwoosh vérifie le tag système Pays d’un appareil par rapport à la portée, et un appareil sans ce tag n’a rien à vérifier, il continue donc de recevoir des messages marketing.

Puis-je limiter le groupe de contrôle par tag ?

Oui. Définissez Tag lors de la création du groupe, ou plus tard : ouvrez la page du groupe depuis Paramètres > Groupes de contrôle et cliquez sur Paramètres du groupe de contrôle. Choisissez n’importe quel tag de type chaîne ou booléen, sauf Pays, puis choisissez une ou plusieurs valeurs. Cela fonctionne comme la portée par pays : une vérification par appareil en plus de la formule de pourcentage, combinée avec Pays si vous définissez les deux. Un appareil sans valeur pour le tag, ou avec une valeur que vous n’avez pas incluse, continue de recevoir des messages marketing même si son utilisateur est par ailleurs sélectionné.

Comment la portée par tag interagit-elle avec les tags d’appareil et d’utilisateur ?

Un tag défini par appareil ne décrit jamais que cet appareil, donc limiter la portée avec lui exclut les appareils un par un. Un tag défini par utilisateur est copié sur chaque appareil de cet utilisateur, donc limiter la portée avec lui exclut ou épargne tous les appareils de cet utilisateur ensemble. Dans les deux cas, un appareil sans valeur pour le tag de portée continue de recevoir des messages marketing, et les appareils exclus peuvent changer au fil du temps à mesure que la valeur de tag d’un utilisateur change, sans que personne ne modifie le groupe de contrôle.

Que se passe-t-il si je désactive le groupe de contrôle ?

Ce groupe cesse d’exclure des utilisateurs, et ceux-ci recommencent à recevoir des messages marketing, sauf si un autre groupe activé les exclut. S’il ne reste aucun groupe activé, les messages marketing sont envoyés à tous les utilisateurs. Le groupe conserve ses paramètres et l’historique de ses statistiques. Si vous réactivez le groupe de contrôle plus tard sans le remanier, vous retrouverez exactement le même groupe, car l’appartenance est calculée par la même formule. Pour obtenir un groupe différent après la réactivation, remaniez-le.

Que fait l’option Remanier ?

Remanier le groupe de contrôle tire un tout nouvel échantillon aléatoire au même pourcentage, remplaçant le groupe de contrôle actuel par un ensemble différent d’utilisateurs. Cette option est disponible dans le menu à trois points sur la page du groupe. Utilisez-la lorsque les mêmes utilisateurs ont été exclus du marketing pendant une longue période et que vous souhaitez une nouvelle couverture de groupe témoin. Le remaniement redémarre également la fenêtre de mesure pour les analyses du groupe de contrôle.

Comment puis-je voir quels utilisateurs sont dans le groupe de contrôle ?

Pushwoosh n’ajoute pas de tag aux utilisateurs du groupe de contrôle. Ouvrez la page du groupe depuis Paramètres > Groupes de contrôle, cliquez sur le menu à trois points, et sélectionnez Exporter les utilisateurs pour télécharger un CSV des membres actuels. Exporter les utilisateurs nécessite l’autorisation Données personnelles dans votre rôle. Pour vérifier l’appartenance par programmation, appelez CheckControlGroupMembership depuis l’API des Groupes de Contrôle avec un lot d’ID utilisateur.

Pourquoi un utilisateur du groupe de contrôle pourrait-il encore recevoir des messages marketing ?

Pushwoosh calcule l’appartenance au groupe de contrôle par ID utilisateur. Si la même personne a plusieurs méthodes de contact (par ex. e-mail, appareil push) qui ne sont pas liées sous un seul ID utilisateur, Pushwoosh les traite comme des utilisateurs différents et calcule l’appartenance pour chacun séparément : l’un peut se retrouver dans le groupe de contrôle tandis que l’autre non. Une méthode de contact sans aucun ID utilisateur n’est jamais exclue, car Pushwoosh a besoin d’un ID utilisateur pour calculer l’appartenance. Pour éviter cela, enregistrez toutes les méthodes de contact avec le même ID utilisateur.

Quel pourcentage de groupe de contrôle devrais-je choisir ?

Le bon pourcentage dépend de vos objectifs, de la taille de votre application et de la manière dont vous prévoyez d’utiliser les résultats. Un pourcentage plus faible (par ex. 3 %) conserve plus d’utilisateurs dans l’audience et peut convenir aux équipes qui privilégient la portée. Un pourcentage plus élevé (par ex. 10 %) peut donner une confiance statistique plus forte lors de la comparaison des groupes. Vous pouvez définir une valeur Personnalisée entre 1 % et 20 % pour répondre à vos besoins.

Pourquoi mon groupe de contrôle n’est-il pas exactement du pourcentage que j’ai défini ?

La taille du groupe affichée sur la page est le nombre réel d’utilisateurs que la formule de hachage a assignés au groupe, et non le pourcentage multiplié par votre nombre d’utilisateurs. Sur les applications plus petites, ce nombre peut différer visiblement du pourcentage, car la formule distribue les utilisateurs individuellement plutôt que d’échantillonner une part exacte. Le nombre est mis en cache et actualisé environ une fois par jour. Vous pouvez déclencher un recalcul immédiat depuis la page, qui affiche le nombre précédent avec un indicateur de chargement pendant son exécution.

Que signifie Données insuffisantes dans le tableau des événements ?

Données insuffisantes signifie que soit le groupe de traitement, soit le groupe de contrôle a eu moins de 10 conversions ou moins de 10 non-conversions pour cet événement pendant la période sélectionnée. Pushwoosh ne peut pas déterminer si la différence entre les groupes est statistiquement significative tant que plus de données ne sont pas disponibles.

Comment l’Uplift est-il calculé ?

Uplift montre la différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux de contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Pushwoosh le calcule comme (conv. treatment − conv. control) / conv. control × 100%.

Que signifie Conversions générées par les messages ?

Conversions générées par les messages est le nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Pushwoosh le calcule comme (events per user in treatment − events per user in control) × treatment group size. Le pourcentage montre ces événements supplémentaires en tant que part de tous les événements de traitement.

Quels événements puis-je comparer et combien ?

Les événements définis comme Objectifs de Conversion dans le Parcours Client apparaissent automatiquement dans le tableau. Cliquez sur Ajouter des événements à comparer pour ajouter tout autre événement, jusqu’à 10 événements au total. Les événements d’engagement de message (par ex. ouvertures, clics, envois, rebonds) sont exclus même s’ils sont définis comme un objectif, car les utilisateurs du groupe de contrôle ne reçoivent jamais de messages marketing auxquels réagir.