Passer au contenu

Analyser l'impact du groupe de contrôle

La page de chaque groupe de contrôle montre les performances de vos messages par rapport à ce groupe. Ouvrez-la depuis Paramètres > Groupes de contrôle en cliquant sur la ligne du groupe.

Vérifier le mode et les dates du groupe

Anchor link to

Sous le nom du groupe, la page affiche la Taille du groupe, le Mode, le numéro du Cycle actuel et une date qui dépend du mode :

ModeDate sous le nomLibellé du sélecteur de période
PermanentActif depuis : la date de démarrage du groupeAucun libellé
Actualisation automatiquePériode du cycle actuelCycle actuel
Expérience avec date de finPériode du cycle actuelExpérience actuelle

Pour voir les résultats d’un cycle antérieur, ouvrez le sélecteur de période et choisissez-le sous Précédents. Les cycles terminés y sont listés par numéro, sous la forme Cycle ou Expérience. Un groupe Permanent peut aussi avoir des cycles antérieurs, car un redimensionnement, un changement de portée ou un changement de mode en démarre un nouveau.

En-tête de la page du groupe de contrôle affichant la Taille du groupe, le Mode et Actif depuis, avec un lien Recalculer

Ce que la page compare

Anchor link to

La page comporte deux blocs : un tableau de comparaison des événements en haut et un Rapport d’impact en dessous. Les deux comparent deux groupes d’utilisateurs sur n’importe quel événement que vous choisissez :

  • Groupe de traitement : les utilisateurs de l’audience du groupe qui ne sont pas dans le groupe de contrôle. Ils continuent de recevoir vos messages marketing (Push, E-mail, In-App, SMS, WhatsApp) comme d’habitude.
  • Groupe de contrôle : le groupe témoin que vous avez configuré. Ces utilisateurs sont exclus des messages marketing, donc toute différence dans leur comportement n’est pas influencée par vos campagnes.

Les deux groupes sont tirés de l’audience du groupe, affichée dans Mesuré parmi sur la page du groupe : Tous les utilisateurs, ou les utilisateurs qui correspondent aujourd’hui aux pays et aux valeurs de tag du groupe.

  • Un utilisateur dont la valeur de tag change sort du décompte.
  • Les données du cycle en cours sont mises à jour une fois par jour. Lorsqu’un cycle se termine, ses résultats finaux apparaissent généralement sous Précédents dans les 15 minutes.
  • Pushwoosh ne filtre aucun des deux groupes pour ne garder que les utilisateurs avec un jeton push valide, un e-mail vérifié ou un autre canal joignable.

Le traitement et le contrôle proviennent du même ensemble d’utilisateurs, sans filtrage séparé entre eux.

Comparer les événements

Anchor link to
  1. Sélectionnez une période : 3 derniers jours, 7 derniers jours ou 30 derniers jours. Pour comparer un cycle antérieur, choisissez-le sous Précédents.

    La fenêtre de mesure redémarre, et les données antérieures ne sont plus incluses, lorsque :

    Les données antérieures à ce moment ne correspondent plus aux membres ou à l’audience actuels. Les cycles terminés sont listés sous Précédents dans le sélecteur de période.

  2. Examinez le tableau de comparaison des événements. Il n’affiche les événements automatiquement que si vous avez défini des Objectifs de Conversion dans le Parcours Client. Sinon, le tableau est initialement vide.

  3. Cliquez sur Ajouter des événements à comparer pour ajouter tout événement que vous souhaitez mesurer. Vous pouvez ajouter jusqu’à 10 événements au total.

Tableau de comparaison des événements pour le cycle actuel, avec Conv. Contrôle, Conv. Traitement, Uplift et Significativité pour trois événements

Le tableau affiche ces métriques pour chaque événement :

MétriqueCe qu’elle montre
Conv. ContrôleLa part d’utilisateurs uniques exclus des messages marketing qui ont quand même déclenché l’événement au moins une fois, sans aucune influence des messages.
Conv. TraitementLa part d’utilisateurs uniques qui ont reçu vos messages marketing (Push, E-mail, In-App, SMS, WhatsApp) et ont déclenché l’événement au moins une fois.
UpliftLa différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux de contrôle. Une valeur positive signifie que le groupe de traitement a mieux converti. Calculé comme (conv. treatment − conv. control) / conv. control × 100%.
SignificativitéSi la différence est statistiquement fiable. Voir les statuts dans le tableau suivant.
Statut de significativitéSignification
SignificatifL’uplift est peu susceptible d’être dû au hasard.
Non significatifLa différence n’est pas encore statistiquement fiable.
Données insuffisantesL’un ou l’autre groupe a moins de 10 conversions ou moins de 10 non-conversions pour cet événement, la significativité ne peut donc pas être calculée.

Consulter le Rapport d’impact

Anchor link to

Utilisez le menu déroulant Voir l’événement pour sélectionner un événement du tableau. Le Rapport d’impact ci-dessous montre une analyse plus détaillée pour cet événement.

Rapport d'impact montrant l'uplift, les conversions générées par les messages et un tableau de répartition des groupes

MétriqueCe qu’elle montre
Uplift (changement par rapport au contrôle)De combien le taux de conversion du traitement diffère de celui du contrôle. La même valeur que dans le tableau des événements.
Conversions générées par les messagesLe nombre estimé d’événements supplémentaires générés par vos messages au-delà du nombre attendu sans messagerie. Le pourcentage les montre en tant que part de tous les événements de traitement. Calculé comme (events per user in treatment − events per user in control) × treatment group size.
SignificativitéSi la différence est statistiquement fiable : Significatif, Non significatif ou Données insuffisantes. Basé sur la Confiance et la Valeur p.
ConfianceÀ quel point Pushwoosh est sûr que l’uplift reflète une réelle différence plutôt qu’un hasard, en pourcentage. Plus elle est élevée, plus la preuve est solide.
Valeur pLa probabilité que cette différence apparaisse par hasard si la messagerie n’avait aucun effet réel. Plus elle est faible, plus la preuve est solide.
Score ZÀ quel point les performances des deux groupes sont éloignées. Proche de 0, la différence pourrait être aléatoire. Plus il est éloigné de 0, plus vous pouvez être confiant qu’un groupe est meilleur.
Répartition des groupesTraitement et Contrôle côte à côte : Utilisateurs estimés, Nombre total d’événements, Événements par utilisateur et Taux de conv. (unique).

Comment lire les résultats

Anchor link to
  • Uplift significatif et positif : vos messages génèrent cet événement. Continuez à les envoyer.
  • Uplift significatif et négatif : le groupe de contrôle convertit mieux que le groupe de traitement sur cet événement. Avant de conclure que vos messages jouent contre vous, vérifiez si cet événement est bien un de ceux que vos messages sont censés générer.
  • Non significatif : la différence n’est pas encore fiable, ce qui ne veut pas dire qu’il n’y a aucun effet. Laissez l’événement accumuler plus de conversions avant de le juger.
  • Données insuffisantes : l’un ou l’autre groupe a moins de 10 conversions ou moins de 10 non-conversions pour cet événement. Comparez un événement avec plus de volume, ou attendez qu’il se produise davantage.

Deux autres points à garder à l’esprit :

  • Comparez au sein d’une même fenêtre de mesure. Un remaniement, un redimensionnement, un changement de portée, un changement de mode, un renouvellement Actualisation automatique ou la fin d’une Expérience redémarre la fenêtre. Les résultats d’avant et d’après l’un de ces événements ne sont pas comparables.
  • Choisissez des événements que vos campagnes sont censées générer, comme un achat ou une inscription, plutôt que des événements sur lesquels les messages n’ont aucune influence directe.