Rapport d'uplift

Le rapport d’uplift montre ce qu’une campagne ou un journey a obtenu par lui-même. Il compare les utilisateurs qui l’ont reçu au holdout, un groupe que vous mettez de côté volontairement pour qu’il ne reçoive pas le message, et montre à quel point le premier groupe a atteint l’objectif plus souvent.

Une campagne figure dans le rapport uniquement si vous l’avez envoyée avec un holdout, une part des destinataires que vous mettez de côté. Vos développeurs le définissent avec le paramètre holdout_percentage, de 1 à 20, dans la Messaging API. Un journey figure dans le rapport une fois pour chaque point Holdout Split qu’il contient.

Obtenir le rapport

• Journey : ouvrez le point Holdout Split du journey. Il affiche Goal uplift vs holdout dans le Control Panel.
• Campagne : vous ne pouvez obtenir le rapport que sous forme de fichier CSV. L’export passe par l’API, demandez donc à vos développeurs de lancer l’export. Donnez-leur les dates, jusqu’à 90 jours, et, si vous n’en avez besoin que d’un seul, la campagne ou le journey. Sans cela, le fichier couvre toutes les campagnes et tous les journeys de l’application. Contenu du fichier

Les groupes de contrôle ont leur propre Rapport d’impact dans Settings. Il mesure les groupes de contrôle de l’application, et non une seule campagne ou un seul journey.

Ce qui compte comme traitement et contrôle

Le rapport compare deux groupes : le traitement, les utilisateurs qui ont reçu le message, et le contrôle, le holdout, les utilisateurs qui ne l’ont pas reçu.

	Traitement	Contrôle
Campagne	Chaque destinataire à qui la campagne a été envoyée.	Chaque destinataire que le holdout a empêché de la recevoir, comme dans les groupes de contrôle de l’application.
Journey	Chaque utilisateur passé par le point Holdout Split vers la branche In journey.	Chaque utilisateur dirigé vers la branche Holdout de ce point.

Les utilisateurs et destinataires sans User ID sont exclus des deux groupes, car sans lui Pushwoosh ne peut pas savoir à quel groupe ils appartiennent ni les associer à une conversion.

Objectif et fenêtre d’attribution

Campagne : l’objectif et la fenêtre d’attribution (combien de temps après un envoi une conversion compte encore) proviennent des Objectifs de conversion de l’application. Lorsque plusieurs sont configurés, le rapport utilise la fenêtre d’attribution la plus courte d’entre eux, afin qu’un envoi ne soit jamais crédité d’une conversion lointaine et sans rapport.

Journey : l’objectif correspond aux points Goal du journey, et la fenêtre au paramètre Période de conversion du journey (7 jours si le journey n’en définit pas). La fenêtre commence lorsque chaque utilisateur passe le point Holdout Split, car les utilisateurs du holdout ne reçoivent jamais d’envoi à partir duquel la démarrer.

Dans les deux cas, les événements d’engagement avec les messages (ouvertures, clics, etc.) sont exclus de l’objectif. Le groupe holdout ne reçoit jamais de message auquel réagir, donc compter l’engagement montrerait seulement qu’un message est parti, pas ce qu’il a obtenu. L’analyse des groupes de contrôle les exclut pour la même raison.

Métriques du rapport

Métrique	Signification
Uplift %	La différence en pourcentage entre les taux de conversion du traitement et du contrôle, par rapport au taux du contrôle. Même formule que l’Uplift des groupes de contrôle de l’application.
Incremental events	Une estimation du nombre d’événements supplémentaires produits par le groupe de traitement par rapport à ce qu’il aurait produit au taux par utilisateur du groupe de contrôle, calculée pour tous les utilisateurs du traitement. Même formule que Conversions générées par les messages.
% of treatment	Les Incremental events en proportion de tous les événements générés par le groupe de traitement.
Z-score, P-value, Confidence %	Confidence % indique à quel point le rapport est sûr que l’écart entre les groupes n’est pas dû au hasard : plus la valeur est élevée, plus vous pouvez vous fier au résultat. Z-score et P-value sont les statistiques sous-jacentes, issues du même test que celui des groupes de contrôle de l’application.
Significance	Significant, Not significant ou Not enough data. Significant signifie que Confidence % dépasse 95 %. Cela fonctionne dans les deux sens : un Uplift % négatif significatif signifie que le message a fait baisser le taux de conversion. La valeur indique des données insuffisantes lorsque l’un des groupes compte moins de 10 conversions ou moins de 10 non-conversions.
Treatment revenue / Control revenue	Le chiffre d’affaires apporté par chaque groupe sur l’événement objectif du rapport, séparé par devise.
Incremental revenue	La version monétaire des Incremental events : la différence de revenu par utilisateur entre le traitement et le contrôle, calculée pour tous les utilisateurs du traitement, par devise.
Revenue tracked	Indique si la source de revenus de cet événement a réellement été configurée, et non devinée. Voir Revenus dans le rapport.

Par exemple, un journey envoie un message de bienvenue à 90 000 utilisateurs et en met 10 000 de côté. Dans le groupe In journey, 4 500 utilisateurs atteignent l’objectif (5 %). Dans le groupe Holdout, 400 l’atteignent (4 %). Le rapport affiche :

Métrique	Valeur
Uplift %	25 %, car 5 % représente un quart de plus que 4 %
Significance	Significant, car avec des groupes aussi grands, il est peu probable que l’écart soit dû au hasard

Note

Uplift % compte chaque utilisateur une seule fois, de sorte qu’un utilisateur inhabituellement actif ne peut pas le fausser. Incremental events compte chaque événement, sans plafond par utilisateur, comme le font les groupes de contrôle de l’application, de sorte qu’un seul utilisateur très actif du traitement peut faire monter ce chiffre sans modifier Uplift %. Lorsque les deux divergent, fiez-vous à Uplift %.

Contenu du fichier exporté

Chaque ligne du fichier correspond à une campagne, ou à un point Holdout Split d’un journey, pour un événement objectif. Une ligne contient :

• la campagne ou le journey et l’événement objectif ;
• le nombre d’utilisateurs et de conversions dans chaque groupe ;
• les métriques du tableau ci-dessus ;
• les revenus pour chaque devise.

Pour chaque campagne, point Holdout Split et événement objectif, le fichier contient le dernier calcul quotidien compris dans les dates choisies. Voir Jusqu’où le rapport peut remonter.

Pour le journey de l’exemple ci-dessus, les principales colonnes se présentent ainsi :

Colonne	Exemple	Signification
owner_type	TYPE_JOURNEY	La ligne concerne un journey, pas une campagne.
event_name	purchase	L’événement objectif.
treatment_users	90000	Utilisateurs du groupe In journey.
control_users	10000	Utilisateurs du groupe Holdout.
treatment_conversions	4500	Utilisateurs du groupe In journey qui ont atteint l’objectif.
control_conversions	400	Utilisateurs du groupe Holdout qui ont atteint l’objectif.
uplift_pct	25.00	Uplift %.
significance	TYPE_SIGNIFICANT	Significant.

Revenus dans le rapport

Les revenus du traitement, du contrôle et incrémentaux sont calculés pour le même événement objectif, les mêmes utilisateurs et la même fenêtre d’attribution que les chiffres de conversion du rapport.

Les revenus sont séparés par devise, jamais convertis

Les revenus ne sont pas convertis d’une devise à l’autre, car Pushwoosh ne conserve que les taux de change du jour, et convertir une fenêtre plus ancienne au taux du jour serait une approximation. Treatment revenue, Control revenue et Incremental revenue contiennent chacun un montant par devise au lieu d’un total combiné. Les revenus d’un événement qui n’indique pas de devise sont listés sous unknown.

Revenue tracked indique si la source a été configurée

Revenue tracked indique si les revenus ont été configurés pour l’événement objectif, de sorte qu’une application qui ne les a jamais configurés apparaît comme non mesurée, et non comme ayant zéro revenu.

Pushwoosh lit les revenus d’un événement à trois endroits, dans cet ordre :

1. Les champs value et currency propres à l’événement intégré PW_Conversion.
2. Un mappage des revenus d’événement que vous avez configuré pour cet événement.
3. Les anciens attributs __amount et __currency de l’événement, si aucune des deux sources précédentes ne s’applique.

Revenue tracked n’est activé que pour les deux premières sources. Avec la troisième, le rapport affiche quand même le montant mais laisse l’indicateur désactivé, car personne n’a configuré de revenus pour cet événement.

Quand le rapport est mis à jour

Le rapport n’est pas en temps réel. Il est recalculé une fois par jour, à 01:30 UTC, de sorte qu’une campagne envoyée ou un point de journey franchi aujourd’hui apparaît dans le rapport demain.

Seuls les journeys en cours avec au moins un point Goal sont recalculés. Lorsqu’un journey s’arrête, le point Holdout Split continue d’afficher ses derniers chiffres.

Jusqu’où le rapport peut remonter

Chaque calcul quotidien prend en compte les envois de campagnes des 45 derniers jours environ et les passages par Holdout Split des 180 derniers jours. Les envois et passages plus anciens sortent du calcul suivant, de sorte qu’une campagne n’est plus recalculée environ 45 jours après son envoi.

Pushwoosh conserve chaque calcul quotidien pendant 90 jours. Le point Holdout Split affiche le plus récent. Un export affiche le plus récent compris dans les dates que vous indiquez, de sorte qu’un export portant sur des dates d’il y a deux mois montre les chiffres tels qu’ils étaient alors, pour les envois et passages antérieurs.