Holdout Split

Utilisez l’élément Holdout Split pour mettre de côté une part des utilisateurs pour le reste d’un journey, puis comparez leur atteinte de l’objectif à celle de tous ceux qui ont continué après ce point. Contrairement au groupe de contrôle à l’échelle du compte, qui est fixe par application et bloque les messages marketing partout, un Holdout Split s’applique uniquement à l’intérieur d’un journey, à un seul point de son flux.

Quand utiliser Holdout Split

• Mesurez l’impact d’un journey à un point choisi. Mettez de côté une part des utilisateurs qui atteignent ce point et voyez si les étapes suivantes font progresser vos Objectifs de conversion davantage que le fait de les sauter.
• Testez un segment ou un flux spécifique. Combinez Holdout Split avec une Entrée basée sur l’audience ou une Entrée basée sur un déclencheur pour mesurer l’impact uniquement pour les utilisateurs pertinents pour cette campagne, au lieu de mettre de côté toute votre application.
• Obtenez un uplift par objectif, pas seulement un nombre d’événements. Si le journey comporte plusieurs Objectifs de conversion, Holdout Split rapporte le uplift et la significativité statistique pour chacun séparément.

Par exemple, placez Holdout Split après l’entrée et avant vos messages d’onboarding. Comparez un Objectif de conversion d’achat pour les utilisateurs qui ont continué sur In journey par rapport aux utilisateurs sur Holdout, qui sortent à cet endroit et ne reçoivent rien d’autre de ce journey.

Prérequis

Définissez au moins un Objectif de conversion pour le journey si vous voulez des chiffres dans le rapport d’uplift. Vous pouvez tout de même placer et enregistrer Holdout Split sans objectif. Sans cela, le rapport affiche une invite à ajouter un objectif au lieu des taux et de l’uplift.

Ajouter et configurer Holdout Split

1. Placez l’élément Holdout Split sur le canevas à l’endroit où vous voulez commencer à mesurer le reste du journey (avant les messages ou étapes que vous testez).

2. Double-cliquez sur l’élément pour ouvrir ses paramètres.

3. Définissez Share held out : le pourcentage d’utilisateurs atteignant ce point qui sont dirigés vers la branche Holdout. Le reste continue sur la branche In journey. Share held out accepte de 1 à 20 %.

   

4. Connectez les branches sur le canevas :

   • Laissez la branche Holdout non connectée. Les utilisateurs de cette branche quittent le journey immédiatement et n’en reçoivent rien d’autre.
   • Connectez la branche In journey au reste de votre flux.

5. Cliquez sur Save.

Après avoir enregistré, vous devriez voir deux branches depuis l’élément : Holdout sans étape suivante, et In journey menant vers le flux que vous avez connecté.

Note

Les utilisateurs mis de côté sont exclus uniquement de ce journey. Ils peuvent toujours recevoir des messages de vos autres journeys et envois ponctuels.

Consultez le rapport d’uplift

Utilisez Goal uplift vs holdout pour répondre à une question : les étapes après ce point augmentent-elles vos Objectifs de conversion par rapport aux utilisateurs qui se sont arrêtés ici ?

1. Ouvrez le journey en cours d’exécution.

2. Ouvrez le point Holdout Split et trouvez Goal uplift vs holdout sous la répartition actuelle.

3. Si vous voyez un espace réservé au lieu de taux, revenez le lendemain. Pushwoosh actualise le rapport une fois par jour, et les premiers chiffres apparaissent le lendemain du démarrage du journey.

4. Dans l’en-tête du rapport, vérifiez la taille de l’échantillon et le timing avant de faire confiance aux taux :

   • Combien d’utilisateurs étaient sur In journey et Holdout lors de la dernière actualisation
   • La fenêtre d’attribution (combien de jours après le point une conversion d’objectif compte encore)
   • Quand le rapport a été calculé pour la dernière fois

   Un échantillon holdout minuscule rend l’uplift bruyant même si le taux in-journey semble solide.

5. Pour chaque Objectif de conversion, comparez les branches, puis lisez l’uplift et la significativité :

   • Comparez Conversion, in journey avec Conversion, holdout (taux et nombre). C’est la différence entre les utilisateurs qui ont reçu le reste du journey et les utilisateurs qui n’en ont rien reçu d’autre après ce point.
   • Lisez Uplift pour cette différence comme un changement relatif. Un uplift positif signifie que la branche in-journey a mieux converti que holdout. Si holdout a eu zéro conversion pour cet objectif, l’uplift affiche — (pas de base pour une différence relative).
   • Lisez le badge de significativité avant de traiter l’uplift comme une décision :
     • Significant : la différence entre les branches est réelle, pas aléatoire. Faites confiance au chiffre d’uplift.
     • Not significant : Pushwoosh dispose de suffisamment de données, mais la différence n’est pas fiable. N’agissez pas encore sur ce chiffre d’uplift.
     • Not enough data : trop peu de conversions jusqu’à présent pour trancher dans un sens ou dans l’autre. Laissez le journey continuer à s’exécuter pour un échantillon plus large.

Pour examiner chaque Holdout Split en un seul endroit, ouvrez le tableau de bord de santé de la campagne du journey et vérifiez le même rapport pour chaque point.

Pour obtenir l’uplift de chaque point Holdout Split sous forme de fichier CSV, avec le revenu par devise, exportez le Rapport d’uplift via l’API.

Exportez les utilisateurs de chaque branche

Téléchargez une liste des utilisateurs qui sont allés sur Holdout et de ceux qui sont allés sur In journey dans un journey en cours d’exécution.

Export users nécessite l’autorisation Personal data dans votre rôle.

1. Ouvrez le journey en cours d’exécution.

2. Ouvrez le point Holdout Split.

3. Cliquez sur Export users sous Goal uplift vs holdout.

4. Définissez la plage de dates. Vous ne pouvez exporter que les données des 2 derniers mois.

   

5. Cliquez sur Start exporting.

6. Lorsque le fichier est prêt, un bouton de téléchargement apparaît dans le même panneau. Cliquez dessus pour obtenir le CSV.

Chaque ligne indique un ID utilisateur et la branche empruntée par cet utilisateur, holdout ou journey. Si personne n’a atteint le point dans cette plage de dates, le fichier ne contient que la ligne d’en-tête.

Si vous avez besoin d’un holdout à l’échelle du compte plutôt que par journey, utilisez les Groupes de contrôle.