Réaliser des tests A/B/n

Utilisez l’élément A/B/n Split dans les parcours client pour tester quelle séquence de messages fonctionne le mieux pour vos Objectifs de conversion. Cela vous aidera à adapter vos communications aux besoins et aux préférences de votre audience.

1. Si vous souhaitez configurer un test A/B/n dans un parcours actif, mettez-le d’abord en pause. Pour en savoir plus sur la modification d’un parcours actif, lisez cet article.

2. Définissez au moins un Objectif de conversion qui sera utilisé pour calculer les résultats du test. Par exemple, si vous voulez tester laquelle de deux notifications push est la plus efficace, vous pouvez définir l’Événement PW_InAppPurchase comme Objectif de conversion.

Si vous spécifiez plusieurs Objectifs de conversion, les résultats seront calculés séparément pour chaque objectif.

3. Placez l’élément A/B/n Split sur le canevas après n’importe quel autre élément et double-cliquez dessus pour configurer le test.

4. Sélectionnez le nombre de branches. Vous pouvez ajouter jusqu’à quatre branches à votre test. La première branche est toujours considérée comme un groupe de contrôle par rapport auquel les résultats des autres branches sont comparés. Continuez à suivre ce guide pour apprendre à configurer cette branche en fonction de vos besoins.

5. Définissez le pourcentage d’utilisateurs se dirigeant vers chaque branche. Le total de toutes les branches doit être de 100 %. Selon le pourcentage que vous avez défini, les participants au parcours qui atteignent cette étape seront répartis aléatoirement dans le nombre de branches spécifié.

Veuillez noter que les utilisateurs assignés à la Branche A seront considérés comme un groupe de contrôle par rapport auquel les résultats des autres branches seront comparés. L’étape suivante décrit comment configurer la Branche A pour différents cas.

6. Vous pouvez maintenant configurer les flux de communication pour chaque branche. Comme la Branche A est un groupe de contrôle, vous devez la configurer d’une certaine manière en fonction de votre cas :

• Testez le flux de communication existant par rapport à de nouvelles versions. Dans ce cas, la version existante doit se trouver dans la Branche A. Assurez-vous également que l’Objectif de conversion peut être atteint dans n’importe quelle branche, y compris la Branche A.
• Testez uniquement les nouvelles versions les unes par rapport aux autres. Comme il n’y a pas d’ancien flux de communication, l’une des nouvelles versions sera marquée comme groupe de contrôle (celle présentée dans la Branche A). Assurez-vous que l’Objectif de conversion peut être atteint dans toutes les branches.
• Testez une version existante sans communication par rapport à de nouveaux flux de communication. Par exemple, vous voulez ajouter une notification push supplémentaire à la fin d’un parcours pour voir si les performances de la campagne augmentent par rapport à la version originale sans cette notification. Dans ce cas, la version “vide” doit être présentée dans la Branche A. Pour obtenir des résultats fiables, ajoutez un Délai égal à chaque branche :

7. Si tout est prêt, lancez le parcours.

Dès que le test est lancé, vous pouvez voir ses statistiques en temps réel.

Sur le canevas du parcours, vous pouvez voir le nombre d’utilisateurs qui passent par chaque branche du parcours :

Pour voir les résultats du test, double-cliquez sur l’élément A/B/n Split. Vous verrez les statistiques pour chaque branche, y compris la conversion vers l’objectif sélectionné et les métriques utilisées pour calculer la pertinence statistique.

Si vous avez défini plusieurs Objectifs de conversion, vous pouvez voir les résultats pour chacun d’eux en sélectionnant l’Objectif requis dans la liste :

Si votre test a un gagnant statistiquement significatif, vous pouvez instantanément désactiver les branches moins performantes en cliquant sur Garder uniquement le gagnant. Les nouveaux participants au parcours seront dirigés vers la branche gagnante. Les utilisateurs qui sont déjà passés par les branches désactivées continueront de les parcourir jusqu’à ce qu’ils terminent le parcours.

Vous pouvez consulter les résultats du test pour une période de temps spécifique. Pour ce faire, sélectionnez la période souhaitée sur le panneau de gauche et double-cliquez sur l’élément A/B/n Split. Vous verrez les statistiques pour la période spécifiée.

Les résultats du test sont calculés comme suit :

• La conversion est calculée en fonction du nombre d’utilisateurs dans la branche et des Objectifs de conversion atteints. La Branche A sera marquée comme Référence, car elle représente le groupe de contrôle.
• Lors du calcul de la pertinence statistique, le Score Z et la Valeur p sont pris en compte. Si le résultat est valide, il sera marqué comme Significatif.
• Une branche est considérée comme la gagnante si elle a la conversion la plus élevée et que ce résultat est marqué comme Significatif.

Si une branche est peu performante, vous pouvez la désactiver. Les nouveaux utilisateurs n’entreront plus dans la branche désactivée.

Pour désactiver une branche, mettez d’abord le parcours en pause :

Après cela, double-cliquez sur l’élément A/B/n Split. Définissez 0 % pour cette branche et redistribuez le pourcentage d’utilisateurs se dirigeant vers les branches restantes :