Split A/B/n

Vidéo Youtube : Apprenez à configurer et analyser les tests A/B/n dans le Customer Journey Builder de Pushwoosh

Utilisez l’élément Split A/B/n pour tester quelles séquences de messages sont les plus performantes pour vos Objectifs de conversion. Optimisez les communications en trouvant l’approche la plus efficace pour votre audience.

Configurer les paramètres du split A/B/n

Après avoir placé l’élément Split A/B/n sur le canevas, double-cliquez dessus pour configurer les paramètres du test.

Définir le nombre de branches

Utilisez le menu déroulant Branches pour choisir le nombre de variations que vous souhaitez tester (jusqu’à 4). Par défaut, la Branche A est le groupe de contrôle.

Définir la distribution des utilisateurs entre les branches

Définissez le pourcentage d’utilisateurs à diriger vers chaque branche, en vous assurant que le total s’élève à 100 %. Pour répartir équitablement les utilisateurs entre les branches, cliquez sur Réinitialiser la distribution.

Choisir comment le gagnant sera sélectionné

Vous avez deux options :

Vous sélectionnez le gagnant manuellement

Vous examinerez les résultats et choisirez manuellement la branche gagnante plus tard. Cela nécessite une surveillance continue et une désactivation manuelle. En savoir plus

Le gagnant est sélectionné automatiquement par objectif

Le système surveille l’objectif de la campagne et désactive les branches les plus faibles une fois que la significativité statistique est atteinte. Les nouveaux utilisateurs sont alors dirigés vers la branche gagnante.

Lorsque la sélection automatique du gagnant est activée, choisissez comment le système doit évaluer le gagnant :

• Premier objectif à atteindre la significativité. Le système surveille tous les objectifs assignés et sélectionne le premier à atteindre la significativité statistique.

• Sélectionner un objectif spécifique (par exemple, CheckoutSuccess). Cet objectif sera utilisé pour évaluer quelle branche est la plus performante.

Une fois configuré, cliquez sur Enregistrer pour appliquer vos paramètres de test.

Comment configurer et exécuter des tests A/B/n

Configurer un test

Mettre le parcours en pause

Si vous souhaitez configurer un test A/B/n dans un parcours actif, mettez-le d’abord en pause. Pour en savoir plus sur la modification d’un parcours actif, lisez cet article.

Définir au moins un Objectif de conversion

Définissez au moins un Objectif de conversion qui sera utilisé pour calculer les résultats du test. Par exemple, si vous voulez tester laquelle de deux notifications push est la plus efficace, vous pouvez définir l’Événement PW_InAppPurchase comme Objectif de conversion.

Si vous spécifiez plusieurs Objectifs de conversion, les résultats sont calculés séparément pour chaque objectif.

Ajouter l’élément Split A/B/n

Placez l’élément Split A/B/n sur le canevas après n’importe quel autre élément et double-cliquez dessus pour configurer le test.

Définir les branches et la distribution des utilisateurs

Sélectionnez le nombre de branches. Vous pouvez ajouter jusqu’à quatre branches à votre test. La première branche est toujours considérée comme un groupe de contrôle par rapport auquel les résultats des autres branches sont comparés. Continuez à suivre ce guide pour apprendre à configurer cette branche en fonction de vos besoins.

Ensuite, définissez le pourcentage d’utilisateurs allant dans chaque branche. Le total de toutes les branches doit être de 100 %. Selon le pourcentage que vous définissez, les voyageurs du parcours qui atteignent cette étape seront répartis aléatoirement dans le nombre de branches spécifié.

Veuillez noter que les utilisateurs assignés à la Branche A seront considérés comme un groupe de contrôle par rapport auquel les résultats des autres branches seront comparés. L’étape suivante décrit comment configurer la Branche A pour différents cas.

Note

Vous pourriez vouloir définir un pourcentage plus élevé pour la Branche A (la version originale) afin de tester soigneusement une nouvelle version de campagne sans risquer de baisser les conversions.

Cependant, nous recommandons de configurer une distribution égale. Dans ce cas, vous obtiendrez des résultats statistiquement significatifs plus rapidement.

Sélectionner le mode d’évaluation du gagnant

Choisissez comment le gagnant est déterminé :

• Sélection automatique par objectif. Le système suit un objectif défini, détecte la branche la plus performante en utilisant la significativité statistique, et dirige automatiquement les nouveaux utilisateurs vers le gagnant.
• Sélection manuelle. Vous examinerez les résultats du test et déciderez manuellement quelle branche est la plus performante. Cette option vous oblige à surveiller le test et à désactiver manuellement les branches sous-performantes. En savoir plus

Configurer le contenu pour chaque branche

Vous pouvez maintenant configurer les flux de communication pour chaque branche. Comme la Branche A est un groupe de contrôle, vous devez la configurer d’une certaine manière en fonction de votre cas :

• Tester le flux de communication existant par rapport à de nouvelles versions. Dans ce cas, la version existante doit se trouver dans la Branche A. Assurez-vous également que l’Objectif de conversion peut être atteint dans n’importe quelle branche, y compris la Branche A.
• Tester uniquement les nouvelles versions les unes par rapport aux autres. Comme il n’y a pas d’ancien flux de communication, l’une des nouvelles versions sera marquée comme groupe de contrôle (celle présentée dans la Branche A). Assurez-vous que l’Objectif de conversion peut être atteint dans toutes les branches.
• Tester une version existante sans aucune communication par rapport à de nouveaux flux de communication. Par exemple, vous voulez ajouter une notification push de plus à la fin d’un parcours pour voir si la performance de la campagne augmente par rapport à la version originale sans cette notification. Dans ce cas, la version « vide » doit être présentée dans la Branche A. Pour obtenir des résultats fiables, ajoutez un Délai égal à chaque branche :

Lancer le parcours

Si tout est prêt, lancez le parcours.

Analyser les résultats

Dès que le test est lancé, vous pouvez voir ses statistiques en temps réel.

Sur le canevas du parcours, consultez le nombre d’utilisateurs qui passent par chaque branche :

Pour voir les résultats du test, double-cliquez sur l’élément Split A/B/n. Vous verrez les statistiques pour chaque branche, y compris la conversion vers l’objectif sélectionné et les métriques utilisées pour calculer la significativité statistique.

Si vous avez défini plusieurs Objectifs de conversion, vous pouvez voir les résultats pour chacun d’eux en sélectionnant l’Objectif requis dans la liste :

Mode automatique

Si vous avez activé la sélection automatique du gagnant, Pushwoosh surveillera en continu l’objectif sélectionné. Une fois qu’une branche atteint la significativité statistique, elle sera marquée comme gagnante. Les branches plus faibles seront automatiquement désactivées, et les nouveaux utilisateurs seront dirigés exclusivement vers la branche gagnante. Aucune action manuelle n’est requise.

Si votre test a un gagnant statistiquement significatif et que vous utilisez la sélection manuelle du gagnant, vous pouvez instantanément désactiver les branches moins performantes en cliquant sur Garder uniquement le gagnant. Les nouveaux voyageurs du parcours seront dirigés vers la branche gagnante. Les utilisateurs qui sont déjà passés par les branches désactivées continueront de les parcourir jusqu’à ce qu’ils terminent le parcours.

Note

Vous pouvez également désactiver les branches manuellement, mais cela nécessite de mettre le parcours en pause.

Vous pouvez consulter les résultats du test pour une période de temps spécifique. Pour ce faire, sélectionnez la période souhaitée sur le panneau de gauche et double-cliquez sur l’élément Split A/B/n. Vous verrez les statistiques pour la période spécifiée.

Les résultats du test sont calculés comme suit :

• La conversion est calculée en fonction du nombre d’utilisateurs dans la branche et des Objectifs de conversion atteints. La Branche A sera marquée comme la Ligne de base, car elle représente le groupe de contrôle.
• Lors du calcul de la significativité statistique, le Z-Score et la P-Value sont pris en compte. Si le résultat est valide, il sera marqué comme Significatif.
• Une branche est considérée comme la gagnante si elle a la conversion la plus élevée, et que ce résultat est marqué comme Significatif.

Note

Si le résultat est marqué comme Significatif, cela signifie que son niveau de confiance est de 90 %. Si ce pourcentage n’est pas suffisant pour vous, vous pouvez calculer le résultat en spécifiant un niveau de confiance différent. Par exemple, vous pouvez utiliser ce calculateur.

Désactiver les branches

Mode automatique

En mode automatique, si un gagnant statistiquement significatif est identifié, Pushwoosh désactivera automatiquement les branches sous-performantes, dirigera tous les nouveaux utilisateurs vers la branche gagnante et permettra aux utilisateurs existants de continuer dans leur branche assignée jusqu’à ce qu’ils terminent le parcours. Aucune action manuelle n’est requise.

Si Pushwoosh a identifié un gagnant statistiquement significatif, vous pouvez instantanément désactiver les branches moins performantes en cliquant sur Garder uniquement le gagnant dans la fenêtre des statistiques du test. Dans ce cas, vous n’avez pas besoin de mettre le parcours en pause. Si une branche est peu performante, vous pouvez la désactiver. Les nouveaux utilisateurs n’entreront plus dans la branche désactivée.

Pour désactiver une branche, mettez d’abord le parcours en pause :

Après cela, double-cliquez sur l’élément Split A/B/n. Définissez 0 % pour cette branche et redistribuez le pourcentage d’utilisateurs allant dans les branches restantes :