División A/B/n

Video de Youtube: Aprende a configurar y analizar pruebas A/B/n en el Customer Journey Builder de Pushwoosh

Usa el elemento División A/B/n para probar qué secuencias de mensajes funcionan mejor para tus Objetivos de Conversión. Optimiza las comunicaciones encontrando el enfoque más efectivo para tu audiencia.

Configurar los ajustes de la división A/B/n

Después de colocar el elemento División A/B/n en el lienzo, haz doble clic en él para configurar los ajustes de la prueba.

Establecer el número de ramas

Usa el menú desplegable Ramas para elegir cuántas variaciones quieres probar (hasta 4). Por defecto, la Rama A es el grupo de control.

Definir la distribución de usuarios entre las ramas

Establece el porcentaje de usuarios que se dirigirán a cada rama, asegurándote de que el total sume 100%. Para dividir a los usuarios equitativamente entre las ramas, haz clic en Restablecer Distribución.

Elige cómo se seleccionará al ganador

Tienes dos opciones:

Tú seleccionas al ganador manualmente

Revisarás los resultados y elegirás manualmente la rama ganadora más tarde. Esto requiere un seguimiento continuo y una desactivación manual. Aprende más

El ganador se selecciona automáticamente por objetivo

El sistema monitorea el objetivo de la campaña y desactiva las ramas más débiles una vez que se alcanza la significancia estadística. Los nuevos usuarios son entonces dirigidos a la rama ganadora.

Cuando la selección automática del ganador está habilitada, elige cómo el sistema debe evaluar al ganador:

• Primer objetivo en alcanzar la significancia. El sistema monitorea todos los objetivos asignados y selecciona el primero que alcance la significancia estadística.

• Selecciona un objetivo específico (por ejemplo, CheckoutSuccess). Este objetivo se utilizará para evaluar qué rama tiene el mejor rendimiento.

Una vez configurado, haz clic en Guardar para aplicar los ajustes de tu prueba.

Cómo configurar y ejecutar pruebas A/B/n

Configurar una prueba

Pausar el journey

Si quieres configurar una prueba A/B/n en un journey activo, páusalo primero. Para aprender más sobre cómo editar un journey activo, lee este artículo.

Define al menos un Objetivo de Conversión

Establece al menos un Objetivo de Conversión que se utilizará para calcular los resultados de la prueba. Por ejemplo, si quieres probar cuál de dos notificaciones push es más efectiva, puedes establecer el Evento PW_InAppPurchase como el Objetivo de Conversión.

Si especificas varios Objetivos de Conversión, los resultados se calculan para cada objetivo por separado.

Añade el elemento División A/B/n

Coloca el elemento División A/B/n en el lienzo después de cualquier otro elemento y haz doble clic en él para configurar la prueba.

Establece las ramas y la distribución de usuarios

Selecciona el número de ramas. Puedes añadir hasta cuatro ramas a tu prueba. La primera rama siempre se considera un grupo de control con el que se comparan los resultados de las otras ramas. Sigue esta guía para aprender a configurar esta rama según tus necesidades.

A continuación, establece el porcentaje de usuarios que irán a cada rama. El total de todas las ramas debe ser del 100%. Según el porcentaje que establezcas, los viajeros del journey que lleguen a este paso se dividirán aleatoriamente en el número de ramas especificado.

Ten en cuenta que los usuarios asignados a la Rama A se considerarán un grupo de control con el que se compararán los resultados de las otras ramas. El siguiente paso describe cómo configurar la Rama A para diferentes casos.

Nota

Es posible que quieras establecer un porcentaje más alto para la Rama A (la versión original) para probar cuidadosamente una nueva versión de la campaña sin arriesgarte a reducir las conversiones.

Sin embargo, recomendamos configurar una distribución equitativa. En este caso, obtendrás resultados estadísticamente significativos más rápido.

Selecciona el modo de evaluación del ganador

Elige cómo se determina el ganador:

• Selección automática por objetivo. El sistema rastrea un objetivo definido, detecta la rama con mejor rendimiento utilizando la significancia estadística y dirige a los nuevos usuarios al ganador automáticamente.
• Selección manual. Revisarás los resultados de la prueba y decidirás manualmente qué rama tiene el mejor rendimiento. Esta opción requiere que monitorees la prueba y desactives manualmente las ramas con bajo rendimiento. Aprende más

Configura el contenido para cada rama

Ahora puedes configurar los flujos de comunicación para cada rama. Dado que la Rama A es un grupo de control, necesitas configurarla de una manera determinada según tu caso:

• Probar el flujo de comunicación existente contra nuevas versiones. En este caso, la versión existente debería estar en la Rama A. Además, asegúrate de que el Objetivo de Conversión se pueda completar en cualquier rama, incluida la Rama A.
• Probar solo nuevas versiones entre sí. Como no hay un flujo de comunicación antiguo, una de las nuevas versiones se marcará como grupo de control (la que se presenta en la Rama A). Asegúrate de que el Objetivo de Conversión se pueda completar en todas las ramas.
• Probar una versión existente sin ninguna comunicación contra nuevos flujos de comunicación. Por ejemplo, quieres añadir una notificación push más al final de un journey para ver si el rendimiento de la campaña aumenta en comparación con la versión original sin esta notificación. En este caso, la versión “vacía” debería presentarse en la Rama A. Para obtener resultados fiables, añade un Retraso de Tiempo igual a cada rama:

Lanza el journey

Si todo está listo, lanza el journey.

Analiza los resultados

Tan pronto como se lanza la prueba, puedes ver estadísticas en tiempo real sobre ella.

En el lienzo del journey, mira el número de usuarios que pasan por cada rama:

Para ver los resultados de la prueba, haz doble clic en el elemento División A/B/n. Verás las estadísticas de cada rama, incluida la conversión al objetivo seleccionado y las métricas utilizadas para calcular la significancia estadística.

Si has establecido varios Objetivos de Conversión, puedes ver los resultados de cada uno de ellos seleccionando el Objetivo requerido de la lista:

Modo automático

Si habilitaste la selección automática del ganador, Pushwoosh monitoreará continuamente el objetivo seleccionado. Una vez que una rama alcance la significancia estadística, se marcará como la ganadora. Las ramas más débiles se desactivarán automáticamente y los nuevos usuarios se dirigirán exclusivamente a la rama ganadora. No se requiere ninguna acción manual.

Si tu prueba tiene un ganador estadísticamente significativo y estás utilizando la selección manual del ganador, puedes desactivar instantáneamente las ramas con menor rendimiento haciendo clic en Mantener solo al ganador. Los nuevos viajeros del journey serán dirigidos a la rama ganadora. Los usuarios que ya entraron en las ramas desactivadas continuarán su recorrido por ellas hasta que completen el journey.

Nota

También puedes desactivar ramas manualmente, pero esto requiere pausar el journey.

Puedes ver los resultados de la prueba para un período de tiempo específico. Para ello, selecciona el período deseado en el panel izquierdo y haz doble clic en el elemento División A/B/n. Verás las estadísticas para el tiempo especificado.

Los resultados de la prueba se calculan de la siguiente manera:

• La conversión se calcula en función del número de usuarios en la rama y los Objetivos de Conversión completados. La Rama A se marcará como la Línea de Base, ya que representa el grupo de control.
• Al calcular la significancia estadística, se tienen en cuenta la Puntuación Z y el Valor P. Si el resultado es válido, se marcará como Significativo.
• Una rama se considera la ganadora si tiene la conversión más alta y este resultado se marca como Significativo.

Nota

Si el resultado se marca como Significativo, significa que su nivel de confianza es del 90%. Si este porcentaje no es suficiente para ti, puedes calcular el resultado especificando un nivel de confianza diferente. Por ejemplo, puedes usar esta calculadora.

Desactivar ramas

Modo automático

En el modo Automático, si se identifica un ganador estadísticamente significativo, Pushwoosh desactivará automáticamente las ramas de bajo rendimiento, dirigirá a todos los nuevos usuarios a la rama ganadora y permitirá que los usuarios existentes continúen en su rama asignada hasta que completen el journey. No se requiere ninguna acción manual.

Si Pushwoosh ha identificado un ganador estadísticamente significativo, puedes desactivar instantáneamente las ramas con menor rendimiento haciendo clic en Mantener solo al ganador en la ventana de estadísticas de la prueba. En este caso, no necesitas pausar el journey. Si alguna rama tiene un rendimiento bajo, puedes desactivarla. Los nuevos usuarios ya no entrarán en la rama desactivada.

Para desactivar una rama, primero pausa el journey:

Después de eso, haz doble clic en el elemento División A/B/n. Establece un 0% para esta rama y redistribuye el porcentaje de usuarios que van a las ramas restantes: