División A/B/n

Vídeo de YouTube: Aprenda a configurar y analizar pruebas A/B/n en el Customer Journey Builder de Pushwoosh

Utilice el elemento División A/B/n para probar qué secuencias de mensajes funcionan mejor para sus Objetivos de Conversión. Optimice las comunicaciones encontrando el enfoque más efectivo para su audiencia.

Configure los ajustes de la división A/B/n

Después de colocar el elemento División A/B/n en el lienzo, haga doble clic en él para configurar los ajustes de la prueba.

Establezca el número de ramas

Use el menú desplegable Ramas para elegir cuántas variaciones desea probar (hasta 4). Por defecto, la Rama A es el grupo de control.

Defina la distribución de usuarios entre las ramas

Establezca el porcentaje de usuarios que se dirigirán a cada rama, asegurándose de que el total sume 100%. Para dividir a los usuarios de manera uniforme entre las ramas, haga clic en Restablecer Distribución.

Elija cómo se seleccionará el ganador

Tiene dos opciones:

Usted selecciona el ganador manualmente

Revisará los resultados y elegirá manualmente la rama ganadora más tarde. Esto requiere un seguimiento continuo y una desactivación manual. Aprenda más

El ganador se selecciona automáticamente por objetivo

El sistema supervisa el objetivo de la campaña y desactiva las ramas más débiles una vez que se alcanza la significancia estadística. Los nuevos usuarios son dirigidos entonces a la rama ganadora.

Cuando la selección automática del ganador está habilitada, elija cómo el sistema debe evaluar al ganador:

• Primer objetivo en alcanzar la significancia. El sistema supervisa todos los objetivos asignados y selecciona el primero en alcanzar la significancia estadística.

• Seleccione un objetivo específico (por ejemplo, CheckoutSuccess). Este objetivo se utilizará para evaluar qué rama tiene el mejor rendimiento.

Una vez configurado, haga clic en Guardar para aplicar los ajustes de la prueba.

Cómo configurar y ejecutar pruebas A/B/n

Configurar una prueba

Pausar el journey

Si desea configurar pruebas A/B/n en un journey activo, páuselo primero. Para obtener más información sobre cómo editar un journey activo, lea este artículo.

Defina al menos un Objetivo de Conversión

Establezca al menos un Objetivo de Conversión que se utilizará para calcular los resultados de la prueba. Por ejemplo, si desea probar cuál de dos notificaciones push es la más efectiva, puede establecer el Evento PW_InAppPurchase como el Objetivo de Conversión.

Si especifica varios Objetivos de Conversión, los resultados se calculan para cada objetivo por separado.

Añada el elemento División A/B/n

Coloque el elemento División A/B/n en el lienzo después de cualquier otro elemento y haga doble clic en él para configurar la prueba.

Establezca las ramas y la distribución de usuarios

Seleccione el número de ramas. Puede añadir hasta cuatro ramas a su prueba. La primera rama siempre se considera un grupo de control con el que se comparan los resultados de las otras ramas. Siga esta guía para aprender a configurar esta rama según sus necesidades.

A continuación, establezca el porcentaje de usuarios que irán a cada rama. El total de todas las ramas debe ser 100%. Según el porcentaje que establezca, los usuarios en el journey que lleguen a este paso se dividirán aleatoriamente en el número de ramas especificado.

Tenga en cuenta que los usuarios asignados a la Rama A se considerarán un grupo de control con el que se compararán los resultados de las otras ramas. El siguiente paso describe cómo configurar la Rama A para diferentes casos.

Nota

Es posible que desee establecer un porcentaje más alto para la Rama A (la versión original) para probar cuidadosamente una nueva versión de la campaña sin arriesgarse a conversiones más bajas.

Sin embargo, recomendamos configurar una distribución uniforme. En este caso, obtendrá resultados estadísticamente significativos más rápido.

Seleccione el modo de evaluación del ganador

Elija cómo se determina el ganador:

• Selección automática por objetivo. El sistema realiza un seguimiento de un objetivo definido, detecta la rama con mejor rendimiento utilizando la significancia estadística y dirige a los nuevos usuarios al ganador automáticamente.
• Selección manual. Revisará los resultados de la prueba y decidirá manualmente qué rama tiene el mejor rendimiento. Esta opción requiere que supervise la prueba y desactive manualmente las ramas con bajo rendimiento. Aprenda más

Configure el contenido para cada rama

Ahora puede configurar los flujos de comunicación para cada rama. Dado que la Rama A es un grupo de control, debe configurarla de una manera determinada según su caso:

• Probar el flujo de comunicación existente contra nuevas versiones. En este caso, la versión existente debe estar en la Rama A. Además, asegúrese de que el Objetivo de Conversión se pueda completar en cualquier rama, incluida la Rama A.
• Probar solo nuevas versiones entre sí. Como no hay un flujo de comunicación antiguo, una de las nuevas versiones se marcará como grupo de control (la que se presenta en la Rama A). Asegúrese de que el Objetivo de Conversión se pueda completar en todas las ramas.
• Probar una versión existente sin ninguna comunicación contra nuevos flujos de comunicación. Por ejemplo, desea añadir un push más al final de un journey para ver si el rendimiento de la campaña aumenta en comparación con la versión original sin este push. En este caso, la versión ‘vacía’ debe presentarse en la Rama A. Para obtener resultados fiables, añada un Retraso de Tiempo igual a cada rama:

Lanzar el journey

Si todo está listo, lance el journey.

Analizar los resultados

Tan pronto como se lanza la prueba, puede ver estadísticas en tiempo real sobre ella.

En el lienzo del journey, vea el número de usuarios que pasan por cada rama:

Para ver los resultados de la prueba, haga doble clic en el elemento División A/B/n. Verá las estadísticas de cada rama, incluida la conversión al objetivo seleccionado y las métricas utilizadas para calcular la significancia estadística.

Si ha establecido varios Objetivos de Conversión, puede ver los resultados de cada uno de ellos seleccionando el Objetivo requerido de la lista:

Modo automático

Si habilitó la selección automática del ganador, Pushwoosh supervisará continuamente el objetivo seleccionado. Una vez que una rama alcance la significancia estadística, se marcará como la ganadora. Las ramas más débiles se desactivarán automáticamente y los nuevos usuarios se dirigirán exclusivamente a la rama ganadora. No se requiere ninguna acción manual.

Si su prueba tiene un ganador estadísticamente significativo y está utilizando la selección manual del ganador, puede desactivar instantáneamente las ramas con menor rendimiento haciendo clic en Mantener solo al ganador. Los nuevos usuarios en el journey serán dirigidos a la rama ganadora. Los usuarios que ya pasaron a las ramas desactivadas continuarán a través de ellas hasta que completen el journey.

Nota

También puede desactivar ramas manualmente, pero esto requiere pausar el journey.

Puede ver los resultados de la prueba para un período de tiempo específico. Para ello, seleccione el período deseado en el panel izquierdo y haga doble clic en el elemento División A/B/n. Verá las estadísticas para el tiempo especificado.

Los resultados de la prueba se calculan de la siguiente manera:

• La conversión se calcula en función del número de usuarios en la rama y los Objetivos de Conversión completados. La Rama A se marcará como la Línea de base, ya que representa el grupo de control.
• Al calcular la significancia estadística, se tienen en cuenta el Z-Score y el P-Value. Si el resultado es válido, se marcará como Significativo.
• Una rama se considera la ganadora si tiene la conversión más alta y este resultado se marca como Significativo.

Nota

Si el resultado se marca como Significativo, significa que su nivel de confianza es del 90%. Si este porcentaje no es suficiente para usted, puede calcular el resultado especificando un nivel de confianza diferente. Por ejemplo, puede usar esta calculadora.

Desactivar ramas

Modo automático

En el modo Automático, si se identifica un ganador estadísticamente significativo, Pushwoosh desactivará automáticamente las ramas con bajo rendimiento, dirigirá a todos los nuevos usuarios a la rama ganadora y permitirá que los usuarios existentes continúen en su rama asignada hasta que completen el journey. No se requiere ninguna acción manual.

Si Pushwoosh ha identificado un ganador estadísticamente significativo, puede desactivar instantáneamente las ramas con menor rendimiento haciendo clic en Mantener solo al ganador en la ventana de estadísticas de la prueba. En este caso, no necesita pausar el journey. Si alguna rama tiene un rendimiento bajo, puede desactivarla. Los nuevos usuarios ya no entrarán en la rama desactivada.

Para desactivar una rama, pause primero el journey:

Después de eso, haga doble clic en el elemento División A/B/n. Establezca 0% para esta rama y redistribuya el porcentaje de usuarios que van a las ramas restantes: