Holdout Split

Use el elemento Holdout Split para retener a una parte de los usuarios del resto de un journey, y luego comparar su cumplimiento del objetivo con el de todos los que continuaron más allá de ese punto. A diferencia del grupo de control de toda la cuenta, que es fijo por aplicación y bloquea los mensajes de marketing en todas partes, un Holdout Split se aplica solo dentro de un journey, en un punto de su flujo.

Cuándo usar Holdout Split

• Mida el impacto de un journey en un punto elegido. Retenga una parte de los usuarios que llegan a este punto y vea si los pasos posteriores mueven sus Objetivos de Conversión más de lo que lo haría omitir esos pasos.
• Pruebe un segmento o flujo específico. Combine Holdout Split con una Entrada basada en audiencia o una Entrada basada en un disparador para medir el impacto solo en los usuarios relevantes para esta campaña, en lugar de retener a toda su aplicación.
• Obtenga un uplift por objetivo, no solo un conteo de eventos. Si el journey tiene varios Objetivos de Conversión, Holdout Split reporta el uplift y la significancia estadística para cada uno por separado.

Por ejemplo, coloque Holdout Split después de la entrada y antes de sus mensajes de onboarding. Compare un Objetivo de Conversión de compra para los usuarios que continuaron en In journey frente a los usuarios en Holdout, que salen ahí y no reciben nada más de este journey.

Requisitos previos

Defina al menos un Objetivo de Conversión para el journey si desea cifras en el informe de uplift. Aun así puede colocar y guardar Holdout Split sin un objetivo. Sin uno, el informe muestra una indicación para agregar un objetivo en lugar de tasas y uplift.

Agregar y configurar Holdout Split

1. Coloque el elemento Holdout Split en el lienzo donde desea comenzar a medir el resto del journey (antes de los mensajes o pasos que está probando).

2. Haga doble clic en el elemento para abrir sus ajustes.

3. Establezca Share held out: el porcentaje de usuarios que llegan a este punto y son dirigidos a la rama Holdout. El resto continúa en la rama In journey. Share held out acepta del 1 al 20%.

   

4. Conecte las ramas en el lienzo:

   • Deje la rama Holdout sin conectar. Los usuarios de esa rama salen del journey de inmediato y no obtienen nada más de él.
   • Conecte la rama In journey al resto de su flujo.

5. Haga clic en Save.

Después de guardar, debería ver dos ramas desde el elemento: Holdout sin siguiente paso, e In journey que lleva al flujo que conectó.

Nota

Los usuarios retenidos están excluidos solo de este journey. Aún pueden recibir mensajes de sus otros journeys y envíos únicos.

Revise el informe de uplift

Use Goal uplift vs holdout para responder una pregunta: ¿los pasos después de este punto elevan sus Objetivos de Conversión en comparación con los usuarios que se detuvieron aquí?

1. Abra el journey en ejecución.

2. Abra el punto Holdout Split y busque Goal uplift vs holdout debajo de la división actual.

3. Si ve un marcador de posición en lugar de tasas, vuelva al día siguiente. Pushwoosh actualiza el informe una vez al día, y las primeras cifras aparecen el día después de que comienza el journey.

4. En el encabezado del informe, verifique el tamaño de la muestra y el momento antes de confiar en las tasas:

   • Cuántos usuarios estaban en In journey y Holdout en la última actualización
   • La ventana de atribución (cuántos días después del punto una finalización de objetivo todavía cuenta)
   • Cuándo se calculó el informe por última vez

   Una muestra de holdout diminuta hace que el uplift sea ruidoso incluso si la tasa in-journey parece sólida.

5. Para cada Objetivo de Conversión, compare las ramas, luego lea el uplift y la significancia:

   • Compare Conversion, in journey con Conversion, holdout (tasa y conteo). Esa es la diferencia entre los usuarios que recibieron el resto del journey y los usuarios que no recibieron nada más de él después de este punto.
   • Lea Uplift para esa diferencia como un cambio relativo. Un uplift positivo significa que la rama in-journey convirtió mejor que holdout. Si holdout tuvo cero conversiones para este objetivo, el uplift muestra — (no hay base para una diferencia relativa).
   • Lea la insignia de significancia antes de tratar el uplift como una decisión:
     • Significant: la diferencia entre las ramas es real, no aleatoria. Confíe en el número de uplift.
     • Not significant: Pushwoosh tiene suficientes datos, pero la diferencia no es confiable. No actúe todavía sobre este número de uplift.
     • Not enough data: hay muy pocas conversiones hasta ahora para saberlo de cualquier manera. Mantenga el journey en ejecución para obtener una muestra más grande.

Para revisar cada Holdout Split en un solo lugar, abra el panel de salud de campaña del journey y verifique el mismo informe para cada punto.

Para obtener el uplift de cada punto Holdout Split como archivo CSV, con los ingresos por moneda, exporte el Informe de uplift a través de la API.

Exporte los usuarios de cada rama

Descargue una lista de qué usuarios fueron a Holdout y cuáles fueron a In journey en un journey en ejecución.

Export users requiere el permiso Personal data en su rol.

1. Abra el journey en ejecución.

2. Abra el punto Holdout Split.

3. Haga clic en Export users debajo de Goal uplift vs holdout.

4. Establezca el rango de fechas. Solo puede exportar datos de los últimos 2 meses.

   

5. Haga clic en Start exporting.

6. Cuando el archivo esté listo, aparece un botón de descarga en el mismo panel. Haga clic en él para obtener el CSV.

Cada fila enumera un ID de usuario y la rama que tomó ese usuario, holdout o journey. Si nadie llegó al punto en ese rango de fechas, el archivo solo tiene la fila de encabezado.

Si necesita un holdout a nivel de cuenta en lugar de uno por journey, use Grupos de control.