Saltar al contenido

Analizar el impacto del grupo de control

La página de cada grupo de control muestra cómo se desempeñan sus mensajes en comparación con ese grupo. Ábrala desde Configuración > Grupos de control haciendo clic en la fila del grupo.

Comprobar el modo y las fechas del grupo

Anchor link to

Debajo del nombre del grupo, la página muestra el Tamaño del grupo, el Modo, el número del Ciclo actual y una fecha que depende del modo:

ModoFecha debajo del nombreEtiqueta del selector de rango de fechas
PermanenteEn curso desde: la fecha en que comenzó el grupoSin etiqueta
Actualización automáticaRango del ciclo actualCiclo actual
Experimento con fecha de finalizaciónRango del ciclo actualExperimento actual

Para ver los resultados de un ciclo anterior, abra el selector de rango de fechas y elíjalo en Anteriores. Los ciclos finalizados aparecen ahí por número, como Ciclo o Experimento. Un grupo Permanente también puede tener ciclos anteriores, porque cambiar el tamaño, el alcance o el modo inicia uno nuevo.

Encabezado de la página del grupo de control que muestra el Tamaño del grupo, el Modo y En curso desde, con un enlace Recalcular

Qué compara la página

Anchor link to

La página tiene dos bloques: una tabla de comparación de eventos en la parte superior y un Informe de impacto debajo. Ambos comparan dos grupos de usuarios en cualquier evento que elija:

  • Grupo de tratamiento: los usuarios de la audiencia del grupo que no están en el grupo de control. Siguen recibiendo sus mensajes de marketing (Push, Email, In-App, SMS, WhatsApp) como de costumbre.
  • Grupo de control: el grupo de exclusión que configuró anteriormente. Estos usuarios están excluidos de los mensajes de marketing, por lo que cualquier diferencia en su comportamiento no está influenciada por sus campañas.

Ambos grupos se extraen de la audiencia del grupo, que se muestra en Medido entre en la página del grupo: Todos los usuarios, o los usuarios que coinciden actualmente con los países y valores de etiqueta del grupo.

  • Un usuario cuyo valor de etiqueta cambia deja de contarse.
  • Los datos del ciclo actual se actualizan una vez al día. Cuando un ciclo termina, sus resultados finales suelen aparecer en Anteriores en 15 minutos.
  • Pushwoosh no filtra ninguno de los grupos para incluir solo a usuarios con un token de push válido, un correo electrónico verificado u otro canal accesible.

El tratamiento y el control proceden del mismo conjunto de usuarios, sin un filtrado separado entre ellos.

Comparar eventos

Anchor link to
  1. Seleccione un período de tiempo: Últimos 3 días, Últimos 7 días o Últimos 30 días. Para comparar un ciclo anterior, elíjalo en Anteriores.

    La ventana de medición se reinicia, y los datos anteriores dejan de incluirse, cuando:

    Los datos anteriores a ese momento ya no corresponden a los miembros o la audiencia actuales. Los ciclos finalizados aparecen en Anteriores en el selector de rango de fechas.

  2. Revise la tabla de comparación de eventos. Solo muestra eventos automáticamente si ha establecido Objetivos de Conversión en Customer Journey. De lo contrario, la tabla comienza vacía.

  3. Haga clic en Añadir eventos para comparar para añadir cualquier evento que desee medir. Puede añadir hasta 10 eventos en total.

Tabla de comparación de eventos del ciclo actual, con Conv. Control, Conv. Tratamiento, Uplift y Significancia para tres eventos

La tabla muestra estas métricas para cada evento:

MétricaQué muestra
Conv. ControlLa proporción de usuarios únicos excluidos de los mensajes de marketing que activaron el evento al menos una vez de todos modos, sin ninguna influencia de los mensajes.
Conv. TratamientoLa proporción de usuarios únicos que recibieron sus mensajes de marketing (Push, Email, In-App, SMS, WhatsApp) y activaron el evento al menos una vez.
UpliftLa diferencia porcentual entre las tasas de conversión del tratamiento y del control, en relación con la tasa de control. Un valor positivo significa que el grupo de tratamiento convirtió mejor. Se calcula como (conv. treatment − conv. control) / conv. control × 100%.
SignificanciaSi la diferencia es estadísticamente fiable. Consulte los estados en la siguiente tabla.
Estado de significanciaQué significa
SignificativoEs poco probable que el uplift se deba al azar.
No significativoLa diferencia aún no es estadísticamente fiable.
No hay suficientes datosCualquiera de los grupos tiene menos de 10 conversiones o menos de 10 no conversiones para este evento, por lo que no se puede calcular la significancia.

Ver el Informe de impacto

Anchor link to

Use el menú desplegable Ver evento para seleccionar un evento de la tabla. El Informe de impacto a continuación muestra un desglose más profundo para ese evento.

Informe de impacto que muestra el uplift, las conversiones impulsadas por los mensajes y una tabla de desglose de grupos

MétricaQué muestra
Uplift (cambio respecto al control)Cuánto difiere la tasa de conversión del tratamiento de la tasa de conversión del control. El mismo valor que en la tabla de eventos.
Conversiones impulsadas por los mensajesEl número estimado de eventos adicionales generados por sus mensajes más allá de lo esperado sin mensajes. El porcentaje los muestra como una proporción de todos los eventos de tratamiento. Se calcula como (events per user in treatment − events per user in control) × treatment group size.
SignificanciaSi la diferencia es estadísticamente fiable: Significativo, No significativo o No hay suficientes datos. Se basa en la Confianza y el Valor P.
ConfianzaQué tan seguro está Pushwoosh de que el uplift refleja una diferencia real en lugar de una casualidad, como porcentaje. Cuanto mayor sea, más fuerte será la evidencia.
Valor PLa probabilidad de que esta diferencia aparezca por casualidad si los mensajes no tuvieran un efecto real. Cuanto menor sea, más fuerte será la evidencia.
Puntuación ZCuán diferentes fueron los resultados de los dos grupos. Cerca de 0, la diferencia podría ser aleatoria. Cuanto más lejos de 0, más seguro puede estar de que un grupo es mejor.
Desglose del grupoTratamiento y Control lado a lado: Usuarios estimados, Número total de eventos, Eventos por usuario y Tasa de conv. (única).

Cómo interpretar los resultados

Anchor link to
  • Uplift significativo y positivo: sus mensajes están impulsando este evento. Siga enviándolos.
  • Uplift significativo y negativo: el grupo de control convierte mejor que el grupo de tratamiento en este evento. Antes de concluir que los mensajes están jugando en su contra, compruebe si este evento es realmente uno que los mensajes deben impulsar.
  • No significativo: la diferencia aún no es fiable, lo que no significa que no haya efecto. Deje que el evento acumule más conversiones antes de evaluarlo.
  • No hay suficientes datos: cualquiera de los grupos tiene menos de 10 conversiones o menos de 10 no conversiones para este evento. Compare un evento con más volumen o espere a que se produzca más.

Dos cosas más a tener en cuenta:

  • Compare dentro de una misma ventana de medición. Redistribuir, cambiar el tamaño, cambiar el alcance, cambiar el modo, una renovación de la Actualización automática o el fin de un Experimento reinician la ventana. Los resultados de antes y después de uno de estos cambios no son comparables.
  • Elija eventos que sus campañas deban impulsar, como una compra o un registro, en lugar de eventos sobre los que los mensajes no tienen una influencia directa.