Informe de uplift

El informe de uplift muestra lo que una campaña o un journey logró por sí mismo. Compara a los usuarios que lo recibieron con el holdout, un grupo que usted aparta a propósito para que no reciba el mensaje, y muestra con cuánta más frecuencia el primer grupo alcanzó el objetivo.

Una campaña aparece en el informe solo si la envió con un holdout, una parte de los destinatarios que usted aparta. Sus desarrolladores lo establecen con el parámetro holdout_percentage, de 1 a 20, en la Messaging API. Un journey aparece en el informe una vez por cada punto Holdout Split que contiene.

Cómo obtener el informe

• Journey: abra el punto Holdout Split del journey. Muestra Goal uplift vs holdout en el Control Panel.
• Campaña: solo puede obtener el informe como archivo CSV. La exportación se ejecuta a través de la API, así que pida a sus desarrolladores que ejecuten la exportación. Indíqueles las fechas, hasta 90 días, y, si solo necesita una, la campaña o el journey. Sin ella, el archivo abarca todas las campañas y journeys de la aplicación. Qué contiene el archivo

Los grupos de control tienen su propio Informe de impacto en Settings. Mide los grupos de control de la aplicación, no una sola campaña o un solo journey.

Qué cuenta como tratamiento y control

El informe compara dos grupos: tratamiento, los usuarios que recibieron el mensaje, y control, el holdout, los usuarios que no lo recibieron.

	Tratamiento	Control
Campaña	Todos los destinatarios a los que se envió la campaña.	Todos los destinatarios a los que el holdout impidió recibirla, como en los grupos de control de la aplicación.
Journey	Todos los usuarios que pasaron por el punto Holdout Split hacia la rama In journey.	Todos los usuarios dirigidos a la rama Holdout de ese punto.

Los usuarios y destinatarios sin User ID quedan fuera de ambos grupos, porque sin él Pushwoosh no puede saber a qué grupo pertenecen ni asociarlos con una conversión.

Objetivo y ventana de atribución

Campaña: el objetivo y la ventana de atribución (cuánto tiempo después de un envío una conversión todavía cuenta) provienen de los Objetivos de Conversión de la aplicación. Cuando hay más de uno configurado, el informe usa la ventana de atribución más corta entre ellos, para que nunca se atribuya a un envío una conversión lejana y sin relación.

Journey: el objetivo son los puntos Goal propios del journey, y la ventana es la configuración Periodo de conversión del journey (7 días si el journey no la establece). La ventana comienza cuando cada usuario pasa por el punto Holdout Split, porque los usuarios del holdout nunca reciben un envío desde el que empezarla.

Ambos excluyen del objetivo los eventos de interacción con mensajes (aperturas, clics y similares). El grupo holdout nunca recibe un mensaje al que reaccionar, así que contar la interacción solo mostraría que se envió un mensaje, no lo que logró. La analítica de grupos de control los excluye por el mismo motivo.

Métricas del informe

Métrica	Qué significa
Uplift %	La diferencia porcentual entre las tasas de conversión del tratamiento y del control, en relación con la tasa de control. Misma fórmula que el Uplift de los grupos de control de la aplicación.
Incremental events	Una estimación de cuántos eventos más produjo el grupo de tratamiento de los que habría producido con la tasa por usuario del grupo de control, contada para todos los usuarios de tratamiento. Misma fórmula que Conversiones impulsadas por los mensajes.
% of treatment	Los Incremental events como proporción de todos los eventos que generó el grupo de tratamiento.
Z-score, P-value, Confidence %	Confidence % muestra qué tan seguro está el informe de que la diferencia entre los grupos no es casualidad: cuanto más alto, más puede confiar en el resultado. Z-score y P-value son las estadísticas que lo respaldan, de la misma prueba que usan los grupos de control de la aplicación.
Significance	Significant, Not significant o Not enough data. Significant significa que Confidence % es superior al 95%. Funciona en ambos sentidos: un Uplift % negativo significativo indica que el mensaje redujo la tasa de conversión. Se muestra como datos insuficientes cuando alguno de los grupos tiene menos de 10 conversiones o menos de 10 no conversiones.
Treatment revenue / Control revenue	El dinero que aportó cada grupo con el evento objetivo del informe, separado por moneda.
Incremental revenue	La versión monetaria de Incremental events: la diferencia de ingresos por usuario entre tratamiento y control, contada para todos los usuarios de tratamiento, por moneda.
Revenue tracked	Si la fuente de ingresos de este evento se configuró realmente, en lugar de deducirse. Consulte Ingresos en el informe.

Por ejemplo, un journey envía un mensaje de bienvenida a 90.000 usuarios y retiene a 10.000. En el grupo In journey, 4.500 usuarios alcanzan el objetivo (5%). En el grupo Holdout, lo alcanzan 400 (4%). El informe muestra:

Métrica	Valor
Uplift %	25%, porque 5% es una cuarta parte más que 4%
Significance	Significant, porque con grupos tan grandes es poco probable que la diferencia sea casualidad

Nota

Uplift % cuenta a cada usuario una sola vez, por lo que un usuario inusualmente activo no puede distorsionarlo. Incremental events cuenta todos los eventos, sin límite por usuario, como hacen los grupos de control de la aplicación, por lo que un solo usuario de tratamiento muy activo puede aumentar esa cifra sin mover Uplift %. Cuando ambos no coinciden, confíe en Uplift %.

Qué contiene el archivo exportado

Cada fila del archivo es una campaña, o un punto Holdout Split de un journey, para un evento objetivo. Una fila contiene:

• la campaña o el journey y el evento objetivo;
• el número de usuarios y conversiones de cada grupo;
• las métricas de la tabla anterior;
• los ingresos de cada moneda.

Para cada campaña, punto Holdout Split y evento objetivo, el archivo contiene el cálculo diario más reciente dentro de las fechas elegidas. Consulte Hasta dónde puede remontarse el informe.

Para el journey del ejemplo anterior, las columnas principales se ven así:

Columna	Ejemplo	Qué significa
owner_type	TYPE_JOURNEY	La fila se refiere a un journey, no a una campaña.
event_name	purchase	El evento objetivo.
treatment_users	90000	Usuarios del grupo In journey.
control_users	10000	Usuarios del grupo Holdout.
treatment_conversions	4500	Usuarios del grupo In journey que alcanzaron el objetivo.
control_conversions	400	Usuarios del grupo Holdout que alcanzaron el objetivo.
uplift_pct	25.00	Uplift %.
significance	TYPE_SIGNIFICANT	Significant.

Ingresos en el informe

Los ingresos de tratamiento, de control e incrementales se cuentan para el mismo evento objetivo, los mismos usuarios y la misma ventana de atribución que las cifras de conversión del informe.

Los ingresos se separan por moneda y nunca se convierten

Los ingresos no se convierten entre monedas, porque Pushwoosh solo conserva los tipos de cambio de hoy, y convertir una ventana anterior al tipo de hoy sería una suposición. Treatment revenue, Control revenue e Incremental revenue contienen cada uno un importe por moneda en lugar de un único total combinado. Los ingresos de un evento que no indica moneda aparecen en unknown.

Revenue tracked indica si la fuente se configuró

Revenue tracked muestra si se configuraron ingresos para el evento objetivo, de modo que una aplicación que nunca los configuró aparece como no medida, no como ingresos cero.

Pushwoosh lee los ingresos de un evento de tres lugares, en este orden:

1. Los campos value y currency propios del evento integrado PW_Conversion.
2. Un mapeo de ingresos de evento que usted configuró para ese evento.
3. Los atributos heredados __amount y __currency del evento, si no se aplica ninguno de los anteriores.

Revenue tracked se activa solo para las dos primeras fuentes. Con la tercera, el informe sigue mostrando el importe pero deja el indicador desactivado, porque nadie configuró ingresos para ese evento.

Cuándo se actualiza el informe

El informe no es en tiempo real. Se recalcula una vez al día, a las 01:30 UTC, por lo que una campaña enviada o un punto de journey superado hoy aparece en el informe mañana.

Solo se recalculan los journeys en ejecución con al menos un punto Goal. Cuando un journey se detiene, el punto Holdout Split sigue mostrando sus últimas cifras.

Hasta dónde puede remontarse el informe

Cada cálculo diario cuenta los envíos de campañas de aproximadamente los últimos 45 días y los pasos por Holdout Split de los últimos 180 días. Los envíos y pasos más antiguos quedan fuera del siguiente cálculo, por lo que una campaña deja de recalcularse unos 45 días después de su envío.

Pushwoosh conserva cada cálculo diario durante 90 días. El punto Holdout Split muestra el más reciente. Una exportación muestra el más reciente dentro de las fechas que indique, así que una exportación de fechas de hace dos meses muestra las cifras tal como eran entonces, para los envíos y pasos anteriores a esa fecha.