Relatório de uplift

O relatório de uplift mostra o que uma campanha ou um journey alcançou por conta própria. Ele compara os usuários que o receberam com o holdout, um grupo que você reserva de propósito para que não receba a mensagem, e mostra com que frequência maior o primeiro grupo atingiu o objetivo.

Uma campanha aparece no relatório somente se você a enviou com um holdout, uma parte dos destinatários que você reserva. Seus desenvolvedores o definem com o parâmetro holdout_percentage, de 1 a 20, na Messaging API. Um journey aparece no relatório uma vez para cada ponto Holdout Split que ele contém.

Como obter o relatório

• Journey: abra o ponto Holdout Split do journey. Ele mostra Goal uplift vs holdout no Control Panel.
• Campanha: você só pode obter o relatório como arquivo CSV. A exportação é feita pela API, então peça aos seus desenvolvedores que executem a exportação. Informe a eles as datas, até 90 dias, e, se precisar de apenas um, a campanha ou o journey. Sem isso, o arquivo abrange todas as campanhas e todos os journeys do aplicativo. O que há no arquivo

Os grupos de controle têm seu próprio Relatório de impacto em Settings. Ele mede os grupos de controle do aplicativo, não uma única campanha ou um único journey.

O que conta como tratamento e controle

O relatório compara dois grupos: tratamento, os usuários que receberam a mensagem, e controle, o holdout, os usuários que não a receberam.

	Tratamento	Controle
Campanha	Todos os destinatários para os quais a campanha foi enviada.	Todos os destinatários que o holdout impediu de recebê-la, como nos grupos de controle do aplicativo.
Journey	Todos os usuários que passaram pelo ponto Holdout Split para o ramo In journey.	Todos os usuários roteados para o ramo Holdout desse ponto.

Usuários e destinatários sem User ID ficam de fora dos dois grupos, porque sem ele o Pushwoosh não consegue saber a qual grupo pertencem nem associá-los a uma conversão.

Objetivo e janela de atribuição

Campanha: o objetivo e a janela de atribuição (quanto tempo depois de um envio uma conversão ainda conta) vêm dos Objetivos de conversão do aplicativo. Quando há mais de um configurado, o relatório usa a menor janela de atribuição entre eles, para que um envio nunca receba o crédito por uma conversão distante e sem relação.

Journey: o objetivo são os pontos Goal do próprio journey, e a janela é a configuração Período de conversão do journey (7 dias se o journey não a definir). A janela começa quando cada usuário passa pelo ponto Holdout Split, porque os usuários do holdout nunca recebem um envio a partir do qual iniciá-la.

Ambos excluem do objetivo os eventos de engajamento com mensagens (aberturas, cliques e similares). O grupo holdout nunca recebe uma mensagem à qual reagir, então contar o engajamento mostraria apenas que uma mensagem foi enviada, não o que ela alcançou. A análise de grupos de controle os exclui pelo mesmo motivo.

Métricas do relatório

Métrica	O que significa
Uplift %	A diferença percentual entre as taxas de conversão do tratamento e do controle, em relação à taxa do controle. Mesma fórmula do Uplift dos grupos de controle do aplicativo.
Incremental events	Uma estimativa de quantos eventos a mais o grupo de tratamento produziu em relação ao que teria produzido com a taxa por usuário do grupo de controle, contada para todos os usuários do tratamento. Mesma fórmula de Conversões impulsionadas por mensagens.
% of treatment	Os Incremental events como parcela de todos os eventos gerados pelo grupo de tratamento.
Z-score, P-value, Confidence %	Confidence % mostra o quanto o relatório tem certeza de que a diferença entre os grupos não é acaso: quanto maior, mais você pode confiar no resultado. Z-score e P-value são as estatísticas por trás dele, do mesmo teste que os grupos de controle do aplicativo usam.
Significance	Significant, Not significant ou Not enough data. Significant significa que Confidence % está acima de 95%. Funciona nos dois sentidos: um Uplift % negativo significativo significa que a mensagem reduziu a taxa de conversão. Aparece como dados insuficientes quando qualquer um dos grupos tem menos de 10 conversões ou menos de 10 não conversões.
Treatment revenue / Control revenue	A receita que cada grupo gerou no evento objetivo do relatório, separada por moeda.
Incremental revenue	A versão monetária dos Incremental events: a diferença de receita por usuário entre tratamento e controle, contada para todos os usuários do tratamento, por moeda.
Revenue tracked	Se a fonte de receita desse evento foi realmente configurada, e não presumida. Consulte Receita no relatório.

Por exemplo, um journey envia uma mensagem de boas-vindas para 90.000 usuários e reserva 10.000. No grupo In journey, 4.500 usuários atingem o objetivo (5%). No grupo Holdout, 400 atingem (4%). O relatório mostra:

Métrica	Valor
Uplift %	25%, porque 5% é um quarto a mais que 4%
Significance	Significant, porque com grupos tão grandes é improvável que a diferença seja acaso

Nota

Uplift % conta cada usuário uma vez, então um usuário excepcionalmente ativo não consegue distorcê-lo. Incremental events conta todos os eventos, sem limite por usuário, como fazem os grupos de controle do aplicativo, então um único usuário de tratamento muito ativo pode aumentar esse número sem alterar o Uplift %. Quando os dois divergirem, confie no Uplift %.

O que há no arquivo exportado

Cada linha do arquivo é uma campanha, ou um ponto Holdout Split de um journey, para um evento objetivo. Uma linha contém:

• a campanha ou o journey e o evento objetivo;
• o número de usuários e conversões em cada grupo;
• as métricas da tabela acima;
• a receita de cada moeda.

Para cada campanha, ponto Holdout Split e evento objetivo, o arquivo contém o cálculo diário mais recente dentro das datas escolhidas. Consulte Até quando o relatório pode voltar no tempo.

Para o journey do exemplo acima, as principais colunas ficam assim:

Coluna	Exemplo	O que significa
owner_type	TYPE_JOURNEY	A linha se refere a um journey, não a uma campanha.
event_name	purchase	O evento objetivo.
treatment_users	90000	Usuários no grupo In journey.
control_users	10000	Usuários no grupo Holdout.
treatment_conversions	4500	Usuários no grupo In journey que atingiram o objetivo.
control_conversions	400	Usuários no grupo Holdout que atingiram o objetivo.
uplift_pct	25.00	Uplift %.
significance	TYPE_SIGNIFICANT	Significant.

Receita no relatório

A receita do tratamento, do controle e a incremental são contadas para o mesmo evento objetivo, os mesmos usuários e a mesma janela de atribuição que os números de conversão do relatório.

A receita é mantida por moeda, nunca convertida

A receita não é convertida entre moedas, porque o Pushwoosh mantém apenas as taxas de câmbio de hoje, e converter uma janela mais antiga pela taxa de hoje seria um palpite. Treatment revenue, Control revenue e Incremental revenue contêm, cada um, um valor por moeda em vez de um único total combinado. A receita de um evento que não informa uma moeda é listada em unknown.

Revenue tracked indica se a fonte foi configurada

Revenue tracked mostra se a receita foi configurada para o evento objetivo, de modo que um aplicativo que nunca a configurou aparece como não medido, e não como receita zero.

O Pushwoosh lê a receita de um evento em três lugares, nesta ordem:

1. Os campos value e currency do próprio evento integrado PW_Conversion.
2. Um mapeamento de receita de evento que você configurou para esse evento.
3. Os atributos legados __amount e __currency no evento, se nenhuma das opções acima se aplicar.

Revenue tracked fica ativado apenas para as duas primeiras fontes. Com a terceira, o relatório ainda mostra o valor, mas deixa o indicador desativado, porque ninguém configurou receita para esse evento.

Quando o relatório é atualizado

O relatório não é em tempo real. Ele é recalculado uma vez por dia, às 01:30 UTC, então uma campanha enviada ou um ponto de journey percorrido hoje aparece no relatório amanhã.

Somente journeys em execução com pelo menos um ponto Goal são recalculados. Quando um journey é interrompido, o ponto Holdout Split continua mostrando seus últimos números.

Até quando o relatório pode voltar no tempo

Cada cálculo diário conta os envios de campanhas de aproximadamente os últimos 45 dias e as passagens pelo Holdout Split dos últimos 180 dias. Envios e passagens mais antigos saem do cálculo seguinte, então uma campanha deixa de ser recalculada cerca de 45 dias depois de enviada.

O Pushwoosh mantém cada cálculo diário por 90 dias. O ponto Holdout Split mostra o mais recente. Uma exportação mostra o mais recente dentro das datas que você informar, então uma exportação para datas de dois meses atrás mostra os números como eram na época, para os envios e passagens anteriores a ela.