Pular para o conteúdo

Analisar o impacto do grupo de controle

A página de cada grupo de controle mostra como suas mensagens se desempenham em relação a esse grupo. Abra-a em Configurações > Grupos de controle clicando na linha do grupo.

Verificar o modo e as datas do grupo

Anchor link to

Abaixo do nome do grupo, a página mostra o Tamanho do grupo, o Modo, o número do Ciclo atual e uma data que depende do modo:

ModoData abaixo do nomeRótulo do seletor de período
PermanenteEm execução desde: a data em que o grupo começouSem rótulo
Atualização automáticaIntervalo do ciclo atualCiclo atual
Experimento com data de términoIntervalo do ciclo atualExperimento atual

Para ver os resultados de um ciclo anterior, abra o seletor de período e escolha-o em Anteriores. Os ciclos encerrados são listados ali por número, como Ciclo ou Experimento. Um grupo Permanente também pode ter ciclos anteriores, porque redimensionar, redefinir o escopo ou alterar o modo inicia um novo ciclo.

Cabeçalho da página do grupo de controle mostrando Tamanho do grupo, Modo e Em execução desde, com um link Recalcular

O que a página compara

Anchor link to

A página tem dois blocos: uma tabela de comparação de eventos no topo e um Relatório de impacto abaixo dela. Ambos comparam dois grupos de usuários em qualquer evento que você escolher:

  • Grupo de tratamento: usuários do público do grupo que não estão no grupo de controle. Eles continuam recebendo suas mensagens de marketing (Push, E-mail, In-App, SMS, WhatsApp) como de costume.
  • Grupo de controle: o grupo de retenção que você configurou. Esses usuários são excluídos das mensagens de marketing, então qualquer diferença em seu comportamento não é influenciada por suas campanhas.

Ambos os grupos são extraídos do público do grupo, mostrado em Medido entre na página do grupo: Todos os usuários, ou os usuários que correspondem aos países e valores de tag do grupo hoje.

  • Um usuário cujo valor de tag muda deixa de ser contado.
  • Os dados do ciclo atual são atualizados uma vez por dia. Quando um ciclo termina, seus resultados finais geralmente aparecem em Anteriores em até 15 minutos.
  • O Pushwoosh não filtra nenhum dos grupos para usuários com um token de push válido, e-mail verificado ou outro canal alcançável.

Tratamento e controle vêm do mesmo conjunto de usuários, sem filtragem separada entre eles.

Comparar eventos

Anchor link to
  1. Selecione um período de tempo: Últimos 3 dias, Últimos 7 dias ou Últimos 30 dias. Para comparar um ciclo anterior, escolha-o em Anteriores.

    A janela de medição é reiniciada, e os dados anteriores deixam de ser incluídos, quando:

    Os dados de antes desse ponto não correspondem mais aos membros ou ao público atuais. Os ciclos encerrados são listados em Anteriores no seletor de período.

  2. Revise a tabela de comparação de eventos. Ela só mostra eventos automaticamente se você tiver definido Metas de Conversão na Jornada do Cliente. Caso contrário, a tabela começa vazia.

  3. Clique em Adicionar eventos para comparar para adicionar qualquer evento que você queira medir. Você pode adicionar até 10 eventos no total.

Tabela de comparação de eventos do ciclo atual, com Conv. Controle, Conv. Tratamento, Uplift e Significância para três eventos

A tabela mostra estas métricas para cada evento:

MétricaO que mostra
Conv. ControleA parcela de usuários únicos retidos das mensagens de marketing que acionaram o evento pelo menos uma vez de qualquer maneira, sem qualquer influência de mensagens.
Conv. TratamentoA parcela de usuários únicos que receberam suas mensagens de marketing (Push, E-mail, In-App, SMS, WhatsApp) e acionaram o evento pelo menos uma vez.
UpliftA diferença percentual entre as taxas de conversão do tratamento e do controle, em relação à taxa de controle. Um valor positivo significa que o grupo de tratamento converteu melhor. Calculado como (conv. treatment − conv. control) / conv. control × 100%.
SignificânciaSe a diferença é estatisticamente confiável. Veja os status na próxima tabela.
Status de significânciaO que significa
SignificativoO uplift provavelmente não se deve ao acaso.
Não significativoA diferença ainda não é estatisticamente confiável.
Dados insuficientesUm dos grupos tem menos de 10 conversões ou menos de 10 não conversões para este evento, então a significância não pode ser calculada.

Ver o Relatório de impacto

Anchor link to

Use o menu suspenso Ver evento para selecionar um evento da tabela. O Relatório de impacto abaixo mostra uma análise mais aprofundada para esse evento.

Relatório de impacto mostrando uplift, conversões impulsionadas por mensagens e uma tabela de detalhamento de grupo

MétricaO que mostra
Uplift (mudança em relação ao controle)O quanto a taxa de conversão do tratamento difere da taxa de conversão do controle. O mesmo valor mostrado na tabela de eventos.
Conversões impulsionadas por mensagensO número estimado de eventos adicionais gerados por suas mensagens além do esperado sem mensagens. A porcentagem mostra esses eventos como uma parcela de todos os eventos de tratamento. Calculado como (events per user in treatment − events per user in control) × treatment group size.
SignificânciaSe a diferença é estatisticamente confiável: Significativo, Não significativo ou Dados insuficientes. Com base em Confiança e Valor-p.
ConfiançaQuão certo o Pushwoosh está de que o uplift reflete uma diferença real, e não o acaso, mostrado como uma porcentagem. Quanto maior, mais forte a evidência.
Valor-pA probabilidade de essa diferença aparecer por acaso se as mensagens não tivessem efeito real. Quanto menor, mais forte a evidência.
Escore-ZO quão distantes foram os desempenhos dos dois grupos. Perto de 0, a diferença pode ser aleatória. Quanto mais longe de 0, mais confiante você pode estar de que um grupo é melhor.
Detalhamento do grupoTratamento e Controle lado a lado: Usuários estimados, Número total de eventos, Eventos por usuário e Taxa de conv. (única).

Como interpretar os resultados

Anchor link to
  • Uplift significativo e positivo: suas mensagens estão impulsionando este evento. Continue enviando-as.
  • Uplift significativo e negativo: o grupo de controle converte melhor que o grupo de tratamento neste evento. Antes de concluir que as mensagens estão trabalhando contra você, verifique se este evento é algo que as mensagens realmente deveriam impulsionar.
  • Não significativo: a diferença ainda não é confiável, o que não quer dizer que não haja efeito. Deixe o evento acumular mais conversões antes de avaliá-lo.
  • Dados insuficientes: um dos grupos tem menos de 10 conversões ou menos de 10 não conversões para este evento. Compare um evento com mais volume ou espere que ele ocorra mais vezes.

Mais duas coisas a ter em mente:

  • Compare dentro de uma única janela de medição. Reorganizar, redimensionar, redefinir o escopo, alterar o modo, a virada de ciclo da Atualização automática ou o fim de um Experimento reinicia a janela. Os resultados de antes e depois de um desses eventos não são comparáveis.
  • Escolha eventos que suas campanhas devem impulsionar, como uma compra ou um cadastro, em vez de eventos sobre os quais as mensagens não têm influência direta.