Pular para o conteúdo

Grupos de controle

Um grupo de controle exclui uma parcela fixa de seus usuários de mensagens de marketing em Push, E-mail, In-App, SMS e WhatsApp. O Pushwoosh compara esses usuários com todos os outros em seu aplicativo que continuam recebendo campanhas, para que você possa medir se suas mensagens geram resultados.

Os usuários do grupo de controle ainda recebem mensagens transacionais nesses canais quando você define o tipo de mensagem adequadamente.

Como funciona a associação ao grupo de controle

Anchor link to

O Pushwoosh não mantém uma lista de quem está no grupo de controle. Em vez disso, a cada verificação, ele combina seu aplicativo, o número da versão atual do grupo e o ID do usuário, executa-os através de uma fórmula de hash para produzir um número e verifica se esse número está dentro da porcentagem que você definiu (por exemplo, 5%). Se sim, o usuário está no grupo de controle. Se não, ele não está. Como é uma fórmula em vez de uma lista salva, ativar o grupo se aplica a toda a sua base de usuários existente imediatamente, não apenas às pessoas que se inscrevem depois.

O resultado de cada usuário permanece o mesmo ao longo do tempo: uma vez atribuído, um usuário permanece dentro ou fora do grupo de controle até que você reorganize o grupo, altere seu tamanho ou o ID do usuário mude. Portanto, se você desativar o grupo e reativá-lo mais tarde sem reorganizar, obterá exatamente o mesmo grupo de antes, pois a fórmula em si não mudou.

Como o grupo de controle afeta a entrega de mensagens

Anchor link to

A associação ao grupo de controle bloqueia ou permite mensagens com base no tipo de mensagem que você define para cada envio.

  • Mensagem de marketing: bloqueada para usuários do grupo de controle em Push, E-mail, In-App, SMS e WhatsApp.

  • Mensagem transacional: ainda entregue nesses canais. Selecione Mensagem transacional ao criar uma jornada do cliente ou enviar uma mensagem única.

Escolha Mensagem de marketing ou Mensagem transacional para cada envio nesses canais. Consulte onde definir o tipo de mensagem.

Saiba mais sobre mensagens de marketing e transacionais.

Criar um grupo de controle

Anchor link to

Crie um grupo de controle para começar a reter uma parcela de seus usuários de mensagens de marketing. Um aplicativo pode ter apenas um. Novo grupo deixa de aparecer assim que você o tiver.

  1. Navegue para Configurações > Grupos de controle.
  2. Clique em Novo grupo.

Lista de Grupos de Controle sem grupos ainda e uma seta apontando para o botão Novo grupo

  1. Defina o Tamanho do grupo de controle: a parcela de usuários retidos de mensagens de marketing, de 1% a 20%.

Caixa de diálogo de novo grupo de controle com um campo de tamanho do grupo de controle

  1. Clique em Criar. O grupo começa a excluir seus membros de mensagens de marketing imediatamente.

Gerenciar o grupo de controle

Anchor link to

Abra Configurações > Grupos de controle e clique na linha do grupo para acessar sua própria página, onde as seções abaixo se aplicam.

Editar o tamanho do grupo de controle

Anchor link to

Você pode ajustar o tamanho de um grupo de controle a qualquer momento a partir de sua página.

  1. Clique em Configurações do grupo de controle no canto superior direito. O botão também mostra a porcentagem atual do grupo, por exemplo, Configurações do grupo de controle: 10%.
  2. Escolha uma nova porcentagem:
  • 3% (Alcance máximo): menor grupo de exclusão para públicos sensíveis ou de alto valor.
  • 5% (Recomendado para a maioria dos aplicativos): mistura otimizada entre confiança na medição e alcance do usuário.
  • 10% (Confiança maior): grupo de controle maior para validação de ROI mais clara e confiável.
  • Personalizado (1%–20%): defina um tamanho de grupo de controle personalizado para medição flexível.
  1. Clique em Aplicar para confirmar as alterações.

Botão de configurações do grupo de controle e as opções de porcentagem disponíveis para um grupo de controle

Recalcular o tamanho do grupo

Anchor link to

Tamanho do grupo de controle mostra um número salvo que o Pushwoosh atualiza cerca de uma vez por dia. Logo após você alterar o tamanho do grupo, ou quando muitos novos usuários entram em seu aplicativo, esse número pode estar desatualizado.

Para atualizá-lo imediatamente, clique em Recalcular ao lado do tamanho do grupo.

Reorganizar o grupo de controle

Anchor link to

Reorganizar grupo de controle seleciona um novo conjunto aleatório de usuários, mantendo a mesma porcentagem. Todos que estão atualmente no grupo saem dele, e um conjunto diferente de usuários toma seu lugar. Use isso quando as mesmas pessoas foram deixadas de fora de suas mensagens de marketing por um longo tempo.

  1. Clique no menu de três pontos no canto superior direito.
  2. Selecione Reorganizar grupo de controle.

Menu de três pontos com a opção Reorganizar grupo de controle na página de um grupo de controle

  1. Confirme na caixa de diálogo que aparece.

Exportar usuários do grupo de controle

Anchor link to

O Pushwoosh não marca os usuários do grupo de controle, então exportar desta página é a única maneira de obter uma lista de membros atuais.

  1. Clique no menu de três pontos no canto superior direito.
  2. Selecione Exportar usuários.
  3. Quando a exportação terminar, clique em Baixar CSV para salvar o arquivo.

Notificação de exportação concluída com o botão Baixar CSV na página de um grupo de controle

Desativar um grupo de controle

Anchor link to
  1. Clique no menu de três pontos no canto superior direito.
  2. Selecione Desativar grupo de controle.

Menu de três pontos com a opção Desativar grupo de controle na página de um grupo de controle

A desativação impede que esse grupo retenha quaisquer usuários imediatamente, e eles começam a receber mensagens de marketing novamente. Se você reativá-lo mais tarde sem reorganizar, o Pushwoosh reproduzirá exatamente o mesmo grupo, pois a associação é calculada pela mesma fórmula. Para obter um grupo diferente após a reativação, reorganize-o.

Excluir o grupo de controle

Anchor link to

A exclusão do grupo de controle remove-o e sua configuração permanentemente.

  1. Clique no menu de três pontos no canto superior direito.
  2. Selecione Excluir grupo.
  3. Confirme na caixa de diálogo que aparece. Essa ação não pode ser desfeita.

Analisar o impacto do grupo de controle

Anchor link to

A página de cada grupo de controle mostra como suas mensagens se saem em comparação com esse grupo. A página tem dois blocos: uma tabela de comparação de eventos no topo e um Relatório de impacto abaixo. Ambos comparam dois grupos de usuários em qualquer evento que você escolher:

  • Grupo de tratamento: todos os usuários que não estão no grupo de controle. Eles continuam recebendo suas mensagens de marketing (Push, E-mail, In-App, SMS, WhatsApp) como de costume.
  • Grupo de controle: o grupo de retenção que você configurou acima. Esses usuários são excluídos das mensagens de marketing, então qualquer diferença em seu comportamento não é influenciada por suas campanhas.

Comparar eventos

Anchor link to
  1. Selecione um período de tempo: Últimos 3 dias, Últimos 7 dias ou Últimos 30 dias.
  2. Revise a tabela de comparação de eventos. Ela só mostra eventos automaticamente se você tiver definido Metas de Conversão na Jornada do Cliente. Caso contrário, a tabela começa vazia.
  3. Clique em Adicionar eventos para comparar para adicionar qualquer evento que você queira medir. Você pode adicionar até 10 eventos no total.

Página do grupo de controle com uma tabela comparando eventos entre tratamento e controle

A tabela mostra estas métricas para cada evento:

  • Conv. Tratamento: a taxa de conversão no grupo de tratamento. Esta é a parcela de usuários únicos que receberam suas mensagens de marketing (Push, E-mail, In-App, SMS, WhatsApp) e acionaram o evento pelo menos uma vez.
  • Conv. Controle: a taxa de conversão no grupo de controle. Esta é a parcela de usuários únicos que foram retidos das mensagens de marketing e acionaram o evento pelo menos uma vez de qualquer maneira, sem qualquer influência de mensagens.
  • Uplift: a diferença percentual entre as taxas de conversão do tratamento e do controle, em relação à taxa do controle. Um valor positivo significa que o grupo de tratamento converteu melhor. Calculado como (conv. tratamento − conv. controle) / conv. controle × 100%.
  • Significância: se a diferença é estatisticamente confiável:
    • Significativo: o uplift provavelmente não se deve ao acaso.
    • Não significativo: a diferença ainda não é estatisticamente confiável.
    • Dados insuficientes: um dos grupos tem menos de 10 conversões ou menos de 10 não conversões para este evento, então a significância não pode ser calculada.

Visualizar o Relatório de impacto

Anchor link to

Use o menu suspenso Visualizar evento para selecionar um evento da tabela. O Relatório de impacto abaixo mostra uma análise mais aprofundada para esse evento.

Relatório de impacto mostrando uplift, conversões impulsionadas por mensagens e uma tabela de análise de grupo

  • Uplift (mudança em relação ao controle): o quanto a taxa de conversão do tratamento difere da taxa de conversão do controle. Este é o mesmo valor mostrado na tabela de eventos.
  • Conversões impulsionadas por mensagens: o número estimado de eventos adicionais gerados por suas mensagens além do número esperado sem mensagens. Calculado como (eventos por usuário no tratamento − eventos por usuário no controle) × tamanho do grupo de tratamento. A porcentagem mostra esses eventos adicionais como uma parcela de todos os eventos de tratamento.
  • Significância: indica se a diferença medida é estatisticamente confiável. O relatório mostra Significativo, Não significativo ou Dados insuficientes, com base em:
    • Confiança: quão certo o Pushwoosh está de que o uplift reflete uma diferença real entre tratamento e controle, em vez de acaso, mostrado como uma porcentagem. Quanto maior a confiança, mais forte a evidência.
    • Valor-p: mostra a probabilidade de observar essa diferença por acaso se as mensagens não tiverem efeito real. Um valor-p mais baixo fornece evidências mais fortes de que a diferença não é aleatória.
  • Escore-Z: mostra o quão distantes seus dois grupos se saíram. Uma pontuação próxima de 0 significa que a diferença pode ser aleatória. Quanto mais longe de 0, mais confiante você pode estar de que um grupo é genuinamente melhor que o outro.
  • Análise do grupo: compara os grupos de Tratamento e Controle por Usuários estimados, Número total de eventos, Eventos por usuário e Taxa de conv. (única).

Perguntas frequentes

Anchor link to

Um aplicativo pode ter mais de um grupo de controle?

Anchor link to

Não. Um aplicativo pode ter apenas um grupo de controle, aplicado automaticamente a cada envio de marketing. Não há como direcionar uma mensagem específica para um diferente.

Posso excluir o grupo de controle?

Anchor link to

Sim, a partir do menu de três pontos na página do grupo. Essa ação não pode ser desfeita e deixa o aplicativo sem uma alternativa: as mensagens de marketing vão para todos até que você crie um novo grupo de controle. Para pausar o grupo sem perdê-lo, desative-o em vez de excluí-lo.

Quais usuários estão no grupo de controle?

Anchor link to

O Pushwoosh não mantém uma lista armazenada de membros do grupo de controle. Ele usa uma fórmula, um cálculo que sempre dá a mesma resposta para as mesmas entradas, com base no seu aplicativo, no ID do usuário e nas configurações atuais do grupo. Isso se aplica a toda a sua base de usuários existente no momento em que você ativa o grupo, não apenas a novas inscrições, e o resultado permanece o mesmo para um determinado usuário todas as vezes, até que você reorganize o grupo ou altere seu tamanho.

Os usuários do grupo de controle recebem mensagens transacionais?

Anchor link to

Sim. Mensagens transacionais (por exemplo, redefinições de senha, confirmações de pedido) são entregues a todos os usuários, incluindo o grupo de controle. Apenas as mensagens de marketing são bloqueadas para os usuários do grupo de controle.

Onde defino o tipo de mensagem de marketing ou transacional?

Anchor link to

Você o escolhe onde quer que envie mensagens. Para cada canal, consulte Onde definir o tipo de mensagem.

O que acontece com as campanhas criadas antes de eu ativar o grupo de controle?

Anchor link to

As campanhas criadas antes de você ativar o grupo de controle funcionam exatamente como as novas: o Pushwoosh verifica o tipo de mensagem de uma campanha no momento do envio, não no momento da criação.

  • Mensagem de marketing (ou nenhum tipo de mensagem, o que pode acontecer para campanhas criadas via API): o grupo de controle exclui esses usuários imediatamente.
  • Mensagem transacional: os usuários do grupo de controle continuam a recebê-la como antes.

Edite a campanha e defina o tipo de mensagem como Mensagem transacional se quiser que ela alcance todos, incluindo o grupo de controle.

Posso alterar o tamanho do grupo de controle após ativá-lo?

Anchor link to

Sim. Abra a página do grupo em Configurações > Grupos de controle, clique em Configurações do grupo de controle, escolha uma nova porcentagem (1% a 20%) e clique em Aplicar. O Pushwoosh recalcula a associação para toda a sua base de usuários com base na nova porcentagem: aumentar o grupo adiciona usuários sem remover ninguém que já esteja nele, e diminuí-lo libera alguns membros existentes. Isso pode afetar a comparação com campanhas anteriores, portanto, altere o tamanho apenas quando necessário.

O que acontece se eu desativar o grupo de controle?

Anchor link to

O Pushwoosh para de reter quaisquer usuários e todos começam a receber mensagens de marketing novamente. Se você ativar o grupo de controle novamente mais tarde sem reorganizar, obterá exatamente o mesmo grupo, porque a associação é calculada pela mesma fórmula. Para obter um grupo diferente após reativar, reorganize-o.

O que o botão Reorganizar faz?

Anchor link to

Reorganizar grupo de controle sorteia uma nova amostra aleatória com a mesma porcentagem, substituindo o grupo de controle atual por um conjunto diferente de usuários. Está disponível no menu de três pontos na página do grupo. Use-o quando os mesmos usuários foram excluídos do marketing por um longo tempo e você deseja uma nova cobertura de retenção. A reorganização também reinicia a janela de medição para as análises do grupo de controle.

Como vejo quais usuários estão no grupo de controle?

Anchor link to

O Pushwoosh não marca os usuários do grupo de controle. Abra a página do grupo em Configurações > Grupos de controle, clique no menu de três pontos e selecione Exportar usuários para baixar um CSV dos membros atuais.

Por que um usuário no grupo de controle ainda pode receber mensagens de marketing?

Anchor link to

O Pushwoosh calcula a associação ao grupo de controle pelo ID do Usuário. Se a mesma pessoa tiver vários métodos de contato (por exemplo, e-mail, dispositivo de push) que não estão vinculados sob um único ID de Usuário, o Pushwoosh os trata como usuários diferentes e calcula a associação para cada um separadamente: um pode cair no grupo de controle enquanto outro não. Um método de contato sem nenhum ID de Usuário nunca é retido, pois o Pushwoosh precisa de um ID de Usuário para calcular a associação. Para evitar isso, registre todos os métodos de contato com o mesmo ID de Usuário.

Qual porcentagem de grupo de controle devo escolher?

Anchor link to

A porcentagem certa depende de seus objetivos, do tamanho do aplicativo e de como você planeja usar os resultados. Uma porcentagem menor (por exemplo, 3%) mantém mais usuários na audiência e pode ser adequada para equipes que priorizam o alcance. Uma porcentagem maior (por exemplo, 10%) pode fornecer maior confiança estatística ao comparar grupos. Você pode definir um valor Personalizado entre 1% e 20% para atender às suas necessidades.

Por que meu grupo de controle não tem exatamente a porcentagem que eu defini?

Anchor link to

O tamanho do grupo exibido na página é o número real de usuários que a fórmula de hash atribuiu ao grupo, não a porcentagem multiplicada pela sua contagem de usuários. Em aplicativos menores, essa contagem pode diferir visivelmente da porcentagem, pois a fórmula distribui os usuários individualmente em vez de amostrar uma parcela exata. A contagem é armazenada em cache e atualizada cerca de uma vez por dia; você pode acionar um recálculo imediato na página, que mostra a contagem anterior com um indicador de carregamento enquanto é executado.

O que significa Dados insuficientes na tabela de eventos?

Anchor link to

Dados insuficientes significa que o grupo de tratamento ou de controle teve menos de 10 conversões ou menos de 10 não conversões para aquele evento durante o período de tempo selecionado. O Pushwoosh não pode determinar se a diferença entre os grupos é estatisticamente significativa até que mais dados estejam disponíveis.

Como o Uplift é calculado?

Anchor link to

Uplift mostra a diferença percentual entre as taxas de conversão do tratamento e do controle, em relação à taxa do controle. Um valor positivo significa que o grupo de tratamento converteu melhor. O Pushwoosh o calcula como (conv. tratamento − conv. controle) / conv. controle × 100%.

O que significa Conversões impulsionadas por mensagens?

Anchor link to

Conversões impulsionadas por mensagens é o número estimado de eventos adicionais gerados por suas mensagens além do número esperado sem mensagens. O Pushwoosh o calcula como (eventos por usuário no tratamento − eventos por usuário no controle) × tamanho do grupo de tratamento. A porcentagem mostra esses eventos adicionais como uma parcela de todos os eventos de tratamento.

Quais eventos posso comparar e quantos?

Anchor link to

Você pode comparar eventos configurados como Metas de Conversão na Jornada do Cliente. Você pode adicionar até 10 eventos à tabela de comparação. Eventos de engajamento com mensagens (por exemplo, aberturas, cliques, envios, bounces) são excluídos mesmo se definidos como uma meta, já que os usuários do grupo de controle nunca recebem mensagens de marketing para reagir.