Grupo de controle global

O Grupo de controle global permite que você defina uma porcentagem fixa da sua base de usuários que são excluídos de todas as comunicações de marketing (Push, E-mail, In-App). Os usuários do grupo de controle ainda recebem mensagens transacionais.

Isso ajuda você a medir a eficácia de suas campanhas de mensagens, comparando os resultados dos usuários que receberam as mensagens com aqueles que não receberam (o grupo de controle).

Nota

O grupo de controle é configurado no nível do aplicativo.

Quais usuários são incluídos

Apenas novos usuários que se inscrevem depois que você ativa o grupo de controle podem ser adicionados. O Pushwoosh verifica cada novo usuário uma vez e atribui aleatoriamente alguns deles ao grupo com base na porcentagem que você definir (entre 1% e 15%).

Os usuários permanecem no grupo de controle, a menos que você altere o tamanho do grupo ou o desative. Manter o grupo inalterado ajuda a manter a precisão dos resultados da campanha.

Importante

O Pushwoosh atribui usuários com base em seu ID de usuário, não no dispositivo. Se os métodos de contato de um usuário, como seu dispositivo móvel, endereço de e-mail ou número de telefone, não estiverem vinculados sob o mesmo ID de Usuário, o Pushwoosh pode tratá-los como usuários separados. Como resultado, eles ainda podem receber mensagens de marketing, mesmo que um de seus pontos de contato esteja no grupo de controle.

Para evitar isso, certifique-se de registrar todos os métodos de contato com o mesmo ID de Usuário.

Aprenda a gerenciar IDs de Usuário para campanhas omnichannel

Como o grupo de controle afeta a entrega de mensagens

Mensagens de marketing (Push, E-mail, In-App) são automaticamente bloqueadas para usuários do grupo de controle em todos os tipos de campanhas.

Mensagens transacionais (como redefinições de senha ou confirmações de pedido) ainda são entregues. Para garantir isso, selecione a mensagem Transacional ao criar uma campanha de jornada do cliente ou enviar uma mensagem única.

Nota

Você deve escolher Mensagem de marketing ou Mensagem transacional para cada envio de push, e-mail e in-app. Consulte onde definir o tipo de mensagem.

Como as campanhas existentes são tratadas

As campanhas que foram criadas antes de você ativar o Grupo de controle global não têm um tipo de mensagem definido. Elas são tratadas como transacionais e são entregues a todos os usuários, incluindo o grupo de controle. Se você quiser que tais campanhas excluam o grupo de controle, edite cada campanha e defina o tipo de mensagem como Marketing.

Saiba mais sobre mensagens de marketing e transacionais.

Trabalhando com usuários do grupo de controle

Quando você ativa o Grupo de controle global, o Pushwoosh cria uma tag de sistema:

• Nome da tag: PW_ControlGroup
• Valores: true (o usuário está no grupo de controle) ou false (o usuário não está)

Você pode usar esta tag para filtrar, segmentar ou exportar usuários do grupo de controle.

Ativar o Grupo de controle global

Importante

Apenas administradores podem criar, editar ou excluir o Grupo de controle global. As funções são atribuídas em Minha Conta → Usuários e grupos. Aprenda a gerenciar funções e permissões.

1. Navegue para Configurações > Grupo de controle global.
2. Clique em Ativar.

3. Selecione qual porcentagem de usuários será excluída das mensagens de marketing para medir o impacto da campanha.

• 3%: Alcance máximo Recomendado para aplicativos pequenos ou casos de uso críticos onde alcançar mais usuários é importante e a precisão da medição pode ser um pouco relaxada.
• 5%: Recomendado para a maioria dos aplicativos Melhor opção padrão. Fornece um bom equilíbrio entre a confiança na medição e o alcance do usuário.
• 10%: Maior confiança Adequado para campanhas em grande escala ou quando você precisa de alta precisão de dados para validar o ROI.
• Personalizado (1%–15%): Use quando precisar de flexibilidade para definir sua própria porcentagem com base no tamanho do aplicativo, tipo de campanha ou necessidades de negócios.

Clique em Aplicar para salvar sua seleção.

Nota

Depois que o grupo de controle for ativado, ao criar uma campanha, você verá uma mensagem informando que os usuários do grupo de controle estão excluídos desta campanha.

Gerenciar o grupo de controle

Editar o grupo de controle

Você pode ajustar o tamanho do grupo de controle a qualquer momento em Configurações > Grupo de controle global.

1. Clique em Editar tamanho do grupo.
2. Escolha uma nova porcentagem (1% a 15%).
3. Clique em Aplicar para confirmar as alterações.

Importante

A alteração do tamanho do grupo de controle afeta apenas os usuários que se registram após a alteração. Os usuários que já estão no grupo de controle permanecem nele. Os usuários que já estavam em seu aplicativo, mas não no grupo, não são adicionados posteriormente. Isso pode afetar a forma como você compara os resultados com campanhas anteriores, portanto, altere o tamanho apenas quando necessário.

Exportar usuários do grupo de controle

Para baixar uma lista de usuários no grupo de controle:

1. Abra Configurações > Grupo de controle global.
2. Clique no menu de três pontos no canto superior direito.
3. Selecione Exportar usuários.
4. Quando a exportação terminar, clique em Baixar CSV para salvar o arquivo.

Desativar o grupo de controle

1. Clique no menu de três pontos ao lado das configurações do grupo de controle.
2. Selecione Desativar grupo de controle.

A desativação do grupo remove o status de grupo de controle de todos os usuários, e eles começarão a receber mensagens de marketing novamente. Se você reativá-lo mais tarde, o Pushwoosh cria um novo grupo com uma nova seleção aleatória.

Analisar o impacto do grupo de controle

A página do Grupo de controle global mostra o desempenho de suas mensagens em comparação com o grupo de controle. Ela compara dois grupos de usuários em qualquer evento que você escolher:

• Grupo de tratamento: todos os usuários que não estão no grupo de controle. Eles continuam recebendo suas mensagens de marketing (Push, E-mail, In-App) como de costume.
• Grupo de controle: o grupo de retenção que você configurou acima. Esses usuários são excluídos das mensagens de marketing, então qualquer diferença em seu comportamento não é influenciada por suas campanhas.

1. Selecione um período de tempo: Últimos 3 dias, Últimos 7 dias ou Últimos 30 dias.
2. Revise a tabela de comparação de eventos. Ela já está preenchida com suas Metas de Conversão da Customer Journey.
3. Para adicionar mais eventos, clique em Adicionar eventos para comparar. Você pode adicionar até 10 eventos no total.

A tabela mostra estas métricas para cada evento:

• Conv. Tratamento: a taxa de conversão no grupo de tratamento. Esta é a parcela de usuários únicos que receberam suas mensagens de marketing (Push, E-mail, In-App) e acionaram o evento pelo menos uma vez.
• Conv. Controle: a taxa de conversão no grupo de controle. Esta é a parcela de usuários únicos que foram retidos das mensagens de marketing e acionaram o evento pelo menos uma vez de qualquer maneira, sem qualquer influência de mensagens.
• Uplift: a diferença percentual entre as taxas de conversão do tratamento e do controle, em relação à taxa do controle. Um valor positivo significa que o grupo de tratamento converteu melhor. Calculado como (conv. tratamento − conv. controle) / conv. controle × 100%.
• Significância: se a diferença é estatisticamente confiável:
  • Significativa: o uplift provavelmente não se deve ao acaso.
  • Não significativa: a diferença ainda não é estatisticamente confiável.
  • Dados insuficientes: um dos grupos tem menos de 10 conversões ou menos de 10 não conversões para este evento, então a significância não pode ser calculada.

Relatório de impacto

O Relatório de impacto mostra uma análise mais aprofundada para um evento de cada vez. Use o menu suspenso Ver evento para escolher qual evento inspecionar.

• Uplift (mudança em relação ao controle): o quanto a taxa de conversão do tratamento difere da taxa de conversão do controle. Este é o mesmo valor mostrado na tabela de eventos.
• Conversões impulsionadas por mensagens: o número estimado de eventos adicionais gerados por suas mensagens além do número esperado sem mensagens. Calculado como (eventos por usuário no tratamento − eventos por usuário no controle) × tamanho do grupo de tratamento. A porcentagem mostra esses eventos adicionais como uma parcela de todos os eventos de tratamento.
• Significância: indica se a diferença medida é estatisticamente confiável. O relatório mostra Significativa, Não significativa ou Dados insuficientes, com base em:
  • Confiança: quão certo o Pushwoosh está de que o uplift reflete uma diferença real entre o tratamento e o controle, em vez de acaso, mostrado como uma porcentagem. Quanto maior a confiança, mais forte a evidência.
  • valor-P: mostra a probabilidade de observar essa diferença por acaso se as mensagens não tiverem efeito real. Um valor-P mais baixo fornece evidências mais fortes de que a diferença não é aleatória.
• pontuação Z: mostra a distância de desempenho entre seus dois grupos. Uma pontuação próxima de 0 significa que a diferença pode ser aleatória. Quanto mais longe de 0, mais confiante você pode estar de que um grupo é genuinamente melhor que o outro.
• Detalhamento do grupo: compara os grupos de Tratamento e Controle por Usuários estimados, Número total de eventos, Eventos por usuário e Taxa de conv. (única).

Perguntas frequentes

Quais usuários são adicionados ao grupo de controle?

Apenas usuários que se inscrevem depois que você ativa o grupo de controle podem ser adicionados. Quando um novo usuário se registra, o Pushwoosh decide aleatoriamente uma vez se ele entra no grupo de controle, usando a porcentagem que você definiu (1% a 15%). Usuários que já existiam em seu aplicativo quando você ativou o grupo de controle nunca são adicionados a ele.

Os usuários do grupo de controle recebem mensagens transacionais?

Sim. Mensagens transacionais (por exemplo, redefinições de senha, confirmações de pedido) são entregues a todos os usuários, incluindo o grupo de controle. Apenas mensagens de marketing são bloqueadas para os usuários do grupo de controle.

Onde eu defino o tipo de mensagem de marketing ou transacional?

Você o escolhe onde quer que envie mensagens. Para cada canal, consulte Onde definir o tipo de mensagem.

O que acontece com as campanhas criadas antes de eu ativar o grupo de controle?

Elas não têm um tipo de mensagem definido e são tratadas como transacionais, então são entregues a todos, incluindo o grupo de controle. Para excluir o grupo de controle dessas campanhas, edite cada campanha e defina o tipo de mensagem como Marketing.

Posso alterar o tamanho do grupo de controle depois de ativá-lo?

Sim. Vá para Configurações > Grupo de controle global, clique em Editar tamanho do grupo, escolha uma nova porcentagem (1% a 15%) e clique em Aplicar. A nova porcentagem se aplica apenas aos usuários que se registrarem após a alteração. Os usuários que já estão no grupo de controle permanecem nele. Os usuários que já estavam em seu aplicativo, mas não no grupo, não são adicionados posteriormente. Isso pode afetar a comparação com campanhas anteriores, portanto, altere o tamanho apenas quando necessário.

O que acontece se eu desativar o grupo de controle?

Todos os usuários deixam de estar no grupo de controle e começam a receber mensagens de marketing novamente. Se você ativar o grupo de controle novamente mais tarde, o Pushwoosh cria um novo grupo com uma nova seleção aleatória de usuários.

Como vejo quais usuários estão no grupo de controle?

Quando o grupo de controle está ativado, o Pushwoosh cria a tag de sistema PW_ControlGroup com o valor true (o usuário está no grupo) ou false (o usuário não está). Use esta tag para filtrar, segmentar ou exportar usuários do grupo de controle.

Por que a contagem do grupo de controle não corresponde à contagem do meu segmento?

A tag PW_ControlGroup permanece em um usuário mesmo depois que ele opta por não receber pushes, desinstala o aplicativo ou seu token de push se torna inválido, então a contagem total de usuários com a tag pode ser maior do que o esperado. Um segmento ou exportação criado a partir desta tag inclui apenas dispositivos alcançáveis: aqueles com um token de push válido, e-mail verificado ou outro método de contato ativo. É por isso que o número de usuários com a tag PW_ControlGroup: true pode ser maior do que o número que você vê em um segmento ou CSV criado a partir dessa tag.

Por que um usuário no grupo de controle ainda pode receber mensagens de marketing?

O Pushwoosh atribui o grupo de controle por ID do Usuário, não por dispositivo ou método de contato. Se a mesma pessoa tiver vários métodos de contato (por exemplo, e-mail, dispositivo de push) que não estão vinculados sob um único ID do Usuário, o Pushwoosh os trata como usuários diferentes. Um deles pode estar no grupo de controle enquanto outro não, então o último ainda pode receber marketing. Para evitar isso, registre todos os métodos de contato com o mesmo ID do Usuário.

Qual porcentagem do grupo de controle devo escolher?

A porcentagem certa depende de seus objetivos, tamanho do aplicativo e como você planeja usar os resultados. Uma porcentagem menor (por exemplo, 3%) mantém mais usuários na audiência e pode ser adequada para equipes que priorizam o alcance. Uma porcentagem maior (por exemplo, 10%) pode dar maior confiança estatística ao comparar grupos. Você pode definir um valor Personalizado entre 1% e 15% para atender às suas necessidades.

O que significa Dados insuficientes na tabela de eventos?

Dados insuficientes significa que o grupo de tratamento ou o grupo de controle teve menos de 10 conversões ou menos de 10 não conversões para aquele evento durante o período de tempo selecionado. O Pushwoosh não pode determinar se a diferença entre os grupos é estatisticamente significativa até que mais dados estejam disponíveis.

Como o Uplift é calculado?

Uplift mostra a diferença percentual entre as taxas de conversão do tratamento e do controle, em relação à taxa do controle. Um valor positivo significa que o grupo de tratamento converteu melhor. O Pushwoosh o calcula como (conv. tratamento − conv. controle) / conv. controle × 100%.

O que significa Conversões impulsionadas por mensagens?

Conversões impulsionadas por mensagens é o número estimado de eventos adicionais gerados por suas mensagens além do número esperado sem mensagens. O Pushwoosh o calcula como (eventos por usuário no tratamento − eventos por usuário no controle) × tamanho do grupo de tratamento. A porcentagem mostra esses eventos adicionais como uma parcela de todos os eventos de tratamento.

Quais eventos posso comparar e quantos?

Você pode comparar eventos configurados como Metas de Conversão na Customer Journey. Você pode adicionar até 10 eventos à tabela de comparação.