Divisão A/B/n

Vídeo do Youtube: Aprenda a configurar e analisar testes A/B/n no Customer Journey Builder da Pushwoosh

Use o elemento Divisão A/B/n para testar quais sequências de mensagens têm o melhor desempenho para suas Metas de Conversão. Otimize as comunicações encontrando a abordagem mais eficaz para o seu público.

Configure as definições da divisão A/B/n

Depois de colocar o elemento Divisão A/B/n na tela, clique duas vezes nele para configurar as definições do teste.

Defina o número de ramificações

Use o menu suspenso Ramificações para escolher quantas variações você deseja testar (até 4). Por padrão, a Ramificação A é o grupo de controle.

Defina a distribuição de usuários entre as ramificações

Defina a porcentagem de usuários a serem encaminhados para cada ramificação, garantindo que o total some 100%. Para dividir os usuários igualmente entre as ramificações, clique em Redefinir Distribuição.

Escolha como o vencedor será selecionado

Você tem duas opções:

Você seleciona o vencedor manualmente

Você revisará os resultados e escolherá manualmente a ramificação vencedora mais tarde. Isso requer monitoramento contínuo e desativação manual. Saiba mais

O vencedor é selecionado automaticamente por meta

O sistema monitora a meta da campanha e desativa as ramificações mais fracas assim que a significância estatística é alcançada. Novos usuários são então direcionados para a ramificação vencedora.

Quando a seleção automática do vencedor está ativada, escolha como o sistema deve avaliar o vencedor:

• Primeira meta a atingir significância. O sistema monitora todas as metas atribuídas e seleciona a primeira a atingir significância estatística.

• Selecione uma meta específica (por exemplo, CheckoutSuccess). Essa meta será usada para avaliar qual ramificação tem o melhor desempenho.

Uma vez configurado, clique em Salvar para aplicar suas configurações de teste.

Como configurar e executar testes A/B/n

Configure um teste

Pause a jornada

Se você deseja configurar testes A/B/n em uma jornada ativa, pause-a primeiro. Para saber mais sobre como editar uma jornada ativa, leia este artigo.

Defina pelo menos uma Meta de Conversão

Defina pelo menos uma Meta de Conversão que será usada para calcular os resultados do teste. Por exemplo, se você quiser testar qual de duas notificações push é a mais eficaz, pode definir o Evento PW_InAppPurchase como a Meta de Conversão.

Se você especificar várias Metas de Conversão, os resultados são calculados para cada meta separadamente.

Adicione o elemento Divisão A/B/n

Coloque o elemento Divisão A/B/n na tela após qualquer outro elemento e clique duas vezes nele para configurar o teste.

Defina as ramificações e a distribuição de usuários

Selecione o número de ramificações. Você pode adicionar até quatro ramificações ao seu teste. A primeira ramificação é sempre considerada um grupo de controle em relação ao qual os resultados em outras ramificações são comparados. Continue seguindo este guia para aprender como configurar esta ramificação dependendo de suas necessidades.

Em seguida, defina a porcentagem de usuários que irão para cada ramificação. O total de todas as ramificações deve ser 100%. De acordo com a porcentagem que você definir, os viajantes da jornada que chegarem a esta etapa da jornada serão divididos aleatoriamente no número especificado de ramificações.

Observe que os usuários atribuídos à Ramificação A serão considerados um grupo de controle em relação ao qual os resultados em outras ramificações serão comparados. A próxima etapa descreve como configurar a Ramificação A para diferentes casos.

Nota

Você pode querer definir uma porcentagem maior para a Ramificação A (a versão original) para testar cuidadosamente uma nova versão da campanha sem arriscar conversões mais baixas.

No entanto, recomendamos configurar uma distribuição uniforme. Nesse caso, você obterá resultados estatisticamente significativos mais rapidamente.

Selecione o modo de avaliação do vencedor

Escolha como o vencedor é determinado:

• Seleção automática por meta. O sistema rastreia uma meta definida, detecta a ramificação de melhor desempenho usando significância estatística e direciona novos usuários para o vencedor automaticamente.
• Seleção manual. Você revisará os resultados do teste e decidirá manualmente qual ramificação tem o melhor desempenho. Esta opção exige que você monitore o teste e desative as ramificações de baixo desempenho manualmente. Saiba mais

Configure o conteúdo para cada ramificação

Agora você pode configurar os fluxos de comunicação para cada ramificação. Como a Ramificação A é um grupo de controle, você precisa configurá-la de uma certa maneira, dependendo do seu caso:

• Teste o fluxo de comunicação existente contra novas versões. Neste caso, a versão existente deve estar na Ramificação A. Além disso, certifique-se de que a Meta de Conversão possa ser concluída em qualquer ramificação, incluindo a Ramificação A.
• Teste apenas novas versões umas contra as outras. Como não há um fluxo de comunicação antigo, uma das novas versões será marcada como um grupo de controle (aquela apresentada na Ramificação A). Certifique-se de que a Meta de Conversão possa ser concluída em todas as ramificações.
• Teste uma versão existente sem nenhuma comunicação contra novos fluxos de comunicação. Por exemplo, você deseja adicionar mais um push no final de uma jornada para ver se o desempenho da campanha aumenta em comparação com a versão original sem este push. Neste caso, a versão ‘vazia’ deve ser apresentada na Ramificação A. Para obter resultados confiáveis, adicione um Atraso de Tempo igual a cada ramificação:

Inicie a jornada

Se tudo estiver pronto, inicie a jornada.

Analise os resultados

Assim que o teste for iniciado, você poderá ver estatísticas em tempo real sobre ele.

Na tela da jornada, veja o número de usuários que passam por cada ramificação:

Para visualizar os resultados do teste, clique duas vezes no elemento Divisão A/B/n. Você verá as estatísticas para cada ramificação, incluindo a conversão para a meta selecionada e as métricas usadas para calcular a significância estatística.

Se você definiu várias Metas de Conversão, pode visualizar os resultados para cada uma delas selecionando a Meta desejada na lista:

Modo automático

Se você ativou a seleção automática do vencedor, o Pushwoosh monitorará continuamente a meta selecionada. Assim que uma ramificação atingir significância estatística, ela será marcada como vencedora. As ramificações mais fracas serão desativadas automaticamente, e novos usuários serão encaminhados exclusivamente para a ramificação vencedora. Nenhuma ação manual é necessária.

Se o seu teste tiver um vencedor estatisticamente significativo e você estiver usando a seleção manual do vencedor, poderá desativar instantaneamente as ramificações de menor desempenho clicando em Manter apenas o vencedor. Novos viajantes da jornada serão direcionados para a ramificação vencedora. Os usuários que já foram para as ramificações desativadas continuarão passando por elas até completarem a jornada.

Nota

Você também pode desativar ramificações manualmente, mas isso requer pausar a jornada.

Você pode visualizar os resultados do teste para um período de tempo específico. Para fazer isso, selecione o período desejado no painel esquerdo e clique duas vezes no elemento Divisão A/B/n. Você verá as estatísticas para o tempo especificado.

Os resultados do teste são calculados da seguinte forma:

• A conversão é calculada com base no número de usuários na ramificação e nas Metas de Conversão concluídas. A Ramificação A será marcada como a Linha de Base, pois representa o grupo de controle.
• Ao calcular a significância estatística, Z-Score e P-Value são levados em consideração. Se o resultado for válido, ele será marcado como Significativo.
• Uma ramificação é considerada a vencedora se tiver a maior conversão, e este resultado for marcado como Significativo.

Nota

Se o resultado for marcado como Significativo, significa que seu nível de confiança é de 90%. Se essa porcentagem não for suficiente para você, você pode calcular o resultado especificando um nível de confiança diferente. Por exemplo, você pode usar esta calculadora.

Desativar ramificações

Modo automático

No modo Automático, se um vencedor estatisticamente significativo for identificado, o Pushwoosh desativará automaticamente as ramificações de baixo desempenho, encaminhará todos os novos usuários para a ramificação vencedora e permitirá que os usuários existentes continuem em sua ramificação atribuída até completarem a jornada. Nenhuma ação manual é necessária.

Se o Pushwoosh identificou um vencedor estatisticamente significativo, você pode desativar instantaneamente as ramificações de menor desempenho clicando em Manter apenas o vencedor na janela de estatísticas do teste. Neste caso, você não precisa pausar a jornada. Se alguma ramificação tiver um desempenho ruim, você pode desativá-la. Novos usuários não entrarão mais na ramificação desativada.

Para desativar uma ramificação, pause a jornada primeiro:

Depois disso, clique duas vezes no elemento Divisão A/B/n. Defina 0% para esta ramificação e redistribua a porcentagem de usuários que vão para as ramificações restantes: