A/B/n Split

Vídeo do Youtube: Aprenda como configurar e analisar testes A/B/n no Customer Journey Builder da Pushwoosh

Use o elemento A/B/n Split para testar quais sequências de mensagens têm o melhor desempenho para os seus Conversion Goals. Otimize as comunicações encontrando a abordagem mais eficaz para o seu público.

Configurar as definições do A/B/n Split

Após colocar o elemento A/B/n Split no canvas, clique duas vezes nele para configurar as definições do teste.

Definir o número de ramificações

Use o menu suspenso Branches para escolher quantas variações você deseja testar (até 4). Por padrão, a Branch A é o grupo de controle.

Definir a distribuição de usuários entre as ramificações

Defina a porcentagem de usuários a serem direcionados para cada ramificação, garantindo que o total some 100%. Para dividir os usuários uniformemente entre as ramificações, clique em Reset Distribution.

Escolher como o vencedor será selecionado

Você tem duas opções:

Você seleciona o vencedor manualmente

Você revisará os resultados e escolherá manualmente a ramificação vencedora mais tarde. Isso requer monitoramento contínuo e desativação manual. Saiba mais

O vencedor é selecionado automaticamente por meta

O sistema monitora a meta da campanha e desativa as ramificações mais fracas assim que a significância estatística for alcançada. Novos usuários são então direcionados para a ramificação vencedora.

Quando a seleção automática de vencedor estiver ativada, escolha como o sistema deve avaliar o vencedor:

• First goal to achieve significance (Primeira meta a alcançar significância). O sistema monitora todas as metas atribuídas e seleciona a primeira a atingir significância estatística.

• Select a specific goal (Selecionar uma meta específica) (por exemplo, CheckoutSuccess). Esta meta será usada para avaliar qual ramificação tem o melhor desempenho.

Uma vez configurado, clique em Save para aplicar as configurações do seu teste.

Como configurar e executar testes A/B/n

Configurar um teste

Pausar a journey

Se você deseja configurar um teste A/B/n em uma journey ativa, pause-a primeiro. Para saber mais sobre como editar uma journey ativa, leia este artigo.

Definir pelo menos um Conversion Goal

Defina pelo menos um Conversion Goal que será usado para calcular os resultados do teste. Por exemplo, se você quiser testar qual de duas notificações push é a mais eficaz, você pode definir o Event PW_InAppPurchase como o Conversion Goal.

Se você especificar vários Conversion Goals, os resultados serão calculados para cada meta separadamente.

Adicionar o elemento A/B/n Split

Coloque o elemento A/B/n Split no canvas após qualquer outro elemento e clique duas vezes nele para configurar o teste.

Definir ramificações e distribuição de usuários

Selecione o número de ramificações. Você pode adicionar até quatro ramificações ao seu teste. A primeira ramificação é sempre considerada um grupo de controle em relação ao qual os resultados de outras ramificações são comparados. Continue seguindo este guia para aprender como configurar esta ramificação dependendo das suas necessidades.

Em seguida, defina a porcentagem de usuários que vão para cada ramificação. O total de todas as ramificações deve ser 100%. De acordo com a porcentagem que você definir, os usuários na journey que chegarem a esta etapa serão divididos aleatoriamente no número especificado de ramificações.

Observe que os usuários atribuídos à Branch A serão considerados um grupo de controle contra o qual os resultados de outras ramificações serão comparados. A próxima etapa descreve como configurar a Branch A para diferentes casos.

Nota

Você pode querer definir uma porcentagem maior para a Branch A (a versão original) para testar cuidadosamente uma nova versão de campanha sem arriscar conversões mais baixas.

No entanto, recomendamos configurar uma distribuição uniforme. Neste caso, você obterá resultados estatisticamente significativos mais rapidamente.

Selecionar o modo de avaliação do vencedor

Escolha como o vencedor é determinado:

• Seleção automática por meta. O sistema rastreia uma meta definida, detecta a ramificação com melhor desempenho usando significância estatística e direciona novos usuários para a vencedora automaticamente.
• Seleção manual. Você revisará os resultados do teste e decidirá manualmente qual ramificação tem o melhor desempenho. Esta opção exige que você monitore o teste e desative manualmente as ramificações com baixo desempenho. Saiba mais

Configurar o conteúdo para cada ramificação

Agora você pode configurar fluxos de comunicação para cada ramificação. Como a Branch A é um grupo de controle, você precisa configurá-la de uma determinada maneira, dependendo do seu caso:

• Testar o fluxo de comunicação existente contra novas versões. Neste caso, a versão existente deve estar na Branch A. Além disso, certifique-se de que o Conversion Goal possa ser concluído em qualquer ramificação, incluindo a Branch A.
• Testar apenas novas versões entre si. Como não há fluxo de comunicação antigo, uma das novas versões será marcada como grupo de controle (aquela apresentada na Branch A). Certifique-se de que o Conversion Goal possa ser concluído em todas as ramificações.
• Testar uma versão existente sem nenhuma comunicação contra novos fluxos de comunicação. Por exemplo, você deseja adicionar mais um push no final de uma journey para ver se o desempenho da campanha aumenta em comparação com a versão original sem esse push. Neste caso, a versão ‘vazia’ deve ser apresentada na Branch A. Para obter resultados confiáveis, adicione um Time Delay igual a cada ramificação:

Iniciar a journey

Se tudo estiver pronto, inicie a journey.

Analisar os resultados

Assim que o teste for iniciado, você poderá ver estatísticas em tempo real sobre ele.

No journey canvas, veja o número de usuários que passam por cada ramificação:

Para visualizar os resultados do teste, clique duas vezes no elemento A/B/n Split. Você verá as estatísticas para cada ramificação, incluindo a conversão para a meta selecionada e as métricas usadas para calcular a significância estatística.

Se você definiu vários Conversion Goals, poderá visualizar os resultados para cada um deles selecionando a meta necessária na lista:

Modo automático

Se você ativou a seleção automática de vencedor, a Pushwoosh monitorará continuamente a meta selecionada. Assim que uma ramificação atingir significância estatística, ela será marcada como a vencedora. As ramificações mais fracas serão desativadas automaticamente e os novos usuários serão direcionados exclusivamente para a ramificação vencedora. Nenhuma ação manual é necessária.

Se o seu teste tiver um vencedor estatisticamente significativo e você estiver usando a seleção manual de vencedor, poderá desativar instantaneamente as ramificações com menor desempenho clicando em Keep only winner. Novos usuários na journey serão direcionados para a ramificação vencedora. Os usuários que já foram para ramificações desativadas continuarão passando por elas até concluírem a journey.

Nota

Você também pode desativar ramificações manualmente, mas isso requer pausar a journey.

Você pode visualizar os resultados do teste para um período de tempo específico. Para fazer isso, selecione o período desejado no painel esquerdo e clique duas vezes no elemento A/B/n Split. Você verá as estatísticas para o tempo especificado.

Os resultados do teste são calculados da seguinte forma:

• A conversão é calculada com base no número de usuários na ramificação e nos Conversion Goals concluídos. A Branch A será marcada como Baseline (Linha de base), pois representa o grupo de controle.
• Ao calcular a significância estatística, o Z-Score e o P-Value são levados em consideração. Se o resultado for válido, ele será marcado como Significant (Significativo).
• Uma ramificação é considerada a vencedora se tiver a maior conversão e esse resultado for marcado como Significant.

Nota

Se o resultado for marcado como Significant, isso significa que seu nível de confiança é de 90%. Se essa porcentagem não for suficiente para você, é possível calcular o resultado especificando um nível de confiança diferente. Por exemplo, você pode usar esta calculadora.

Desativar ramificações

Modo automático

No modo Automático, se um vencedor estatisticamente significativo for identificado, a Pushwoosh desativará automaticamente as ramificações com baixo desempenho, direcionará todos os novos usuários para a ramificação vencedora e permitirá que os usuários existentes continuem em sua ramificação atribuída até concluírem a journey. Nenhuma ação manual é necessária.

Se a Pushwoosh identificou um vencedor estatisticamente significativo, você pode desativar instantaneamente as ramificações de menor desempenho clicando em Keep only winner na janela de estatísticas do teste. Neste caso, você não precisa pausar a journey. Se alguma ramificação tiver um desempenho ruim, você poderá desativá-la. Novos usuários não entrarão mais na ramificação desativada.

Para desativar uma ramificação, pause a journey primeiro:

Depois disso, clique duas vezes no elemento A/B/n Split. Defina 0% para esta ramificação e redistribua a porcentagem de usuários que vão para as ramificações restantes: