Holdout Split

Use o elemento Holdout Split para reservar uma parte dos usuários do restante de um journey e, em seguida, compare a conclusão do objetivo deles com todos que continuaram após esse ponto. Ao contrário do grupo de controle de toda a conta, que é fixo por aplicativo e bloqueia mensagens de marketing em todos os lugares, um Holdout Split se aplica apenas dentro de um journey, em um ponto de seu fluxo.

Quando usar o Holdout Split

• Meça o impacto de um journey em um ponto escolhido. Reserve uma parte dos usuários que alcançam esse ponto e veja se as etapas seguintes movem seus Objetivos de conversão mais do que puladas.
• Teste um segmento ou fluxo específico. Combine o Holdout Split com uma Entrada baseada em público ou uma Entrada baseada em gatilho para medir o impacto apenas nos usuários relevantes para essa campanha, em vez de reservar todo o seu aplicativo.
• Obtenha um uplift por objetivo, não apenas uma contagem de eventos. Se o journey tiver vários Objetivos de conversão, o Holdout Split relata o uplift e a significância estatística para cada um separadamente.

Por exemplo, coloque o Holdout Split após a entrada e antes de suas mensagens de onboarding. Compare um Objetivo de conversão de compra para usuários que continuaram em In journey com os usuários em Holdout, que saem ali e não recebem mais nada desse journey.

Pré-requisitos

Defina pelo menos um Objetivo de conversão para o journey se quiser números no relatório de uplift. Você ainda pode colocar e salvar o Holdout Split sem um objetivo. Sem ele, o relatório mostra um aviso para adicionar um objetivo em vez de taxas e uplift.

Adicionar e configurar o Holdout Split

1. Coloque o elemento Holdout Split na área de trabalho no local a partir do qual você deseja começar a medir o restante do journey (antes das mensagens ou etapas que está testando).

2. Clique duas vezes no elemento para abrir suas configurações.

3. Defina Share held out: a porcentagem de usuários que alcançam esse ponto e são roteados para o ramo Holdout. O restante continua no ramo In journey. Share held out aceita de 1 a 20%.

   

4. Conecte os ramos na área de trabalho:

   • Deixe o ramo Holdout desconectado. Os usuários nesse ramo saem do journey imediatamente e não recebem mais nada dele.
   • Conecte o ramo In journey ao restante do seu fluxo.

5. Clique em Save.

Depois de salvar, você deve ver dois ramos a partir do elemento: Holdout sem próxima etapa, e In journey levando ao fluxo que você conectou.

Nota

Os usuários reservados são excluídos apenas deste journey. Eles ainda podem receber mensagens de seus outros journeys e envios únicos.

Verifique o relatório de uplift

Use Goal uplift vs holdout para responder a uma pergunta: as etapas após esse ponto aumentam seus Objetivos de conversão em comparação com os usuários que pararam aqui?

1. Abra o journey em execução.

2. Abra o ponto Holdout Split e encontre Goal uplift vs holdout abaixo da divisão atual.

3. Se você vir um espaço reservado em vez de taxas, volte no dia seguinte. O Pushwoosh atualiza o relatório uma vez por dia, e os primeiros números aparecem no dia seguinte ao início do journey.

4. No cabeçalho do relatório, verifique o tamanho da amostra e o momento antes de confiar nas taxas:

   • Quantos usuários estavam em In journey e Holdout na última atualização
   • A janela de atribuição (quantos dias após o ponto uma conclusão de objetivo ainda conta)
   • Quando o relatório foi calculado pela última vez

   Uma amostra de holdout minúscula torna o uplift ruidoso, mesmo que a taxa in-journey pareça forte.

5. Para cada Objetivo de conversão, compare os ramos e, em seguida, leia o uplift e a significância:

   • Compare Conversion, in journey com Conversion, holdout (taxa e contagem). Essa é a diferença entre os usuários que receberam o restante do journey e os usuários que não receberam mais nada dele após esse ponto.
   • Leia Uplift para essa diferença como uma mudança relativa. Um uplift positivo significa que o ramo in-journey converteu melhor que o holdout. Se o holdout teve zero conversões para esse objetivo, o uplift mostra — (sem base para uma diferença relativa).
   • Leia o selo de significância antes de tratar o uplift como uma decisão:
     • Significant: a diferença entre os ramos é real, não aleatória. Confie no número de uplift.
     • Not significant: o Pushwoosh tem dados suficientes, mas a diferença não é confiável. Ainda não aja com base nesse número de uplift.
     • Not enough data: poucas conversões até agora para dizer em qualquer direção. Deixe o journey continuar em execução para uma amostra maior.

Para revisar cada Holdout Split em um só lugar, abra o painel de saúde da campanha do journey e verifique o mesmo relatório para cada ponto.

Para obter o uplift de cada ponto de Holdout Split como um arquivo CSV, com receita por moeda, exporte o Relatório de uplift pela API.

Exportar usuários de cada ramo

Baixe uma lista de quais usuários foram para Holdout e quais foram para In journey em um journey em execução.

Export users requer a permissão Personal data na sua função.

1. Abra o journey em execução.

2. Abra o ponto Holdout Split.

3. Clique em Export users abaixo de Goal uplift vs holdout.

4. Defina o intervalo de datas. Você pode exportar dados apenas dos últimos 2 meses.

   

5. Clique em Start exporting.

6. Quando o arquivo estiver pronto, um botão de download aparece no mesmo painel. Clique nele para obter o CSV.

Cada linha lista um ID de usuário e o ramo que esse usuário seguiu, holdout ou journey. Se ninguém alcançou o ponto nesse intervalo de datas, o arquivo contém apenas a linha de cabeçalho.

Se você precisar de um holdout de toda a conta em vez de por journey, use os Grupos de controle.