Holdout Split

Holdout Split 엘리먼트를 사용하여 journey의 나머지 부분에서 사용자 일부를 보류한 다음, 해당 지점 이후에도 계속 진행한 모든 사용자와 목표 달성을 비교하세요. 애플리케이션별로 고정되어 있고 모든 곳에서 마케팅 메시지를 차단하는 계정 전체의 control group과 달리, Holdout Split은 하나의 journey 내에서, 그 흐름의 한 지점에만 적용됩니다.

Holdout Split을 사용해야 하는 경우

• 선택한 지점에서 journey의 영향을 측정합니다. 이 지점에 도달한 사용자 일부를 보류하고, 이후 단계가 해당 단계를 건너뛰는 것보다 Conversion goal을 더 많이 움직이는지 확인하세요.
• 특정 세그먼트나 흐름을 테스트합니다. 전체 애플리케이션을 보류하는 대신 이 캠페인과 관련된 사용자에게만 영향을 측정하려면 Holdout Split을 오디언스 기반 진입 또는 트리거 기반 진입과 결합하세요.
• 이벤트 수가 아닌 목표별 uplift를 확인합니다. journey에 여러 Conversion goal이 있는 경우, Holdout Split은 각각에 대해 uplift와 통계적 유의성을 개별적으로 보고합니다.

예를 들어, Holdout Split을 진입 후, 온보딩 메시지 전에 배치하세요. In journey에서 계속 진행한 사용자의 구매 Conversion goal을 그곳에서 빠져나가 이 journey에서 더 이상 아무것도 받지 않는 Holdout 사용자와 비교하세요.

사전 요구 사항

uplift 보고서에서 수치를 확인하려면 journey에 대해 최소 하나의 Conversion goal을 정의하세요. 목표 없이도 Holdout Split을 배치하고 저장할 수 있습니다. 목표가 없으면 보고서는 비율과 uplift 대신 목표 추가를 안내하는 메시지를 표시합니다.

Holdout Split 추가 및 구성

1. journey의 나머지 부분을 측정하기 시작할 위치(테스트 중인 메시지나 단계 이전)의 캔버스에 Holdout Split 엘리먼트를 배치하세요.

2. 엘리먼트를 더블클릭하여 설정을 엽니다.

3. Share held out을 설정하세요: 이 지점에 도달한 사용자 중 Holdout 분기로 라우팅되는 비율입니다. 나머지는 In journey 분기에서 계속 진행합니다. Share held out은 1~20%를 허용합니다.

   

4. 캔버스에서 분기를 연결하세요:

   • Holdout 분기는 연결하지 않은 상태로 두세요. 해당 분기의 사용자는 즉시 journey를 벗어나며 더 이상 아무것도 받지 않습니다.
   • In journey 분기를 나머지 흐름에 연결하세요.

5. Save를 클릭하세요.

저장 후에는 엘리먼트에서 두 개의 분기가 표시되어야 합니다: 다음 단계가 없는 Holdout, 그리고 연결한 흐름으로 이어지는 In journey입니다.

참고

보류된 사용자는 이 journey에서만 제외됩니다. 다른 journey와 일회성 전송의 메시지는 계속 받을 수 있습니다.

uplift 보고서 확인

Goal uplift vs holdout을 사용하여 한 가지 질문에 답하세요: 이 지점 이후의 단계가 여기서 멈춘 사용자와 비교하여 Conversion goal을 높이는가?

1. 실행 중인 journey를 엽니다.

2. Holdout Split 지점을 열고 현재 분할 아래에서 Goal uplift vs holdout을 찾으세요.

3. 비율 대신 플레이스홀더가 보이면 다음 날 다시 확인하세요. Pushwoosh는 보고서를 하루에 한 번 새로 고치며, journey가 시작된 다음 날 첫 수치가 나타납니다.

4. 비율을 신뢰하기 전에 보고서 헤더에서 표본 크기와 시기를 확인하세요:

   • 마지막 새로 고침 시점에 In journey와 Holdout에 각각 몇 명의 사용자가 있었는지
   • 어트리뷰션 윈도우(지점 이후 며칠까지 목표 달성이 계산되는지)
   • 보고서가 마지막으로 계산된 시점

   holdout 표본이 아주 작으면 in-journey 비율이 강해 보여도 uplift가 불안정해집니다.

5. 각 Conversion goal에 대해 분기를 비교한 다음 uplift와 유의성을 확인하세요:

   • Conversion, in journey를 Conversion, holdout(비율 및 수)과 비교하세요. 이는 journey의 나머지 부분을 받은 사용자와 이 지점 이후 더 이상 아무것도 받지 않은 사용자 간의 차이입니다.
   • 이 차이에 대한 Uplift를 상대적 변화로 읽으세요. 양의 uplift는 in-journey 분기가 holdout보다 더 잘 전환되었음을 의미합니다. 이 목표에 대해 holdout의 전환이 0이면 uplift는 **—**로 표시됩니다(상대적 차이를 계산할 근거가 없음).
   • uplift를 결정으로 취급하기 전에 유의성 배지를 읽으세요:
     • Significant: 분기 간의 차이가 실제이며 무작위가 아닙니다. uplift 수치를 신뢰하세요.
     • Not significant: Pushwoosh는 충분한 데이터를 확보했지만 차이가 신뢰할 수 없습니다. 아직 이 uplift 수치에 따라 조치하지 마세요.
     • Not enough data: 지금까지는 어느 방향인지 판단하기에 전환 수가 너무 적습니다. 더 큰 표본을 위해 journey를 계속 실행하세요.

각 Holdout Split을 한곳에서 검토하려면 journey의 캠페인 상태 대시보드를 열고 각 지점에 대해 동일한 보고서를 확인하세요.

모든 Holdout Split 지점의 uplift를 통화별 매출과 함께 CSV 파일로 받으려면 API를 통해 uplift 보고서를 내보내세요.

각 분기의 사용자 내보내기

실행 중인 journey에서 어떤 사용자가 Holdout으로, 어떤 사용자가 In journey로 이동했는지 목록을 다운로드하세요.

Export users를 사용하려면 역할에 Personal data 권한이 필요합니다.

1. 실행 중인 journey를 엽니다.

2. Holdout Split 지점을 엽니다.

3. Goal uplift vs holdout 아래의 Export users를 클릭하세요.

4. 날짜 범위를 설정하세요. 최근 2개월의 데이터만 내보낼 수 있습니다.

   

5. Start exporting을 클릭하세요.

6. 파일이 준비되면 동일한 패널에 다운로드 버튼이 나타납니다. 버튼을 클릭하여 CSV를 받으세요.

각 행에는 사용자 ID와 해당 사용자가 이동한 분기(holdout 또는 journey)가 나열됩니다. 해당 날짜 범위 동안 아무도 지점에 도달하지 않은 경우, 파일에는 헤더 행만 포함됩니다.

journey별 대신 계정 전체의 holdout이 필요한 경우 Control groups를 사용하세요.