A/B/n Split

A/B/n Split 요소를 사용하여 어떤 메시지 시퀀스가 전환 목표에 가장 효과적인지 테스트하세요. 잠재고객에게 가장 효과적인 접근 방식을 찾아 커뮤니케이션을 최적화할 수 있습니다.

A/B/n Split 설정 구성

캔버스에 A/B/n Split 요소를 배치한 후, 해당 요소를 더블 클릭하여 테스트 설정을 구성합니다.

분기 수 설정

분기 드롭다운을 사용하여 테스트할 변형의 수를 선택합니다(최대 4개). 기본적으로 분기 A는 대조군입니다.

분기별 사용자 분배 정의

각 분기로 라우팅될 사용자의 비율을 설정하여 총합이 100%가 되도록 합니다. 분기 간에 사용자를 균등하게 분할하려면 분배 재설정을 클릭하세요.

승자 선택 방식 선택

두 가지 옵션이 있습니다:

사용자가 수동으로 승자를 선택

결과를 검토하고 나중에 수동으로 우승 분기를 선택합니다. 이를 위해서는 지속적인 모니터링과 수동 비활성화가 필요합니다. 자세히 알아보기

목표에 따라 승자가 자동으로 선택됨

시스템은 캠페인 목표를 모니터링하고 통계적 유의성에 도달하면 더 약한 분기를 비활성화합니다. 그런 다음 새로운 사용자는 우승 분기로 유도됩니다.

자동 승자 선택이 활성화된 경우, 시스템이 승자를 평가하는 방법을 선택하세요:

유의성에 도달하는 첫 번째 목표. 시스템은 할당된 모든 목표를 모니터링하고 통계적 유의성에 도달하는 첫 번째 목표를 선택합니다.
특정 목표 선택 (예: CheckoutSuccess). 이 목표는 어떤 분기가 가장 좋은 성과를 내는지 평가하는 데 사용됩니다.

구성이 완료되면 저장을 클릭하여 테스트 설정을 적용합니다.

A/B/n 테스트 설정 및 실행 방법

테스트 설정

Journey 일시 중지

활성 Journey에서 A/B/n 테스트를 설정하려면 먼저 일시 중지하세요. 활성 Journey 편집에 대한 자세한 내용은 이 문서를 참조하세요.

하나 이상의 전환 목표 정의

테스트 결과 계산에 사용될 전환 목표를 하나 이상 설정하세요. 예를 들어, 두 개의 푸시 알림 중 어느 것이 더 효과적인지 테스트하려면 PW_InAppPurchase 이벤트를 전환 목표로 설정할 수 있습니다.

여러 전환 목표를 지정하면 각 목표에 대해 결과가 별도로 계산됩니다.

A/B/n Split 요소 추가

다른 요소 뒤에 A/B/n Split 요소를 캔버스에 배치하고 더블 클릭하여 테스트를 구성합니다.

분기 및 사용자 분배 설정

분기 수를 선택합니다. 테스트에 최대 4개의 분기를 추가할 수 있습니다. 첫 번째 분기는 항상 다른 분기의 결과와 비교되는 대조군으로 간주됩니다. 필요에 따라 이 분기를 설정하는 방법을 알아보려면 이 가이드를 계속 따르세요.

다음으로, 각 분기로 이동하는 사용자의 비율을 설정합니다. 모든 분기의 총합은 100%여야 합니다. 설정한 비율에 따라 이 Journey 단계에 도달한 Journey 참여자는 지정된 수의 분기로 무작위로 분할됩니다.

분기 A에 할당된 사용자는 다른 분기의 결과와 비교되는 대조군으로 간주됩니다. 다음 단계에서는 다양한 경우에 대해 분기 A를 설정하는 방법을 설명합니다.

승자 평가 모드 선택

승자가 결정되는 방식을 선택하세요:

목표에 따른 자동 선택. 시스템은 정의된 목표를 추적하고, 통계적 유의성을 사용하여 가장 성과가 좋은 분기를 감지하며, 새로운 사용자를 자동으로 승자에게 라우팅합니다.
수동 선택. 테스트 결과를 검토하고 어떤 분기가 가장 좋은 성과를 내는지 수동으로 결정합니다. 이 옵션을 사용하려면 테스트를 모니터링하고 성과가 낮은 분기를 수동으로 비활성화해야 합니다. 자세히 알아보기

각 분기의 콘텐츠 구성

이제 각 분기에 대한 커뮤니케이션 흐름을 설정할 수 있습니다. 분기 A는 대조군이므로 경우에 따라 특정 방식으로 구성해야 합니다:

기존 커뮤니케이션 흐름을 새로운 버전과 비교하여 테스트합니다. 이 경우 기존 버전은 분기 A에 있어야 합니다. 또한 전환 목표가 분기 A를 포함한 모든 분기에서 완료될 수 있는지 확인하세요.
새로운 버전끼리만 테스트합니다. 기존 커뮤니케이션 흐름이 없으므로 새로운 버전 중 하나가 대조군(분기 A에 표시된 버전)으로 표시됩니다. 전환 목표가 모든 분기에서 완료될 수 있는지 확인하세요.
커뮤니케이션이 없는 기존 버전을 새로운 커뮤니케이션 흐름과 비교하여 테스트합니다. 예를 들어, 이 푸시가 없는 원본 버전과 비교하여 캠페인 성과가 증가하는지 확인하기 위해 Journey 끝에 푸시를 하나 더 추가하고 싶을 수 있습니다. 이 경우 ‘빈’ 버전이 분기 A에 표시되어야 합니다. 신뢰할 수 있는 결과를 얻으려면 각 분기에 동일한 시간 지연을 추가하세요:

Journey 시작

모든 준비가 완료되면 Journey를 시작합니다.

결과 분석

테스트가 시작되는 즉시 실시간 통계를 볼 수 있습니다.

Journey 캔버스에서 각 분기를 통과하는 사용자 수를 확인하세요:

테스트 결과를 보려면 A/B/n Split 요소를 더블 클릭하세요. 선택한 목표로의 전환 및 통계적 유의성을 계산하는 데 사용되는 지표를 포함하여 각 분기에 대한 통계를 볼 수 있습니다.

여러 전환 목표를 설정한 경우, 목록에서 필요한 목표를 선택하여 각 목표에 대한 결과를 볼 수 있습니다:

테스트에 통계적으로 유의미한 승자가 있고 수동 승자 선택을 사용하는 경우, 승자만 유지를 클릭하여 성과가 낮은 분기를 즉시 끌 수 있습니다. 새로운 Journey 참여자는 우승 분기로 유도됩니다. 이미 비활성화된 분기로 들어간 사용자는 Journey를 완료할 때까지 해당 분기를 계속 통과합니다.

특정 기간의 테스트 결과를 볼 수 있습니다. 이렇게 하려면 왼쪽 패널에서 원하는 기간을 선택하고 A/B/n Split 요소를 더블 클릭하세요. 지정된 시간의 통계를 볼 수 있습니다.

테스트 결과는 다음과 같이 계산됩니다:

전환은 분기의 사용자 수와 완료된 전환 목표를 기반으로 계산됩니다. 분기 A는 대조군을 나타내므로 기준선(Baseline)으로 표시됩니다.
통계적 유의성을 계산할 때 _Z-점수_와 _P-값_이 고려됩니다. 결과가 유효하면 _유의미함_으로 표시됩니다.
한 분기가 가장 높은 전환율을 보이고 이 결과가 _유의미함_으로 표시되면 승자로 간주됩니다.

분기 비활성화

Pushwoosh가 통계적으로 유의미한 승자를 식별한 경우, 테스트 통계 창에서 승자만 유지를 클릭하여 성과가 낮은 분기를 즉시 끌 수 있습니다. 이 경우 Journey를 일시 중지할 필요가 없습니다. 일부 분기의 성과가 저조하면 비활성화할 수 있습니다. 새로운 사용자는 더 이상 비활성화된 분기로 들어가지 않습니다.

분기를 비활성화하려면 먼저 Journey를 일시 중지하세요:

그런 다음 A/B/n Split 요소를 더블 클릭합니다. 이 분기에 0%를 설정하고 나머지 분기로 가는 사용자의 비율을 재분배하세요: