컨트롤 그룹 영향 분석

각 컨트롤 그룹의 페이지는 해당 그룹 대비 메시징 성과를 보여줍니다. 설정 > 컨트롤 그룹에서 그룹의 행을 클릭하여 페이지를 엽니다.

그룹의 모드 및 날짜 확인하기

그룹 이름 아래에 페이지는 그룹 크기, 모드, 현재 주기 번호, 그리고 모드에 따라 달라지는 날짜를 표시합니다:

모드	이름 아래 날짜	기간 선택기 레이블
영구	실행 시작일: 그룹이 시작된 날짜	레이블 없음
자동 갱신	현재 주기의 기간	현재 주기
종료일이 있는 실험	현재 주기의 기간	현재 실험

이전 주기의 결과를 보려면 기간 선택기를 열고 이전에서 해당 주기를 선택합니다. 종료된 주기는 주기 또는 실험으로 번호별로 나열됩니다. 크기 변경, 범위 재지정 또는 모드 변경 시 새 주기가 시작되므로 영구 그룹에도 이전 주기가 있을 수 있습니다.

페이지에서 비교하는 항목

페이지에는 두 개의 블록이 있습니다: 상단의 이벤트 비교 표와 그 아래의 영향 보고서. 두 블록 모두 선택한 모든 이벤트에 대해 두 그룹의 사용자를 비교합니다:

• 처리 그룹: 그룹의 잠재고객 중 컨트롤 그룹에 속하지 않은 사용자입니다. 이들은 평소와 같이 마케팅 메시지(Push, Email, In-App, SMS, WhatsApp)를 계속 수신합니다.
• 컨트롤 그룹: 위에서 구성한 홀드아웃 그룹입니다. 이 사용자들은 마케팅 메시지에서 제외되므로, 그들의 행동 차이는 캠페인의 영향을 받지 않습니다.

두 그룹 모두 그룹 페이지의 측정 대상에 표시되는 그룹의 잠재고객에서 추출됩니다: 모든 사용자 또는 현재 그룹의 국가 및 태그 값과 일치하는 사용자.

• 태그 값이 변경된 사용자는 집계에서 제외됩니다.
• 데이터는 하루에 한 번 업데이트됩니다.
• Pushwoosh는 유효한 푸시 토큰, 확인된 이메일 또는 기타 도달 가능한 채널을 가진 사용자로 어느 그룹도 필터링하지 않습니다.

처리 그룹과 컨트롤 그룹은 동일한 사용자 집합에서 추출되며, 둘 사이에 별도의 필터링이 없습니다.

2026년 8월 25–26일 이전의 결과

2026년 8월 25–26일 이전에는 두 그룹이 다른 방식으로 집계되었습니다. 시간 창에 해당 날짜가 포함되면 전환. 컨트롤 및 상승도에서 앱의 어떤 요인으로도 발생하지 않은 갑작스러운 단계적 변화가 나타날 수 있습니다.

이벤트 비교하기

1. 시간 창을 선택합니다: 지난 3일, 지난 7일 또는 지난 30일. 이전 주기를 비교하려면 이전에서 해당 주기를 선택합니다.

   다음과 같은 경우 측정 기간이 다시 시작되며 이전 데이터는 더 이상 포함되지 않습니다:

   • 그룹 크기를 조정하거나 국가를 변경하는 경우;
   • 그룹을 재구성하는 경우;
   • 모드를 변경하는 경우;
   • 자동 갱신 주기가 끝나거나 실험이 종료일에 도달하는 경우.

   그 시점 이전의 데이터는 더 이상 현재 구성원이나 잠재고객과 일치하지 않습니다. 종료된 주기는 기간 선택기의 이전에 나열됩니다.

2. 이벤트 비교 표를 검토합니다. Customer Journey에서 전환 목표를 설정한 경우에만 이벤트가 자동으로 표시됩니다. 그렇지 않으면 표는 비어 있는 상태로 시작됩니다.

3. 비교할 이벤트 추가를 클릭하여 측정하려는 이벤트를 추가합니다. 총 10개의 이벤트를 추가할 수 있습니다.

   메시지 참여 이벤트는 비교할 수 없음

   푸시 또는 이메일 열람, 클릭, 발송, 반송은 전환 목표로 설정했더라도 여기에서 사용할 수 없습니다. 컨트롤 그룹 사용자는 마케팅 메시지를 절대 받지 않으므로, 이러한 이벤트는 메시지가 달성한 것이 아니라 메시지가 전송되었다는 사실만 보여줄 뿐입니다.

표는 각 이벤트에 대해 다음 지표를 보여줍니다:

지표	표시 내용
전환. 컨트롤	마케팅 메시지에서 홀드아웃되었음에도 메시징 영향 없이 이벤트를 한 번 이상 트리거한 순 사용자 비율입니다.
전환. 처리	마케팅 메시지(Push, Email, In-App, SMS, WhatsApp)를 수신하고 이벤트를 한 번 이상 트리거한 순 사용자 비율입니다.
상승도	처리 그룹과 컨트롤 그룹 전환율 간의 백분율 차이로, 컨트롤 그룹 비율에 상대적입니다. 양수 값은 처리 그룹이 더 잘 전환되었음을 의미합니다. (conv. treatment − conv. control) / conv. control × 100%로 계산됩니다.
유의성	차이가 통계적으로 신뢰할 수 있는지 여부입니다. 다음 표의 상태를 참조하세요.

유의성 상태	의미
유의미함	상승도가 우연에 의한 것일 가능성이 낮습니다.
유의미하지 않음	차이가 아직 통계적으로 신뢰할 수 없습니다.
데이터 부족	이 이벤트에 대해 어느 한 그룹의 전환이 10회 미만이거나 비전환이 10회 미만이어서 유의성을 계산할 수 없습니다.

영향 보고서 보기

이벤트 보기 드롭다운을 사용하여 표에서 이벤트를 선택합니다. 아래의 영향 보고서는 해당 이벤트에 대한 더 깊은 분석을 보여줍니다.

지표	표시 내용
상승도 (컨트롤 그룹 대비 변화)	처리 그룹 전환율이 컨트롤 그룹 전환율과 얼마나 다른지를 나타냅니다. 이벤트 표에 표시된 값과 동일합니다.
메시징에 의한 전환	메시징 없이 예상되는 수를 초과하여 메시지가 생성한 추가 이벤트의 추정 수입니다. 백분율은 모든 처리 이벤트 중 이러한 추가 이벤트의 비율을 보여줍니다. (events per user in treatment − events per user in control) × treatment group size로 계산됩니다.
유의성	차이가 통계적으로 신뢰할 수 있는지 여부: 유의미함, 유의미하지 않음 또는 데이터 부족. 신뢰도와 P-값을 기준으로 합니다.
신뢰도	상승도가 우연이 아닌 실제 차이를 반영한다고 Pushwoosh가 확신하는 정도를 백분율로 나타냅니다. 높을수록 증거가 더 강력합니다.
P-값	메시징에 실제 효과가 없는 경우 이 차이가 우연히 나타날 가능성입니다. 낮을수록 증거가 더 강력합니다.
Z-점수	두 그룹의 성과가 얼마나 떨어져 있는지를 보여줍니다. 0에 가까우면 차이가 무작위일 수 있습니다. 0에서 멀어질수록 한 그룹이 더 낫다고 더 확신할 수 있습니다.
그룹 분석	처리 그룹과 컨트롤 그룹을 나란히 비교합니다: 추정 사용자, 총 이벤트 수, 사용자당 이벤트 수, 전환율 (순).

결과 해석 방법

• 유의미함, 양수 상승도: 메시징이 이 이벤트를 이끌어내고 있습니다. 계속 발송하세요.
• 유의미함, 음수 상승도: 이 이벤트에서 컨트롤 그룹이 처리 그룹보다 더 잘 전환됩니다. 메시징이 역효과를 낸다고 결론 내리기 전에, 이 이벤트가 실제로 메시징이 이끌어내려는 이벤트인지 확인하세요.
• 유의미하지 않음: 효과가 없다는 뜻이 아니라 차이가 아직 신뢰할 수 없다는 뜻입니다. 판단하기 전에 이벤트에 전환이 더 쌓이도록 기다리세요.
• 데이터 부족: 이 이벤트에 대해 어느 한 그룹의 전환이 10회 미만이거나 비전환이 10회 미만입니다. 발생량이 더 많은 이벤트를 비교하거나, 이벤트가 더 많이 발생할 때까지 기다리세요.

추가로 유의할 두 가지 사항:

• 하나의 측정 기간 내에서 비교하세요. 재구성, 크기 조정, 범위 재지정, 모드 변경, 자동 갱신 전환 또는 실험 종료는 측정 기간을 다시 시작합니다. 이러한 변경 전후의 결과는 비교할 수 없습니다.
• 캠페인이 이끌어내려는 이벤트를 선택하세요. 메시징과 직접적인 연관이 없는 이벤트가 아니라 구매나 가입과 같은 이벤트를 선택하세요.