컨트롤 그룹 영향 분석
각 컨트롤 그룹의 페이지는 해당 그룹 대비 메시징 성과를 보여줍니다. 설정 > 컨트롤 그룹에서 그룹의 행을 클릭하여 페이지를 엽니다.
이 페이지에서 사용하는 용어:
- 컨트롤 그룹: 마케팅 메시지를 받지 않는 고정된 비율의 사용자입니다. 컨트롤 그룹 이해하기를 참조하세요.
- 처리 그룹: 그룹의 잠재고객 중 나머지 사용자로, 평소와 같이 마케팅 메시지를 계속 수신합니다.
- 주기: 그룹의 구성원이 동일하게 유지되는 측정 기간입니다. 이벤트 비교하기에 나열된 변경 중 하나가 발생하면 새 주기가 시작됩니다.
- 도달 가능한 사용자: 앱의 채널 중 하나 이상에서 캠페인이 실제로 도달할 수 있는 사용자입니다. 사용자가 도달 가능한 조건을 참조하세요.
그룹의 모드 및 날짜 확인하기
Anchor link to그룹 이름 아래의 측정 대상은 주기에서 집계하는 사용자를 보여줍니다. 비교에 포함되는 사용자를 참조하세요. 영구 그룹의 주기가 모든 사용자를 집계하는 경우, 측정 대상 위의 배너에서 도달 가능한 사용자로 새 주기를 시작할 수 있습니다.
측정 대상 아래에 페이지는 그룹 크기, 모드, 현재 주기 번호, 그리고 모드에 따라 달라지는 날짜를 표시합니다:
| 모드 | 이름 아래 날짜 | 기간 선택기 레이블 |
|---|---|---|
| 영구 | 실행 시작일: 그룹이 시작된 날짜 | 레이블 없음 |
| 자동 갱신 | 현재 주기의 기간 | 현재 주기 |
| 종료일이 있는 실험 | 현재 주기의 기간 | 현재 실험 |
이전 주기의 결과를 보려면 기간 선택기를 열고 이전에서 해당 주기를 선택합니다. 종료된 주기는 주기 또는 실험으로 번호별로 나열됩니다. 이벤트 비교하기에 나열된 변경 중 하나가 발생하면 새 주기가 시작되므로 영구 그룹에도 이전 주기가 있을 수 있습니다.
페이지에서 비교하는 항목
Anchor link to페이지는 선택한 모든 이벤트(예: 구매)에 대해 처리 그룹과 컨트롤 그룹을 비교합니다. 각 이벤트에 대해 각 그룹에서 해당 이벤트를 수행한 사용자 수를 보여줍니다. 컨트롤 그룹 사용자는 마케팅 메시지를 받지 않으므로, 그들의 행동 차이는 캠페인의 영향을 받지 않습니다.
비교는 두 곳에 표시됩니다: 상단의 이벤트 비교 표와 그 아래의 영향 보고서.
비교 대상 사용자는 그룹의 국가 및 태그와, 주기가 모든 사용자를 집계하는지 도달 가능한 사용자만 집계하는지에 따라 달라집니다. 비교에 포함되는 사용자를 참조하세요.
현재 주기의 데이터는 하루에 한 번 업데이트됩니다. 주기가 종료되면 최종 결과는 보통 15분 이내에 이전에 표시됩니다.
이벤트 비교하기
Anchor link to-
시간 창을 선택합니다: 지난 3일, 지난 7일 또는 지난 30일. 이전 주기를 비교하려면 이전에서 해당 주기를 선택합니다.
다음과 같은 경우 측정 기간이 다시 시작되며 이전 데이터는 더 이상 포함되지 않습니다:
- 그룹 크기를 조정하거나 국가를 변경하는 경우;
- 그룹의 태그 범위를 변경하는 경우;
- 그룹을 재구성하는 경우;
- 모드를 변경하는 경우;
- 그룹을 비활성화했다가 다시 활성화하는 경우;
- 자동 갱신 주기가 끝나는 경우;
- 실험이 종료일에 도달하는 경우(이때 그룹도 꺼집니다);
- 도달 가능한 사용자로 새 주기를 시작하는 경우.
그 시점 이전의 데이터는 더 이상 현재 구성원이나 잠재고객과 일치하지 않습니다. 종료된 주기는 기간 선택기의 이전에 나열됩니다.
-
이벤트 비교 표를 검토합니다. Customer Journey에서 전환 목표를 설정한 경우에만 이벤트가 자동으로 표시됩니다. 그렇지 않으면 표는 비어 있는 상태로 시작됩니다.
-
비교할 이벤트 추가를 클릭하여 측정하려는 이벤트를 추가합니다. 총 10개의 이벤트를 추가할 수 있습니다.
표는 각 이벤트에 대해 다음 지표를 보여줍니다:
| 지표 | 표시 내용 |
|---|---|
| 전환. 컨트롤 | 마케팅 메시지에서 홀드아웃되었음에도 메시징 영향 없이 이벤트를 한 번 이상 트리거한 순 사용자 비율입니다. |
| 전환. 처리 | 처리 그룹에서 이벤트를 한 번 이상 트리거한 순 사용자 비율입니다. 처리 그룹에는 해당 기간에 실제로 메시지를 받았는지와 관계없이 측정 대상 잠재고객 중 컨트롤 그룹에 속하지 않은 모든 사용자가 포함됩니다. 도달 가능한 사용자를 대상으로 측정하는 주기에서는 측정 대상 잠재고객이 도달 가능한 사용자로만 구성됩니다. |
| 상승도 | 처리 그룹과 컨트롤 그룹 전환율 간의 백분율 차이로, 컨트롤 그룹 비율에 상대적입니다. 양수 값은 처리 그룹이 더 잘 전환되었음을 의미합니다. (conv. treatment − conv. control) / conv. control × 100%로 계산됩니다. |
| 유의성 | 차이가 통계적으로 신뢰할 수 있는지 여부입니다. 다음 표의 상태를 참조하세요. |
| 유의성 상태 | 의미 |
|---|---|
| 유의미함 | 상승도가 우연에 의한 것일 가능성이 낮습니다. 두 전환율에 대한 양측 z-검정의 P-값이 0.05 미만, 즉 신뢰도가 95%를 넘으면 Pushwoosh가 이 상태로 표시합니다. |
| 유의미하지 않음 | 차이가 아직 통계적으로 신뢰할 수 없습니다. |
| 데이터 부족 | 이 이벤트에 대해 어느 한 그룹의 전환이 10회 미만이거나 비전환이 10회 미만이어서 유의성을 계산할 수 없습니다. |
영향 보고서 보기
Anchor link to이벤트 보기 드롭다운을 사용하여 표에서 이벤트를 선택합니다. 아래의 영향 보고서는 해당 이벤트에 대한 더 깊은 분석을 보여줍니다.
| 지표 | 표시 내용 |
|---|---|
| 상승도 (컨트롤 그룹 대비 변화) | 처리 그룹 전환율이 컨트롤 그룹 전환율과 얼마나 다른지를 나타냅니다. 이벤트 표에 표시된 값과 동일합니다. |
| 메시징에 의한 전환 | 메시징 없이 예상되는 수를 초과하여 메시지가 생성한 추가 이벤트의 추정 수입니다. 백분율은 모든 처리 이벤트 중 이러한 추가 이벤트의 비율을 보여줍니다. (events per user in treatment − events per user in control) × treatment group size로 계산됩니다. |
| 유의성 | 차이가 통계적으로 신뢰할 수 있는지 여부: 유의미함, 유의미하지 않음 또는 데이터 부족. 신뢰도와 P-값을 기준으로 합니다. |
| 신뢰도 | 상승도가 우연이 아닌 실제 차이를 반영한다고 Pushwoosh가 확신하는 정도를 백분율로 나타냅니다. 높을수록 증거가 더 강력합니다. |
| P-값 | 메시징에 실제 효과가 없는 경우 이 차이가 우연히 나타날 가능성입니다. 낮을수록 증거가 더 강력합니다. |
| Z-점수 | 두 그룹의 성과가 얼마나 떨어져 있는지를 보여줍니다. 0에 가까우면 차이가 무작위일 수 있습니다. 0에서 멀어질수록 한 그룹이 더 낫다고 더 확신할 수 있습니다. |
| 그룹 분석 | 처리 그룹과 컨트롤 그룹을 나란히 비교합니다: 추정 사용자(도달 가능한 사용자를 대상으로 측정하는 주기에서는 도달 가능한 사용자), 총 이벤트 수, 사용자당 이벤트 수, 전환율 (순). |
결과 해석 방법
Anchor link to- 유의미함, 양수 상승도: 메시징이 이 이벤트를 이끌어내고 있습니다. 계속 발송하세요.
- 유의미함, 음수 상승도: 이 이벤트에서 컨트롤 그룹이 처리 그룹보다 더 잘 전환됩니다. 메시징이 역효과를 낸다고 결론 내리기 전에, 이 이벤트가 실제로 메시징이 이끌어내려는 이벤트인지 확인하세요.
- 유의미하지 않음: 효과가 없다는 뜻이 아니라 차이가 아직 신뢰할 수 없다는 뜻입니다. 판단하기 전에 이벤트에 전환이 더 쌓이도록 기다리세요.
- 데이터 부족: 이 이벤트에 대해 어느 한 그룹의 전환이 10회 미만이거나 비전환이 10회 미만입니다. 발생량이 더 많은 이벤트를 비교하거나, 이벤트가 더 많이 발생할 때까지 기다리세요.
추가로 유의할 두 가지 사항:
- 하나의 측정 기간 내에서 비교하세요. 재구성, 크기 조정, 범위 재지정, 모드 변경, 그룹 비활성화 후 재활성화, 자동 갱신 전환, 실험 종료 또는 도달 가능한 사용자로 새 주기 시작은 측정 기간을 다시 시작합니다. 이러한 변경 전후의 결과는 비교할 수 없으며, 모든 사용자를 대상으로 측정한 주기와 도달 가능한 사용자를 대상으로 측정한 주기도 비교할 수 없습니다.
- 캠페인이 이끌어내려는 이벤트를 선택하세요. 메시징과 직접적인 연관이 없는 이벤트가 아니라 구매나 가입과 같은 이벤트를 선택하세요.
비교에 포함되는 사용자
Anchor link to페이지는 한 번에 하나의 주기를 분석합니다. 각 주기는 잠재고객의 모든 사용자를 집계하거나 도달 가능한 사용자만 집계합니다. 그룹 페이지의 측정 대상에 어느 쪽인지 표시됩니다:
| 레이블 | 주기에서 집계하는 사용자 |
|---|---|
| 도달 가능한 사용자 · N (X%) | 주기가 시작될 때 캠페인이 도달할 수 있었던 사용자만 집계합니다. N은 두 그룹에서 측정된 사용자 수이고, X%는 전체 잠재고객 중 이들의 비율입니다. |
| 모든 사용자 | 캠페인이 도달할 수 없는 사용자를 포함해 잠재고객의 모든 사용자를 집계합니다. 기존 그룹의 이전 주기는 이 레이블을 표시하며 수치를 그대로 유지합니다. 영구 그룹의 진행 중인 주기도 새 주기를 시작할 때까지 이 레이블을 표시합니다. |
새 그룹의 첫 번째 주기와 이벤트 비교하기에 나열된 변경 중 하나 이후에 시작되는 모든 주기는 도달 가능한 사용자를 대상으로 측정됩니다.
기간 선택기의 이전에 있는 각 주기에는 어떤 사용자를 대상으로 측정되었는지 표시됩니다.
도달 가능한 사용자만 집계하면 메시징의 효과를 더 정확하게 파악할 수 있습니다:
- 캠페인이 도달할 수 없는 사용자는 메시지에 반응할 수 없으며, 이들을 집계하면 메시징의 효과가 실제보다 낮아 보입니다. 도달 가능한 사용자를 대상으로 측정하는 주기는 이들을 제외합니다.
- 두 그룹이 같은 방식으로 집계되므로 비교가 공정하게 유지됩니다. 컨트롤 그룹 사용자는 마케팅 메시지를 받지 않더라도 캠페인이 도달할 수 있다면 집계에 포함됩니다.
- 모든 사용자를 대상으로 측정한 주기보다 전환율이 높게 나타납니다. 그러한 주기에는 캠페인이 도달할 수 없는 사용자도 포함되기 때문입니다.
사용자가 도달 가능한 조건
Anchor link to사용자는 앱에서 사용하는 채널 중 하나 이상에서 메시지를 받을 수 있으면 도달 가능합니다. 푸시의 경우 디바이스 하나로 충분합니다. 채널별 조건:
| 채널 | 도달 가능한 조건 |
|---|---|
| 푸시 | 디바이스에 푸시 토큰이 있고 알림이 켜져 있습니다. 웹 푸시는 푸시 토큰만 있으면 됩니다. |
| 이메일 | 사용자에게 구독 취소되지 않았고 반송되지 않은 이메일 주소가 있습니다. |
| SMS | 사용자에게 SMS용 전화번호가 있고 마케팅 SMS 수신을 거부하지 않았습니다. 앱에서 SMS 옵트인 동의를 요구하는 경우 사용자가 동의해야 합니다. |
| 사용자에게 WhatsApp 번호가 있습니다. | |
| 인앱 | 사용자가 주기 시작 전 30일 이내에 앱을 열었습니다. |
앱에서 실제로 사용하는 채널만 집계됩니다:
- 채널은 주기 시작 전 30일 동안 앱이 해당 채널로 메시지를 보낸 경우에만 집계됩니다.
- Viber나 App Inbox 같은 다른 채널로는 사용자가 도달 가능해지지 않습니다.
예를 들어 앱이 푸시 알림만 보내는 경우, 이메일 주소는 있지만 푸시 토큰이 없는 사용자는 도달 가능하지 않습니다.
도달 가능한 사용자를 대상으로 측정하는 주기에서는 도달 가능 여부와 그룹의 잠재고객이 주기 시작 시점에 확정되며 주기가 끝날 때까지 바뀌지 않습니다. 주기 중에 앱을 삭제하거나, 알림을 끄거나, 다른 태그 값을 갖게 된 사용자도 집계에 남습니다.
모든 사용자를 대상으로 측정하는 주기는 다르게 작동합니다: 현재 그룹의 국가 및 태그 값과 일치하는 사용자를 집계하므로, 태그 값이 변경된 사용자는 집계에서 제외됩니다.
도달 가능 여부는 컨트롤 그룹의 구성원을 바꾸지 않습니다. 도달 가능한 채널이 없는 사용자도 여전히 마케팅 메시지에서 제외됩니다.
- 페이지 상단의 그룹 크기는 컨트롤 그룹의 모든 구성원을 집계합니다.
- 영향 보고서는 도달 가능한 사용자만 집계하므로, 컨트롤 그룹의 도달 가능한 사용자가 그룹 크기보다 작을 수 있습니다.
도달 가능한 사용자로 새 주기 시작하기
Anchor link to영구 그룹은 주기가 스스로 끝나지 않으므로, 진행 중인 주기는 새 주기를 시작할 때까지 모든 사용자를 대상으로 측정됩니다. 이 경우 페이지의 측정 대상 위에 더 정확한 방법을 사용할 수 있습니다가 표시됩니다.
도달 가능한 사용자를 대상으로 측정하는 새 주기를 시작하려면:
-
도달 가능한 사용자로 다시 계산을 클릭합니다.
-
확인 대화 상자에서 새 주기 시작을 클릭합니다.
새 주기를 시작하면 다음이 적용됩니다:
- 현재 주기는 수치가 바뀌지 않은 채 종료되고 이전에 남습니다.
- 도달 가능한 사용자를 대상으로 측정하는 새 주기가 지금 시작됩니다.
- 그룹의 구성원은 바뀌지 않습니다: 컨트롤 그룹 사용자는 컨트롤 그룹에 그대로 남으며 계속 마케팅 메시지를 받지 않습니다.
진행 중인 주기에 대해서는 이 작업을 취소할 수 없습니다. 새 주기의 첫 수치는 하루 이내에 표시됩니다.
자동 갱신 그룹과 실험 그룹에는 이 옵션이 표시되지 않습니다. 자동 갱신 그룹의 다음 주기는 자동으로 도달 가능한 사용자를 대상으로 측정됩니다. 실험은 종료되면 꺼지며, 다시 활성화할 때 시작되는 주기는 도달 가능한 사용자를 대상으로 측정됩니다.