uplift 보고서
uplift 보고서는 캠페인 또는 journey가 그 자체로 달성한 성과를 보여줍니다. 메시지를 받은 사용자를 holdout(메시지를 받지 않도록 의도적으로 따로 떼어 둔 그룹)과 비교하고, 첫 번째 그룹이 목표에 얼마나 더 자주 도달했는지 보여줍니다.
캠페인은 holdout, 즉 따로 떼어 둔 수신자 일부와 함께 발송한 경우에만 보고서에 포함됩니다. 개발자가 Messaging API의 holdout_percentage 파라미터로 1에서 20 사이의 값을 설정합니다. journey는 포함된 Holdout Split 지점마다 한 번씩 보고서에 포함됩니다.
보고서를 받는 방법
Anchor link to- Journey: journey의 Holdout Split 지점을 엽니다. Control Panel에서 Goal uplift vs holdout이 표시됩니다.
- 캠페인: 보고서는 CSV 파일로만 받을 수 있습니다. 내보내기는 API를 통해 실행되므로 개발자에게 내보내기를 실행해 달라고 요청하세요. 최대 90일의 날짜 범위와, 하나만 필요한 경우 해당 캠페인 또는 journey를 알려주세요. 지정하지 않으면 파일에는 애플리케이션의 모든 캠페인과 journey가 포함됩니다. 파일에 포함된 내용
컨트롤 그룹에는 Settings에 자체 영향 보고서가 있습니다. 이 보고서는 단일 캠페인이나 journey가 아니라 애플리케이션의 컨트롤 그룹을 측정합니다.
처리 그룹과 컨트롤 그룹의 기준
Anchor link to보고서는 두 그룹을 비교합니다. 처리 그룹(treatment)은 메시지를 받은 사용자이고, 컨트롤 그룹(control)은 holdout, 즉 메시지를 받지 않은 사용자입니다.
| 처리 그룹 | 컨트롤 그룹 | |
|---|---|---|
| 캠페인 | 캠페인이 발송된 모든 수신자입니다. | 애플리케이션의 컨트롤 그룹과 마찬가지로, holdout으로 인해 캠페인을 받지 않은 모든 수신자입니다. |
| Journey | Holdout Split 지점을 지나 In journey 분기로 이동한 모든 사용자입니다. | 해당 지점의 Holdout 분기로 라우팅된 모든 사용자입니다. |
User ID가 없는 사용자와 수신자는 두 그룹 모두에서 제외됩니다. User ID가 없으면 Pushwoosh는 이들이 어느 그룹에 속하는지 알 수 없고 전환과 매칭할 수도 없기 때문입니다.
목표와 어트리뷰션 윈도우
Anchor link to캠페인: 목표와 어트리뷰션 윈도우(발송 후 얼마 동안 전환이 계산되는지)는 애플리케이션의 Conversion goal에서 가져옵니다. 여러 개가 구성된 경우 보고서는 그중 가장 짧은 어트리뷰션 윈도우를 사용하므로, 발송이 멀리 떨어진 관련 없는 전환의 공로를 인정받는 일은 없습니다.
Journey: 목표는 journey 자체의 Goal 지점이고, 윈도우는 journey의 전환 기간 설정입니다(journey에서 설정하지 않은 경우 7일). 윈도우는 각 사용자가 Holdout Split 지점을 통과할 때 시작됩니다. holdout 사용자는 윈도우를 시작할 발송을 받지 않기 때문입니다.
두 경우 모두 메시지 참여 이벤트(열기, 클릭 등)는 목표에서 제외됩니다. holdout 그룹은 반응할 메시지를 받지 않으므로, 참여를 계산하면 메시지가 발송되었다는 사실만 보여줄 뿐 메시지가 달성한 성과는 보여주지 못합니다. 컨트롤 그룹 분석도 같은 이유로 이를 제외합니다.
보고서의 지표
Anchor link to| 지표 | 의미 |
|---|---|
| Uplift % | 처리 그룹과 컨트롤 그룹 전환율 간의 백분율 차이로, 컨트롤 그룹 전환율을 기준으로 합니다. 애플리케이션 컨트롤 그룹의 Uplift와 같은 공식입니다. |
| Incremental events | 처리 그룹이 컨트롤 그룹의 사용자당 비율로 생성했을 이벤트보다 얼마나 더 많은 이벤트를 생성했는지에 대한 추정치로, 모든 처리 그룹 사용자에 대해 계산합니다. 메시징에 의한 전환과 같은 공식입니다. |
| % of treatment | 처리 그룹이 생성한 전체 이벤트 중 Incremental events가 차지하는 비율입니다. |
| Z-score, P-value, Confidence % | Confidence % 값은 그룹 간 차이가 우연이 아니라고 보고서가 얼마나 확신하는지를 보여줍니다. 값이 높을수록 결과를 더 신뢰할 수 있습니다. Z-score와 P-value는 그 근거가 되는 통계값으로, 애플리케이션의 컨트롤 그룹이 사용하는 것과 같은 검정에서 나옵니다. |
| Significance | Significant, Not significant 또는 Not enough data입니다. Significant는 Confidence % 값이 95%를 초과한다는 의미입니다. 이는 양방향으로 작동합니다. 유의미한 음수 Uplift % 값은 메시지가 전환율을 낮췄다는 의미입니다. 어느 한 그룹의 전환이 10건 미만이거나 비전환이 10건 미만이면 데이터 부족으로 표시됩니다. |
| Treatment revenue / Control revenue | 보고서의 목표 이벤트에서 각 그룹이 창출한 수익으로, 통화별로 따로 집계됩니다. |
| Incremental revenue | Incremental events의 금액 버전입니다. 처리 그룹과 컨트롤 그룹 간 사용자당 수익 차이를 모든 처리 그룹 사용자에 대해 통화별로 계산합니다. |
| Revenue tracked | 이 이벤트의 수익 소스가 추정이 아니라 실제로 구성되었는지 여부입니다. 보고서의 수익을 참조하세요. |
예를 들어, journey가 90,000명의 사용자에게 환영 메시지를 보내고 10,000명을 보류합니다. In journey 그룹에서는 4,500명의 사용자가 목표에 도달합니다(5%). Holdout 그룹에서는 400명이 도달합니다(4%). 보고서에는 다음과 같이 표시됩니다.
| 지표 | 값 |
|---|---|
| Uplift % | 25%. 5%는 4%보다 4분의 1만큼 많기 때문입니다 |
| Significance | Significant. 그룹이 이 정도로 크면 차이가 우연일 가능성이 낮기 때문입니다 |
내보낸 파일에 포함된 내용
Anchor link to파일의 각 행은 하나의 목표 이벤트에 대한 하나의 캠페인 또는 journey의 하나의 Holdout Split 지점입니다. 각 행에는 다음이 포함됩니다.
- 캠페인 또는 journey와 목표 이벤트
- 각 그룹의 사용자 수와 전환 수
- 위 표의 지표
- 통화별 수익
각 캠페인, Holdout Split 지점, 목표 이벤트에 대해 파일에는 선택한 날짜 범위 내의 최신 일일 계산 결과가 들어 있습니다. 보고서가 거슬러 올라갈 수 있는 기간을 참조하세요.
위 예시의 journey에서 주요 열은 다음과 같습니다.
| 열 | 예시 | 의미 |
|---|---|---|
owner_type | TYPE_JOURNEY | 이 행은 캠페인이 아니라 journey에 관한 것입니다. |
event_name | purchase | 목표 이벤트입니다. |
treatment_users | 90000 | In journey 그룹의 사용자입니다. |
control_users | 10000 | Holdout 그룹의 사용자입니다. |
treatment_conversions | 4500 | In journey 그룹에서 목표에 도달한 사용자입니다. |
control_conversions | 400 | Holdout 그룹에서 목표에 도달한 사용자입니다. |
uplift_pct | 25.00 | Uplift % 값입니다. |
significance | TYPE_SIGNIFICANT | Significant입니다. |
보고서의 수익
Anchor link to처리 그룹 수익, 컨트롤 그룹 수익, 증분 수익은 보고서의 전환 수치와 같은 목표 이벤트, 같은 사용자, 같은 어트리뷰션 윈도우를 기준으로 계산됩니다.
수익은 통화별로 집계되며 환산되지 않습니다
Anchor link toPushwoosh는 오늘의 환율만 보관하며, 이전 윈도우를 오늘의 환율로 환산하면 추측에 불과하므로 수익은 통화 간에 환산되지 않습니다. Treatment revenue, Control revenue, Incremental revenue에는 각각 하나의 합산 총액 대신 통화별 금액이 하나씩 들어 있습니다. 통화를 지정하지 않은 이벤트의 수익은 unknown 아래에 표시됩니다.
Revenue tracked는 소스가 구성되었는지 알려줍니다
Anchor link toRevenue tracked는 목표 이벤트에 수익이 설정되었는지 보여주므로, 수익을 설정한 적이 없는 애플리케이션은 수익 0이 아니라 측정되지 않음으로 표시됩니다.
Pushwoosh는 이벤트의 수익을 다음 순서에 따라 세 곳에서 읽습니다.
- 기본 제공
PW_Conversion이벤트 자체의value및currency필드 - 해당 이벤트에 대해 구성한 이벤트 수익 매핑
- 위 두 가지가 모두 해당하지 않는 경우, 이벤트의 레거시
__amount및__currency속성
Revenue tracked는 처음 두 소스에서만 켜집니다. 세 번째 소스의 경우 보고서에 금액은 표시되지만 플래그는 꺼진 상태로 유지됩니다. 해당 이벤트의 수익을 아무도 구성하지 않았기 때문입니다.
보고서 업데이트 시점
Anchor link to보고서는 실시간이 아닙니다. 매일 한 번 UTC 01:30에 다시 계산되므로, 오늘 발송된 캠페인이나 오늘 통과한 journey 지점은 내일 보고서에 나타납니다.
Goal 지점이 하나 이상 있는 실행 중인 journey만 다시 계산됩니다. journey가 중지되면 Holdout Split 지점은 마지막 수치를 계속 표시합니다.
보고서가 거슬러 올라갈 수 있는 기간
Anchor link to각 일일 계산은 약 최근 45일 동안의 캠페인 발송과 최근 180일 동안의 Holdout Split 통과를 집계합니다. 그보다 오래된 발송과 통과는 다음 계산에서 제외되므로, 캠페인은 발송 후 약 45일이 지나면 더 이상 다시 계산되지 않습니다.
Pushwoosh는 각 일일 계산 결과를 90일 동안 보관합니다. Holdout Split 지점에는 최신 결과가 표시됩니다. 내보내기는 지정한 날짜 범위 내의 최신 결과를 보여주므로, 두 달 전 날짜로 내보내면 그 이전의 발송과 통과에 대한 당시의 수치가 표시됩니다.