Отчёт о приросте (Uplift)

Отчёт о приросте (uplift) показывает, чего кампания или Journey добились сами по себе. Он сравнивает пользователей, которые их получили, с holdout — группой, которую вы намеренно откладываете, чтобы она не получила сообщение, — и показывает, насколько чаще первая группа достигала цели.

Кампания попадает в отчёт, только если вы отправили её с holdout — долей получателей, которую вы откладываете. Ваши разработчики задают её параметром holdout_percentage, от 1 до 20, в Messaging API. Journey попадает в отчёт один раз для каждой точки Holdout Split, которую он содержит.

Как получить отчёт

Journey: откройте точку Holdout Split в Journey. Она показывает Goal uplift vs holdout в Control Panel.
Кампания: отчёт можно получить только в виде CSV-файла. Экспорт выполняется через API, поэтому попросите разработчиков запустить экспорт. Сообщите им даты, не более 90 дней, и, если нужна только одна, кампанию или Journey. Без этого файл охватит все кампании и Journey приложения. Что содержится в файле

У контрольных групп есть собственный отчёт о влиянии (Impact report) в разделе Settings. Он измеряет контрольные группы приложения, а не отдельную кампанию или Journey.

Что считается основной и контрольной группой

Отчёт сравнивает две группы: основную (treatment) — пользователей, которые получили сообщение, и контрольную (control) — holdout, пользователей, которые его не получили.

	Основная группа	Контрольная группа
Кампания	Все получатели, которым была отправлена кампания.	Все получатели, которых holdout исключил из получения кампании, как в контрольных группах приложения.
Journey	Все пользователи, которые прошли через точку Holdout Split на ветку In journey.	Все пользователи, направленные на ветку Holdout этой точки.

Пользователи и получатели без User ID не входят ни в одну из групп: без него Pushwoosh не может определить, к какой группе они относятся, и сопоставить их с конверсией.

Цель и окно атрибуции

Кампания: цель и окно атрибуции (сколько времени после отправки конверсия ещё засчитывается) берутся из Целей конверсии приложения. Если их настроено несколько, отчёт использует самое короткое окно атрибуции среди них, чтобы отправке никогда не приписывалась отдалённая и не связанная с ней конверсия.

Journey: цель — это собственные точки Goal в Journey, а окно — настройка Период конверсии в Journey (7 дней, если в Journey она не задана). Окно начинается, когда пользователь проходит точку Holdout Split, потому что пользователи holdout никогда не получают отправку, от которой его можно было бы отсчитать.

В обоих случаях события взаимодействия с сообщениями (открытия, клики и подобные) исключаются из цели. Группа holdout никогда не получает сообщения, на которое можно отреагировать, поэтому учёт взаимодействий показал бы лишь то, что сообщение было отправлено, а не чего оно добилось. Аналитика контрольных групп исключает их по той же причине.

Метрики в отчёте

Метрика	Что означает
Uplift %	Процентная разница между коэффициентами конверсии основной и контрольной группы относительно коэффициента контрольной группы. Та же формула, что и у прироста (Uplift) контрольных групп приложения.
Incremental events	Оценка того, на сколько больше событий произвела основная группа, чем произвела бы при показателе контрольной группы на одного пользователя, в пересчёте на всех пользователей основной группы. Та же формула, что и у конверсий, обусловленных сообщениями.
% of treatment	Доля Incremental events среди всех событий, которые сгенерировала основная группа.
Z-score, P-value, Confidence %	Confidence % показывает, насколько отчёт уверен, что разница между группами не случайна: чем выше значение, тем больше можно доверять результату. Z-score и P-value — статистики, на которых он основан, из того же теста, который используют контрольные группы приложения.
Significance	Significant, Not significant или Not enough data. Significant означает, что Confidence % выше 95%. Это работает в обе стороны: значимый отрицательный Uplift % означает, что сообщение снизило коэффициент конверсии. Значение «недостаточно данных» выводится, когда в любой из групп меньше 10 конверсий или меньше 10 неконверсий.
Treatment revenue / Control revenue	Выручка, которую принесла каждая группа по целевому событию отчёта, отдельно по каждой валюте.
Incremental revenue	Денежная версия Incremental events: разница в выручке на одного пользователя между основной и контрольной группой в пересчёте на всех пользователей основной группы, по каждой валюте.
Revenue tracked	Был ли источник выручки для этого события действительно настроен, а не угадан. См. Выручка в отчёте.

Например, Journey отправляет приветственное сообщение 90 000 пользователей и откладывает 10 000. В группе In journey цели достигают 4 500 пользователей (5%). В группе Holdout — 400 (4%). Отчёт показывает:

Метрика	Значение
Uplift %	25%, потому что 5% на четверть больше, чем 4%
Significance	Significant, потому что при таких больших группах разница вряд ли случайна

Что содержится в экспортированном файле

Каждая строка файла — это одна кампания или одна точка Holdout Split в Journey для одного целевого события. Строка содержит:

кампанию или Journey и целевое событие;
количество пользователей и конверсий в каждой группе;
метрики из таблицы выше;
выручку по каждой валюте.

Для каждой кампании, точки Holdout Split и целевого события файл содержит последний ежедневный расчёт в пределах выбранных дат. См. Насколько далеко в прошлое может заглядывать отчёт.

Для Journey из примера выше основные столбцы выглядят так:

Столбец	Пример	Что означает
`owner_type`	`TYPE_JOURNEY`	Строка относится к Journey, а не к кампании.
`event_name`	`purchase`	Целевое событие.
`treatment_users`	90000	Пользователи в группе In journey.
`control_users`	10000	Пользователи в группе Holdout.
`treatment_conversions`	4500	Пользователи в группе In journey, достигшие цели.
`control_conversions`	400	Пользователи в группе Holdout, достигшие цели.
`uplift_pct`	25.00	Uplift %.
`significance`	`TYPE_SIGNIFICANT`	Significant.

Выручка в отчёте

Выручка основной группы, контрольной группы и инкрементальная выручка считаются по тому же целевому событию, для тех же пользователей и в том же окне атрибуции, что и показатели конверсии в отчёте.

Выручка учитывается по каждой валюте и никогда не конвертируется

Выручка не конвертируется между валютами, потому что Pushwoosh хранит только сегодняшние обменные курсы, а конвертация более старого окна по сегодняшнему курсу была бы догадкой. Treatment revenue, Control revenue и Incremental revenue содержат по одной сумме на каждую валюту вместо одного общего итога. Выручка от события, в котором не указана валюта, выводится под unknown.

Revenue tracked показывает, был ли настроен источник

Revenue tracked показывает, была ли настроена выручка для целевого события, поэтому приложение, в котором она никогда не настраивалась, отображается как неизмеренное, а не как имеющее нулевую выручку.

Pushwoosh считывает выручку события из трёх мест в таком порядке:

Собственные поля value и currency встроенного события PW_Conversion.
Настроенное вами сопоставление выручки для этого события.
Устаревшие атрибуты __amount и __currency события, если не подходит ни один из вариантов выше.

Revenue tracked включается только для первых двух источников. В третьем случае отчёт всё равно показывает сумму, но оставляет флаг выключенным, потому что выручку для этого события никто не настраивал.

Когда обновляется отчёт

Отчёт не работает в реальном времени. Он пересчитывается раз в день, в 01:30 UTC, поэтому кампания, отправленная сегодня, или точка Journey, пройденная сегодня, появится в отчёте завтра.

Пересчитываются только запущенные Journey, в которых есть хотя бы одна точка Goal. Когда Journey останавливается, точка Holdout Split продолжает показывать последние значения.

Насколько далеко в прошлое может заглядывать отчёт

Каждый ежедневный расчёт учитывает отправки кампаний примерно за последние 45 дней и прохождения Holdout Split за последние 180 дней. Более ранние отправки и прохождения выпадают из следующего расчёта, поэтому кампания перестаёт пересчитываться примерно через 45 дней после отправки.

Pushwoosh хранит каждый ежедневный расчёт 90 дней. Точка Holdout Split показывает последний из них. Экспорт показывает последний расчёт в пределах указанных вами дат, поэтому экспорт за даты двухмесячной давности показывает значения такими, какими они были тогда, для отправок и прохождений до этого момента.