Анализ влияния контрольной группы

На странице каждой контрольной группы показано, как ваши сообщения работают по сравнению с этой группой. Чтобы открыть ее, перейдите в Настройки > Контрольные группы и щелкните по строке группы.

Проверка режима и дат группы

Под названием группы на странице отображаются Размер группы, Режим, номер текущего Цикла и дата, которая зависит от режима:

Режим	Дата под названием	Подпись селектора диапазона дат
Постоянный	Работает с: дата запуска группы	Без подписи
Автообновление	Диапазон текущего цикла	Текущий цикл
Эксперимент с датой окончания	Диапазон текущего цикла	Текущий эксперимент

Чтобы посмотреть результаты более раннего цикла, откройте селектор диапазона дат и выберите цикл в разделе Предыдущие. Завершенные циклы перечислены там по номерам, как Цикл или Эксперимент. У постоянной группы тоже могут быть более ранние циклы, потому что изменение размера, области действия или режима запускает новый цикл.

Что сравнивается на странице

Страница состоит из двух блоков: таблицы сравнения событий вверху и отчета о влиянии (Impact report) под ней. Оба сравнивают две группы пользователей по любому выбранному вами событию:

• Основная группа (Treatment group): пользователи из аудитории группы, которые не входят в контрольную группу. Они продолжают получать ваши маркетинговые сообщения (Push, Email, In-App, SMS, WhatsApp) как обычно.
• Контрольная группа: группа, которую вы настроили выше. Эти пользователи исключены из маркетинговых сообщений, поэтому любое различие в их поведении не зависит от ваших кампаний.

Обе группы выбираются из аудитории группы, которая указана в поле Измеряется среди на странице группы: Все пользователи или пользователи, которые на текущий день соответствуют странам и значениям тега группы.

• Пользователь, у которого меняется значение тега, выпадает из подсчета.
• Данные текущего цикла обновляются раз в день. Когда цикл завершается, его итоговые результаты обычно появляются в разделе Предыдущие в течение 15 минут.
• Pushwoosh не фильтрует ни одну из групп до пользователей с действительным push-токеном, подтвержденным email или другим доступным каналом.

Основная и контрольная группы берутся из одного и того же набора пользователей без отдельной фильтрации между ними.

Результаты до 25–26 августа 2026 года

До 25–26 августа 2026 года две группы подсчитывались по-разному. Если ваш временной промежуток включает эти даты, Конв. в контрольной группе и Прирост (Uplift) могут показать скачкообразное изменение, которое не вызвано ничем в вашем приложении.

Сравнение событий

1. Выберите временной промежуток: Последние 3 дня, Последние 7 дней или Последние 30 дней. Чтобы сравнить более ранний цикл, выберите его в разделе Предыдущие.

   Окно измерения перезапускается, и более ранние данные больше не учитываются, когда:

   • вы изменяете размер группы или ее страны;
   • вы переформировываете группу;
   • вы меняете режим;
   • заканчивается цикл автообновления или эксперимент достигает даты окончания.

   Данные до этого момента больше не соответствуют текущим участникам или аудитории. Завершенные циклы перечислены в разделе Предыдущие селектора диапазона дат.

2. Просмотрите таблицу сравнения событий. Она показывает события автоматически, только если вы установили цели конверсии в Customer Journey. В противном случае таблица изначально пуста.

3. Нажмите Добавить события для сравнения, чтобы добавить любое событие, которое вы хотите измерить. Вы можете добавить до 10 событий в общей сложности.

   События взаимодействия с сообщениями сравнить нельзя

   Открытия, клики, отправки и возвраты push-уведомлений или email здесь недоступны, даже если вы установили одно из них в качестве цели конверсии. Пользователи контрольной группы никогда не получают маркетинговые сообщения, поэтому эти события показали бы только, что сообщение было отправлено, а не то, чего оно достигло.

Таблица показывает следующие метрики для каждого события:

Метрика	Что она показывает
Конв. в контрольной группе	Доля уникальных пользователей, исключенных из маркетинговых сообщений, которые все равно вызвали событие хотя бы один раз, без влияния сообщений.
Конв. в основной группе	Доля уникальных пользователей, которые получили ваши маркетинговые сообщения (Push, Email, In-App, SMS, WhatsApp) и вызвали событие хотя бы один раз.
Прирост (Uplift)	Процентная разница между коэффициентами конверсии основной и контрольной групп относительно коэффициента контрольной группы. Положительное значение означает, что основная группа конвертировалась лучше. Рассчитывается как (conv. treatment − conv. control) / conv. control × 100%.
Значимость	Является ли разница статистически надежной. Статусы приведены в следующей таблице.

Статус значимости	Что он означает
Значимо	Прирост вряд ли является случайным.
Незначимо	Разница пока не является статистически надежной.
Недостаточно данных	В любой из групп менее 10 конверсий или менее 10 не-конверсий для этого события, поэтому значимость не может быть рассчитана.

Просмотр отчета о влиянии (Impact report)

Используйте выпадающий список Просмотреть событие, чтобы выбрать событие из таблицы. Отчет о влиянии (Impact report) ниже показывает более подробную разбивку для этого события.

Метрика	Что она показывает
Прирост (Uplift) (изменение по сравнению с контрольной группой)	Насколько коэффициент конверсии основной группы отличается от коэффициента конверсии контрольной группы. Это то же значение, что и в таблице событий.
Конверсии, обусловленные сообщениями	Оценочное количество дополнительных событий, сгенерированных вашими сообщениями сверх ожидаемого количества без сообщений. Процент показывает их как долю всех событий основной группы. Рассчитывается как (events per user in treatment − events per user in control) × treatment group size.
Значимость	Является ли разница статистически надежной: Значимо, Незначимо или Недостаточно данных. Основана на Доверительном уровне и P-значении.
Доверительный уровень	Насколько Pushwoosh уверен, что прирост отражает реальную разницу, а не случайность, в процентах. Чем он выше, тем сильнее доказательства.
P-значение	Какова вероятность наблюдать эту разницу случайно, если сообщения не имеют реального эффекта. Чем оно ниже, тем сильнее доказательства.
Z-оценка	Насколько далеко друг от друга находятся результаты двух групп. Если оценка близка к 0, разница может быть случайной. Чем дальше от 0, тем увереннее можно считать, что одна группа действительно лучше.
Разбивка по группам	Основная и контрольная группы рядом: Оценочное количество пользователей, Общее количество событий, События на пользователя и Коэффициент конверсии (уникальные).

Как читать результаты

• Значимый положительный прирост: ваши сообщения стимулируют это событие. Продолжайте их отправлять.
• Значимый отрицательный прирост: контрольная группа конвертируется по этому событию лучше основной. Прежде чем делать вывод, что сообщения работают против вас, проверьте, действительно ли сообщения призваны стимулировать именно это событие.
• Незначимо: разница пока не надежна, но это не значит, что эффекта нет. Дайте событию накопить больше конверсий, прежде чем оценивать его.
• Недостаточно данных: в любой из групп менее 10 конверсий или менее 10 не-конверсий для этого события. Сравните событие с большим объемом или подождите, пока оно произойдет больше раз.

Еще две вещи, которые стоит учитывать:

• Сравнивайте в пределах одного окна измерения. Переформирование, изменение размера или области действия, смена режима, смена цикла автообновления или окончание эксперимента перезапускают окно. Результаты до и после одного из этих событий несопоставимы.
• Выбирайте события, которые призваны стимулировать ваши кампании, например покупку или регистрацию, а не события, на которые сообщения не влияют напрямую.