Контрольные группы
Контрольная группа исключает фиксированную долю ваших пользователей из маркетинговых сообщений в каналах Push, Email, In-App, SMS и WhatsApp. Pushwoosh сравнивает этих пользователей со всеми остальными в вашем приложении, кто продолжает получать кампании, чтобы вы могли измерить, приносят ли ваши сообщения результаты.
Пользователи контрольной группы по-прежнему получают транзакционные сообщения в этих каналах, если вы соответствующим образом установите тип сообщения.
Как работает членство в контрольной группе
Anchor link toPushwoosh не хранит список тех, кто находится в контрольной группе. Вместо этого при каждой проверке он объединяет ваше приложение, текущий номер версии группы и User ID, пропускает их через хэш-формулу для получения числа и проверяет, попадает ли это число в установленный вами процент (например, 5%). Если да, пользователь находится в контрольной группе. Если нет — не находится. Поскольку это формула, а не сохраненный список, включение группы сразу же применяется ко всей вашей существующей базе пользователей, а не только к тем, кто зарегистрируется позже.
Результат для каждого пользователя остается неизменным с течением времени: однажды назначенный, пользователь остается в контрольной группе или вне ее, пока вы не перемешаете группу, не измените ее размер или не изменится User ID пользователя. Поэтому, если вы отключите группу и снова включите ее позже, не перемешивая, вы получите точно такую же группу, как и раньше, поскольку сама формула не изменилась.
Как контрольная группа влияет на доставку сообщений
Anchor link toЧленство в контрольной группе блокирует или разрешает сообщения в зависимости от типа сообщения, который вы устанавливаете для каждой отправки.
-
Маркетинговое сообщение: блокируется для пользователей контрольной группы в каналах Push, Email, In-App, SMS и WhatsApp.
-
Транзакционное сообщение: по-прежнему доставляется в этих каналах. Выберите Транзакционное сообщение при создании Customer Journey или отправке разового сообщения.
Выбирайте Маркетинговое сообщение или Транзакционное сообщение для каждой отправки в этих каналах. См. где установить тип сообщения.
Узнайте больше о маркетинговых и транзакционных сообщениях.
Создание контрольной группы
Anchor link toСоздайте контрольную группу, чтобы начать исключать долю ваших пользователей из маркетинговых сообщений. У приложения может быть только одна. Кнопка Новая группа перестает отображаться, как только вы ее создадите.
- Перейдите в Настройки > Контрольные группы.
- Нажмите Новая группа.

- Установите Размер контрольной группы: доля пользователей, исключаемых из маркетинговых сообщений, от 1% до 20%.

- Нажмите Создать. Группа немедленно начнет исключать своих участников из маркетинговых сообщений.
Управление контрольной группой
Anchor link toОткройте Настройки > Контрольные группы и нажмите на строку группы, чтобы перейти на ее страницу, где применяются описанные ниже разделы.
Редактирование размера контрольной группы
Anchor link toВы можете в любое время изменить размер контрольной группы на ее странице.
- Нажмите Настройки контрольной группы в правом верхнем углу. Кнопка также показывает текущий процент группы, например Настройки контрольной группы: 10%.
- Выберите новый процент:
- 3% (Максимальный охват): наименьшая группа исключения для чувствительных или высокоценных аудиторий.
- 5% (Рекомендуется для большинства приложений): оптимальное сочетание уверенности в измерениях и охвата пользователей.
- 10% (Высокая уверенность): большая контрольная группа для более четкого и надежного подтверждения ROI.
- Пользовательский (1%–20%): установите пользовательский размер контрольной группы для гибкого измерения.
- Нажмите Применить, чтобы подтвердить изменения.

Пересчет размера группы
Anchor link toРазмер контрольной группы показывает сохраненное число, которое Pushwoosh обновляет примерно раз в день. Сразу после изменения размера группы или когда в ваше приложение приходит много новых пользователей, это число может быть устаревшим.
Чтобы обновить его немедленно, нажмите Пересчитать рядом с размером группы.
Перемешивание контрольной группы
Anchor link toПеремешать контрольную группу выбирает новый случайный набор пользователей, сохраняя тот же процент. Все, кто в настоящее время находится в группе, покидают ее, и их место занимает другой набор пользователей. Используйте эту функцию, когда одни и те же люди долгое время не получали ваши маркетинговые сообщения.
- Нажмите меню с тремя точками в правом верхнем углу.
- Выберите Перемешать контрольную группу.

- Подтвердите действие в появившемся диалоговом окне.
Экспорт пользователей контрольной группы
Anchor link toPushwoosh не помечает тегами пользователей контрольной группы, поэтому экспорт с этой страницы — единственный способ получить список текущих участников.
- Нажмите меню с тремя точками в правом верхнем углу.
- Выберите Экспортировать пользователей.
- Когда экспорт завершится, нажмите Скачать CSV, чтобы сохранить файл.

Отключение контрольной группы
Anchor link to- Нажмите меню с тремя точками в правом верхнем углу.
- Выберите Отключить контрольную группу.

Отключение немедленно прекращает исключение пользователей этой группой, и они снова начинают получать маркетинговые сообщения. Если вы снова включите ее позже, не перемешивая, Pushwoosh воспроизведет точно такую же группу, поскольку членство вычисляется по той же формуле. Чтобы получить другую группу после повторного включения, перемешайте ее.
Удаление контрольной группы
Anchor link toУдаление контрольной группы навсегда удаляет ее и ее конфигурацию.
- Нажмите меню с тремя точками в правом верхнем углу.
- Выберите Удалить группу.
- Подтвердите действие в появившемся диалоговом окне. Это действие необратимо.
Анализ влияния контрольной группы
Anchor link toСтраница каждой контрольной группы показывает, как ваши сообщения работают по сравнению с этой группой. На странице есть два блока: таблица сравнения событий вверху и Отчет о влиянии под ней. Оба сравнивают две группы пользователей по любому выбранному вами событию:
- Экспериментальная группа: все пользователи, которые не входят в контрольную группу. Они продолжают получать ваши маркетинговые сообщения (Push, Email, In-App, SMS, WhatsApp) как обычно.
- Контрольная группа: группа, которую вы настроили выше. Эти пользователи исключены из маркетинговых сообщений, поэтому любая разница в их поведении не зависит от ваших кампаний.
Сравнение событий
Anchor link to- Выберите временной интервал: Последние 3 дня, Последние 7 дней или Последние 30 дней.
- Просмотрите таблицу сравнения событий. Она автоматически показывает события, только если вы установили Цели конверсии в Customer Journey. В противном случае таблица изначально пуста.
- Нажмите Добавить события для сравнения, чтобы добавить любое событие, которое вы хотите измерить. Всего можно добавить до 10 событий.

Таблица показывает следующие метрики для каждого события:
- Конв. эксп. группы: коэффициент конверсии в экспериментальной группе. Это доля уникальных пользователей, которые получили ваши маркетинговые сообщения (Push, Email, In-App, SMS, WhatsApp) и вызвали событие хотя бы один раз.
- Конв. контр. группы: коэффициент конверсии в контрольной группе. Это доля уникальных пользователей, которые были исключены из маркетинговых сообщений и все равно вызвали событие хотя бы один раз, без влияния сообщений.
- Прирост: процентная разница между коэффициентами конверсии экспериментальной и контрольной групп относительно коэффициента контрольной группы. Положительное значение означает, что экспериментальная группа конвертировалась лучше. Рассчитывается как
(конв. эксп. группы − конв. контр. группы) / конв. контр. группы × 100%. - Значимость: является ли разница статистически достоверной:
- Значимо: прирост вряд ли является случайным.
- Незначимо: разница пока не является статистически достоверной.
- Недостаточно данных: в одной из групп менее 10 конверсий или менее 10 не-конверсий для этого события, поэтому значимость не может быть рассчитана.
Просмотр Отчета о влиянии
Anchor link toИспользуйте выпадающий список Просмотреть событие, чтобы выбрать событие из таблицы. Отчет о влиянии ниже показывает более подробную разбивку для этого события.

- Прирост (изменение по сравнению с контрольной группой): насколько коэффициент конверсии экспериментальной группы отличается от коэффициента конверсии контрольной группы. Это то же значение, что и в таблице событий.
- Конверсии, обусловленные сообщениями: оценочное количество дополнительных событий, сгенерированных вашими сообщениями сверх числа, ожидаемого без сообщений. Рассчитывается как
(событий на пользователя в эксп. группе − событий на пользователя в контр. группе) × размер эксп. группы. Процент показывает эти дополнительные события как долю от всех событий в экспериментальной группе. - Значимость: указывает, является ли измеренная разница статистически достоверной. Отчет показывает Значимо, Незначимо или Недостаточно данных, основываясь на:
- Достоверность: насколько Pushwoosh уверен, что прирост отражает реальную разницу между экспериментальной и контрольной группами, а не случайность, показанная в процентах. Чем выше достоверность, тем убедительнее доказательства.
- P-значение: показывает, какова вероятность наблюдать эту разницу случайно, если сообщения не имеют реального эффекта. Более низкое P-значение предоставляет более убедительные доказательства того, что разница не случайна.
- Z-показатель: показывает, насколько разошлись результаты ваших двух групп. Показатель, близкий к 0, означает, что разница может быть случайной. Чем дальше от 0, тем увереннее вы можете быть в том, что одна группа действительно лучше другой.
- Разбивка по группам: сравнивает Экспериментальную и Контрольную группы по Оценочному числу пользователей, Общему количеству событий, Событий на пользователя и Коэф. конверсии (уник.).
Часто задаваемые вопросы
Anchor link toМожет ли у приложения быть более одной контрольной группы?
Anchor link toНет. У приложения может быть только одна контрольная группа, которая автоматически применяется к каждой маркетинговой отправке. Невозможно направить конкретное сообщение на другую группу.
Могу ли я удалить контрольную группу?
Anchor link toДа, из меню с тремя точками на странице группы. Это действие необратимо и оставляет приложение без резервного варианта: маркетинговые сообщения будут отправляться всем, пока вы не создадите новую контрольную группу. Чтобы приостановить группу, не теряя ее, отключите ее вместо удаления.
Какие пользователи находятся в контрольной группе?
Anchor link toPushwoosh не хранит список участников контрольной группы. Он использует формулу — вычисление, которое всегда дает один и тот же ответ для одних и тех же входных данных, основываясь на вашем приложении, User ID пользователя и текущих настройках группы. Это применяется ко всей вашей существующей базе пользователей в момент включения группы, а не только к новым регистрациям, и результат для конкретного пользователя остается неизменным каждый раз, пока вы не перемешаете группу или не измените ее размер.
Получают ли пользователи контрольной группы транзакционные сообщения?
Anchor link toДа. Транзакционные сообщения (например, сброс пароля, подтверждение заказа) доставляются всем пользователям, включая контрольную группу. Для пользователей контрольной группы блокируются только маркетинговые сообщения.
Где я могу установить тип сообщения: маркетинговое или транзакционное?
Anchor link toВы выбираете его везде, где отправляете сообщения. Для каждого канала см. Где установить тип сообщения.
Что происходит с кампаниями, созданными до того, как я включил контрольную группу?
Anchor link toКампании, созданные до включения контрольной группы, работают точно так же, как и новые: Pushwoosh проверяет тип сообщения кампании во время отправки, а не во время создания.
- Маркетинговое сообщение (или отсутствие типа сообщения, что может произойти с кампаниями, созданными через API): контрольная группа немедленно исключает этих пользователей.
- Транзакционное сообщение: пользователи контрольной группы продолжают получать его, как и раньше.
Отредактируйте кампанию и установите тип сообщения Транзакционное сообщение, если хотите, чтобы оно доходило до всех, включая контрольную группу.
Могу ли я изменить размер контрольной группы после ее включения?
Anchor link toДа. Откройте страницу группы из Настройки > Контрольные группы, нажмите Настройки контрольной группы, выберите новый процент (от 1% до 20%) и нажмите Применить. Pushwoosh пересчитывает членство для всей вашей базы пользователей с учетом нового процента: увеличение группы добавляет пользователей, не удаляя никого из уже находящихся в ней, а уменьшение освобождает некоторых существующих участников. Это может повлиять на сравнение с предыдущими кампаниями, поэтому изменяйте размер только при необходимости.
Что произойдет, если я отключу контрольную группу?
Anchor link toPushwoosh перестает исключать пользователей, и все снова начинают получать маркетинговые сообщения. Если вы снова включите контрольную группу позже, не перемешивая ее, вы получите точно такую же группу, потому что членство вычисляется по той же формуле. Чтобы получить другую группу после повторного включения, перемешайте ее.
Что делает «Перемешать»?
Anchor link toПеремешать контрольную группу создает совершенно новую случайную выборку с тем же процентным соотношением, заменяя текущую контрольную группу другим набором пользователей. Эта опция доступна в меню с тремя точками на странице группы. Используйте ее, когда одни и те же пользователи долгое время были исключены из маркетинга, и вы хотите получить свежий охват для контрольной группы. Перемешивание также перезапускает окно измерения для аналитики контрольной группы.
Как мне увидеть, какие пользователи находятся в контрольной группе?
Anchor link toPushwoosh не помечает тегами пользователей контрольной группы. Откройте страницу группы из Настройки > Контрольные группы, нажмите меню с тремя точками и выберите Экспортировать пользователей, чтобы загрузить CSV-файл с текущими участниками.
Почему пользователь в контрольной группе все еще может получать маркетинговые сообщения?
Anchor link toPushwoosh вычисляет членство в контрольной группе по User ID. Если у одного и того же человека есть несколько способов связи (например, email, push-устройство), которые не связаны под одним User ID, Pushwoosh рассматривает их как разных пользователей и вычисляет членство для каждого отдельно: один может попасть в контрольную группу, а другой — нет. Способ связи без User ID никогда не исключается, так как Pushwoosh нужен User ID для вычисления членства. Чтобы избежать этого, зарегистрируйте все способы связи под одним и тем же User ID.
Какой процент для контрольной группы мне следует выбрать?
Anchor link toПравильный процент зависит от ваших целей, размера приложения и того, как вы планируете использовать результаты. Меньший процент (например, 3%) оставляет больше пользователей в аудитории и может подойти командам, которые отдают приоритет охвату. Больший процент (например, 10%) может дать большую статистическую уверенность при сравнении групп. Вы можете установить Пользовательское значение от 1% до 20% в соответствии с вашими потребностями.
Почему моя контрольная группа не соответствует точно установленному мной проценту?
Anchor link toРазмер группы, отображаемый на странице, — это фактическое количество пользователей, которое хэш-формула назначила группе, а не процент, умноженный на количество ваших пользователей. В небольших приложениях это число может заметно отличаться от процента, так как формула распределяет пользователей индивидуально, а не отбирает точную долю. Количество кэшируется и обновляется примерно раз в день; вы можете запустить немедленный пересчет со страницы, который показывает предыдущее количество с индикатором загрузки во время выполнения.
Что означает Недостаточно данных в таблице событий?
Anchor link toНедостаточно данных означает, что в экспериментальной или контрольной группе было менее 10 конверсий или менее 10 не-конверсий для этого события в течение выбранного периода времени. Pushwoosh не может определить, является ли разница между группами статистически значимой, пока не будет доступно больше данных.
Как рассчитывается Прирост?
Anchor link toПрирост показывает процентную разницу между коэффициентами конверсии экспериментальной и контрольной групп относительно коэффициента контрольной группы. Положительное значение означает, что экспериментальная группа конвертировалась лучше. Pushwoosh рассчитывает его как (конв. эксп. группы − конв. контр. группы) / конв. контр. группы × 100%.
Что означает Конверсии, обусловленные сообщениями?
Anchor link toКонверсии, обусловленные сообщениями — это оценочное количество дополнительных событий, сгенерированных вашими сообщениями сверх числа, ожидаемого без сообщений. Pushwoosh рассчитывает его как (событий на пользователя в эксп. группе − событий на пользователя в контр. группе) × размер эксп. группы. Процент показывает эти дополнительные события как долю от всех событий в экспериментальной группе.
Какие события я могу сравнивать и сколько?
Anchor link toВы можете сравнивать события, настроенные как Цели конверсии в Customer Journey. Вы можете добавить до 10 событий в таблицу сравнения. События взаимодействия с сообщениями (например, открытия, клики, отправки, возвраты) исключаются, даже если они установлены как цель, поскольку пользователи контрольной группы никогда не получают маркетинговые сообщения, на которые могли бы отреагировать.