Глобальная контрольная группа

Глобальная контрольная группа позволяет определить фиксированный процент вашей пользовательской базы, который исключается из всех маркетинговых коммуникаций (пуши, email, In-App). Пользователи контрольной группы по-прежнему получают транзакционные сообщения.

Это помогает измерить эффективность ваших кампаний, сравнивая результаты пользователей, получивших сообщения, с теми, кто их не получал (контрольная группа).

Примечание

Контрольная группа настраивается на уровне приложения.

Какие пользователи включаются

В контрольную группу могут быть добавлены только новые пользователи, которые зарегистрировались после ее включения. Pushwoosh проверяет каждого нового пользователя один раз и случайным образом назначает некоторых из них в группу на основе установленного вами процента (от 1% до 15%).

Пользователи остаются в контрольной группе, если вы не измените ее размер или не отключите ее. Сохранение группы без изменений помогает поддерживать точность результатов кампаний.

Важно

Pushwoosh назначает пользователей на основе их User ID, а не устройства. Если способы связи пользователя, такие как мобильное устройство, адрес электронной почты или номер телефона, не связаны под одним и тем же User ID, Pushwoosh может рассматривать их как отдельных пользователей. В результате они могут по-прежнему получать маркетинговые сообщения, даже если одна из их точек контакта находится в контрольной группе.

Чтобы избежать этого, убедитесь, что вы регистрируете все способы связи с одним и тем же User ID.

Узнайте, как управлять User ID для омниканальных кампаний

Как контрольная группа влияет на доставку сообщений

Маркетинговые сообщения (пуши, email, In-App) автоматически блокируются для пользователей контрольной группы во всех типах кампаний.

Транзакционные сообщения (например, сброс пароля или подтверждение заказа) по-прежнему доставляются. Чтобы обеспечить это, выберите Транзакционное сообщение при создании кампании в Customer Journey или отправке разового сообщения.

Примечание

Вы должны выбирать Маркетинговое сообщение или Транзакционное сообщение для каждой отправки пуша, email и In-App. См. где установить тип сообщения.

Как обрабатываются существующие кампании

Кампании, созданные до включения Глобальной контрольной группы, не имеют установленного типа сообщения. Они рассматриваются как транзакционные и доставляются всем пользователям, включая контрольную группу. Если вы хотите, чтобы такие кампании исключали контрольную группу, отредактируйте каждую кампанию и установите тип сообщения Маркетинговое.

Узнайте больше о маркетинговых и транзакционных сообщениях.

Работа с пользователями контрольной группы

Когда вы включаете Глобальную контрольную группу, Pushwoosh создает системный тег:

• Имя тега: PW_ControlGroup
• Значения: true (пользователь в контрольной группе) или false (пользователь не в группе)

Вы можете использовать этот тег для фильтрации, сегментации или экспорта пользователей контрольной группы.

Включение Глобальной контрольной группы

Важно

Только администраторы могут создавать, редактировать или удалять Глобальную контрольную группу. Роли назначаются в Мой аккаунт → Пользователи и группы. Узнайте, как управлять ролями и разрешениями.

1. Перейдите в Настройки > Глобальная контрольная группа.
2. Нажмите Включить.

3. Выберите, какой процент пользователей будет исключен из маркетинговых сообщений для измерения влияния кампании.

• 3%: Максимальный охват Рекомендуется для небольших приложений или критически важных случаев, когда важно охватить больше пользователей, а точность измерений может быть немного снижена.
• 5%: Рекомендуется для большинства приложений Лучший вариант по умолчанию. Обеспечивает хороший баланс между уверенностью в измерениях и охватом пользователей.
• 10%: Более высокая уверенность Подходит для крупномасштабных кампаний или когда вам нужна высокая точность данных для подтверждения ROI.
• Пользовательский (1%–15%): Используйте, когда вам нужна гибкость для определения собственного процента в зависимости от размера приложения, типа кампании или бизнес-потребностей.

Нажмите Применить, чтобы сохранить ваш выбор.

Примечание

После включения контрольной группы при создании кампании вы увидите сообщение о том, что пользователи из контрольной группы исключены из этой кампании.

Управление контрольной группой

Редактирование контрольной группы

Вы можете в любое время изменить размер контрольной группы в Настройки > Глобальная контрольная группа.

1. Нажмите Изменить размер группы.
2. Выберите новый процент (от 1% до 15%).
3. Нажмите Применить, чтобы подтвердить изменения.

Важно

Изменение размера контрольной группы влияет только на пользователей, которые зарегистрируются после изменения. Пользователи, уже находящиеся в контрольной группе, остаются в ней. Пользователи, которые уже были в вашем приложении, но не в группе, не добавляются позже. Это может повлиять на сравнение результатов с предыдущими кампаниями, поэтому изменяйте размер только при необходимости.

Экспорт пользователей контрольной группы

Чтобы скачать список пользователей в контрольной группе:

1. Откройте Настройки > Глобальная контрольная группа.
2. Нажмите на меню с тремя точками в правом верхнем углу.
3. Выберите Экспортировать пользователей.
4. Когда экспорт завершится, нажмите Скачать CSV, чтобы сохранить файл.

Отключение контрольной группы

1. Нажмите на меню с тремя точками рядом с настройками контрольной группы.
2. Выберите Отключить контрольную группу.

Отключение группы удаляет статус контрольной группы у всех пользователей, и они снова начнут получать маркетинговые сообщения. Если вы снова включите ее позже, Pushwoosh создаст новую группу с новым случайным набором пользователей.

Анализ влияния контрольной группы

Страница Глобальной контрольной группы показывает, как ваши сообщения работают по сравнению с контрольной группой. Она сравнивает две группы пользователей по любому выбранному вами событию:

• Тестовая группа: все пользователи, которые не входят в контрольную группу. Они продолжают получать ваши маркетинговые сообщения (пуши, email, In-App) как обычно.
• Контрольная группа: группа, которую вы настроили выше. Эти пользователи исключены из маркетинговых сообщений, поэтому любое различие в их поведении не зависит от ваших кампаний.

1. Выберите временной интервал: Последние 3 дня, Последние 7 дней или Последние 30 дней.
2. Просмотрите таблицу сравнения событий. Она уже заполнена вашими целями конверсии из Customer Journey.
3. Чтобы добавить больше событий, нажмите Добавить события для сравнения. Всего можно добавить до 10 событий.

Таблица показывает следующие метрики для каждого события:

• Конв. Тестовая: коэффициент конверсии в тестовой группе. Это доля уникальных пользователей, которые получили ваши маркетинговые сообщения (пуши, email, In-App) и вызвали событие хотя бы один раз.
• Конв. Контрольная: коэффициент конверсии в контрольной группе. Это доля уникальных пользователей, которые были исключены из маркетинговых сообщений и все равно вызвали событие хотя бы один раз, без влияния сообщений.
• Uplift: процентная разница между коэффициентами конверсии тестовой и контрольной групп относительно контрольной группы. Положительное значение означает, что тестовая группа конвертировалась лучше. Рассчитывается как (конв. тестовая − конв. контрольная) / конв. контрольная × 100%.
• Значимость: является ли разница статистически надежной:
  • Значимо: маловероятно, что uplift является случайным.
  • Незначимо: разница пока не является статистически надежной.
  • Недостаточно данных: в одной из групп менее 10 конверсий или менее 10 не-конверсий для этого события, поэтому значимость не может быть рассчитана.

Отчет о влиянии

Отчет о влиянии показывает более подробную разбивку для одного события за раз. Используйте выпадающий список Просмотр события, чтобы выбрать, какое событие изучить.

• Uplift (изменение по сравнению с контрольной группой): насколько коэффициент конверсии тестовой группы отличается от коэффициента конверсии контрольной группы. Это то же значение, что и в таблице событий.
• Конверсии, обусловленные сообщениями: предполагаемое количество дополнительных событий, сгенерированных вашими сообщениями, сверх ожидаемого числа без сообщений. Рассчитывается как (события на пользователя в тестовой группе − события на пользователя в контрольной группе) × размер тестовой группы. Процент показывает эти дополнительные события как долю всех событий в тестовой группе.
• Значимость: указывает, является ли измеренная разница статистически надежной. Отчет показывает Значимо, Незначимо или Недостаточно данных, на основе:
  • Доверительный интервал: насколько Pushwoosh уверен, что uplift отражает реальную разницу между тестовой и контрольной группами, а не случайность, показан в процентах. Чем выше доверительный интервал, тем сильнее доказательства.
  • P-value: показывает, насколько вероятно наблюдать эту разницу случайно, если сообщения не имеют реального эффекта. Более низкое P-value предоставляет более сильные доказательства того, что разница не случайна.
• Z-score: показывает, насколько далеко друг от друга находятся результаты ваших двух групп. Оценка, близкая к 0, означает, что разница может быть случайной. Чем дальше от 0, тем увереннее вы можете быть в том, что одна группа действительно лучше другой.
• Разбивка по группам: сравнивает тестовую и контрольную группы по Предполагаемому количеству пользователей, Общему количеству событий, Событиям на пользователя и Коэффициенту конверсии (уникальные).

Часто задаваемые вопросы

Какие пользователи добавляются в контрольную группу?

В контрольную группу могут быть добавлены только пользователи, которые зарегистрировались после ее включения. Когда регистрируется новый пользователь, Pushwoosh один раз случайным образом решает, попадет ли он в контрольную группу, используя установленный вами процент (от 1% до 15%). Пользователи, которые уже существовали в вашем приложении на момент включения контрольной группы, никогда в нее не добавляются.

Получают ли пользователи контрольной группы транзакционные сообщения?

Да. Транзакционные сообщения (например, сброс пароля, подтверждение заказа) доставляются всем пользователям, включая контрольную группу. Для пользователей контрольной группы блокируются только маркетинговые сообщения.

Где я могу установить тип сообщения: маркетинговое или транзакционное?

Вы выбираете его везде, где отправляете сообщения. Для каждого канала см. Где установить тип сообщения.

Что происходит с кампаниями, созданными до включения контрольной группы?

У них не установлен тип сообщения, и они рассматриваются как транзакционные, поэтому доставляются всем, включая контрольную группу. Чтобы исключить контрольную группу из этих кампаний, отредактируйте каждую кампанию и установите тип сообщения Маркетинговое.

Могу ли я изменить размер контрольной группы после ее включения?

Да. Перейдите в Настройки > Глобальная контрольная группа, нажмите Изменить размер группы, выберите новый процент (от 1% до 15%) и нажмите Применить. Новый процент применяется только к пользователям, которые зарегистрируются после изменения. Пользователи, уже находящиеся в контрольной группе, остаются в ней. Пользователи, которые уже были в вашем приложении, но не в группе, не добавляются позже. Это может повлиять на сравнение с предыдущими кампаниями, поэтому изменяйте размер только при необходимости.

Что произойдет, если я отключу контрольную группу?

Все пользователи перестают быть в контрольной группе и снова начинают получать маркетинговые сообщения. Если вы снова включите контрольную группу позже, Pushwoosh создаст новую группу с новым случайным набором пользователей.

Как мне увидеть, какие пользователи находятся в контрольной группе?

Когда контрольная группа включена, Pushwoosh создает системный тег PW_ControlGroup со значением true (пользователь в группе) или false (пользователь не в группе). Используйте этот тег для фильтрации, сегментации или экспорта пользователей контрольной группы.

Почему количество пользователей в контрольной группе не совпадает с количеством в моем сегменте?

Тег PW_ControlGroup остается у пользователя даже после того, как он отписался от пушей, удалил приложение или его пуш-токен стал недействительным, поэтому общее количество пользователей с тегом может быть выше ожидаемого. Сегмент или экспорт, созданный на основе этого тега, включает только доступные устройства: те, у которых есть действительный пуш-токен, подтвержденный email или другой активный способ связи. Вот почему количество пользователей с тегом PW_ControlGroup: true может быть больше, чем число, которое вы видите в сегменте или CSV-файле, созданном на основе этого тега.

Почему пользователь в контрольной группе все еще может получать маркетинговые сообщения?

Pushwoosh назначает контрольную группу по User ID, а не по устройству или способу связи. Если у одного и того же человека есть несколько способов связи (например, email, пуш-устройство), которые не связаны под одним User ID, Pushwoosh рассматривает их как разных пользователей. Один из них может быть в контрольной группе, а другой — нет, поэтому последний все еще может получать маркетинговые сообщения. Чтобы избежать этого, регистрируйте все способы связи с одним и тем же User ID.

Какой процент для контрольной группы мне следует выбрать?

Правильный процент зависит от ваших целей, размера приложения и того, как вы планируете использовать результаты. Меньший процент (например, 3%) оставляет больше пользователей в аудитории и может подойти командам, которые отдают приоритет охвату. Больший процент (например, 10%) может дать более высокую статистическую уверенность при сравнении групп. Вы можете установить Пользовательское значение от 1% до 15% в соответствии с вашими потребностями.

Что означает Недостаточно данных в таблице событий?

Недостаточно данных означает, что в тестовой или контрольной группе было менее 10 конверсий или менее 10 не-конверсий для этого события за выбранный период времени. Pushwoosh не может определить, является ли разница между группами статистически значимой, пока не будет доступно больше данных.

Как рассчитывается Uplift?

Uplift показывает процентную разницу между коэффициентами конверсии тестовой и контрольной групп относительно контрольной группы. Положительное значение означает, что тестовая группа конвертировалась лучше. Pushwoosh рассчитывает его как (конв. тестовая − конв. контрольная) / конв. контрольная × 100%.

Что означает Конверсии, обусловленные сообщениями?

Конверсии, обусловленные сообщениями — это предполагаемое количество дополнительных событий, сгенерированных вашими сообщениями, сверх ожидаемого числа без сообщений. Pushwoosh рассчитывает его как (события на пользователя в тестовой группе − события на пользователя в контрольной группе) × размер тестовой группы. Процент показывает эти дополнительные события как долю всех событий в тестовой группе.

Какие события я могу сравнивать и в каком количестве?

Вы можете сравнивать события, настроенные как цели конверсии в Customer Journey. Вы можете добавить до 10 событий в таблицу сравнения.