Часто задаваемые вопросы о контрольных группах

Могу ли я исключить пользователей только для одного Journey, а не для всего приложения?

Да. Используйте элемент Holdout Split в Customer Journey Builder, чтобы исключить долю пользователей в одной точке одного Journey, а не исключать пользователей из всех маркетинговых рассылок приложения. Он показывает собственный прирост по цели, отдельно от этой страницы.

Может ли в приложении быть несколько контрольных групп?

Да. Нажмите Добавить контрольную группу в разделе Настройки > Контрольные группы, чтобы добавить еще одну, например по одной на каждый рынок.

• Каждая включенная группа применяется к каждой маркетинговой рассылке приложения, каждая в пределах своих стран и тега. Выбирать группу для каждого сообщения не нужно.
• Пользователь исключается, если его выбирает любая из групп.
• Группы могут пересекаться. Pushwoosh предупреждает об этом и показывает в списке Пересекается с N группами, потому что пользователи, подходящие под обе группы, искажают статистику обеих.

См. как работают несколько контрольных групп одновременно.

Можно ли удалить контрольную группу?

Да, из меню с тремя точками на странице группы. Это действие необратимо: группа перестает исключать пользователей, и вся ее статистика теряется. Другие группы приложения продолжают работать. Если включенных групп не осталось, маркетинговые сообщения отправляются всем пользователям. Чтобы остановить группу и сохранить ее историю, нажмите Отключить вместо удаления в диалоговом окне удаления или отключите ее из меню с тремя точками.

Можно ли переименовать контрольную группу?

Да. На странице группы нажмите меню с тремя точками и выберите Переименовать. Меняется только название, которое вы видите в Pushwoosh: пользователи в группе, ее текущий цикл и статистика остаются прежними.

Какие пользователи входят в контрольную группу?

Pushwoosh не хранит список участников контрольной группы. Он использует формулу — вычисление, которое всегда дает одинаковый ответ при одинаковых входных данных, основанных на вашем приложении, User ID пользователя и текущих настройках группы. Это применяется ко всей вашей существующей базе пользователей в момент включения группы, а не только к новым регистрациям, и результат для данного пользователя остается прежним, пока вы не переформируете группу или не измените ее размер, не изменится User ID пользователя, либо не закончится цикл автообновления или эксперимент не достигнет даты окончания.

Получают ли пользователи контрольной группы транзакционные сообщения?

Да. Транзакционные сообщения (например, сброс пароля, подтверждение заказа) доставляются всем пользователям, включая контрольную группу. Блокируются только маркетинговые сообщения для пользователей контрольной группы.

Где задается тип сообщения: маркетинговое или транзакционное?

Вы выбираете его везде, где отправляете сообщения. Для каждого канала см. Где задать тип сообщения.

Что происходит с кампаниями, созданными до включения контрольной группы?

Кампании, созданные до включения контрольной группы, работают точно так же, как и новые: Pushwoosh проверяет тип сообщения кампании во время отправки, а не во время создания.

• Маркетинговое сообщение (или отсутствие типа сообщения, что может произойти для кампаний, созданных через API): контрольная группа немедленно начинает исключать этих пользователей.
• Транзакционное сообщение: пользователи контрольной группы продолжают получать его, как и раньше.

Отредактируйте кампанию и установите тип сообщения Транзакционное сообщение, если вы хотите, чтобы оно доходило до всех, включая контрольную группу.

Можно ли изменить размер контрольной группы после ее включения?

Да. Откройте страницу группы из Настройки > Контрольные группы, нажмите Настройки контрольной группы, выберите новый процент (от 1% до 20%) и нажмите Применить. Pushwoosh пересчитывает членство для всей вашей базы пользователей с учетом нового процента: увеличение группы добавляет пользователей, не удаляя никого из уже находящихся в ней, а уменьшение освобождает некоторых существующих участников. Это может повлиять на сравнение с предыдущими кампаниями, поэтому изменяйте размер только при необходимости.

Какие режимы контрольной группы доступны?

Три. Постоянный сохраняет одну и ту же группу, пока вы ее не отключите. Автообновление автоматически заменяет группу новой в конце каждого цикла (1, 2 или 3 месяца) и возвращает предыдущую группу к получению сообщений. Эксперимент с датой окончания держит группу до заданной вами даты (не менее чем через 30 дней), после чего автоматически возвращает всех к получению сообщений. Задайте режим при создании группы или позже в Настройках контрольной группы — том же диалоговом окне, где редактируются размер и страны группы. Смена режима закрывает текущий цикл группы так же, как изменение ее размера или области действия.

Как посмотреть прошлые циклы контрольной группы?

1. Откройте страницу группы.
2. Нажмите на селектор диапазона дат в правом верхнем углу. Для группы в режиме Автообновление он подписан Текущий цикл, для группы в режиме Эксперимент с датой окончания — Текущий эксперимент, а для группы в режиме Постоянный подписи нет.
3. Выберите цикл в разделе Предыдущие. Завершенные циклы перечислены по номерам, как Цикл или Эксперимент.

У постоянной группы тоже могут быть прошлые циклы, потому что изменение размера, области действия или режима запускает новый цикл.

Почему результаты моей контрольной группы начались заново?

Окно измерения перезапускается каждый раз, когда меняются участники или аудитория группы:

• вы изменяете размер группы, ее страны или тег;
• вы переформировываете группу;
• вы меняете режим;
• заканчивается цикл автообновления или эксперимент достигает даты окончания.

Данные до этого момента больше не соответствуют текущей группе, поэтому они не учитываются. Завершенные циклы остаются доступны в разделе Предыдущие селектора диапазона дат на странице группы.

Что происходит, когда заканчивается эксперимент с датой окончания?

В заданную вами дату По все участники группы автоматически возвращаются к получению маркетинговых сообщений. После этого эксперимент появляется в разделе Предыдущие селектора диапазона дат на странице группы под названием Эксперимент со своим номером, так что вы по-прежнему можете просмотреть его результаты.

Можно ли ограничить контрольную группу определенными странами?

Да. Задайте Страны при создании группы или позже: откройте страницу группы из Настройки > Контрольные группы и нажмите Настройки контрольной группы. Оставьте поле пустым, чтобы исключать пользователей из всей вашей аудитории, или выберите одну или несколько стран, чтобы исключать только устройства в этих странах. Ограничение по стране — это проверка для каждого устройства в дополнение к процентной формуле: она не меняет, кого выбирает формула, а только то, какие из их устройств будут исключены из маркетинга. Изменение Стран перезапускает измерение прироста, так как сравниваемая аудитория меняется.

Что происходит с устройством без данных о стране?

Оно никогда не исключается, даже если установлены Страны и его пользователь выбран в остальном. Pushwoosh проверяет системный тег Страна устройства на соответствие области действия, и у устройства без этого тега нечего проверять, поэтому оно продолжает получать маркетинговые сообщения.

Можно ли ограничить контрольную группу по тегу?

Да. Задайте Тег при создании группы или позже: откройте страницу группы из Настройки > Контрольные группы и нажмите Настройки контрольной группы. Выберите любой строковый или булев тег, кроме Страна, а затем одно или несколько значений. Это работает так же, как ограничение по стране: проверка для каждого устройства в дополнение к процентной формуле, которая сочетается со Странами, если вы задали оба ограничения. Устройство без значения тега или со значением, которое вы не включили, продолжает получать маркетинговые сообщения, даже если его пользователь выбран в остальном.

Как ограничение по тегу работает с тегами устройства и пользователя?

Тег, который задается для устройства, всегда описывает только это устройство, поэтому ограничение по нему исключает устройства по одному. Тег, который задается для пользователя, копируется на каждое устройство этого пользователя, поэтому ограничение по нему исключает или оставляет все устройства пользователя вместе. В любом случае устройство без значения тега области действия продолжает получать маркетинговые сообщения, а набор исключаемых устройств может меняться со временем по мере изменения значения тега пользователя, без редактирования контрольной группы.

Что произойдет, если я отключу контрольную группу?

Эта группа перестает исключать пользователей, и они снова начинают получать маркетинговые сообщения, если только их не исключает другая включенная группа. Если включенных групп не осталось, маркетинговые сообщения отправляются всем пользователям. Группа сохраняет свои настройки и историю статистики. Если вы снова включите контрольную группу позже, не переформировывая ее, вы получите точно ту же группу, потому что членство вычисляется по той же формуле. Чтобы получить другую группу после повторного включения, переформируйте ее.

Что делает функция «Переформировать» (Reshuffle)?

Переформировать контрольную группу создает совершенно новую случайную выборку с тем же процентом, заменяя текущую контрольную группу другим набором пользователей. Она доступна из меню с тремя точками на странице группы. Используйте ее, когда одни и те же пользователи были исключены из маркетинга в течение длительного времени, и вы хотите получить свежий охват контрольной группы. Переформирование также перезапускает окно измерения для аналитики контрольной группы.

Как посмотреть, какие пользователи находятся в контрольной группе?

Pushwoosh не присваивает теги пользователям контрольной группы. Откройте страницу группы из Настройки > Контрольные группы, нажмите меню с тремя точками и выберите Экспортировать пользователей, чтобы загрузить CSV-файл с текущими участниками. Для Экспортировать пользователей вашей роли нужно разрешение Персональные данные. Чтобы проверить членство программно, вызовите CheckControlGroupMembership из Control Groups API с пакетом User ID.

Почему пользователь из контрольной группы все равно может получать маркетинговые сообщения?

Pushwoosh определяет членство в контрольной группе по User ID. Если у одного и того же человека есть несколько способов связи (например, email, push-устройство), которые не связаны под одним User ID, Pushwoosh рассматривает их как разных пользователей и вычисляет членство для каждого отдельно: один может попасть в контрольную группу, а другой — нет. Способ связи без User ID никогда не исключается, так как Pushwoosh нужен User ID для вычисления членства. Чтобы избежать этого, зарегистрируйте все способы связи с одним и тем же User ID.

Какой процент для контрольной группы выбрать?

Правильный процент зависит от ваших целей, размера приложения и того, как вы планируете использовать результаты. Меньший процент (например, 3%) оставляет больше пользователей в аудитории и может подойти командам, которые отдают приоритет охвату. Больший процент (например, 10%) может дать более высокую статистическую достоверность при сравнении групп. Вы можете установить Пользовательское значение от 1% до 20% в соответствии с вашими потребностями.

Почему моя контрольная группа не соответствует точно установленному проценту?

Размер группы, отображаемый на странице, — это фактическое количество пользователей, которое хэш-формула присвоила группе, а не процент, умноженный на количество ваших пользователей. В небольших приложениях это число может заметно отличаться от процента, так как формула распределяет пользователей индивидуально, а не выбирает точную долю. Количество кэшируется и обновляется примерно раз в день. Вы можете запустить немедленный пересчет со страницы, который показывает предыдущее количество с индикатором загрузки во время выполнения.

Что означает Недостаточно данных в таблице событий?

Недостаточно данных означает, что в основной или контрольной группе было менее 10 конверсий или менее 10 не-конверсий для этого события в течение выбранного периода времени. Pushwoosh не может определить, является ли разница между группами статистически значимой, пока не будет доступно больше данных.

Как рассчитывается Прирост (Uplift)?

Прирост (Uplift) показывает процентную разницу между коэффициентами конверсии основной и контрольной групп относительно коэффициента контрольной группы. Положительное значение означает, что основная группа конвертировалась лучше. Pushwoosh рассчитывает его как (conv. treatment − conv. control) / conv. control × 100%.

Что означает Конверсии, обусловленные сообщениями?

Конверсии, обусловленные сообщениями — это оценочное количество дополнительных событий, сгенерированных вашими сообщениями сверх ожидаемого количества без сообщений. Pushwoosh рассчитывает его как (events per user in treatment − events per user in control) × treatment group size. Процент показывает эти дополнительные события как долю всех событий основной группы.

Какие события я могу сравнивать и сколько?

События, настроенные как цели конверсии в Customer Journey, появляются в таблице автоматически. Нажмите Добавить события для сравнения, чтобы добавить любое другое событие, всего до 10 событий. События взаимодействия с сообщениями (например, открытия, клики, отправки, возвраты) исключаются, даже если они установлены в качестве цели, поскольку пользователи контрольной группы никогда не получают маркетинговые сообщения, на которые могли бы отреагировать.