Holdout Split

Используйте элемент Holdout Split, чтобы исключить долю пользователей из остальной части Journey, а затем сравнить достижение ими цели с теми, кто продолжил после этой точки. В отличие от контрольной группы уровня аккаунта, которая фиксирована для приложения и блокирует маркетинговые сообщения повсюду, Holdout Split применяется только внутри одного Journey, в одной точке его потока.

Когда использовать Holdout Split

• Измерьте влияние Journey в выбранной точке. Исключите долю пользователей, достигающих этой точки, и посмотрите, двигают ли шаги после неё ваши Цели конверсии сильнее, чем пропуск этих шагов.
• Протестируйте конкретный сегмент или поток. Комбинируйте Holdout Split с входом на основе аудитории или входом на основе триггера, чтобы измерять влияние только для пользователей, важных для этой кампании, вместо того чтобы исключать всё приложение целиком.
• Получите прирост по каждой цели, а не просто счётчик событий. Если у Journey есть несколько Целей конверсии, Holdout Split показывает прирост и статистическую значимость по каждой из них отдельно.

Например, разместите Holdout Split после входа и перед вашими онбординг-сообщениями. Сравните Цель конверсии по покупке для пользователей, которые продолжили по ветке In journey, с пользователями на ветке Holdout, которые выходят там и больше ничего не получают из этого Journey.

Требования

Определите хотя бы одну Цель конверсии для Journey, если хотите видеть цифры в отчёте о приросте. Вы всё равно можете разместить и сохранить Holdout Split без цели. Без неё отчёт покажет предложение добавить цель вместо показателей и прироста.

Добавьте и настройте Holdout Split

1. Разместите элемент Holdout Split на холсте там, где вы хотите начать измерять остальную часть Journey (перед сообщениями или шагами, которые вы тестируете).

2. Дважды нажмите на элемент, чтобы открыть его настройки.

3. Задайте Share held out: процент пользователей, достигающих этой точки, которые направляются на ветку Holdout. Остальные продолжают по ветке In journey. Поле Share held out принимает значения от 1 до 20%.

   

4. Соедините ветки на холсте:

   • Оставьте ветку Holdout несоединённой. Пользователи на этой ветке сразу выходят из Journey и больше ничего из него не получают.
   • Соедините ветку In journey с остальной частью вашего потока.

5. Нажмите Save.

После сохранения вы должны увидеть две ветки от элемента: Holdout без следующего шага и In journey, ведущую в поток, который вы соединили.

Примечание

Исключённые пользователи исключаются только из этого Journey. Они всё равно могут получать сообщения из других ваших Journey и разовых рассылок.

Проверьте отчёт о приросте

Используйте Goal uplift vs holdout, чтобы ответить на один вопрос: повышают ли шаги после этой точки ваши Цели конверсии по сравнению с пользователями, которые остановились здесь?

1. Откройте работающий Journey.

2. Откройте точку Holdout Split и найдите Goal uplift vs holdout ниже текущего разделения.

3. Если вместо показателей вы видите заглушку, вернитесь на следующий день. Pushwoosh обновляет отчёт раз в день, и первые цифры появляются на следующий день после запуска Journey.

4. В заголовке отчёта проверьте размер выборки и время, прежде чем доверять показателям:

   • Сколько пользователей было на ветках In journey и Holdout на момент последнего обновления
   • Окно атрибуции (сколько дней после точки достижение цели всё ещё засчитывается)
   • Когда отчёт был в последний раз рассчитан

   Крошечная выборка holdout делает прирост шумным, даже если показатель in-journey выглядит сильным.

5. Для каждой Цели конверсии сравните ветки, затем изучите прирост и значимость:

   • Сравните Conversion, in journey с Conversion, holdout (показатель и количество). Это разница между пользователями, получившими остальную часть Journey, и пользователями, не получившими ничего из неё после этой точки.
   • Прочитайте Uplift для этой разницы как относительное изменение. Положительный прирост означает, что ветка in-journey конвертировала лучше, чем holdout. Если у holdout было ноль конверсий по этой цели, прирост показывает — (нет базы для относительной разницы).
   • Прочитайте значок значимости, прежде чем воспринимать прирост как основание для решения:
     • Significant: разница между ветками реальна, а не случайна. Доверяйте показателю прироста.
     • Not significant: у Pushwoosh достаточно данных, но разница ненадёжна. Пока не действуйте на основании этого показателя прироста.
     • Not enough data: пока слишком мало конверсий, чтобы сказать в любую сторону. Продолжайте держать Journey запущенным для большей выборки.

Чтобы просмотреть все Holdout Split в одном месте, откройте дашборд здоровья кампании Journey и проверьте тот же отчёт для каждой точки.

Чтобы получить прирост по каждой точке Holdout Split в виде CSV-файла с выручкой в разбивке по валютам, экспортируйте Отчёт о приросте (Uplift) через API.

Экспортируйте пользователей из каждой ветки

Скачайте список того, какие пользователи попали на Holdout, а какие — на In journey в работающем Journey.

Для Export users в вашей роли нужно разрешение Personal data.

1. Откройте работающий Journey.

2. Откройте точку Holdout Split.

3. Нажмите Export users под Goal uplift vs holdout.

4. Задайте диапазон дат. Экспортировать можно только данные за последние 2 месяца.

   

5. Нажмите Start exporting.

6. Когда файл будет готов, в той же панели появится кнопка загрузки. Нажмите её, чтобы получить CSV.

Каждая строка содержит ID пользователя и ветку, которую он прошёл, — holdout или journey. Если никто не достиг этой точки за указанный период, файл содержит только строку заголовка.

Если вам нужен holdout уровня аккаунта, а не для конкретного Journey, используйте контрольные группы.