A/B/n-сплит-тестирование

Видео на Youtube: Узнайте, как настраивать и анализировать A/B/n-тесты в Pushwoosh Customer Journey Builder

Используйте элемент A/B/n-сплит, чтобы проверить, какие последовательности сообщений лучше всего работают для ваших целей конверсии. Оптимизируйте коммуникации, находя наиболее эффективный подход для вашей аудитории.

Настройте параметры A/B/n-сплит-тестирования

Разместив элемент A/B/n-сплит на холсте, дважды щелкните его, чтобы настроить параметры теста.

Задайте количество веток

Используйте выпадающий список Ветки, чтобы выбрать, сколько вариантов вы хотите протестировать (до 4). По умолчанию ветка А является контрольной группой.

Определите распределение пользователей по веткам

Установите процент пользователей, которые будут направлены в каждую ветку, убедившись, что общая сумма составляет 100%. Чтобы равномерно распределить пользователей между ветками, нажмите Сбросить распределение.

Выберите способ определения победителя

У вас есть два варианта:

Вы выбираете победителя вручную

Вы просмотрите результаты и позже вручную выберете победившую ветку. Это требует постоянного мониторинга и ручной деактивации. Узнать больше

Победитель выбирается автоматически по цели

Система отслеживает цель кампании и деактивирует более слабые ветки после достижения статистической значимости. Новые пользователи затем направляются в победившую ветку.

Когда включен автоматический выбор победителя, выберите, как система должна оценивать победителя:

• Первая цель, достигшая значимости. Система отслеживает все назначенные цели и выбирает первую, достигшую статистической значимости.

• Выберите конкретную цель (например, CheckoutSuccess). Эта цель будет использоваться для оценки того, какая ветка работает лучше всего.

После настройки нажмите Сохранить, чтобы применить параметры теста.

Как настроить и запустить A/B/n-тесты

Настройка теста

Приостановите Journey

Если вы хотите настроить A/B/n-тестирование в активной Journey, сначала приостановите ее. Чтобы узнать больше о редактировании активной Journey, прочтите эту статью.

Определите хотя бы одну цель конверсии

Установите хотя бы одну цель конверсии, которая будет использоваться для расчета результатов теста. Например, если вы хотите проверить, какое из двух push-уведомлений является наиболее эффективным, вы можете установить событие PW_InAppPurchase в качестве цели конверсии.

Если вы укажете несколько целей конверсии, результаты будут рассчитываться для каждой цели отдельно.

Добавьте элемент A/B/n-сплит

Разместите элемент A/B/n-сплит на холсте после любого другого элемента и дважды щелкните его, чтобы настроить тест.

Задайте ветки и распределение пользователей

Выберите количество веток. Вы можете добавить до четырех веток в свой тест. Первая ветка всегда считается контрольной группой, с которой сравниваются результаты в других ветках. Продолжайте следовать этому руководству, чтобы узнать, как настроить эту ветку в зависимости от ваших потребностей.

Далее установите процент пользователей, направляемых в каждую ветку. Общая сумма всех веток должна составлять 100%. В соответствии с установленным вами процентом, участники Journey, достигшие этого шага, будут случайным образом разделены на указанное количество веток.

Обратите внимание, что пользователи, назначенные в ветку А, будут считаться контрольной группой, с которой будут сравниваться результаты в других ветках. Следующий шаг описывает, как настроить ветку А для разных случаев.

Примечание

Вы можете установить более высокий процент для ветки А (исходная версия), чтобы тщательно протестировать новую версию кампании, не рискуя снижением конверсии.

Однако мы рекомендуем устанавливать равномерное распределение. В этом случае вы быстрее получите статистически значимые результаты.

Выберите режим оценки победителя

Выберите, как будет определяться победитель:

• Автоматический выбор по цели. Система отслеживает определенную цель, определяет наиболее эффективную ветку с использованием статистической значимости и автоматически направляет новых пользователей к победителю.
• Ручной выбор. Вы просмотрите результаты теста и вручную решите, какая ветка работает лучше всего. Этот вариант требует от вас мониторинга теста и ручной деактивации менее эффективных веток. Узнать больше

Настройте контент для каждой ветки

Теперь вы можете настроить потоки коммуникации для каждой ветки. Поскольку ветка А является контрольной группой, вам необходимо настроить ее определенным образом в зависимости от вашего случая:

• Тестирование существующего потока коммуникации по сравнению с новыми версиями. В этом случае существующая версия должна находиться в ветке А. Также убедитесь, что цель конверсии может быть достигнута в любой ветке, включая ветку А.
• Тестирование только новых версий друг против друга. Поскольку старого потока коммуникации нет, одна из новых версий будет отмечена как контрольная группа (та, что представлена в ветке А). Убедитесь, что цель конверсии может быть достигнута во всех ветках.
• Тестирование существующей версии без какой-либо коммуникации по сравнению с новыми потоками коммуникации. Например, вы хотите добавить еще одно push-уведомление в конце Journey, чтобы увидеть, увеличится ли эффективность кампании по сравнению с исходной версией без этого push-уведомления. В этом случае «пустая» версия должна быть представлена в ветке А. Чтобы получить надежные результаты, добавьте одинаковую задержку по времени в каждую ветку:

Запустите Journey

Если все готово, запустите Journey.

Анализ результатов

Как только тест будет запущен, вы сможете видеть статистику по нему в реальном времени.

На холсте Journey вы увидите количество пользователей, проходящих через каждую ветку:

Чтобы просмотреть результаты теста, дважды щелкните элемент A/B/n-сплит. Вы увидите статистику по каждой ветке, включая конверсию в выбранную цель и метрики, используемые для расчета статистической значимости.

Если вы установили несколько целей конверсии, вы можете просмотреть результаты для каждой из них, выбрав нужную цель из списка:

Автоматический режим

Если вы включили автоматический выбор победителя, Pushwoosh будет постоянно отслеживать выбранную цель. Как только одна ветка достигнет статистической значимости, она будет отмечена как победитель. Более слабые ветки будут автоматически деактивированы, а новые пользователи будут направляться исключительно в победившую ветку. Никаких ручных действий не требуется.

Если у вашего теста есть статистически значимый победитель и вы используете ручной выбор победителя, вы можете мгновенно отключить менее эффективные ветки, нажав Оставить только победителя. Новые участники Journey будут направлены в победившую ветку. Пользователи, которые уже попали в деактивированные ветки, продолжат проходить через них до завершения Journey.

Примечание

Вы также можете деактивировать ветки вручную, но для этого потребуется приостановить Journey.

Вы можете просмотреть результаты теста за определенный период времени. Для этого выберите желаемый период на левой панели и дважды щелкните элемент A/B/n-сплит. Вы увидите статистику за указанное время.

Результаты теста рассчитываются следующим образом:

• Конверсия рассчитывается на основе количества пользователей в ветке и достигнутых целей конверсии. Ветка А будет отмечена как базовый уровень (Baseline), так как она представляет собой контрольную группу.
• При расчете статистической значимости учитываются Z-оценка и P-значение. Если результат действителен, он будет отмечен как Значимый.
• Ветка считается победителем, если у нее самая высокая конверсия, и этот результат отмечен как Значимый.

Примечание

Если результат отмечен как Значимый, это означает, что его уровень достоверности составляет 90%. Если этого процента вам недостаточно, вы можете рассчитать результат, указав другой уровень достоверности. Например, вы можете использовать этот калькулятор.

Деактивация веток

Автоматический режим

В автоматическом режиме, если будет определен статистически значимый победитель, Pushwoosh автоматически отключит менее эффективные ветки, направит всех новых пользователей в победившую ветку и позволит существующим пользователям продолжать движение по своей ветке до завершения Journey. Никаких ручных действий не требуется.

Если Pushwoosh определил статистически значимого победителя, вы можете мгновенно отключить менее эффективные ветки, нажав Оставить только победителя в окне статистики теста. В этом случае вам не нужно приостанавливать Journey. Если какая-то ветка работает плохо, вы можете ее деактивировать. Новые пользователи больше не будут попадать в деактивированную ветку.

Чтобы деактивировать ветку, сначала приостановите Journey:

После этого дважды щелкните элемент A/B/n-сплит. Установите 0% для этой ветки и перераспределите процент пользователей, направляемых в оставшиеся ветки: