Проведение A/B/n-тестов

Используйте элемент A/B/n Split в сценариях, чтобы проверить, какая последовательность сообщений лучше всего работает для достижения целей конверсии. Это поможет вам адаптировать коммуникацию к потребностям и предпочтениям вашей аудитории.

1. Если вы хотите настроить A/B/n-тестирование в активном сценарии, сначала приостановите его. Чтобы узнать больше о редактировании активного сценария, прочитайте эту статью.

2. Установите хотя бы одну цель конверсии, которая будет использоваться для расчета результатов теста. Например, если вы хотите проверить, какое из двух push-уведомлений является наиболее эффективным, вы можете установить событие PW_InAppPurchase в качестве цели конверсии.

Если вы укажете несколько целей конверсии, результаты будут рассчитаны для каждой цели отдельно.

3. Разместите элемент A/B/n Split на рабочей области после любого другого элемента и дважды щелкните по нему, чтобы настроить тест.

4. Выберите количество веток. Вы можете добавить до четырех веток в свой тест. Первая ветка всегда считается контрольной группой, с которой сравниваются результаты в других ветках. Далее в этом руководстве мы расскажем, как настроить эту ветку в зависимости от ваших задач.

5. Установите процент пользователей, которые попадут в каждую ветку. Сумма по всем веткам должна составлять 100%. В соответствии с установленным вами процентом участники сценария, достигшие этого шага, будут случайным образом распределены по указанному количеству веток.

Обратите внимание, что пользователи, назначенные в ветку A, будут считаться контрольной группой, с которой будут сравниваться результаты в других ветках. В следующем шаге описывается, как настроить ветку A для разных случаев.

6. Теперь вы можете настроить цепочки коммуникаций для каждой ветки. Поскольку ветка A является контрольной группой, ее необходимо настроить определенным образом в зависимости от вашего случая:

• Тестирование существующей цепочки коммуникаций в сравнении с новыми версиями. В этом случае существующая версия должна находиться в ветке A. Также убедитесь, что цель конверсии может быть достигнута в любой ветке, включая ветку A.
• Тестирование только новых версий друг с другом. Поскольку старой цепочки коммуникаций нет, одна из новых версий будет помечена как контрольная группа (та, что представлена в ветке A). Убедитесь, что цель конверсии может быть достигнута во всех ветках.
• Тестирование существующей версии без какой-либо коммуникации в сравнении с новыми цепочками коммуникаций. Например, вы хотите добавить еще одно push-уведомление в конце сценария, чтобы посмотреть, повысится ли эффективность кампании по сравнению с исходной версией без этого push-уведомления. В этом случае «пустая» версия должна быть представлена в ветке A. Чтобы получить надежные результаты, добавьте одинаковую задержку по времени (Time Delay) в каждую ветку:

7. Если все готово, запустите сценарий.

Как только тест будет запущен, вы сможете просматривать по нему статистику в реальном времени.

На рабочей области сценария вы можете видеть количество пользователей, которые проходят через каждую ветку сценария:

Чтобы просмотреть результаты теста, дважды щелкните по элементу A/B/n Split. Вы увидите статистику по каждой ветке, включая конверсию в выбранную цель и метрики, используемые для расчета статистической значимости.

Если вы установили несколько целей конверсии, вы можете просмотреть результаты по каждой из них, выбрав нужную цель из списка:

Если в вашем тесте есть статистически значимый победитель, вы можете мгновенно отключить менее эффективные ветки, нажав Keep only winner. Новые участники сценария будут направлены в победившую ветку. Пользователи, которые уже попали в деактивированные ветки, продолжат проходить по ним до завершения сценария.

Вы можете просмотреть результаты теста за определенный период времени. Для этого выберите нужный период на левой панели и дважды щелкните по элементу A/B/n Split. Вы увидите статистику за указанное время.

Результаты теста рассчитываются следующим образом:

• Конверсия рассчитывается на основе количества пользователей в ветке и достигнутых целей конверсии. Ветка А будет отмечена как базовый вариант (Baseline), так как она представляет собой контрольную группу.
• При расчете статистической значимости учитываются Z-критерий (Z-Score) и P-значение (P-Value). Если результат является достоверным, он будет отмечен как значимый (Significant).
• Ветка считается победителем, если у нее самая высокая конверсия, и этот результат помечен как значимый (Significant).

Если какая-то ветка показывает плохие результаты, вы можете ее деактивировать. Новые пользователи больше не будут попадать в деактивированную ветку.

Чтобы деактивировать ветку, сначала приостановите сценарий:

После этого дважды щелкните по элементу A/B/n Split. Установите 0% для этой ветки и перераспределите процент пользователей, попадающих в оставшиеся ветки: