Как проводить A/B/n-тестирование в Customer Journey

Зачем нужно A/B/n-тестирование

Не всегда очевидно, какое сообщение, предложение, время или канал вызовут наилучший отклик у ваших пользователей. A/B/n-тестирование позволяет сравнить несколько вариантов одновременно, чтобы вы могли:

• Найти комбинацию, которая обеспечивает наибольшее количество конверсий

• Быстро проверять идеи в рамках одной Journey вместо запуска отдельных кампаний

• Сохранять контрольную группу для сравнения с вашей текущей коммуникацией

Например, интернет-магазин может проверить, больше ли пользователей завершают оформление заказа, когда они получают: push-уведомление с 10% скидкой сразу, email с бесплатной доставкой через 24 часа или SMS-напоминание без поощрения.

Что можно тестировать с помощью A/B/n-сплита в Pushwoosh

Элемент A/B/n-сплита в Customer Journeys позволяет тестировать многие аспекты ваших кампаний. Распространенные сценарии тестирования включают:

• Время отправки: Сравните немедленные и отложенные сообщения (например, напоминание о корзине сразу или через 24 часа).

• Персонализация: Протестируйте общий и персонализированный контент (например, «Посмотрите новые поступления» и «Анна, товары, которые вы сохранили, снова в наличии»).

• Эффективность канала: Определите, какой канал работает лучше всего.

• Содержание сообщения: Экспериментируйте с различными форматами, включая текст, визуальные элементы, кнопки призыва к действию, темы писем, макеты и т. д.

Ниже мы рассмотрим несколько распространенных случаев, когда A/B/n-тестирование может помочь оптимизировать ваши Customer Journeys.

Тестирование типов скидок для брошенных корзин

Цель

Выяснить, какой тип скидки обеспечивает самую высокую конверсию среди пользователей, которые бросили свою корзину:

• Скидка 10%
• Скидка $10
• Бесплатная доставка

Шаг 1. Настройте элемент входа

Начните Journey с элемента Trigger-based entry и выберите триггер события Cart_Abandoned.

Это гарантирует, что Journey будет нацелена на пользователей, которые добавили товары в корзину, но не завершили оформление заказа. При желании вы можете отфильтровать аудиторию, включив пользователей, которые бросили корзину с минимальной стоимостью (например, от $50).

Для получения дополнительной информации о настройке событий см. документацию по Событиям.

Шаг 2. Определите цель конверсии

Установите цель конверсии, чтобы измерить результаты теста. Для этого нажмите Conversion goals в верхней части холста и установите целевое событие CheckoutSuccess. Таким образом, вы сможете увидеть, какое предложение о скидке приводит к большему количеству завершенных заказов.

Шаг 3. Настройте элемент A/B/n-сплита

После элемента входа разместите элемент A/B/n-сплита, чтобы разделить пользователей на три группы. Распределите пользователей равномерно по веткам.

Выберите Победитель выбирается автоматически по цели и выберите CheckoutSuccess в качестве цели для выбора победителя. Это означает, что как только Pushwoosh обнаружит статистически значимого победителя, более слабые ветки будут деактивированы, и все новые пользователи будут направляться в победившую ветку.

Шаг 4. Настройте остальную часть Journey

Настройте сообщение в каждой ветке. Для каждой ветки добавьте и настройте элемент push-уведомления.

Например:

• Ветка A (контрольная): Отправить push-уведомление с предложением скидки 10%. Пример содержания: «Завершите свой заказ сегодня и получите скидку 10% – предложение ограничено!»

• Ветка B: Отправить push-уведомление с предложением скидки $10. Пример содержания: «Вот скидка $10 на ваш заказ – завершите оформление прямо сейчас».

• Ветка C: Отправить push-уведомление с предложением бесплатной доставки. Пример содержания: «Мы сохранили вашу корзину! Закажите сегодня и получите бесплатную доставку».

Наконец, добавьте элемент выхода, чтобы завершить Journey.

Шаг 5. Запустите Journey

После настройки всех веток запустите Journey. Пользователи, бросившие корзину, будут случайным образом разделены на три группы, каждая из которых получит свое предложение о скидке. Когда будет достигнута статистическая значимость, Pushwoosh автоматически направит всех новых пользователей с брошенной корзиной в победившую ветку.

Для анализа результатов дважды щелкните по элементу A/B/n-сплита, чтобы открыть подробную статистику. Узнать больше

Тестирование эффективности каналов для кампании по повторному вовлечению в фитнес-приложении

Цель

Определить, какой канал коммуникации (push, email, SMS) лучше всего мотивирует неактивных пользователей вернуться в приложение.

Важно

Для корректного проведения этого теста убедитесь, что каждый пользователь доступен через push-уведомления, email и SMS, и что все соответствующие идентификаторы (токены устройств, адреса электронной почты, номера телефонов) связаны под одним пользовательским User ID. Это позволяет Pushwoosh точно идентифицировать одного и того же пользователя на разных каналах, правильно доставлять сообщения и корректно распределять пользователей по тестовым веткам.

Эта настройка требует помощи разработчика. Поделитесь этим руководством с вашей командой разработчиков: Установка пользовательского User ID и его связь с несколькими устройствами.

Шаг 1. Добавьте элемент входа и выберите аудиторию

Начните Journey с элемента Audience-based entry и выберите или создайте сегмент Неактивные пользователи (тренировка не была зафиксирована в течение 14+ дней).

Узнайте больше о создании сегментов.

Шаг 2. Определите цель конверсии

Установите событие WorkoutLogged в качестве цели конверсии, чтобы измерить, какой канал способствует повторному вовлечению.

Для получения дополнительной информации о настройке событий см. документацию по Событиям.

Шаг 3. Настройте элемент A/B/n-сплита

Добавьте элемент A/B/n-сплита после элемента входа. Выберите 3 ветки с равномерным распределением и используйте Победитель выбирается автоматически по цели с выбранной целью конверсии.

Шаг 4. Настройте остальную часть Journey

Настройте Journey для следующих веток. В каждой ветке добавьте и настройте соответствующий элемент сообщения (Push, Email или SMS):

• Ветка A (контрольная): Элемент Push Пример содержания: «Пора двигаться 💪 Нажмите, чтобы начать тренировку прямо сейчас!»

• Ветка B: Элемент Email Пример содержания: «Ваш фитнес-путь ждет. Запишите свою следующую тренировку сегодня!»

• Ветка C: Элемент SMS Пример содержания: «Не останавливайтесь сейчас! Отследите сегодняшнюю тренировку и сохраните свою серию!»

Наконец, добавьте элемент выхода, чтобы завершить Journey.

Шаг 5. Запустите Journey

Запустите Journey. Пользователи будут разделены по веткам и получат сообщение по одному из каналов. Pushwoosh автоматически определит победителя и направит пользователей в победившую ветку.

Для анализа результатов дважды щелкните по элементу A/B/n-сплита, чтобы открыть подробную статистику. Узнать больше