Как проводить A/B/n-тесты в Customer Journeys

Почему A/B/n-тестирование полезно

Не всегда очевидно, какое сообщение, предложение, время или канал вызовут наилучший отклик у ваших пользователей. A/B/n-тестирование позволяет сравнивать несколько вариантов одновременно, чтобы вы могли:

• Найти комбинацию, которая обеспечивает наибольшее количество конверсий

• Быстро тестировать идеи в одной Journey вместо запуска отдельных кампаний

• Сохранять контрольную группу для сравнения с вашей текущей коммуникацией

Например, интернет-магазин может проверить, больше ли пользователей завершают оформление заказа, когда они получают: push-уведомление со скидкой 10% сразу, email с бесплатной доставкой через 24 часа или SMS-напоминание без поощрения.

Что можно тестировать с помощью A/B/n-сплита в Pushwoosh

Элемент A/B/n-сплит в Customer Journeys позволяет тестировать многие аспекты ваших кампаний. Распространенные сценарии тестирования включают:

• Время: Сравнение немедленных и отложенных сообщений (например, напоминание о корзине сразу или через 24 часа).

• Персонализация: Тестирование общего и персонализированного контента (например, «Посмотрите новые поступления» против «Анна, товары, которые вы сохранили, снова в наличии»).

• Эффективность канала: Определение, какой канал работает лучше всего.

• Содержание сообщения: Эксперименты с различными форматами, включая текст, визуальные элементы, кнопки призыва к действию, темы писем, макеты и т. д.

Ниже мы рассмотрим некоторые распространенные случаи, когда A/B/n-тестирование может помочь оптимизировать ваши Customer Journeys.

Тестирование типов скидок для брошенных корзин

Цель

Выяснить, какой тип скидки обеспечивает самую высокую конверсию среди пользователей, которые бросили свою корзину:

• Скидка 10%
• Скидка $10
• Бесплатная доставка

Шаг 1. Настройте элемент входа

Начните Journey с элемента вход на основе триггера (Trigger-based entry) и выберите триггер события Cart_Abandoned.

Это гарантирует, что Journey будет нацелена на пользователей, которые добавили товары в корзину, но не завершили оформление заказа. При желании вы можете отфильтровать аудиторию, включив пользователей, которые бросили корзину с минимальной стоимостью (например, $50+).

Для получения дополнительной информации о настройке событий см. документацию по Событиям (Events).

Шаг 2. Определите цель конверсии

Установите цель конверсии, чтобы измерить результаты теста. Для этого нажмите Цели конверсии (Conversion goals) в верхней части холста и установите целевое событие CheckoutSuccess. Таким образом, вы сможете увидеть, какое предложение скидки приводит к большему количеству завершенных заказов.

Шаг 3. Настройте элемент A/B/n-сплит

После элемента входа разместите элемент A/B/n-сплит, чтобы разделить пользователей на три группы. Распределите пользователей равномерно по ветвям.

Выберите Победитель выбирается автоматически по цели и выберите CheckoutSuccess в качестве цели для выбора победителя. Это означает, что как только Pushwoosh обнаружит статистически значимого победителя, более слабые ветви будут деактивированы, и все новые пользователи будут направляться в победную ветвь.

Шаг 4. Настройте остальную часть Journey

Настройте сообщение в каждой ветви. Для каждой ветви добавьте и настройте элемент Push.

Например:

• Ветвь A (контрольная): Отправить push-уведомление с предложением скидки 10%. Пример содержания: «Завершите свой заказ сегодня и получите скидку 10% – предложение ограничено!»

• Ветвь B: Отправить push-уведомление с предложением скидки $10. Пример содержания: «Вот $10 скидки на ваш заказ – завершите оформление сейчас.»

• Ветвь C: Отправить push-уведомление с предложением бесплатной доставки. Пример содержания: «Мы сохранили вашу корзину! Закажите сегодня и получите бесплатную доставку.»

Завершите каждую ветвь здесь — добавьте элемент Выход (Exit) или оставьте ее без исходящего соединения.

Шаг 5. Запустите Journey

После настройки всех ветвей запустите Journey. Пользователи, бросившие корзину, будут случайным образом разделены на три группы, каждая из которых получит назначенное ей предложение скидки. Когда будет достигнута статистическая значимость, Pushwoosh автоматически направит всех новых пользователей с брошенной корзиной в победную ветвь.

Для анализа результатов дважды щелкните по A/B/n-сплиту, чтобы открыть подробную статистику. Узнать больше

Тестирование эффективности каналов для кампании по повторному вовлечению в фитнес-приложении

Цель

Определить, какой канал коммуникации (push, email, SMS) лучше всего мотивирует неактивных пользователей вернуться в приложение.

Важно

Для корректного проведения этого теста убедитесь, что каждый пользователь доступен через push-уведомления, email и SMS, и что все соответствующие идентификаторы (токены устройств, адреса электронной почты, номера телефонов) связаны в рамках одного кастомного User ID. Это позволяет Pushwoosh точно идентифицировать одного и того же пользователя на разных каналах, правильно доставлять сообщения и корректно распределять пользователей по тестовым ветвям.

Эта настройка требует помощи разработчика. Поделитесь этим руководством с вашей командой разработчиков: Установка кастомного User ID и его привязка к нескольким устройствам.

Шаг 1. Добавьте элемент входа и выберите аудиторию

Начните Journey с входа на основе аудитории (Audience-based entry) и выберите или создайте сегмент Неактивные пользователи (тренировка не регистрировалась 14+ дней).

Узнайте больше о создании сегментов.

Шаг 2. Определите цель конверсии

Установите событие WorkoutLogged в качестве Цели конверсии (Conversion Goal), чтобы измерить, какой канал способствует повторному вовлечению.

Для получения дополнительной информации о настройке событий см. документацию по Событиям (Events).

Шаг 3. Настройте элемент A/B/n-сплит

Добавьте элемент A/B/n-сплит после элемента входа. Выберите 3 ветви с равномерным распределением и используйте Победитель выбирается автоматически по цели с выбранной целью конверсии.

Шаг 4. Настройте остальную часть Journey

Настройте Journey для следующих ветвей. В каждой ветви добавьте и настройте соответствующий элемент сообщения (Push, Email или SMS):

• Ветвь A (контрольная): Элемент Push Пример содержания: «Пора двигаться 💪 Нажмите, чтобы начать тренировку прямо сейчас!»

• Ветвь B: Элемент Email Пример содержания: «Ваш фитнес-путь ждет. Запишите свою следующую тренировку сегодня!»

• Ветвь C: Элемент SMS Пример содержания: «Не останавливайтесь сейчас! Отследите сегодняшнюю тренировку и сохраните свою серию!»

Завершите каждую ветвь здесь — добавьте элемент Выход (Exit) или оставьте ее без исходящего соединения.

Шаг 5. Запустите Journey

Запустите Journey. Пользователи будут разделены по ветвям и получат сообщение по одному из каналов. Pushwoosh автоматически определит победителя и направит пользователей в победную ветвь.

Для анализа результатов дважды щелкните по A/B/n-сплиту, чтобы открыть подробную статистику. Узнать больше