Как проводить A/B/n-тестирование в Customer Journeys

Почему A/B/n-тестирование полезно

Не всегда очевидно, какое сообщение, предложение, время или канал вызовут наилучший отклик у ваших пользователей. A/B/n-тестирование позволяет сравнить несколько вариантов одновременно, чтобы вы могли:

• Найти комбинацию, которая приводит к наибольшему количеству конверсий.

• Быстро тестировать идеи в одном journey вместо запуска отдельных кампаний.

• Сохранять контрольную группу для сравнения с вашими текущими коммуникациями.

Например, интернет-магазин может проверить, больше ли пользователей завершают оформление заказа, когда они получают: push-уведомление со скидкой 10% сразу, email с бесплатной доставкой через 24 часа или SMS-напоминание без какого-либо стимула.

Что можно тестировать с помощью A/B/n-разделения в Pushwoosh

Элемент A/B/n-разделения в Customer Journeys позволяет тестировать многие аспекты ваших кампаний. Распространенные сценарии тестирования включают:

• Время отправки: Сравнение немедленных и отложенных сообщений (например, напоминание о корзине сразу или через 24 часа).

• Персонализация: Тестирование общего и персонализированного контента (например, «Посмотрите новые поступления» против «Анна, товары, которые вы сохранили, снова в наличии»).

• Эффективность канала: Определение, какой канал работает лучше всего.

• Содержание сообщения: Эксперименты с различными форматами, включая текст, визуальные элементы, кнопки призыва к действию, темы писем, макеты и т. д.

Ниже мы рассмотрим несколько распространенных случаев, когда A/B/n-тестирование может помочь оптимизировать ваши customer journeys.

Тестирование типов скидок для брошенных корзин

Цель

Выяснить, какой тип скидки приводит к наибольшей конверсии среди пользователей, бросивших корзину:

• Скидка 10%
• Скидка $10
• Бесплатная доставка

Шаг 1. Настройте элемент входа

Начните journey с элемента входа на основе триггера (Trigger-based entry) и выберите триггер-событие Cart_Abandoned.

Это гарантирует, что journey будет нацелен на пользователей, которые добавили товары в корзину, но не завершили оформление заказа. При желании вы можете отфильтровать аудиторию, включив пользователей, которые бросили корзину с минимальной стоимостью (например, $50+).

Для получения дополнительной информации о настройке событий см. документацию по Событиям (Events).

Шаг 2. Определите цель конверсии

Установите цель конверсии, чтобы измерить результаты теста. Для этого нажмите Цели конверсии (Conversion goals) в верхней части холста и установите целевое событие CheckoutSuccess. Таким образом, вы сможете увидеть, какое предложение со скидкой приводит к большему количеству завершенных заказов.

Шаг 3. Настройте элемент A/B/n-разделения

После элемента входа разместите элемент A/B/n-разделения, чтобы разделить пользователей на три группы. Распределите пользователей равномерно по ветвям.

Выберите Победитель выбирается автоматически по цели и выберите CheckoutSuccess в качестве цели для выбора победителя. Это означает, что как только Pushwoosh обнаружит статистически значимого победителя, более слабые ветви будут деактивированы, и все новые пользователи будут направляться в победившую ветвь.

Шаг 4. Настройте остальную часть journey

Настройте сообщение в каждой ветви. Для каждой ветви добавьте и настройте элемент push-уведомления.

Например:

• Ветвь A (контрольная): Отправить push-уведомление со скидкой 10%. Пример текста: «Завершите заказ сегодня и получите скидку 10% — предложение ограничено!»

• Ветвь B: Отправить push-уведомление со скидкой $10. Пример текста: «Вот скидка $10 на ваш заказ — завершите оформление прямо сейчас».

• Ветвь C: Отправить push-уведомление с предложением бесплатной доставки. Пример текста: «Мы сохранили вашу корзину! Закажите сегодня и получите бесплатную доставку».

Наконец, добавьте элемент выхода (Exit), чтобы завершить journey.

Шаг 5. Запустите journey

После настройки всех ветвей запустите journey. Пользователи, бросившие корзину, будут случайным образом разделены на три группы, каждая из которых получит свое предложение со скидкой. Когда будет достигнута статистическая значимость, Pushwoosh автоматически направит всех новых пользователей с брошенной корзиной в победившую ветвь.

Чтобы проанализировать результаты, дважды щелкните по элементу A/B/n-разделения, чтобы открыть подробную статистику. Узнать больше

Тестирование эффективности каналов для кампании по повторному вовлечению в фитнес-приложении

Цель

Определить, какой канал коммуникации (push-уведомления, email, SMS) лучше всего мотивирует неактивных пользователей вернуться в приложение.

Важно

Чтобы правильно провести этот тест, убедитесь, что каждый пользователь доступен через push-уведомления, email и SMS, и что все соответствующие идентификаторы (токены устройств, адреса электронной почты, номера телефонов) связаны под одним пользовательским User ID. Это позволяет Pushwoosh точно идентифицировать одного и того же пользователя на разных каналах, правильно доставлять сообщения и корректно распределять пользователей по тестовым ветвям.

Эта настройка требует помощи разработчика. Поделитесь этим руководством с вашей командой разработчиков: Установка пользовательского User ID и его связь с несколькими устройствами.

Шаг 1. Добавьте элемент входа и выберите аудиторию

Начните journey с входа на основе аудитории (Audience-based entry) и выберите или создайте сегмент Неактивные пользователи (тренировка не регистрировалась 14+ дней).

Узнайте больше о создании сегментов.

Шаг 2. Определите цель конверсии

Установите событие WorkoutLogged в качестве цели конверсии (Conversion Goal), чтобы измерить, какой канал способствует повторному вовлечению.

Для получения дополнительной информации о настройке событий см. документацию по Событиям (Events).

Шаг 3. Настройте элемент A/B/n-разделения

Добавьте элемент A/B/n-разделения после элемента входа. Выберите 3 ветви с равномерным распределением и используйте Победитель выбирается автоматически по цели с выбранной целью конверсии.

Шаг 4. Настройте остальную часть journey

Настройте journey для следующих ветвей. В каждой ветви добавьте и настройте соответствующий элемент сообщения (Push, Email или SMS):

• Ветвь A (контрольная): Элемент push-уведомления Пример текста: «Пора двигаться 💪 Нажмите, чтобы начать тренировку прямо сейчас!»

• Ветвь B: Элемент email Пример текста: «Ваш фитнес-путь ждет вас. Запишите следующую тренировку сегодня!»

• Ветвь C: Элемент SMS Пример текста: «Не останавливайтесь! Отследите сегодняшнюю тренировку и сохраните свою серию!»

Наконец, добавьте элемент выхода (Exit), чтобы завершить journey.

Шаг 5. Запустите journey

Запустите journey. Пользователи будут разделены по ветвям и получат сообщение по одному из каналов. Pushwoosh автоматически определит победителя и направит пользователей в победившую ветвь.

Чтобы проанализировать результаты, дважды щелкните по элементу A/B/n-разделения, чтобы открыть подробную статистику. Узнать больше