Multi-Armed Bandit

Элемент Multi-Armed Bandit отправляет пользователям push-уведомление, как и элемент Push. Вместо одного пресета вы предоставляете несколько вариантов контента. Оптимизация происходит непрерывно на основе данных в реальном времени, без ручного перезапуска теста или сохранения фиксированного распределения трафика. Pushwoosh направляет больше трафика на тот вариант, который открывают чаще всего.

Multi-Armed Bandit — это экспериментальная функция

• Варианты: поддерживаются только существующие пресеты push-уведомлений. Варианты контента для Email, SMS или In-App пока не поддерживаются.
• Метрика успеха: на данный момент в качестве успешного результата учитываются только открытия push-уведомлений. Возможность выбора пользовательского события в качестве метрики успеха появится в ближайшее время.
• Выбор: основан на общей эффективности варианта для всех пользователей, а не на индивидуальных предпочтениях. Pushwoosh избегает отправки одного и того же варианта одному и тому же человеку дважды подряд.

Поведение и настройки могут измениться по мере развития этой функции.

Добавьте элемент Multi-Armed Bandit после события или условия, которое должно его запустить, а затем настройте элемент.

Добавьте варианты контента

Совет

Чтобы использовать Multi-Armed Bandit, сначала создайте два или более пресета push-уведомлений в своем аккаунте. Узнайте больше о создании пресетов push-уведомлений. Для сохранения элемента необходимо как минимум два варианта.

1. Дважды щелкните элемент Multi-Armed Bandit, чтобы открыть его настройки.
2. В разделе Варианты контента выберите как минимум два разных пресета push-уведомлений.
3. Нажмите Добавить вариант, чтобы включить больше пресетов. Верхнего предела нет.

Выберите метрику успеха

В разделе Вознаграждение выберите, что считается успешным результатом для варианта:

• Push-уведомление открыто: вариант считается успешным, когда пользователь открывает это push-уведомление.
• Событие произошло: выберите пользовательское событие в качестве сигнала успеха вместо открытий. Эта опция появится в ближайшее время.

Установите Окно вознаграждения, чтобы определить, сколько часов Pushwoosh будет ждать после отправки, прежде чем проверить, было ли открыто push-уведомление. По умолчанию установлено 2 часа.

Примечание

Если пользователь откроет push-уведомление после закрытия окна вознаграждения, открытие все равно появится в вашей обычной статистике сообщений. Оно не будет учитываться при оптимизации Multi-Armed Bandit. Для обучения эта отправка будет считаться неоткрытой. Выберите достаточно длинное окно, чтобы зафиксировать важные для вас открытия. Более длинное окно также означает, что Multi-Armed Bandit будет дольше ждать, прежде чем сможет извлечь урок из каждой отправки.

Задайте тип сообщения

Выберите Маркетинговое сообщение или Транзакционное сообщение:

• Маркетинговое сообщение: для кампаний и промоакций. Применяются все правила и ограничения. Учитываются: отписки, ограничение частоты и период тишины. Исключаются: пользователи из глобальной контрольной группы.
• Транзакционное сообщение: для операционных или служебных сообщений. Правила и ограничения не применяются. Обходит: отписки, ограничение частоты и период тишины. Отправляется: пользователям из глобальной контрольной группы.

Узнайте, как тип сообщения влияет на доставку.

Настройте параметры доставки сообщений

Установите ограничение частоты

Примечание

Опции ограничения частоты доступны только при выборе Маркетингового сообщения. Если вы выберете Транзакционное сообщение, ограничение частоты не применяется, и эти опции будут отключены.

Используйте Ограничение частоты, чтобы ограничить частоту получения пользователями push-сообщений, предотвращая избыточную рассылку и снижая отток. В настройках элемента Multi-Armed Bandit выберите одну из следующих опций:

• Использовать глобальные настройки ограничения частоты

  Применить лимиты для всего проекта, настроенные в ваших глобальных настройках ограничения частоты.

  Например, если глобальный лимит установлен на 3 сообщения за 9 дней, дополнительные сообщения, превышающие этот лимит, будут пропущены.

• Игнорировать глобальное ограничение частоты

  Пользователь получит это сообщение, даже если он превысил лимиты сообщений для канала. Используйте эту опцию с осторожностью, чтобы избежать избыточной рассылки.

• Использовать пользовательское ограничение частоты

  Установить пользовательский лимит для этого сообщения. Если пользователь превысит этот лимит, сообщение будет пропущено, и пользователь перейдет к следующему шагу.

  Важно: Пользовательское ограничение частоты не изолирует сообщение от глобального ограничения частоты. Все сообщения, отправленные по тому же каналу, включая сообщения из других Journey или кампаний, по-прежнему учитываются в глобальном лимите. Если пользователь уже получил 3 push-сообщения на этой неделе из других источников, это сообщение все равно может быть заблокировано, даже если пользовательское ограничение позволило бы его отправить. Узнать больше

Установите ограничения скорости отправки

Настройка Скорость отправки контролирует, как быстро сообщения доставляются вашей аудитории. Регулировка скорости отправки помогает управлять скоростью доставки, предотвращать перегрузку бэкенда и улучшать общую доставляемость.

Выберите одну из следующих опций:

• Использовать глобальные настройки скорости отправки Применяет ограничения скорости отправки, настроенные в параметрах доставки сообщений вашего проекта. Если лимиты не установлены, все сообщения будут отправлены немедленно. Используйте эту опцию, когда хотите, чтобы скорость доставки соответствовала правилам вашего проекта по умолчанию. Узнайте больше о глобальных ограничениях скорости отправки

• Отправлять сообщения без ограничения скорости Отправляет сообщения как можно быстрее, игнорируя любые глобальные ограничения скорости отправки. Используйте с осторожностью, чтобы избежать перегрузки вашего бэкенда или создания пиков доставки.

• Использовать пользовательскую скорость отправки Переопределяет глобальную скорость отправки только для этого сообщения. Позволяет указать количество сообщений, отправляемых в минуту, давая вам полный контроль над скоростью доставки. Сообщения будут отправляться с пользовательской скоростью, которую вы определите в элементе сообщения.

Когда вы закончите настройку элемента Multi-Armed Bandit, нажмите Сохранить.

Как Multi-Armed Bandit выбирает вариант

Multi-Armed Bandit не чередует варианты равномерно и не проводит фиксированное разделение 50/50, как A/B/n-сплит. Вместо этого он постоянно отслеживает, какой вариант открывают чаще, и постепенно отправляет этот вариант большей доле пользователей. Он все еще отправляет другие варианты достаточно часто, чтобы продолжать учиться на реальных данных.

Несколько моментов, которые нужно знать о его поведении:

• Требуется некоторое время и объем, чтобы появился явный лидер. Вначале варианты отправляются почти равномерно.
• Pushwoosh избегает отправки одного и того же варианта одному и тому же пользователю дважды подряд, чтобы люди не получали одно и то же сообщение повторно.
• Выбор основан на общей эффективности каждого варианта для всех пользователей в Journey, а не на индивидуальных предпочтениях пользователя.

Даже после того, как вариант подтвержден как победитель, Multi-Armed Bandit продолжает работать. В отличие от A/B/n-сплита, он не фиксирует победителя и не направляет на него весь трафик. Победивший вариант продолжает получать наибольшую долю отправок, в то время как другие по-прежнему получают меньшую долю, чтобы Pushwoosh мог продолжать учиться. Если со временем эффективность изменится, Multi-Armed Bandit адаптируется и может перенаправить трафик на нового лидера.

Пример сценария: возврат брошенной корзины

Используйте Multi-Armed Bandit, когда пользователи добавляют товары в корзину, но не завершают оформление заказа. В приведенном ниже примере Journey запускается по событию «Брошенная корзина» и тестирует три варианта push-уведомлений, чтобы вернуть пользователей.

1. Подготовьте пресеты push-уведомлений. Создайте три пресета push-уведомлений в своем аккаунте, прежде чем создавать Journey. Узнайте больше о создании пресетов push-уведомлений.

   Для этого сценария с брошенной корзиной вы можете создать такие пресеты:

   • Напоминание о корзине: «Товары ждут вас в корзине»
   • Срочность по корзине: «Ваша корзина истекает через 1 час»
   • Скидка на корзину: «Получите скидку 10%, если оформите заказ сейчас»

2. Создайте Journey. В Кампании → Конструктор Customer Journey нажмите Создать кампанию и выберите Создать Journey с нуля. Добавьте на канву элемент Вход по триггеру.

3. Установите триггер. Создайте или включите событие «Брошенная корзина», которое срабатывает, когда пользователь не завершает оформление заказа в течение нескольких часов. В элементе Вход по триггеру выберите это событие в качестве триггера Journey. Узнайте больше о событиях.

4. Добавьте элемент Multi-Armed Bandit. Разместите элемент Multi-Armed Bandit после триггера, затем откройте его настройки.

5. Добавьте варианты контента. В разделе Варианты контента выберите три пресета, которые вы создали на шаге 1.

6. Выберите метрику успеха. В разделе Вознаграждение выберите Push-уведомление открыто. Установите Окно вознаграждения на 2 часа. Это окно достаточно длинное, чтобы зафиксировать открытия от пользователей, которые не проверяют свой телефон сразу, но достаточно короткое, чтобы продолжать быстро учиться.

7. Завершите настройку и запустите. Настройте тип сообщения и параметры доставки, нажмите Сохранить и активируйте Journey.

После запуска

Multi-Armed Bandit может вести себя примерно так. Фактическое распределение трафика и время зависят от объема отправок и реакции пользователей на каждый вариант.

Сначала Pushwoosh отправляет все три варианта почти равномерно, так как у него еще недостаточно данных. По мере поступления открытий он начинает направлять больше трафика на тот вариант, который открывают чаще. Например, если «Получите скидку 10%, если оформите заказ сейчас» постоянно превосходит два других, он может получать около 60% отправок, в то время как остальные два делят оставшуюся часть.

Pushwoosh продолжает отправлять и менее эффективные варианты. Это позволяет продолжать обучение и следовать правилу, что пользователь, которому только что был отправлен один вариант, не получит тот же самый вариант снова при следующем прохождении этого шага.

Просмотр результатов

После сохранения элемента и запуска Journey откройте панель статистики элемента Multi-Armed Bandit, чтобы увидеть, как работают ваши варианты.

Баннер вверху показывает текущий статус эксперимента:

• Пока недостаточно данных: Multi-Armed Bandit еще не собрал достаточно отправок, чтобы сделать какие-либо значимые выводы.
• Все еще в процессе обучения: данные есть, но ни один вариант еще не является явным, статистически значимым лидером.
• Явный лидер: один вариант подтвержденно превосходит другие. Он отмечен значком Победитель.

Для каждого варианта вы увидите:

• Отправлено: сколько раз был отправлен этот вариант.
• Открыто: доля отправок, которые были открыты.
• Трафик: текущая доля новых отправок, направляемых на этот вариант.

Multi-Armed Bandit в сравнении с A/B/n-сплитом

И Multi-Armed Bandit, и A/B/n-сплит оптимизируют ваши сообщения, но работают по-разному. Используйте таблицу ниже, чтобы решить, какой из них подходит для вашего случая.

	Multi-Armed Bandit	A/B/n-сплит
Механика	Непрерывно перенаправляет трафик на самый эффективный вариант на основе открытий в реальном времени	Разделяет пользователей на ветви с фиксированным процентом, который вы определяете заранее. Ветви могут содержать совершенно разные последующие потоки
Варианты	Требуется как минимум два пресета push-уведомлений. Нет верхнего предела по количеству вариантов	До четырех ветвей на тест
Распределение трафика	Начинается почти равномерно, затем автоматически смещается по мере поступления данных	Фиксированный процент, который вы устанавливаете, остается неизменным до выбора победителя
Продолжительность	Работает непрерывно, без определенного окончания	Работает до достижения статистической значимости или пока вы не остановите его вручную
Победитель	Никогда не фиксируется: победивший вариант получает больше трафика, но другие все равно получают некоторую долю	Фиксируется после выбора победителя: проигравшие ветви деактивируются, и все новые пользователи направляются к победителю
Лучше всего подходит для	Постоянной оптимизации контента для одного шага сообщения (пока только для пресетов push-уведомлений)	Тестирования структурно разных потоков или последовательностей, когда вам нужно однократное, зафиксированное решение