Multi-Armed Bandit

Элемент Multi-Armed Bandit отправляет пользователям push-уведомление, так же как и элемент Push. Вместо одного пресета вы предоставляете несколько вариантов контента. Оптимизация происходит непрерывно на основе данных в реальном времени, без необходимости вручную перезапускать тест или поддерживать фиксированное распределение трафика. Pushwoosh направляет больше трафика на тот вариант, который открывают чаще всего.

Multi-Armed Bandit — экспериментальная функция

• Варианты: поддерживаются только существующие пресеты push-уведомлений. Варианты контента для email, SMS или in-app пока не поддерживаются.
• Метрика успеха: на данный момент в качестве успешного результата учитываются только открытия push-уведомлений. Возможность выбора пользовательского Event в качестве метрики успеха появится в ближайшее время.
• Выбор: основан на общей производительности варианта среди всех пользователей, а не на индивидуальных предпочтениях. Pushwoosh избегает отправки одного и того же варианта одному и тому же человеку дважды подряд.

Поведение и настройки могут измениться по мере развития этой функции.

Добавьте элемент Multi-Armed Bandit после события или условия, которое должно его запустить, а затем настройте элемент.

Добавьте варианты контента

Совет

Чтобы использовать Multi-Armed Bandit, сначала создайте два или более пресета push-уведомлений в вашем аккаунте. Узнайте больше о создании пресетов push-уведомлений. Для сохранения элемента необходимо как минимум два варианта.

1. Дважды щелкните элемент Multi-Armed Bandit, чтобы открыть его настройки.
2. В разделе Варианты контента выберите как минимум два разных пресета push-уведомлений.
3. Нажмите Добавить вариант, чтобы включить больше пресетов. Верхнего предела нет.

Если для вашего аккаунта включено одобрение контента, этот селектор не показывает статус версии и не отключает неодобренные пресеты, но каждый вариант все равно должен быть одобрен. Запуск или возобновление Journey блокируется, если какой-либо из вариантов не одобрен.

Выберите метрику успеха

В разделе Вознаграждение выберите, что считается успешным результатом для варианта:

• Push-уведомление открыто: вариант считается успешным, когда пользователь открывает это push-уведомление.
• Произошло событие: выберите пользовательское событие в качестве сигнала успеха вместо открытий. Эта опция появится в ближайшее время.

Установите Окно вознаграждения, чтобы определить, сколько часов Pushwoosh будет ждать после отправки, прежде чем проверить, было ли открыто push-уведомление. По умолчанию установлено 2 часа.

Примечание

Если пользователь откроет push-уведомление после закрытия окна вознаграждения, открытие все равно появится в вашей обычной статистике сообщений. Оно не будет учитываться при оптимизации Multi-Armed Bandit. Для обучения эта отправка будет считаться неоткрытой. Выберите достаточно длинное окно, чтобы зафиксировать важные для вас открытия. Более длинное окно также означает, что Multi-Armed Bandit будет дольше ждать, прежде чем сможет извлечь урок из каждой отправки.

Персонализируйте варианты и добавляйте ваучеры

Примечание

Эти настройки применяются ко всему элементу Multi-Armed Bandit, а не к каждому варианту в отдельности. Какой бы пресет Multi-Armed Bandit ни отправил пользователю, для заполнения его плейсхолдеров будут использоваться одни и те же правила персонализации и пул ваучеров. Если только некоторые из ваших пресетов содержат определенный плейсхолдер или тег {{voucher}}, другие варианты просто не будут его использовать — нет способа установить разные сопоставления событий или пулы ваучеров для каждого варианта.

Персонализация с помощью Dynamic Content

Включите Персонализировать сообщение с помощью атрибутов события, чтобы заполнять плейсхолдеры в ваших пресетах значениями из события, а не из тегов устройства. Multi-Armed Bandit собирает плейсхолдеры, используемые во всех выбранных вами вариантах, в один список, так что вы сопоставляете каждый плейсхолдер один раз, независимо от того, какой пресет в итоге будет отправлен.

Узнайте больше о персонализации в Journey.

Перезапись плейсхолдеров Liquid

Включите Перезаписать плейсхолдеры Liquid и выберите событие, чтобы передать его атрибуты в теги Liquid в ваших пресетах, которые совпадают по названию. Если вы включите и Dynamic Content, и персонализацию Liquid, приоритет будет у Liquid.

Использование ваучеров

Включите Использовать ваучеры, чтобы прикрепить уникальный код из пула ваучеров к любому отправленному варианту. Заранее создайте пресеты с плейсхолдером {{voucher}}, а затем выберите Пул ваучеров, из которого будут браться коды. При необходимости используйте Присвоить Tag, чтобы сохранить доставленный код в теге пользователя.

Узнайте больше о ваучерах.

Установите тип сообщения

Выберите Маркетинговое сообщение или Транзакционное сообщение:

• Маркетинговое сообщение: для кампаний и промоакций. Применяются все правила и ограничения. Учитываются: ограничение частоты и период тишины. Исключаются: пользователи из контрольной группы.
• Транзакционное сообщение: для операционных или сервисных сообщений. Правила и ограничения не применяются. Обходит: ограничение частоты. Отправляется: пользователям из контрольной группы.

Узнайте, как тип сообщения влияет на доставку.

Настройте параметры доставки сообщений

Установите ограничение частоты

Примечание

Опции ограничения частоты доступны только при выборе Маркетингового сообщения. При выборе Транзакционного сообщения ограничение частоты не применяется, и эти опции отключены.

Используйте Ограничение частоты, чтобы ограничить, как часто пользователи получают push-уведомления, предотвращая избыточную отправку сообщений и снижая отток. В настройках элемента Multi-Armed Bandit выберите один из следующих вариантов:

• Использовать глобальные настройки ограничения частоты

  Применить лимиты, установленные для всего проекта в глобальных настройках ограничения частоты.

  Например, если глобальный лимит установлен на 3 сообщения за 9 дней, дополнительные сообщения, превышающие этот лимит, будут пропущены.

• Игнорировать глобальное ограничение частоты

  Пользователь получит это сообщение, даже если он превысил лимиты сообщений для канала. Используйте эту опцию с осторожностью, чтобы избежать избыточной отправки сообщений.

• Использовать пользовательское ограничение частоты

  Установить пользовательский лимит для этого сообщения. Если пользователь превысит этот лимит, сообщение будет пропущено, и пользователь перейдет к следующему шагу.

  Важно

  Пользовательское ограничение частоты заменяет глобальное для этого сообщения, поэтому проверяется только пользовательский лимит. Однако сообщение все равно учитывается в глобальном счетчике канала, поэтому оно может использовать часть общей квоты для других push-уведомлений, которые полагаются на глобальное ограничение. Узнайте больше.

  Выберите режим подсчета для этого пользовательского лимита: Скользящее окно или Календарный день.

Установите лимиты скорости отправки

Настройка Скорость отправки контролирует, как быстро сообщения доставляются вашей аудитории. Регулировка скорости отправки помогает управлять скоростью доставки, предотвращать перегрузку бэкенда и улучшать общую доставляемость.

Выберите один из следующих вариантов:

• Использовать глобальные настройки скорости отправки Применяет лимиты скорости отправки, настроенные в параметрах доставки сообщений вашего проекта. Если лимиты не установлены, все сообщения будут отправлены немедленно. Используйте эту опцию, когда хотите, чтобы скорость доставки соответствовала правилам вашего проекта по умолчанию. Узнайте больше о глобальных лимитах скорости отправки

• Отправлять сообщения без ограничения скорости Отправляет сообщения как можно быстрее, игнорируя любые глобальные лимиты скорости отправки. Используйте с осторожностью, чтобы избежать перегрузки вашего бэкенда или создания пиков доставки.

• Использовать пользовательскую скорость отправки Переопределяет глобальную скорость отправки только для этого сообщения. Позволяет указать количество сообщений, отправляемых в минуту, давая вам полный контроль над скоростью доставки. Сообщения будут отправляться с пользовательской скоростью, которую вы определите в элементе сообщения.

Когда вы закончите настройку элемента Multi-Armed Bandit, нажмите Сохранить.

Как Multi-Armed Bandit выбирает вариант

Multi-Armed Bandit не чередует варианты равномерно и не использует фиксированное распределение 50/50, как A/B/n-сплит. Вместо этого он постоянно отслеживает, какой вариант открывают чаще, и постепенно отправляет этот вариант большей доле пользователей. Он все еще отправляет другие варианты достаточно часто, чтобы продолжать учиться на реальных данных.

Несколько вещей, которые нужно знать о его поведении:

• Требуется некоторое время и объем, чтобы появился явный лидер. Вначале варианты отправляются почти равномерно.
• Pushwoosh избегает отправки одного и того же варианта одному и тому же пользователю дважды подряд, чтобы люди не получали одно и то же сообщение повторно.
• Выбор основан на общей производительности каждого варианта среди всех пользователей в Journey, а не на индивидуальных предпочтениях пользователя.

Даже после того, как вариант подтвержден как победитель, Multi-Armed Bandit продолжает работать. В отличие от A/B/n-сплита, он не фиксирует победителя и не направляет весь трафик на него. Победивший вариант продолжает получать наибольшую долю отправок, в то время как другие по-прежнему получают меньшую долю, чтобы Pushwoosh мог продолжать учиться. Если производительность со временем изменится, Multi-Armed Bandit адаптируется и может перенаправить трафик на нового лидера.

Пример сценария: восстановление брошенной корзины

Используйте Multi-Armed Bandit, когда пользователи добавляют товары в корзину, но не завершают оформление заказа. В приведенном ниже примере Journey запускается по событию Корзина брошена и тестирует три варианта push-уведомлений, чтобы вернуть пользователей.

1. Подготовьте пресеты push-уведомлений. Создайте три пресета push-уведомлений в вашем аккаунте, прежде чем создавать Journey. Узнайте больше о создании пресетов push-уведомлений.

   Для этого сценария с брошенной корзиной вы можете создать такие пресеты:

   • Напоминание о корзине: «Товары ждут вас в корзине»
   • Срочность корзины: «Ваша корзина истекает через 1 час»
   • Скидка на корзину: «Получите скидку 10%, если оформите заказ сейчас»

2. Создайте Journey. В Кампании → Конструктор Customer Journey нажмите Создать кампанию и выберите Создать Journey с нуля. Добавьте на холст элемент Вход по триггеру.

3. Установите триггер. Создайте или включите событие Корзина брошена, которое срабатывает, когда пользователь не завершает оформление заказа в течение нескольких часов. В элементе Вход по триггеру выберите это событие в качестве триггера Journey. Узнайте больше о событиях.

4. Добавьте элемент Multi-Armed Bandit. Разместите элемент Multi-Armed Bandit после триггера, а затем откройте его настройки.

5. Добавьте варианты контента. В разделе Варианты контента выберите три пресета, которые вы создали на шаге 1.

6. Выберите метрику успеха. В разделе Вознаграждение выберите Push-уведомление открыто. Установите Окно вознаграждения на 2 часа. Это окно достаточно длинное, чтобы зафиксировать открытия от пользователей, которые не проверяют свой телефон сразу, но достаточно короткое, чтобы продолжать быстро учиться.

7. Завершите настройку и запустите. Настройте тип сообщения и параметры доставки, нажмите Сохранить и активируйте Journey.

После запуска

Multi-Armed Bandit может вести себя примерно так. Фактическое распределение трафика и время зависят от объема отправок и реакции пользователей на каждый вариант.

Сначала Pushwoosh отправляет все три варианта почти равномерно, так как у него еще недостаточно данных. По мере поступления открытий он начинает перенаправлять больше трафика на тот вариант, который открывают чаще. Например, если «Получите скидку 10%, если оформите заказ сейчас» постоянно превосходит два других, он может получать около 60% отправок, в то время как остальные два делят оставшуюся часть.

Pushwoosh продолжает отправлять и менее эффективные варианты. Это позволяет продолжать обучение и следовать правилу, что пользователь, которому только что был отправлен один вариант, не получит тот же самый вариант в следующий раз, когда он достигнет этого шага.

Просмотр результатов

После сохранения элемента и запуска Journey откройте панель статистики элемента Multi-Armed Bandit, чтобы увидеть, как работают ваши варианты.

Баннер вверху показывает текущий статус эксперимента:

• Пока недостаточно данных: Multi-Armed Bandit еще не собрал достаточно отправок, чтобы сделать какие-либо значимые выводы.
• Все еще в процессе обучения: данные есть, но ни один из вариантов еще не является явным, статистически значимым лидером.
• Значимый лидер: один вариант подтвержден как превосходящий другие. Он отмечен значком Победитель.

Для каждого варианта вы увидите:

• Отправлено: сколько раз был отправлен этот вариант.
• Открыто: доля отправок, которые были открыты.
• Трафик: текущая доля новых отправок, направляемых на этот вариант.

Multi-Armed Bandit vs. A/B/n-сплит

И Multi-Armed Bandit, и A/B/n-сплит оптимизируют ваши сообщения, но работают по-разному. Используйте таблицу ниже, чтобы решить, какой из них подходит для вашего случая.

	Multi-Armed Bandit	A/B/n-сплит
Механика	Непрерывно перенаправляет трафик на наиболее эффективный вариант на основе открытий в реальном времени	Разделяет пользователей на ветви с фиксированным процентом, который вы определяете заранее. Ветви могут содержать совершенно разные последующие потоки
Варианты	Требуется как минимум два пресета push-уведомлений. Нет верхнего предела по количеству вариантов	До четырех ветвей на тест
Распределение трафика	Начинается почти равномерно, затем автоматически смещается по мере поступления данных	Фиксированный процент, который вы устанавливаете, остается неизменным до выбора победителя
Продолжительность	Работает непрерывно, без определенного окончания	Работает до достижения статистической значимости или до тех пор, пока вы не остановите его вручную
Победитель	Никогда не фиксируется: победивший вариант получает больше трафика, но другие все равно получают некоторую долю	Фиксируется после выбора победителя: проигравшие ветви деактивируются, и все новые пользователи направляются к победителю
Лучше всего подходит для	Постоянной оптимизации контента для одного шага сообщения (пока только для пресетов push-уведомлений)	Тестирования структурно разных потоков или последовательностей, когда вам нужно однократное, зафиксированное решение