跳到内容

A/B/n 拆分

YouTube 视频:了解如何在 Pushwoosh Customer Journey Builder 中设置和分析 A/B/n 测试

使用 A/B/n 拆分元素来测试哪种消息序列对您的转化目标效果最佳。通过为您的受众找到最有效的方法来优化通信。

旅程画布上的 A/B/n 拆分元素

配置 A/B/n 拆分设置

Anchor link to

A/B/n 拆分元素放置在画布上后,双击它以配置测试设置。

设置分支数量

Anchor link to

使用分支下拉菜单选择您想要测试的变体数量(最多 4 个)。默认情况下,分支 A 是对照组。

定义各分支的用户分布

Anchor link to

设置路由到每个分支的用户百分比,确保总和为 100%。要将用户均匀分配到各个分支,请单击重置分布

配置分支并定义各分支的用户分布

选择优胜者的评选方式

Anchor link to

您有两个选项:

您手动选择优胜者
Anchor link to

您将审查结果并稍后手动选择获胜分支。这需要持续监控和手动停用。了解更多

A/B/n 拆分测试配置中的手动选择优胜者设置
优胜者根据目标自动选出
Anchor link to

系统会监控营销活动目标,并在达到统计显著性后停用较弱的分支。新用户随后将被引导至获胜分支。

启用自动选择优胜者后,选择系统应如何评估优胜者:

  • 首个达到显著性的目标。系统会监控所有分配的目标,并选择第一个达到统计显著性的目标。

  • 选择特定目标(例如,CheckoutSuccess)。此目标将用于评估哪个分支表现最佳。

A/B/n 拆分设置中按目标自动选择优胜者

配置完成后,单击保存以应用您的测试设置。

如何设置和运行 A/B/n 测试

Anchor link to

设置测试

Anchor link to

暂停旅程

Anchor link to

如果您想在活跃的旅程中设置 A/B/n 测试,请先暂停它。要了解有关编辑活跃旅程的更多信息,请阅读本文

定义至少一个转化目标

Anchor link to

设置至少一个将用于计算测试结果的转化目标。例如,如果您想测试两个推送通知中哪个更有效,您可以将 PW_InAppPurchase 事件设置为转化目标。

为 A/B/n 测试设置转化目标

如果您指定了多个转化目标,则会为每个目标分别计算结果。

添加 A/B/n 拆分元素

Anchor link to

A/B/n 拆分元素放置到画布上任何其他元素之后,然后双击它以配置测试。

设置分支和用户分布

Anchor link to

选择分支数量。您最多可以向测试中添加四个分支。第一个分支始终被视为对照组,其他分支的结果将与之进行比较。请继续阅读本指南,了解如何根据您的需求设置此分支。

为 A/B/n 测试设置分支数量

接下来,设置进入每个分支的用户百分比。所有分支的总和应为 100%。根据您设置的百分比,到达此旅程步骤的旅程参与者将被随机分配到指定数量的分支中。

请注意,分配到分支 A 的用户将被视为对照组,其他分支的结果将与之进行比较。下一步将描述如何为不同情况设置分支 A。

设置各分支的用户分布

选择优胜者评估模式

Anchor link to

选择如何确定优胜者:

  • 按目标自动选择。 系统会跟踪一个已定义的目标,使用统计显著性检测表现最佳的分支,并自动将新用户路由到优胜者。
  • 手动选择。 您将审查测试结果并手动决定哪个分支表现最佳。此选项要求您监控测试并手动停用表现不佳的分支。了解更多

为每个分支配置内容

Anchor link to

现在您可以为每个分支设置通信流。由于分支 A 是对照组,您需要根据您的情况以特定方式配置它:

  • 测试现有通信流与新版本。 在这种情况下,现有版本应位于分支 A。此外,请确保转化目标可以在任何分支(包括分支 A)中完成。
  • 仅测试新版本之间的对比。 由于没有旧的通信流,其中一个新版本将被标记为对照组(在分支 A 中呈现的那个)。确保转化目标可以在所有分支中完成。
  • 测试一个没有任何通信的现有版本与新的通信流。 例如,您想在旅程结束时再添加一个推送,看看与没有此推送的原始版本相比,营销活动表现是否有所提升。在这种情况下,“空”版本应呈现在分支 A 中。为获得可靠结果,请为每个分支添加相等的时间延迟
配置具有不同通信流的分支以进行测试

启动旅程

Anchor link to

如果一切准备就绪,请启动旅程。

分析结果

Anchor link to

测试一旦启动,您就可以看到其实时统计数据。

在旅程画布上,查看通过每个分支的用户数量:

在旅程画布上查看每个分支的用户数

要查看测试结果,请双击 A/B/n 拆分元素。您将看到每个分支的统计数据,包括到所选目标的转化率以及用于计算统计显著性的指标。

每个分支的 A/B/n 测试统计数据

如果您设置了多个转化目标,您可以通过从列表中选择所需的目标来查看每个目标的结果:

选择一个转化目标以查看特定测试结果

如果您的测试有统计上显著的优胜者,并且您正在使用手动选择优胜者,您可以通过单击仅保留优胜者来立即关闭表现较差的分支。新的旅程参与者将被引导至获胜分支。已经进入已停用分支的用户将继续通过它们,直到完成旅程。

手动选择优胜者中的“仅保留优胜者”选项

您可以查看特定时间段的测试结果。为此,请在左侧面板上选择所需的时间段,然后双击 A/B/n 拆分元素。您将看到指定时间的统计数据。

查看特定时间段的测试结果

测试结果计算如下:

  • 转化率是根据分支中的用户数和完成的转化目标计算的。分支 A 将被标记为基线,因为它代表对照组。
  • 计算统计显著性时,会考虑 Z-ScoreP-Value。如果结果有效,它将被标记为_显著_。
  • 如果一个分支的转化率最高,并且此结果被标记为_显著_,则该分支被视为优胜者

停用分支

Anchor link to

如果 Pushwoosh 确定了具有统计显著性的优胜者,您可以在测试统计窗口中单击仅保留优胜者来立即关闭表现较差的分支。在这种情况下,您无需暂停旅程。 如果某个分支表现不佳,您可以停用它。新用户将不再进入已停用的分支。

要停用分支,请先暂停旅程:

暂停旅程以停用分支

之后,双击 A/B/n 拆分元素。为此分支设置 0%,并重新分配进入剩余分支的用户百分比:

通过将其用户分布设置为 0% 来停用分支