全局对照组

全局对照组允许您定义一个固定百分比的用户群，他们将被排除在所有营销通讯（推送、电子邮件、应用内消息）之外。对照组用户仍会收到交易性消息。

这有助于您通过比较收到消息的用户和未收到消息的用户（即对照组）的结果，来衡量您的消息营销活动的效果。

注意

对照组是在应用级别进行配置的。

包含哪些用户

只有在您开启对照组后注册的新用户才可能被添加。Pushwoosh 会对每个新用户进行一次检查，并根据您设置的百分比（1% 到 15% 之间）随机将其中一部分分配到该组。

用户会一直留在对照组中，除非您更改组的大小或禁用该组。保持组别不变有助于维持准确的营销活动结果。

重要提示

Pushwoosh 是根据用户的 User ID 而不是设备来分配用户的。如果一个用户的联系方式，例如他们的移动设备、电子邮件地址或电话号码，没有关联在同一个 User ID 下，Pushwoosh 可能会将他们视为不同的用户。因此，即使他们的某个联系点在对照组中，他们可能仍会收到营销消息。

为避免这种情况，请确保您将所有联系方式注册到同一个 User ID 下。

了解如何管理全渠道营销活动的 User ID

对照组如何影响消息发送

营销消息（推送、电子邮件、应用内消息）会自动对所有类型营销活动中的对照组用户进行屏蔽。

交易性消息（如密码重置或订单确认）仍会发送。为确保这一点，在创建客户旅程营销活动或发送一次性消息时，请选择交易性消息。

注意

您必须为每次推送、电子邮件和应用内消息发送选择营销消息或交易性消息。请参阅在哪里设置消息类型。

如何处理现有营销活动

在您启用全局对照组之前创建的营销活动没有设置消息类型。它们被视为交易性消息，并会发送给所有用户，包括对照组。如果您希望这类营销活动排除对照组，请编辑每个营销活动并将消息类型设置为营销。

了解更多关于营销和交易性消息的信息。

使用对照组用户

当您启用全局对照组时，Pushwoosh 会创建一个系统标签：

• 标签名称： PW_ControlGroup
• 值： true（用户在对照组中）或 false（用户不在对照组中）

您可以使用此标签来筛选、分段或导出对照组用户。

启用全局对照组

重要提示

只有管理员可以创建、编辑或删除全局对照组。角色在 My Account → Users and groups 中分配。了解如何管理角色和权限。

1. 导航至 Settings > Global control group。
2. 点击 Enable。

3. 选择将从营销消息中排除的用户百分比，以衡量营销活动的影响。

• 3%：最大化触达 推荐用于小型应用或关键用例，其中触达更多用户很重要，且测量准确性可以略微放宽。
• 5%：推荐用于大多数应用 最佳默认选项。在测量置信度和用户触达之间提供了良好的平衡。
• 10%：更高置信度 适用于大规模营销活动或当您需要强大的数据准确性来验证投资回报率时。
• 自定义 (1%–15%)： 当您需要根据应用规模、营销活动类型或业务需求灵活定义自己的百分比时使用。

点击 Apply 保存您的选择。

注意

启用对照组后，在创建营销活动时，您将看到一条消息，提示对照组中的用户被排除在此营销活动之外。

管理对照组

编辑对照组

您可以随时从 Settings > Global control group 调整对照组的大小。

1. 点击 Edit group size。
2. 选择一个新的百分比（1% 到 15%）。
3. 点击 Apply 确认更改。

重要提示

更改对照组大小仅影响更改后注册的用户。已在对照组中的用户会保留在其中。已在您的应用中但不在组内的用户不会在之后被添加。这可能会影响您与早期营销活动结果的比较，因此仅在必要时更改大小。

导出对照组用户

要下载对照组中的用户列表：

1. 打开 Settings > Global control group。
2. 点击右上角的三点菜单。
3. 选择 Export users。
4. 当导出完成后，点击 Download CSV 保存文件。

禁用对照组

1. 点击对照组设置旁边的三点菜单。
2. 选择 Disable control group。

禁用该组会移除所有用户的对照组状态，他们将再次开始接收营销消息。如果您稍后重新启用它，Pushwoosh 会用新的随机选择创建一个新的组。

分析对照组影响

全局对照组页面显示了您的消息传递与对照组相比的表现。它比较了两组用户在您选择的任何事件上的表现：

• 实验组： 所有不在对照组中的用户。他们会像往常一样继续接收您的营销消息（推送、电子邮件、应用内消息）。
• 对照组： 您在上面配置的保留组。这些用户被排除在营销消息之外，因此他们行为的任何差异都不受您营销活动的影响。

1. 选择一个时间窗口：过去 3 天、过去 7 天或过去 30 天。
2. 查看事件比较表。它已经填充了您在客户旅程中的转化目标。
3. 要添加更多事件，请点击 Add events to compare。您总共可以添加最多 10 个事件。

该表显示了每个事件的以下指标：

• Conv. Treatment： 实验组的转化率。这是收到您的营销消息（推送、电子邮件、应用内消息）并至少触发一次事件的独立用户比例。
• Conv. Control： 对照组的转化率。这是被排除在营销消息之外，但在没有任何消息影响的情况下仍然至少触发一次事件的独立用户比例。
• Uplift： 实验组和对照组转化率之间的百分比差异，相对于对照组的转化率。正值表示实验组的转化效果更好。计算公式为 (conv. treatment − conv. control) / conv. control × 100%。
• Significance： 差异是否具有统计可靠性：
  • Significant： 提升不太可能是由于偶然因素造成的。
  • Not significant： 差异在统计上尚不可靠。
  • Not enough data： 任一组的该事件转化次数少于 10 次或未转化次数少于 10 次，因此无法计算显著性。

影响报告

影响报告显示了单个事件的更深层次分解。使用 View event 下拉菜单选择要检查的事件。

• Uplift (change from control)： 实验组转化率与对照组转化率的差异程度。这与事件表中显示的值相同。
• Conversions driven by messaging： 由您的消息产生的、超出无消息情况下预期数量的额外事件的估计数量。计算公式为 (events per user in treatment − events per user in control) × treatment group size。百分比显示了这些额外事件占所有实验组事件的份额。
• Significance： 表明测量的差异是否具有统计可靠性。报告显示Significant、Not significant或Not enough data，基于：
  • Confidence： Pushwoosh 对提升度反映了实验组和对照组之间的真实差异而非随机偶然的确定程度，以百分比显示。置信度越高，证据越强。
  • P-value： 显示如果消息没有实际效果，偶然观察到这种差异的可能性。P-value 越低，证明差异不是随机的证据越强。
  • Z-score： 显示您两个组的表现相差多远。接近 0 的分数意味着差异可能是随机的。离 0 越远，您就越能确信一个组确实优于另一个组。
• Group breakdown： 按Estimated users、Total number of events、Events per user和**Conv. rate (unique)**比较实验组和对照组。

常见问题解答

哪些用户会被添加到对照组？

只有在您启用对照组后注册的用户才可能被添加。当新用户注册时，Pushwoosh 会根据您设置的百分比（1% 到 15%）随机决定一次他们是否进入对照组。在您开启对照组时已存在于您应用中的用户永远不会被添加进去。

对照组用户会收到交易性消息吗？

是的。交易性消息（例如密码重置、订单确认）会发送给所有用户，包括对照组。只有营销消息会被对照组用户屏蔽。

我在哪里设置营销或交易性消息类型？

您在发送消息的任何地方都可以选择。对于每个渠道，请参阅在哪里设置消息类型。

在我启用对照组之前创建的营销活动会怎么样？

它们没有设置消息类型，被视为交易性消息，因此会发送给所有人，包括对照组。要从这些营销活动中排除对照组，请编辑每个活动并将消息类型设置为营销。

启用后我可以更改对照组的大小吗？

可以。前往 Settings > Global control group，点击 Edit group size，选择一个新的百分比（1% 到 15%），然后点击 Apply。新的百分比仅适用于更改后注册的用户。已在对照组中的用户会保留在其中。已在您的应用中但不在组内的用户不会在之后被添加。这可能会影响与早期营销活动的比较，因此仅在需要时更改大小。

如果我禁用对照组会怎么样？

所有用户将不再属于对照组，并会再次开始接收营销消息。如果您稍后重新启用对照组，Pushwoosh 会用新随机选择的用户创建一个新的组。

我如何查看哪些用户在对照组中？

当对照组启用时，Pushwoosh 会创建系统标签 PW_ControlGroup，其值为 true（用户在组内）或 false（用户不在组内）。您可以使用此标签来筛选、分段或导出对照组用户。

为什么对照组计数与我的分段计数不匹配？

即使用户选择退出推送、卸载应用或其推送令牌失效，PW_ControlGroup 标签仍会保留在该用户身上，因此总的标签计数可能会高于预期。基于此标签构建的分段或导出的数据仅包括可触达的设备：那些拥有有效推送令牌、已验证电子邮件或其他有效联系方式的设备。这就是为什么标记为 PW_ControlGroup: true 的用户数可能大于您在基于该标签构建的分段或 CSV 文件中看到的数量。

为什么对照组中的用户可能仍会收到营销消息？

Pushwoosh 是按 User ID 而不是按设备或联系方式来分配对照组的。如果同一个人有多种联系方式（例如电子邮件、推送设备）但没有关联在同一个 User ID 下，Pushwoosh 会将它们视为不同的用户。其中一个可能在对照组中，而另一个则不在，因此后者仍然可以收到营销消息。为避免这种情况，请将所有联系方式注册到同一个 User ID 下。

我应该选择多大的对照组百分比？

合适的百分比取决于您的目标、应用规模以及您计划如何使用结果。较小的百分比（例如 3%）能将更多用户保留在受众中，可能适合优先考虑触达率的团队。较大的百分比（例如 10%）在比较组别时可以提供更强的统计置信度。您可以设置一个介于 1% 和 15% 之间的自定义值以满足您的需求。

事件表中“数据不足”是什么意思？

数据不足意味着在选定的时间窗口内，实验组或对照组的该事件转化次数少于 10 次或未转化次数少于 10 次。在有更多数据可用之前，Pushwoosh 无法确定组间差异是否具有统计显著性。

“提升度 (Uplift)” 是如何计算的？

提升度 (Uplift) 显示了实验组和对照组转化率之间的百分比差异，相对于对照组的转化率。正值表示实验组的转化效果更好。Pushwoosh 的计算公式为 (conv. treatment − conv. control) / conv. control × 100%。

“消息驱动的转化”是什么意思？

消息驱动的转化是由您的消息产生的、超出无消息情况下预期数量的额外事件的估计数量。Pushwoosh 的计算公式为 (events per user in treatment − events per user in control) × treatment group size。百分比显示了这些额外事件占所有实验组事件的份额。

我可以比较哪些事件，以及可以比较多少个？

您可以比较配置为客户旅程中的转化目标的事件。您最多可以在比较表中添加 10 个事件。