跳到内容

控制组

控制组会从 Push、Email、In-App、SMS 和 WhatsApp 上的营销消息中排除固定比例的用户。Pushwoosh 会将这些用户与您应用中继续接收营销活动的其他所有人进行比较,以便您衡量您的消息传递是否能带来成果。

当您相应地设置消息类型时,控制组用户仍然会在这些渠道上收到事务性消息

控制组成员资格如何运作

Anchor link to

Pushwoosh 不会保存控制组成员的列表。相反,在每次检查时,它会结合您的应用、当前组版本号和用户 ID,通过一个哈希公式运行它们以生成一个数字,并检查该数字是否落在您设置的百分比之内(例如,5%)。如果是,则该用户在控制组中。如果不是,则不在。因为它是一个公式而不是一个保存的列表,所以启用该组会立即应用于您整个现有的用户群,而不仅仅是之后注册的人。

每个用户的结果会随时间保持不变:一旦分配,用户就会一直留在或离开控制组,直到您重排该组、更改其大小或用户的 ID 发生变化。因此,如果您禁用该组并在稍后不重排的情况下重新启用它,您将得到与之前完全相同的组,因为公式本身没有改变。

控制组如何影响消息传递

Anchor link to

控制组成员资格根据您为每次发送设置的消息类型来阻止或允许消息。

  • 营销消息: 对 Push、Email、In-App、SMS 和 WhatsApp 上的控制组用户屏蔽。

  • 事务性消息: 仍然在这些渠道上传递。在创建客户旅程或发送一次性消息时选择 事务性消息

为这些渠道上的每次发送选择 营销消息事务性消息。请参阅在哪里设置消息类型

了解更多关于营销和事务性消息的信息

创建控制组

Anchor link to

创建一个控制组,开始从营销消息中排除一部分用户。一个应用程序只能有一个。一旦您拥有了控制组,新建组 按钮将不再出现。

  1. 导航到 设置 > 控制组
  2. 点击 新建组

控制组列表,尚无组,箭头指向“新建组”按钮

  1. 设置 控制组大小:从营销消息中排除的用户比例,从 1% 到 20%。

新建控制组对话框,包含一个控制组大小字段

  1. 点击 创建。该组会立即开始从营销消息中排除其成员。

管理控制组

Anchor link to

打开 设置 > 控制组 并点击组的行以进入其自己的页面,以下部分适用于该页面。

编辑控制组大小

Anchor link to

您可以随时从其页面调整控制组的大小。

  1. 点击右上角的 控制组设置。该按钮还会显示该组当前的百分比,例如 控制组设置:10%
  2. 选择一个新的百分比:
  • 3% (最大触达率): 适用于敏感或高价值受众的最小排除组。
  • 5% (推荐用于大多数应用): 在测量置信度和用户触达率之间取得优化的平衡。
  • 10% (更高置信度): 更大的控制组,用于更清晰、更可靠的 ROI 验证。
  • 自定义 (1%–20%): 设置自定义控制组大小以进行灵活测量。
  1. 点击 应用 以确认更改。

控制组设置按钮和可用于控制组的百分比选项

重新计算组大小

Anchor link to

控制组大小 显示一个保存的数字,Pushwoosh 大约每天更新一次。在您更改组大小后,或者当大量新用户加入您的应用时,这个数字可能会过时。

要立即更新,请点击组大小旁边的 重新计算

重排控制组

Anchor link to

重排控制组 会挑选一组新的随机用户,同时保持相同的百分比。当前组中的每个人都会离开,由另一组用户取而代之。当同样的人长时间被排除在您的营销消息之外时,请使用此功能。

  1. 点击右上角的 三点菜单
  2. 选择 重排控制组

控制组页面上带有“重排控制组”选项的三点菜单

  1. 在出现的对话框中确认。

导出控制组用户

Anchor link to

Pushwoosh 不会标记控制组用户,因此从此页面导出是获取当前成员列表的唯一方法。

  1. 点击右上角的 三点菜单
  2. 选择 导出用户
  3. 导出完成后,点击 下载 CSV 以保存文件。

导出完成通知,在控制组页面上带有“下载 CSV”按钮

禁用控制组

Anchor link to
  1. 点击右上角的 三点菜单
  2. 选择 禁用控制组

控制组页面上带有“禁用控制组”选项的三点菜单

禁用会立即停止该组排除任何用户,他们会再次开始接收营销消息。如果您稍后在不重排的情况下重新启用它,Pushwoosh 会重现完全相同的组,因为成员资格是由相同的公式计算的。要在重新启用后获得不同的组,请重排它

删除控制组

Anchor link to

删除控制组会永久移除它及其配置。

  1. 点击右上角的 三点菜单
  2. 选择 删除组
  3. 在出现的对话框中确认。此操作无法撤销。

分析控制组影响

Anchor link to

每个控制组的页面都会显示您的消息传递与该组相比的表现。该页面有两个模块:顶部的事件比较表和下方的 影响报告。两者都比较您选择的任何事件的两组用户:

  • 实验组: 不在控制组中的所有用户。他们会像往常一样继续接收您的营销消息(Push、Email、In-App、SMS、WhatsApp)。
  • 控制组: 您在上面配置的保留组。这些用户被排除在营销消息之外,因此他们行为的任何差异都不会受到您营销活动的影响。

比较事件

Anchor link to
  1. 选择一个时间窗口:过去 3 天过去 7 天过去 30 天
  2. 查看事件比较表。只有当您在客户旅程中设置了转化目标时,它才会自动显示事件。否则,该表开始时是空的。
  3. 点击 添加要比较的事件 以添加您想要测量的任何事件。您总共可以添加最多 10 个事件。

控制组页面,带有一个比较实验组和控制组之间事件的表格

该表为每个事件显示以下指标:

  • 实验组转化率: 实验组的转化率。这是收到您的营销消息(Push、Email、In-App、SMS、WhatsApp)并至少触发一次该事件的独立用户比例。
  • 控制组转化率: 控制组的转化率。这是被排除在营销消息之外,但在没有任何消息影响的情况下仍然至少触发一次该事件的独立用户比例。
  • 提升度: 实验组和控制组转化率之间的百分比差异,相对于控制组转化率。正值表示实验组的转化效果更好。计算公式为 (实验组转化率 − 控制组转化率) / 控制组转化率 × 100%
  • 显著性: 差异是否具有统计可靠性:
    • 显著: 提升度不太可能是偶然造成的。
    • 不显著: 差异尚不具有统计可靠性。
    • 数据不足: 任一组的此事件转化次数少于 10 次或非转化次数少于 10 次,因此无法计算显著性。

查看影响报告

Anchor link to

使用 查看事件 下拉菜单从表中选择一个事件。下方的 影响报告 会显示该事件的更深层次的细分。

影响报告显示提升度、由消息驱动的转化以及一个组别细分表

  • 提升度(与控制组相比的变化): 实验组转化率与控制组转化率的差异程度。这与事件表中显示的值相同。
  • 由消息驱动的转化: 您的消息在没有消息传递的情况下预期产生的事件数量之外,额外产生的估计事件数量。计算公式为 (实验组中每用户的事件数 − 控制组中每用户的事件数) × 实验组大小。百分比显示这些额外事件占所有实验组事件的份额。
  • 显著性: 表明测量的差异是否具有统计可靠性。报告会显示 显著不显著数据不足,基于:
    • 置信度: Pushwoosh 对提升度反映了实验组和控制组之间的真实差异,而不是随机机会的确信程度,以百分比显示。置信度越高,证据越强。
    • P 值: 显示如果消息没有实际效果,偶然观察到这种差异的可能性。较低的 P 值提供了更强的证据,表明差异不是随机的。
  • Z 分数: 显示您的两个组的表现相差多远。接近 0 的分数意味着差异可能是随机的。离 0 越远,您就越能确信一个组确实比另一个组更好。
  • 组别细分:估计用户数事件总数每用户事件数转化率(独立) 比较实验组和控制组。

常见问题

Anchor link to

一个应用程序可以有多个控制组吗?

Anchor link to

不可以。一个应用程序只能有一个控制组,它会自动应用于每一次营销消息的发送。无法将特定消息指向不同的控制组。

我可以删除控制组吗?

Anchor link to

可以,在控制组页面的三点菜单中删除。此操作无法撤销,并且会使应用程序没有备用方案:在您创建新的控制组之前,营销消息将发送给所有人。要暂停该组而不丢失它,请禁用它而不是删除它。

哪些用户在控制组中?

Anchor link to

Pushwoosh 不会保存控制组成员的列表。它使用一个公式,一个基于您的应用、用户 ID 和当前组设置,对相同输入总是给出相同答案的计算。这在您启用控制组的那一刻就适用于您整个现有的用户群,而不仅仅是新注册的用户,并且对于给定的用户,每次的结果都保持不变,直到您重排该组或更改其大小。

控制组用户会收到事务性消息吗?

Anchor link to

是的。事务性消息(例如密码重置、订单确认)会发送给所有用户,包括控制组。只有营销消息会被控制组用户屏蔽。

我在哪里设置营销或事务性消息类型?

Anchor link to

您在发送消息的任何地方都可以选择。对于每个渠道,请参阅在哪里设置消息类型

在我启用控制组之前创建的营销活动会怎么样?

Anchor link to

在您启用控制组之前创建的营销活动与新活动完全一样:Pushwoosh 在发送时检查营销活动的消息类型,而不是在创建时。

  • 营销消息(或根本没有消息类型,这可能发生在通过 API创建的营销活动中):控制组会立即开始排除这些用户。
  • 事务性消息:控制组用户会像以前一样继续接收。

如果您希望消息能送达所有人,包括控制组,请编辑营销活动并将消息类型设置为 事务性消息

启用后我可以更改控制组的大小吗?

Anchor link to

可以。从 设置 > 控制组 打开控制组页面,点击 控制组设置,选择一个新的百分比(1% 到 20%),然后点击 应用。Pushwoosh 会根据新的百分比为您的整个用户群重新计算成员资格:扩大控制组会添加用户而不会移除任何已在其中的成员,而缩小控制组会释放一些现有成员。这可能会影响与早期营销活动的比较,因此仅在需要时更改大小。

如果我禁用控制组会发生什么?

Anchor link to

Pushwoosh 会停止排除任何用户,所有人都会再次开始接收营销消息。如果您稍后在不重排的情况下重新启用控制组,您将得到与之前完全相同的组,因为成员资格是由相同的公式计算的。要在重新启用后获得不同的组,请重排它

“重排”是做什么的?

Anchor link to

重排控制组 会以相同的百分比抽取一个全新的随机样本,用一组不同的用户替换当前的控制组。它在控制组页面的 三点菜单 中可用。当相同的用户长时间被排除在营销之外,并且您希望有新的保留覆盖范围时,请使用它。重排也会重启控制组分析的测量窗口

我如何查看哪些用户在控制组中?

Anchor link to

Pushwoosh 不会标记控制组用户。从 设置 > 控制组 打开控制组页面,点击 三点菜单,然后选择 导出用户 以下载当前成员的 CSV 文件。

为什么控制组中的用户可能仍会收到营销消息?

Anchor link to

Pushwoosh 通过 User ID 计算控制组成员资格。如果同一个人有多种联系方式(例如电子邮件、推送设备)但没有链接在同一个 User ID 下,Pushwoosh 会将它们视为不同的用户并分别为每个用户计算成员资格:一个可能会进入控制组,而另一个则不会。完全没有 User ID 的联系方式永远不会被排除,因为 Pushwoosh 需要 User ID 来计算成员资格。为避免这种情况,请将所有联系方式注册在同一个 User ID 下

我应该选择多大的控制组百分比?

Anchor link to

正确的百分比取决于您的目标、应用大小以及您计划如何使用结果。较小的百分比(例如 3%)可以使更多用户留在受众中,可能适合优先考虑触达率的团队。较大的百分比(例如 10%)在比较组别时可以提供更强的统计置信度。您可以设置一个 自定义 值,介于 1% 和 20% 之间,以满足您的需求。

为什么我的控制组不完全是我设置的百分比?

Anchor link to

页面上显示的组大小是哈希公式分配给该组的实际用户数,而不是百分比乘以您的用户总数。在较小的应用上,这个数字可能与百分比有明显差异,因为该公式是单独分配用户,而不是抽样一个确切的份额。该计数被缓存并大约每天刷新一次;您可以从页面触发立即重新计算,在运行时它会显示之前的计数并带有一个加载指示器。

事件表中的 数据不足 是什么意思?

Anchor link to

数据不足 意味着在选定的时间窗口内,实验组或控制组的该事件转化次数少于 10 次或非转化次数少于 10 次。在有更多数据可用之前,Pushwoosh 无法确定两组之间的差异是否具有统计显著性。

提升度 是如何计算的?

Anchor link to

提升度 显示了实验组和控制组转化率之间的百分比差异,相对于控制组转化率。正值表示实验组的转化效果更好。Pushwoosh 的计算公式为 (实验组转化率 − 控制组转化率) / 控制组转化率 × 100%

由消息驱动的转化 是什么意思?

Anchor link to

由消息驱动的转化 是您的消息在没有消息传递的情况下预期产生的事件数量之外,额外产生的估计事件数量。Pushwoosh 的计算公式为 (实验组中每用户的事件数 − 控制组中每用户的事件数) × 实验组大小。百分比显示这些额外事件占所有实验组事件的份额。

我可以比较哪些事件,可以比较多少个?

Anchor link to

您可以比较配置为客户旅程中的转化目标的事件。您最多可以向比较表中添加 10 个事件。消息互动事件(例如打开、点击、发送、退回)即使被设置为目标也会被排除,因为控制组用户永远不会收到营销消息来做出反应。