跳到内容

控制组

控制组会从 Push、Email、In-App、SMS 和 WhatsApp 上的营销消息中排除固定比例的用户。Pushwoosh 会将这些用户与您应用中其他持续接收营销活动的用户进行比较,以便您衡量您的消息传递是否能带来成果。

当您相应地设置消息类型时,控制组用户仍会收到这些渠道上的事务性消息

控制组成员资格如何运作

Anchor link to

Pushwoosh 不会保存一份谁在控制组中的列表。相反,在每次检查时,它会结合您的应用、当前组版本号和用户 ID,通过一个哈希公式运行它们以产生一个数字,并检查该数字是否落在您设置的百分比之内(例如,5%)。如果是,则该用户在控制组中。如果不是,则他们不在。因为它是一个公式而不是一个保存的列表,所以打开该组会立即应用于您整个现有的用户群,而不仅仅是之后注册的人。

每个用户的结果随时间保持不变:一旦分配,用户就会一直留在或离开控制组,直到您重排该组、更改其大小或用户的 ID 发生变化。因此,如果您禁用该组并在以后不重排的情况下重新启用它,您将得到与之前完全相同的组,因为公式本身没有改变。

控制组如何影响消息传递

Anchor link to

控制组成员资格根据您为每次发送设置的消息类型来阻止或允许消息。

  • 营销消息: 对 Push、Email、In-App、SMS 和 WhatsApp 上的控制组用户进行阻止。

  • 事务性消息: 仍然在这些渠道上传递。在创建客户旅程或发送一次性消息时选择 事务性消息

为这些渠道上的每次发送选择 营销消息事务性消息。请参阅在哪里设置消息类型

了解更多关于营销和事务性消息的信息

创建控制组

Anchor link to

创建一个控制组,开始从营销消息中排除一部分用户。Control Panel 为每个应用程序创建一个控制组。一旦您拥有它,新建组 就不再出现。

  1. 导航至 设置 > 控制组
  2. 点击 新建组

控制组列表尚无任何组,箭头指向“新建组”按钮

  1. 设置 控制组大小:从营销消息中排除的用户比例,从 1% 到 20%。

新建控制组对话框,其中包含一个控制组大小字段

  1. 点击 创建。该组会立即开始将其成员从营销消息中排除。

管理控制组

Anchor link to

打开 设置 > 控制组 并点击该组的行以进入其自己的页面,以下部分在此页面适用。

编辑控制组大小和国家/地区

Anchor link to

您可以随时从其页面调整控制组的大小及其排除的国家/地区。

  1. 点击右上角的 控制组设置。该按钮还会显示该组当前的百分比,例如 控制组设置:10%
  2. 选择一个新的百分比:
  • 3% (最大触达率): 适用于敏感或高价值受众的最小排除组。
  • 5% (推荐用于大多数应用): 在测量置信度和用户触达率之间优化的组合。
  • 10% (更高置信度): 更大的控制组,用于更清晰、更可靠的 ROI 验证。
  • 自定义 (1%–20%): 设置自定义控制组大小以进行灵活测量。
  1. 国家/地区 中,选择一个或多个国家/地区以将控制组限制在这些地区,或将其留空以在您的整个受众中排除用户。
  2. 点击 应用 以确认更改。

控制组设置对话框,其中包含百分比选项和一个显示已选择阿塞拜疆和哈萨克斯坦的国家/地区字段

按国家/地区限定控制组范围

Anchor link to

国家/地区范围是在控制组成员资格之上的第二个、按设备的检查。在编辑控制组大小和国家/地区中描述的同一个 控制组设置 对话框中进行设置。

  • 国家/地区为空: 百分比公式选择的每个用户都会被排除,无论其位置如何。
  • 国家/地区不为空: 只有其系统 国家/地区 标签与所选国家/地区之一匹配的设备才会被排除。在所选国家/地区之外的设备会继续接收营销消息,即使其用户是百分比公式选择的用户。

重新计算组大小

Anchor link to

控制组大小 显示一个保存的数字,Pushwoosh 大约每天更新一次。在您更改组大小后,或者当大量新用户加入您的应用时,这个数字可能会过时。

要立即更新它,请点击组大小旁边的 重新计算

重排控制组

Anchor link to

重排控制组 会选择一组新的随机用户,保持相同的百分比。当前在该组中的每个人都会离开,一组不同的用户会取而代之。当相同的人长时间被排除在您的营销消息之外时,请使用此功能。

  1. 点击右上角的 三点菜单
  2. 选择 重排控制组

控制组页面上的三点菜单,其中包含“重排控制组”选项

  1. 在出现的对话框中确认。

导出控制组用户

Anchor link to

Pushwoosh 不会标记控制组用户。从此页面导出以获取一次性列表,或调用 CheckControlGroupMembership 以编程方式检查一批用户 ID。

  1. 点击右上角的 三点菜单
  2. 选择 导出用户
  3. 导出完成后,点击 下载 CSV 以保存文件。

导出完成通知,在控制组页面上带有“下载 CSV”按钮

禁用控制组

Anchor link to
  1. 点击右上角的 三点菜单
  2. 选择 禁用控制组

控制组页面上的三点菜单,其中包含“禁用控制组”选项

禁用会立即停止该组排除任何用户,他们会再次开始接收营销消息。如果您稍后在不重排的情况下重新启用它,Pushwoosh 会重现完全相同的组,因为成员资格是由相同的公式计算的。要在重新启用后获得不同的组,请重排它

删除控制组

Anchor link to

删除控制组会永久移除它及其配置。

  1. 点击右上角的 三点菜单
  2. 选择 删除组
  3. 在出现的对话框中确认。此操作无法撤销。

分析控制组影响

Anchor link to

每个控制组的页面都会显示您的消息传递与该组相比的表现。该页面有两个块:顶部的事件比较表和下方的 影响报告。两者都比较您选择的任何事件上的两组用户:

  • 实验组: 不在控制组中的所有用户。他们会像往常一样继续接收您的营销消息(Push、Email、In-App、SMS、WhatsApp)。
  • 控制组: 您在上面配置的排除组。这些用户被排除在营销消息之外,因此他们行为的任何差异都不受您的营销活动影响。

比较事件

Anchor link to
  1. 选择一个时间窗口:过去 3 天过去 7 天过去 30 天
  2. 查看事件比较表。如果您在 Customer Journey 中设置了转化目标,它只会自动显示事件。否则,该表开始时是空的。
  3. 点击 添加要比较的事件 以添加您想要测量的任何事件。您总共可以添加最多 10 个事件。

控制组页面,其中有一个表格比较实验组和控制组之间的事件

该表为每个事件显示以下指标:

  • 实验组转化率 (Conv. Treatment): 实验组的转化率。这是收到您的营销消息(Push、Email、In-App、SMS、WhatsApp)并至少触发一次该事件的独立用户比例。
  • 控制组转化率 (Conv. Control): 控制组的转化率。这是被排除在营销消息之外并无论如何至少触发一次该事件的独立用户比例,没有任何消息传递影响。
  • 提升度 (Uplift): 实验组和控制组转化率之间的百分比差异,相对于控制组的转化率。正值表示实验组的转化效果更好。计算公式为 (实验组转化率 - 控制组转化率) / 控制组转化率 × 100%
  • 显著性 (Significance): 差异是否具有统计可靠性:
    • 显著 (Significant): 提升度不太可能是偶然造成的。
    • 不显著 (Not significant): 差异尚不具有统计可靠性。
    • 数据不足 (Not enough data): 任一组的该事件转化次数少于 10 次或非转化次数少于 10 次,因此无法计算显著性。

查看影响报告

Anchor link to

使用 查看事件 下拉菜单从表中选择一个事件。下方的 影响报告 显示该事件的更深层次的细分。

影响报告,显示提升度、消息驱动的转化以及组细分表

  • 提升度 (与控制组相比的变化): 实验组转化率与控制组转化率的差异程度。这与事件表中显示的值相同。
  • 消息驱动的转化: 您的消息在没有消息传递的情况下预期产生的事件数量之外,额外产生的事件的估计数量。计算公式为 (实验组中每用户的事件数 - 控制组中每用户的事件数) × 实验组大小。百分比显示了这些额外事件占所有实验组事件的份额。
  • 显著性 (Significance): 指示测量的差异是否具有统计可靠性。报告显示 显著不显著数据不足,基于:
    • 置信度 (Confidence): Pushwoosh 对提升度反映了实验组和控制组之间的真实差异而不是随机机会的确信程度,以百分比显示。置信度越高,证据越强。
    • P 值 (P-value): 显示如果消息传递没有实际效果,偶然观察到这种差异的可能性。较低的 P 值提供了更强的证据,表明差异不是随机的。
  • Z 分数 (Z-score): 显示您的两组表现相差多远。接近 0 的分数意味着差异可能是随机的。离 0 越远,您就越可以确信一组确实比另一组更好。
  • 组细分 (Group breakdown):估计用户数事件总数每用户事件数转化率 (独立) 比较实验组和控制组。

常见问题

Anchor link to

一个应用程序可以有多个控制组吗?

Anchor link to

在 Control Panel 中不可以。它为每个应用程序创建一个控制组,并自动应用于每次营销发送。这是一个界面限制,而非平台限制。该面板不提供将特定消息指向不同组的方法。

我可以删除控制组吗?

Anchor link to

可以,在组页面的三点菜单中删除。此操作无法撤销,并且会使应用程序没有备用方案:在您创建新的控制组之前,营销消息将发送给所有人。要暂停该组而不丢失它,请禁用它而不是删除它。

哪些用户在控制组中?

Anchor link to

Pushwoosh 不会保存控制组成员的列表。它使用一个公式,一个基于您的应用、用户 ID 和该组当前设置的计算,对于相同的输入总是给出相同的答案。这在您启用该组的瞬间就适用于您整个现有的用户群,而不仅仅是新注册的用户,并且对于给定的用户,每次的结果都保持不变,直到您重排该组或更改其大小时。

控制组用户会收到事务性消息吗?

Anchor link to

是的。事务性消息(例如密码重置、订单确认)会发送给所有用户,包括控制组。只有营销消息会被控制组用户屏蔽。

我在哪里设置营销或事务性消息类型?

Anchor link to

您在发送消息的任何地方都可以选择它。对于每个渠道,请参阅在哪里设置消息类型

在我启用控制组之前创建的营销活动会怎样?

Anchor link to

在您启用控制组之前创建的营销活动与新活动完全一样:Pushwoosh 在发送时检查营销活动的消息类型,而不是在创建时。

  • 营销消息(或根本没有消息类型,这可能发生在通过 API 创建的营销活动中):控制组会立即开始排除这些用户。
  • 事务性消息:控制组用户会像以前一样继续接收。

编辑营销活动并将消息类型设置为 事务性消息,如果您希望它能触达所有人,包括控制组。

启用后我可以更改控制组的大小吗?

Anchor link to

可以。从 设置 > 控制组 打开组的页面,点击 控制组设置,选择一个新的百分比(1% 到 20%),然后点击 应用。Pushwoosh 会根据新的百分比为您的整个用户群重新计算成员资格:扩大组会添加用户而不会移除任何已在其中的人,而缩小组会释放一些现有成员。这可能会影响与早期营销活动的比较,因此仅在需要时更改大小。

我可以将控制组的范围限定在特定国家吗?

Anchor link to

可以。从 设置 > 控制组 打开组的页面,点击 控制组设置,然后设置 国家/地区。将其留空以在您的整个受众中排除用户,或选择一个或多个国家/地区以仅在这些地方排除设备。国家/地区范围是在百分比公式之上的一个按设备检查:它不会改变公式选择谁,只会改变他们哪些设备被排除在营销之外。更改 国家/地区 会重新启动提升度量,因为比较的受众发生了变化。

没有国家/地区数据的设备会怎样?

Anchor link to

它永远不会被排除,即使设置了 国家/地区 并且其用户在其他方面被选中。Pushwoosh 会根据范围检查设备的系统 国家/地区 标签,没有该标签的设备没有任何可检查的内容,因此它会继续接收营销消息。

如果我禁用控制组会怎样?

Anchor link to

Pushwoosh 停止排除任何用户,所有人都会再次开始接收营销消息。如果您稍后在不重排的情况下重新启用控制组,您将得到与之前完全相同的组,因为成员资格是由相同的公式计算的。要在重新启用后获得不同的组,请重排它

重排有什么作用?

Anchor link to

重排控制组 会以相同的百分比抽取一个全新的随机样本,用一组不同的用户替换当前的控制组。它在组页面的 三点菜单 中可用。当相同的用户长时间被排除在营销之外,并且您想要新的排除覆盖范围时,请使用它。重排还会为控制组分析重新启动测量窗口。

我如何查看哪些用户在控制组中?

Anchor link to

Pushwoosh 不会标记控制组用户。从 设置 > 控制组 打开组的页面,点击 三点菜单,然后选择 导出用户 以下载当前成员的 CSV 文件。要以编程方式检查成员资格,请从 Control Groups API 中使用一批用户 ID 调用 CheckControlGroupMembership

为什么控制组中的用户可能仍会收到营销消息?

Anchor link to

Pushwoosh 通过 User ID 计算控制组成员资格。如果同一个人有多种联系方式(例如电子邮件、推送设备)但未链接在同一个 User ID 下,Pushwoosh 会将它们视为不同的用户并分别为每个用户计算成员资格:一个可能会进入控制组,而另一个则不会。完全没有 User ID 的联系方式永远不会被排除,因为 Pushwoosh 需要一个 User ID 来计算成员资格。为避免这种情况,请将所有联系方式注册到同一个 User ID 下

我应该选择多大比例的控制组?

Anchor link to

合适的百分比取决于您的目标、应用大小以及您计划如何使用结果。较小的百分比(例如 3%)可以使更多用户留在受众中,可能适合优先考虑触达率的团队。较大的百分比(例如 10%)在比较组时可以提供更强的统计置信度。您可以设置一个介于 1% 和 20% 之间的 自定义 值以满足您的需求。

为什么我的控制组不完全是我设置的百分比?

Anchor link to

页面上显示的组大小是哈希公式分配给该组的实际用户数,而不是您的用户总数乘以该百分比。在较小的应用上,这个数字可能与百分比有明显差异,因为公式是单独分配用户,而不是抽样一个精确的份额。该数字大约每天缓存和刷新一次;您可以从页面触发立即重新计算,在运行时它会显示之前的数字并带有一个加载指示器。

事件表中的 数据不足 是什么意思?

Anchor link to

数据不足 意味着在选定的时间窗口内,实验组或控制组的该事件转化次数少于 10 次或非转化次数少于 10 次。在获得更多数据之前,Pushwoosh 无法确定两组之间的差异是否具有统计显著性。

提升度 是如何计算的?

Anchor link to

提升度 显示实验组和控制组转化率之间的百分比差异,相对于控制组的转化率。正值表示实验组的转化效果更好。Pushwoosh 的计算公式为 (实验组转化率 - 控制组转化率) / 控制组转化率 × 100%

消息驱动的转化 是什么意思?

Anchor link to

消息驱动的转化 是指您的消息在没有消息传递的情况下预期产生的事件数量之外,额外产生的事件的估计数量。Pushwoosh 的计算公式为 (实验组中每用户的事件数 - 控制组中每用户的事件数) × 实验组大小。百分比显示了这些额外事件占所有实验组事件的份额。

我可以比较哪些事件,以及可以比较多少个?

Anchor link to

您可以比较在 Customer Journey 中的转化目标中配置的事件。您最多可以在比较表中添加 10 个事件。消息互动事件(例如打开、点击、发送、退回)即使被设置为目标也会被排除,因为控制组用户永远不会收到营销消息来做出反应。