跳到内容

分析控制组影响

每个控制组的页面都会显示您的消息传递与该组相比的表现。从 设置 > 控制组 点击该组的行即可打开它。

查看组的模式和日期

Anchor link to

在组名下方,页面会显示 组大小、模式、当前 周期 的编号,以及一个取决于模式的日期:

模式名称下方的日期日期范围选择器的标签
永久运行起始日期:该组开始运行的日期无标签
自动刷新当前周期的 范围当前周期
带结束日期的实验当前周期的 范围当前实验

要查看较早周期的结果,请打开日期范围选择器并在 以前 下选择它。已结束的周期会按编号列在那里,显示为 周期 或 实验。永久组也可能有较早的周期,因为调整大小、更改范围或更改模式都会开始一个新周期。

控制组页面标题,显示组大小、模式和运行起始日期,以及一个“重新计算”链接

页面比较的内容

Anchor link to

该页面有两个块:顶部的事件比较表和下方的 影响报告。两者都比较您选择的任何事件上的两组用户:

  • 实验组: 该组受众中不在控制组中的用户。他们会像往常一样继续接收您的营销消息(Push、Email、In-App、SMS、WhatsApp)。
  • 控制组: 您在上面配置的排除组。这些用户被排除在营销消息之外,因此他们行为的任何差异都不受您的营销活动影响。

两组都从该组的受众中抽取,受众显示在组页面的 衡量范围 中:所有用户,或当前匹配该组国家/地区和标签值的用户。

  • 标签值发生变化的用户会从计数中移出。
  • 当前周期的数据每天更新一次。周期结束后,其最终结果通常会在 15 分钟内出现在 以前 下。
  • Pushwoosh 不会将任何一组筛选为具有有效推送令牌、已验证电子邮件或其他可触达渠道的用户。

实验组和控制组来自同一组用户,它们之间没有单独的筛选。

比较事件

Anchor link to
  1. 选择一个时间窗口:过去 3 天、过去 7 天 或 过去 30 天。要比较较早的周期,请在 以前 下选择它。

    在以下情况下,测量窗口会重新启动,较早的数据不再包含在内:

    在此之前的数据不再与当前成员或受众相匹配。已结束的周期列在日期范围选择器的 以前 下。

  2. 查看事件比较表。如果您在 Customer Journey 中设置了转化目标,它只会自动显示事件。否则,该表开始时是空的。

  3. 点击 添加要比较的事件 以添加您想要测量的任何事件。您总共可以添加最多 10 个事件。

当前周期的事件比较表,显示三个事件的控制组转化率、实验组转化率、提升度和显著性

该表为每个事件显示以下指标:

指标显示内容
控制组转化率 (Conv. Control)被排除在营销消息之外、在没有任何消息传递影响的情况下仍至少触发一次该事件的独立用户比例。
实验组转化率 (Conv. Treatment)收到您的营销消息(Push、Email、In-App、SMS、WhatsApp)并至少触发一次该事件的独立用户比例。
提升度 (Uplift)实验组和控制组转化率之间的百分比差异,相对于控制组的转化率。正值表示实验组的转化效果更好。计算公式为 (conv. treatment − conv. control) / conv. control × 100%。
显著性 (Significance)差异是否具有统计可靠性。请参阅下一个表中的状态。
显著性状态含义
显著 (Significant)提升度不太可能是偶然造成的。
不显著 (Not significant)差异尚不具有统计可靠性。
数据不足 (Not enough data)任一组的该事件转化次数少于 10 次或非转化次数少于 10 次,因此无法计算显著性。

查看影响报告

Anchor link to

使用 查看事件 下拉菜单从表中选择一个事件。下方的 影响报告 显示该事件的更深层次的细分。

影响报告,显示提升度、消息驱动的转化以及组细分表

指标显示内容
提升度 (与控制组相比的变化)实验组转化率与控制组转化率的差异程度。与事件表中显示的值相同。
消息驱动的转化您的消息在没有消息传递的情况下预期产生的事件数量之外,额外产生的事件的估计数量。百分比显示了这些事件占所有实验组事件的份额。计算公式为 (events per user in treatment − events per user in control) × treatment group size。
显著性 (Significance)差异是否具有统计可靠性:显著、不显著 或 数据不足。基于 置信度 和 P 值。
置信度 (Confidence)Pushwoosh 对提升度反映了真实差异而不是偶然的确信程度,以百分比显示。数值越高,证据越强。
P 值 (P-value)如果消息传递没有实际效果,偶然出现这种差异的可能性。数值越低,证据越强。
Z 分数 (Z-score)两组表现相差多远。接近 0 时,差异可能是随机的。离 0 越远,您就越可以确信一组确实比另一组更好。
组细分 (Group breakdown)并排显示实验组和控制组:估计用户数、事件总数、每用户事件数 和 转化率 (独立)。

如何解读结果

Anchor link to
  • 显著且为正的提升度: 您的消息传递正在推动此事件。请继续发送。
  • 显著且为负的提升度: 在此事件上,控制组的转化效果优于实验组。在得出消息传递对您不利的结论之前,请检查此事件是否确实是消息传递旨在推动的事件。
  • 不显著: 差异尚不可靠,但这并不表示没有效果。在做出判断之前,让该事件积累更多转化。
  • 数据不足: 任一组的该事件转化次数少于 10 次或非转化次数少于 10 次。请比较数据量更大的事件,或等待该事件发生更多次。

还需要注意两点:

  • 在同一个测量窗口内进行比较。 重排、调整大小、更改范围、更改模式、自动刷新周期轮换或实验结束都会重新启动窗口。这些操作之前和之后的结果不可比较。
  • 选择您的营销活动旨在推动的事件, 例如购买或注册,而不是消息传递无法直接影响的事件。