Uplift 报告
Uplift 报告显示营销活动或 journey 本身带来了什么效果。它将收到消息的用户与 holdout 进行比较（holdout 是您有意留出、不让其收到消息的一组用户），并显示第一组用户达成目标的频率高出多少。
只有当您发送营销活动时设置了 holdout（即您留出的一部分收件人），该营销活动才会出现在报告中。您的开发人员可以在 Messaging API 中通过 holdout_percentage 参数进行设置，取值范围为 1 到 20。journey 中包含的每个 Holdout Split 节点都会在报告中各占一项。
如何获取报告
Anchor link to- Journey：打开 journey 的 Holdout Split 节点。它会在 Control Panel 中显示 Goal uplift vs holdout。
- 营销活动：您只能以 CSV 文件的形式获取报告。导出通过 API 进行，因此请让您的开发人员运行导出。请向他们提供日期范围（最长 90 天），如果只需要其中一个，还需提供具体的营销活动或 journey。如果不指定，文件将涵盖该应用的所有营销活动和 journey。文件中包含的内容
控制组在 Settings 中有自己的影响报告。它衡量的是应用的控制组，而不是单个营销活动或 journey。
什么算作实验组和控制组
Anchor link to报告比较两组用户：实验组（treatment），即收到消息的用户；控制组（control），即 holdout，未收到消息的用户。
| 实验组 | 控制组 | |
|---|---|---|
| 营销活动 | 所有被发送了该营销活动的收件人。 | 所有被 holdout 阻止收到该营销活动的收件人，与应用的控制组相同。 |
| Journey | 所有通过 Holdout Split 节点进入 In journey 分支的用户。 | 所有被路由到该节点 Holdout 分支的用户。 |
没有 User ID 的用户和收件人不会被计入任何一组，因为没有 User ID，Pushwoosh 无法判断他们属于哪一组，也无法将他们与转化匹配。
目标和归因窗口
Anchor link to营销活动：目标和归因窗口（发送后多长时间内的转化仍会被计入）来自应用的转化目标。如果配置了多个，报告会使用其中最短的归因窗口，这样一次发送永远不会被归功于一次遥远且无关的转化。
Journey：目标是 journey 自身的 Goal 节点，窗口是 journey 的转化周期设置（如果 journey 未设置，则为 7 天）。窗口从每个用户通过 Holdout Split 节点时开始计算，因为 holdout 用户永远不会收到可作为起点的发送。
两者都会将消息互动事件（打开、点击等）排除在目标之外。holdout 组从未收到可以响应的消息，因此计入互动只能说明消息已发出，而不能说明它带来了什么效果。控制组分析出于同样的原因也排除了这些事件。
报告中的指标
Anchor link to| 指标 | 含义 |
|---|---|
| Uplift % | 实验组与控制组转化率之间的百分比差异，相对于控制组转化率计算。与应用控制组的 Uplift 使用相同的公式。 |
| Incremental events | 估算实验组产生的事件比按控制组人均水平预期的多出多少，按所有实验组用户计算。与消息驱动的转化使用相同的公式。 |
| % of treatment | Incremental events 占实验组产生的所有事件的比例。 |
| Z-score, P-value, Confidence % | Confidence % 表示报告对两组之间的差距并非偶然有多大把握：数值越高，结果越可信。Z-score 和 P-value 是其背后的统计量，来自应用控制组所使用的同一检验。 |
| Significance | Significant、Not significant 或 Not enough data。Significant 表示 Confidence % 高于 95%。它是双向的：显著为负的 Uplift % 表示该消息降低了转化率。当任一组的转化少于 10 个或未转化少于 10 个时，显示为数据不足。 |
| Treatment revenue / Control revenue | 每组在报告目标事件上带来的收入，按货币分别统计。 |
| Incremental revenue | Incremental events 的金额版本：实验组与控制组之间人均收入的差异，按所有实验组用户、按货币计算。 |
| Revenue tracked | 该事件的收入来源是否确实经过配置，而不是推测得出。请参阅报告中的收入。 |
例如，一个 journey 向 90,000 名用户发送欢迎消息，并留出 10,000 名用户。在 In journey 组中，有 4,500 名用户达成目标（5%）。在 Holdout 组中，有 400 名用户达成目标（4%）。报告显示：
| 指标 | 值 |
|---|---|
| Uplift % | 25%，因为 5% 比 4% 多四分之一 |
| Significance | Significant，因为在如此大的组中，这一差距不太可能是偶然的 |
导出文件中包含的内容
Anchor link to文件的每一行对应一个营销活动或 journey 的一个 Holdout Split 节点，针对一个目标事件。每一行包含：
- 营销活动或 journey 以及目标事件；
- 每组的用户数和转化数；
- 上表中的指标；
- 每种货币的收入。
对于每个营销活动、Holdout Split 节点和目标事件，文件包含您所选日期范围内最新的每日计算结果。请参阅报告可以回溯多久。
对于上面示例中的 journey，主要列如下所示：
| 列 | 示例 | 含义 |
|---|---|---|
owner_type | TYPE_JOURNEY | 该行关于 journey，而不是营销活动。 |
event_name | purchase | 目标事件。 |
treatment_users | 90000 | In journey 组中的用户。 |
control_users | 10000 | Holdout 组中的用户。 |
treatment_conversions | 4500 | In journey 组中达成目标的用户。 |
control_conversions | 400 | Holdout 组中达成目标的用户。 |
uplift_pct | 25.00 | Uplift %。 |
significance | TYPE_SIGNIFICANT | Significant。 |
报告中的收入
Anchor link to实验组收入、控制组收入和增量收入的计算，使用与报告中转化数字相同的目标事件、相同的用户和相同的归因窗口。
收入按货币分别统计，从不换算
Anchor link to收入不会在货币之间换算，因为 Pushwoosh 只保存当天的汇率，用当天的汇率换算较早窗口内的收入只能是猜测。Treatment revenue、Control revenue 和 Incremental revenue 各自按每种货币保存一个金额，而不是一个合并的总额。来自未指定货币的事件的收入列在 unknown 下。
Revenue tracked 告诉您收入来源是否已配置
Anchor link toRevenue tracked 显示是否为目标事件设置了收入，这样从未设置收入的应用会显示为未衡量，而不是零收入。
Pushwoosh 按以下顺序从三个位置读取事件的收入：
- 内置
PW_Conversion事件自身的value和currency字段。 - 您为该事件配置的事件收入映射。
- 如果以上两者都不适用，则使用事件上旧版的
__amount和__currency属性。
只有前两种来源才会开启 Revenue tracked。对于第三种来源，报告仍会显示金额，但不开启该标志，因为没有人为该事件配置收入。
报告何时更新
Anchor link to报告不是实时的。它每天在 UTC 时间 01:30 重新计算一次，因此今天发送的营销活动或今天通过的 journey 节点会在明天出现在报告中。
只有包含至少一个 Goal 节点且正在运行的 journey 才会被重新计算。journey 停止后，Holdout Split 节点会继续显示其最后的数字。
报告可以回溯多久
Anchor link to每次每日计算会统计大约最近 45 天内的营销活动发送，以及最近 180 天内的 Holdout Split 通过记录。更早的发送和通过记录会在下一次计算中被剔除，因此营销活动在发送约 45 天后便不再被重新计算。
Pushwoosh 会将每次每日计算的结果保留 90 天。Holdout Split 节点显示最新的一次。导出显示您指定日期范围内最新的一次，因此针对两个月前日期的导出会显示当时的数字，涵盖那之前的发送和通过记录。