跳到内容
开发者文档 操作指南 支持 请求演示 登录
Pushwoosh.com

Holdout Split

使用 Holdout Split 元素将一部分用户从 journey 的其余部分中保留下来，然后将他们的目标完成情况与所有通过该节点后继续参与的用户进行比较。与按应用固定的账户级控制组不同（后者会在所有场景下阻止营销消息），Holdout Split 只作用于一个 journey 内的一个节点。

何时使用 Holdout Split

Anchor link to
  • 在选定的节点衡量单个 journey 的影响。 保留一部分到达此节点的用户，看看该节点之后的步骤是否比跳过这些步骤更能提升您的转化目标。
  • 测试特定细分群体或流程。 将 Holdout Split 与基于受众的进入或基于触发器的入口结合使用，只衡量对本次活动重要的用户的影响，而不是保留整个应用程序的用户。
  • 获得每个目标的提升幅度，而不仅仅是事件计数。 如果 journey 有多个转化目标，Holdout Split 会分别报告每个目标的提升幅度和统计显著性。

例如，将 Holdout Split 放置在入口之后、引导消息之前。比较继续走 In journey 分支的用户和走 Holdout 分支（在此处退出，不会再收到此 journey 的任何内容）的用户之间的购买转化目标。

前提条件

Anchor link to

如果您希望在提升报告中看到数字，请为该 journey 至少定义一个转化目标。即使没有目标，您仍然可以放置并保存 Holdout Split。如果没有目标，报告会显示添加目标的提示，而不是比率和提升幅度。

添加并配置 Holdout Split

Anchor link to

  1. 将 Holdout Split 元素放置在画布上，您希望开始衡量 journey 其余部分的位置（放在您要测试的消息或步骤之前）。

  2. 双击该元素以打开其设置。

  3. 设置 Share held out：到达此节点的用户中被路由到 Holdout 分支的百分比。其余用户继续走 In journey 分支。Share held out 接受 1%–20% 的值。

    Holdout Split 元素配置面板，Share held out 字段设置为 10%

  4. 在画布上连接分支：

    • 保持 Holdout 分支未连接。该分支上的用户会立即退出 journey，不会再收到其中的任何内容。
    • 将 In journey 分支连接到您流程的其余部分。

  5. 点击 Save。

保存后，您应该会看到该元素引出两个分支：Holdout 没有下一步，In journey 通向您所连接的流程。

journey 画布上的 Holdout Split，In journey 通向 Time Delay 和一条消息，Holdout 没有下一步

查看提升报告

Anchor link to

使用 Goal uplift vs holdout 回答一个问题：与在此节点停止的用户相比，该节点之后的步骤是否提升了您的转化目标？

  1. 打开正在运行的 journey。

  2. 打开 Holdout Split 节点，在当前拆分下方找到 Goal uplift vs holdout。

  3. 如果您看到的是占位符而不是比率，请第二天再来查看。Pushwoosh 每天刷新一次报告，journey 开始后的第二天才会出现首批数字。

  4. 在信任这些比率之前，先在报告标题中检查样本量和时间信息：

    • 上次刷新时 In journey 和 Holdout 分支各有多少用户
    • 归因窗口（节点之后多少天内完成的目标仍会被计入）
    • 报告最后一次计算的时间

    即使 in-journey 的比率看起来很强，过小的 holdout 样本也会使提升幅度显得不稳定。

  5. 对于每个转化目标，先比较两个分支，再查看提升幅度和显著性：

    • 比较 Conversion, in journey 与 Conversion, holdout（比率和计数）。这是获得了 journey 其余部分的用户和该节点之后未再获得任何内容的用户之间的差异。
    • 将 Uplift 解读为该差异的相对变化。正的提升幅度意味着 in-journey 分支的转化优于 holdout。如果 holdout 在该目标上的转化数为零，提升幅度会显示为 —（没有基数可计算相对差异）。
    • 在将提升幅度当作决策依据之前，先查看显著性标记：
      • **Significant：**两个分支之间的差异是真实的，而非随机的。可以信任该提升幅度数字。
      • **Not significant：**Pushwoosh 已有足够数据，但差异并不可靠。暂时不要根据该提升幅度采取行动。
      • **Not enough data：**目前转化数太少，无法判断。请让 journey 继续运行以获得更大的样本。

要在一处查看所有 Holdout Split，请打开该 journey 的活动健康仪表盘，并查看每个节点的相同报告。

要以 CSV 文件形式获取每个 Holdout Split 节点的提升数据（含按货币划分的收入），请通过 API 导出 Uplift 报告。

从每个分支导出用户

Anchor link to

下载一份列表，显示正在运行的 journey 中哪些用户进入了 Holdout 分支，哪些进入了 In journey 分支。

Export users 需要您的角色具有 Personal data 权限。

  1. 打开正在运行的 journey。

  2. 打开 Holdout Split 节点。

  3. 点击 Goal uplift vs holdout 下方的 Export users。

  4. 设置日期范围。您只能导出最近 2 个月的数据。

    Holdout Split 节点面板，显示 Goal uplift vs holdout 和 Export users 日期范围选择器

  5. 点击 Start exporting。

  6. 文件准备好后，同一面板中会出现下载按钮。点击它即可获取 CSV 文件。

每一行列出一个用户 ID，以及该用户走的分支，holdout 或 journey。如果在该日期范围内没有人到达该节点，文件中只有表头行。

如果您需要的是账户级的 holdout，而不是按 journey 的 holdout，请使用控制组。