Holdout Split

ใช้เอลิเมนต์ Holdout Split เพื่อกันผู้ใช้ส่วนหนึ่งไว้จาก journey ที่เหลือ แล้วเปรียบเทียบการบรรลุเป้าหมายของพวกเขากับผู้ที่ดำเนินต่อไปหลังจากจุดนั้น ต่างจาก control group ทั้งบัญชี ซึ่งคงที่ต่อแอปพลิเคชันและบล็อกข้อความการตลาดทุกที่ Holdout Split จะใช้ได้เฉพาะภายใน journey เดียว ที่จุดเดียวในโฟลว์ของมัน

เมื่อไรควรใช้ Holdout Split

• วัดผลกระทบของ journey ณ จุดที่เลือก กันผู้ใช้ส่วนหนึ่งที่มาถึงจุดนี้ไว้ แล้วดูว่าขั้นตอนหลังจากนั้นขับเคลื่อน Conversion goal ของคุณมากกว่าการข้ามขั้นตอนเหล่านั้นหรือไม่
• ทดสอบเซกเมนต์หรือโฟลว์เฉพาะ รวม Holdout Split กับ Audience-based entry หรือ Trigger-based entry เพื่อวัดผลกระทบเฉพาะกับผู้ใช้ที่เกี่ยวข้องกับแคมเปญนี้ แทนที่จะกันทั้งแอปพลิเคชันของคุณไว้
• รับ uplift ต่อเป้าหมาย ไม่ใช่แค่จำนวนอีเวนต์ หาก journey มี Conversion goal หลายรายการ Holdout Split จะรายงาน uplift และนัยสำคัญทางสถิติสำหรับแต่ละรายการแยกกัน

ตัวอย่างเช่น วาง Holdout Split หลังจากการเข้าและก่อนข้อความ onboarding ของคุณ เปรียบเทียบ Conversion goal ของการซื้อสำหรับผู้ใช้ที่ดำเนินต่อไปที่ In journey กับผู้ใช้ที่ Holdout ซึ่งออกไปตรงนั้นและไม่ได้รับอะไรเพิ่มเติมจาก journey นี้

ข้อกำหนดเบื้องต้น

กำหนด Conversion goal อย่างน้อยหนึ่งรายการสำหรับ journey หากคุณต้องการตัวเลขในรายงาน uplift คุณยังคงวางและบันทึก Holdout Split ได้โดยไม่มีเป้าหมาย หากไม่มี รายงานจะแสดงข้อความเชิญให้เพิ่มเป้าหมายแทนอัตราและ uplift

เพิ่มและกำหนดค่า Holdout Split

1. วางเอลิเมนต์ Holdout Split บนแคนวาสในตำแหน่งที่คุณต้องการเริ่มวัด journey ที่เหลือ (ก่อนข้อความหรือขั้นตอนที่คุณกำลังทดสอบ)

2. ดับเบิลคลิกที่เอลิเมนต์เพื่อเปิดการตั้งค่า

3. ตั้งค่า Share held out: เปอร์เซ็นต์ของผู้ใช้ที่มาถึงจุดนี้ที่จะถูกส่งไปยังสาขา Holdout ที่เหลือจะดำเนินต่อไปบนสาขา In journey Share held out รับค่า 1–20%

   

4. เชื่อมต่อสาขาบนแคนวาส:

   • ปล่อยสาขา Holdout ไว้โดยไม่เชื่อมต่อ ผู้ใช้บนสาขานั้นจะออกจาก journey ทันทีและไม่ได้รับอะไรเพิ่มเติมจากมัน
   • เชื่อมต่อสาขา In journey กับโฟลว์ที่เหลือของคุณ

5. คลิก Save

หลังจากบันทึกแล้ว คุณควรเห็นสองสาขาจากเอลิเมนต์: Holdout ที่ไม่มีขั้นตอนถัดไป และ In journey ที่นำไปสู่โฟลว์ที่คุณเชื่อมต่อ

หมายเหตุ

ผู้ใช้ที่ถูกกันไว้จะถูกยกเว้นจาก journey นี้เท่านั้น พวกเขายังคงได้รับข้อความจาก journey อื่นๆ และการส่งครั้งเดียวของคุณ

ตรวจสอบรายงาน uplift

ใช้ Goal uplift vs holdout เพื่อตอบคำถามเดียว: ขั้นตอนหลังจากจุดนี้เพิ่ม Conversion goal ของคุณเมื่อเทียบกับผู้ใช้ที่หยุดอยู่ที่นี่หรือไม่?

1. เปิด journey ที่กำลังทำงาน

2. เปิดจุด Holdout Split และหา Goal uplift vs holdout ใต้การแบ่งปัจจุบัน

3. หากคุณเห็นตัวยึดตำแหน่งแทนอัตรา ให้กลับมาในวันถัดไป Pushwoosh รีเฟรชรายงานวันละครั้ง และตัวเลขแรกจะปรากฏในวันถัดไปหลังจาก journey เริ่มต้น

4. ในส่วนหัวของรายงาน ตรวจสอบขนาดตัวอย่างและเวลาก่อนที่จะเชื่อถืออัตรา:

   • มีผู้ใช้กี่คนที่อยู่ใน In journey และ Holdout ในการรีเฟรชล่าสุด
   • หน้าต่างการระบุแหล่งที่มา (จำนวนวันหลังจากจุดนั้นที่การบรรลุเป้าหมายยังคงนับ)
   • รายงานคำนวณครั้งล่าสุดเมื่อใด

   ตัวอย่าง holdout ที่เล็กมากทำให้ uplift มีความผันผวนสูง แม้ว่าอัตรา in-journey จะดูแข็งแกร่ง

5. สำหรับ Conversion goal แต่ละรายการ ให้เปรียบเทียบสาขา แล้วอ่าน uplift และนัยสำคัญ:

   • เปรียบเทียบ Conversion, in journey กับ Conversion, holdout (อัตราและจำนวน) นี่คือความแตกต่างระหว่างผู้ใช้ที่ได้รับ journey ที่เหลือกับผู้ใช้ที่ไม่ได้รับอะไรเพิ่มเติมจากมันหลังจากจุดนี้
   • อ่าน Uplift สำหรับความแตกต่างนั้นในรูปแบบการเปลี่ยนแปลงสัมพัทธ์ uplift ที่เป็นบวกหมายความว่าสาขา in-journey แปลงได้ดีกว่า holdout หาก holdout มีการแปลงเป็นศูนย์สำหรับเป้าหมายนี้ uplift จะแสดง — (ไม่มีฐานสำหรับความแตกต่างสัมพัทธ์)
   • อ่านป้ายนัยสำคัญก่อนที่จะถือว่า uplift เป็นการตัดสินใจ:
     • Significant: ความแตกต่างระหว่างสาขาเป็นจริง ไม่ใช่แบบสุ่ม เชื่อถือตัวเลข uplift ได้
     • Not significant: Pushwoosh มีข้อมูลเพียงพอ แต่ความแตกต่างไม่น่าเชื่อถือ อย่าเพิ่งดำเนินการตามตัวเลข uplift นี้
     • Not enough data: มีการแปลงน้อยเกินไปจนถึงตอนนี้ที่จะบอกได้ในทิศทางใดทิศทางหนึ่ง ปล่อยให้ journey ทำงานต่อไปเพื่อตัวอย่างที่ใหญ่ขึ้น

หากต้องการตรวจสอบ Holdout Split แต่ละรายการในที่เดียว ให้เปิดแดชบอร์ดสุขภาพแคมเปญของ journey แล้วตรวจสอบรายงานเดียวกันสำหรับแต่ละจุด

หากต้องการรับ uplift ของจุด Holdout Split ทุกจุดเป็นไฟล์ CSV พร้อมรายได้แยกตามสกุลเงิน ให้ส่งออกรายงาน upliftผ่าน API

ส่งออกผู้ใช้จากแต่ละสาขา

ดาวน์โหลดรายชื่อผู้ใช้ที่ไปยัง Holdout และผู้ใช้ที่ไปยัง In journey ใน journey ที่กำลังทำงาน

Export users ต้องใช้สิทธิ์ Personal data ในบทบาทของคุณ

1. เปิด journey ที่กำลังทำงาน

2. เปิดจุด Holdout Split

3. คลิก Export users ใต้ Goal uplift vs holdout

4. ตั้งค่าช่วงวันที่ คุณสามารถส่งออกได้เฉพาะข้อมูลของ 2 เดือนที่ผ่านมาเท่านั้น

   

5. คลิก Start exporting

6. เมื่อไฟล์พร้อม ปุ่มดาวน์โหลดจะปรากฏในแผงเดียวกัน คลิกเพื่อรับไฟล์ CSV

แต่ละแถวจะแสดงรหัสผู้ใช้และสาขาที่ผู้ใช้รายนั้นไป holdout หรือ journey หากไม่มีใครมาถึงจุดนั้นในช่วงวันที่นั้น ไฟล์จะมีเพียงแถวส่วนหัวเท่านั้น

หากคุณต้องการ holdout ทั้งบัญชีแทนที่จะเป็นต่อ journey ให้ใช้ Control groups