A/B/n Split

ใช้องค์ประกอบ A/B/n Split เพื่อทดสอบว่าลำดับข้อความใดทำงานได้ดีที่สุดสำหรับ เป้าหมาย Conversion ของคุณ เพิ่มประสิทธิภาพการสื่อสารโดยการค้นหาวิธีการที่มีประสิทธิภาพที่สุดสำหรับผู้ชมของคุณ

กำหนดค่าการตั้งค่า A/B/n split

หลังจากวางองค์ประกอบ A/B/n Split บน canvas แล้ว ให้ดับเบิลคลิกเพื่อกำหนดค่าการตั้งค่าการทดสอบ

กำหนดจำนวน branch

ใช้เมนูดรอปดาวน์ Branches เพื่อเลือกจำนวนรูปแบบที่คุณต้องการทดสอบ (สูงสุด 4 รูปแบบ) โดยค่าเริ่มต้น Branch A คือกลุ่มควบคุม

กำหนดการกระจายผู้ใช้ไปยัง branch ต่างๆ

กำหนดเปอร์เซ็นต์ของผู้ใช้ที่จะถูกส่งไปยังแต่ละ branch โดยตรวจสอบให้แน่ใจว่าผลรวมทั้งหมดเป็น 100% หากต้องการแบ่งผู้ใช้เท่าๆ กันระหว่าง branch ให้คลิก Reset Distribution

เลือกวิธีที่จะใช้เลือกผู้ชนะ

คุณมีสองตัวเลือก:

คุณเลือกผู้ชนะด้วยตนเอง

คุณจะตรวจสอบผลลัพธ์และเลือก branch ที่ชนะด้วยตนเองในภายหลัง ซึ่งต้องมีการตรวจสอบและปิดใช้งานด้วยตนเองอย่างต่อเนื่อง เรียนรู้เพิ่มเติม

การตั้งค่าการเลือกผู้ชนะด้วยตนเองในการกำหนดค่าการทดสอบ A/B/n Split

ผู้ชนะจะถูกเลือกโดยอัตโนมัติตามเป้าหมาย

ระบบจะตรวจสอบเป้าหมายของแคมเปญและปิดใช้งาน branch ที่อ่อนแอกว่าเมื่อบรรลุนัยสำคัญทางสถิติ จากนั้นผู้ใช้ใหม่จะถูกนำไปยัง branch ที่ชนะ

เมื่อเปิดใช้งานการเลือกผู้ชนะอัตโนมัติ ให้เลือกว่าระบบควรประเมินผู้ชนะอย่างไร:

เป้าหมายแรกที่บรรลุนัยสำคัญ ระบบจะตรวจสอบเป้าหมายที่ได้รับมอบหมายทั้งหมดและเลือกเป้าหมายแรกที่ไปถึงนัยสำคัญทางสถิติ
เลือกเป้าหมายที่เฉพาะเจาะจง (ตัวอย่างเช่น CheckoutSuccess) เป้าหมายนี้จะถูกใช้เพื่อประเมินว่า branch ใดทำงานได้ดีที่สุด

การเลือกผู้ชนะอัตโนมัติตามเป้าหมายในการตั้งค่า A/B/n Split

เมื่อกำหนดค่าเสร็จแล้ว คลิก Save เพื่อใช้การตั้งค่าการทดสอบของคุณ

วิธีตั้งค่าและทำการทดสอบ A/B/n

ตั้งค่าการทดสอบ

หยุด Journey ชั่วคราว

หากคุณต้องการตั้งค่าการทดสอบ A/B/n ใน Journey ที่ทำงานอยู่ ให้หยุดชั่วคราวก่อน หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการแก้ไข Journey ที่ทำงานอยู่ โปรดอ่านบทความนี้

กำหนดเป้าหมาย Conversion อย่างน้อยหนึ่งรายการ

ตั้งค่าเป้าหมาย Conversion อย่างน้อยหนึ่งรายการที่จะใช้ในการคำนวณผลการทดสอบ ตัวอย่างเช่น หากคุณต้องการทดสอบว่า push notification สองรายการใดมีประสิทธิภาพมากกว่ากัน คุณสามารถตั้งค่า Event PW_InAppPurchase เป็นเป้าหมาย Conversion ได้

ตั้งค่าเป้าหมาย Conversion สำหรับการทดสอบ A/B/n

หากคุณระบุเป้าหมาย Conversion หลายรายการ ผลลัพธ์จะถูกคำนวณสำหรับแต่ละเป้าหมายแยกกัน

เพิ่มองค์ประกอบ A/B/n Split

วางองค์ประกอบ A/B/n Split ลงบน canvas หลังจากองค์ประกอบอื่น ๆ และดับเบิลคลิกเพื่อกำหนดค่าการทดสอบ

ตั้งค่า branch และการกระจายผู้ใช้

เลือกจำนวน branch คุณสามารถเพิ่มได้สูงสุดสี่ branch ในการทดสอบของคุณ branch แรกจะถือเป็นกลุ่มควบคุมเสมอ ซึ่งจะใช้เปรียบเทียบผลลัพธ์ใน branch อื่น ๆ โปรดปฏิบัติตามคู่มือนี้ต่อไปเพื่อเรียนรู้วิธีการตั้งค่า branch นี้ตามความต้องการของคุณ

ตั้งค่าจำนวน branch สำหรับการทดสอบ A/B/n

ถัดไป ตั้งค่าเปอร์เซ็นต์ของผู้ใช้ที่จะไปยังแต่ละ branch ผลรวมของทุก branch ควรเป็น 100% ตามเปอร์เซ็นต์ที่คุณตั้งค่า ผู้ใช้ใน Journey ที่มาถึงขั้นตอนนี้จะถูกแบ่งแบบสุ่มไปยังจำนวน branch ที่ระบุ

โปรดทราบว่าผู้ใช้ที่ได้รับมอบหมายให้ไปยัง Branch A จะถือเป็นกลุ่มควบคุมซึ่งจะใช้เปรียบเทียบผลลัพธ์ใน branch อื่น ๆ ขั้นตอนต่อไปจะอธิบายวิธีการตั้งค่า Branch A สำหรับกรณีต่าง ๆ

เลือกโหมดการประเมินผู้ชนะ

เลือกวิธีที่ผู้ชนะจะถูกกำหนด:

การเลือกอัตโนมัติตามเป้าหมาย ระบบจะติดตามเป้าหมายที่กำหนด ตรวจจับ branch ที่มีประสิทธิภาพดีที่สุดโดยใช้นัยสำคัญทางสถิติ และส่งผู้ใช้ใหม่ไปยังผู้ชนะโดยอัตโนมัติ
การเลือกด้วยตนเอง คุณจะตรวจสอบผลการทดสอบและตัดสินใจด้วยตนเองว่า branch ใดทำงานได้ดีที่สุด ตัวเลือกนี้ต้องการให้คุณตรวจสอบการทดสอบและปิดใช้งาน branch ที่มีประสิทธิภาพต่ำด้วยตนเอง เรียนรู้เพิ่มเติม

กำหนดค่าเนื้อหาสำหรับแต่ละ branch

ตอนนี้คุณสามารถตั้งค่าโฟลว์การสื่อสารสำหรับแต่ละ branch ได้แล้ว เนื่องจาก Branch A เป็นกลุ่มควบคุม คุณต้องกำหนดค่าในลักษณะที่แน่นอนขึ้นอยู่กับกรณีของคุณ:

ทดสอบโฟลว์การสื่อสารที่มีอยู่กับเวอร์ชันใหม่ ในกรณีนี้ เวอร์ชันที่มีอยู่ควรอยู่ใน Branch A และตรวจสอบให้แน่ใจว่าเป้าหมาย Conversion สามารถทำได้ในทุก branch รวมถึง Branch A
ทดสอบเฉพาะเวอร์ชันใหม่กับเวอร์ชันอื่น ๆ เนื่องจากไม่มีโฟลว์การสื่อสารเก่า หนึ่งในเวอร์ชันใหม่จะถูกทำเครื่องหมายเป็นกลุ่มควบคุม (เวอร์ชันที่นำเสนอใน Branch A) ตรวจสอบให้แน่ใจว่าเป้าหมาย Conversion สามารถทำได้ในทุก branch
ทดสอบเวอร์ชันที่มีอยู่โดยไม่มีการสื่อสารใด ๆ กับโฟลว์การสื่อสารใหม่ ตัวอย่างเช่น คุณต้องการเพิ่ม push อีกหนึ่งรายการในตอนท้ายของ Journey เพื่อดูว่าประสิทธิภาพของแคมเปญเพิ่มขึ้นเมื่อเทียบกับเวอร์ชันดั้งเดิมที่ไม่มี push นี้หรือไม่ ในกรณีนี้ เวอร์ชัน ‘ว่าง’ ควรนำเสนอใน Branch A เพื่อให้ได้ผลลัพธ์ที่น่าเชื่อถือ ให้เพิ่ม Time Delay ที่เท่ากันในแต่ละ branch:

กำหนดค่า branch ด้วยโฟลว์การสื่อสารที่แตกต่างกันสำหรับการทดสอบ

เปิดใช้งาน Journey

หากทุกอย่างพร้อมแล้ว ให้เปิดใช้งาน Journey

วิเคราะห์ผลลัพธ์

ทันทีที่การทดสอบเริ่มขึ้น คุณสามารถดูสถิติแบบเรียลไทม์ได้

บน Journey canvas ดูจำนวนผู้ใช้ที่ผ่านแต่ละ branch:

ดูจำนวนผู้ใช้สำหรับแต่ละ branch บน Journey canvas

หากต้องการดูผลการทดสอบ ให้ดับเบิลคลิกที่องค์ประกอบ A/B/n Split คุณจะเห็นสถิติสำหรับแต่ละ branch รวมถึง Conversion ไปยังเป้าหมายที่เลือกและเมตริกที่ใช้ในการคำนวณนัยสำคัญทางสถิติ

หากคุณตั้งค่าเป้าหมาย Conversion หลายรายการ คุณสามารถดูผลลัพธ์สำหรับแต่ละรายการได้โดยเลือกเป้าหมายที่ต้องการจากรายการ:

เลือกเป้าหมาย Conversion เพื่อดูผลการทดสอบที่เฉพาะเจาะจง

หากคุณเปิดใช้งานการเลือกผู้ชนะอัตโนมัติ Pushwoosh จะตรวจสอบเป้าหมายที่เลือกอย่างต่อเนื่อง เมื่อ branch หนึ่งบรรลุนัยสำคัญทางสถิติ จะถูกทำเครื่องหมายเป็นผู้ชนะ branch ที่อ่อนแอกว่าจะถูกปิดใช้งานโดยอัตโนมัติ และผู้ใช้ใหม่จะถูกส่งไปยัง branch ที่ชนะเท่านั้น ไม่จำเป็นต้องดำเนินการด้วยตนเอง

หากการทดสอบของคุณมีผู้ชนะที่มีนัยสำคัญทางสถิติและคุณใช้การเลือกผู้ชนะด้วยตนเอง คุณสามารถปิด branch ที่มีประสิทธิภาพน้อยกว่าได้ทันทีโดยคลิก Keep only winner ผู้ใช้ใหม่ใน Journey จะถูกนำไปยัง branch ที่ชนะ ผู้ใช้ที่เข้าไปใน branch ที่ปิดใช้งานแล้วจะยังคงดำเนินต่อไปจนกว่าจะสิ้นสุด Journey

ตัวเลือก Keep only winner ในการเลือกผู้ชนะด้วยตนเอง

คุณสามารถดูผลการทดสอบสำหรับช่วงเวลาที่เฉพาะเจาะจงได้ ในการทำเช่นนี้ ให้เลือกระยะเวลาที่ต้องการบนแผงด้านซ้ายและดับเบิลคลิกที่องค์ประกอบ A/B/n Split คุณจะเห็นสถิติสำหรับเวลาที่ระบุ

ผลการทดสอบคำนวณดังนี้:

Conversion คำนวณจากจำนวนผู้ใช้ใน branch และเป้าหมาย Conversion ที่สำเร็จ Branch A จะถูกทำเครื่องหมายเป็น Baseline เนื่องจากเป็นตัวแทนของกลุ่มควบคุม
เมื่อคำนวณ นัยสำคัญทางสถิติ จะพิจารณา Z-Score และ P-Value หากผลลัพธ์ถูกต้อง จะถูกทำเครื่องหมายเป็น Significant
branch จะถือเป็น ผู้ชนะ หากมี Conversion สูงสุด และผลลัพธ์นี้ถูกทำเครื่องหมายเป็น Significant

ปิดใช้งาน branch

หาก Pushwoosh ระบุผู้ชนะที่มีนัยสำคัญทางสถิติได้ คุณสามารถปิด branch ที่มีประสิทธิภาพน้อยกว่าได้ทันทีโดยคลิก Keep only winner ในหน้าต่างสถิติการทดสอบ ในกรณีนี้ คุณไม่จำเป็นต้องหยุด Journey ชั่วคราว หาก branch ใดทำงานได้ไม่ดี คุณสามารถปิดใช้งานได้ ผู้ใช้ใหม่จะไม่เข้าไปใน branch ที่ปิดใช้งานอีกต่อไป

หากต้องการปิดใช้งาน branch ให้หยุด Journey ชั่วคราวก่อน:

หยุด Journey ชั่วคราวเพื่อปิดใช้งาน branch

หลังจากนั้น ดับเบิลคลิกที่องค์ประกอบ A/B/n Split ตั้งค่า 0% สำหรับ branch นี้และกระจายเปอร์เซ็นต์ของผู้ใช้ไปยัง branch ที่เหลือใหม่:

ปิดใช้งาน branch โดยตั้งค่าการกระจายผู้ใช้เป็น 0%