การทดสอบแบบ A/B/n Split

ใช้องค์ประกอบ A/B/n Split เพื่อทดสอบว่าลำดับข้อความใดทำงานได้ดีที่สุดสำหรับ Conversion Goals ของคุณ เพิ่มประสิทธิภาพการสื่อสารโดยการค้นหาวิธีการที่มีประสิทธิภาพที่สุดสำหรับกลุ่มเป้าหมายของคุณ

องค์ประกอบ A/B/n Split บน Journey canvas

กำหนดค่าการตั้งค่า A/B/n split

หลังจากวางองค์ประกอบ A/B/n Split บน canvas แล้ว ให้ดับเบิลคลิกเพื่อกำหนดค่าการตั้งค่าการทดสอบ

กำหนดจำนวน Branches

ใช้เมนู Branches แบบดรอปดาวน์เพื่อเลือกจำนวนรูปแบบที่คุณต้องการทดสอบ (สูงสุด 4 รูปแบบ) โดยค่าเริ่มต้น Branch A คือกลุ่มควบคุม

กำหนดการกระจายผู้ใช้ไปยัง Branches ต่างๆ

กำหนดเปอร์เซ็นต์ของผู้ใช้ที่จะถูกส่งไปยังแต่ละ Branch โดยตรวจสอบให้แน่ใจว่าผลรวมทั้งหมดเป็น 100% หากต้องการแบ่งผู้ใช้ระหว่าง Branches อย่างเท่าเทียมกัน ให้คลิก Reset Distribution

เลือกวิธีการเลือกผู้ชนะ

คุณมีสองตัวเลือก:

คุณเลือกผู้ชนะด้วยตนเอง

คุณจะต้องตรวจสอบผลลัพธ์และเลือก Branch ที่ชนะด้วยตนเองในภายหลัง ซึ่งต้องมีการตรวจสอบอย่างต่อเนื่องและการปิดใช้งานด้วยตนเอง เรียนรู้เพิ่มเติม

การตั้งค่าการเลือกผู้ชนะด้วยตนเองในการกำหนดค่าการทดสอบ A/B/n Split

ผู้ชนะจะถูกเลือกโดยอัตโนมัติตามเป้าหมาย

ระบบจะตรวจสอบเป้าหมายของแคมเปญและปิดใช้งาน Branches ที่มีประสิทธิภาพต่ำกว่าเมื่อบรรลุนัยสำคัญทางสถิติแล้ว ผู้ใช้ใหม่จะถูกส่งไปยัง Branch ที่ชนะ

เมื่อเปิดใช้งานการเลือกผู้ชนะอัตโนมัติ ให้เลือกว่าระบบควรประเมินผู้ชนะอย่างไร:

เป้าหมายแรกที่บรรลุนัยสำคัญ ระบบจะตรวจสอบเป้าหมายที่กำหนดทั้งหมดและเลือกเป้าหมายแรกที่บรรลุนัยสำคัญทางสถิติ
เลือกเป้าหมายที่เฉพาะเจาะจง (ตัวอย่างเช่น CheckoutSuccess) เป้าหมายนี้จะใช้เพื่อประเมินว่า Branch ใดทำงานได้ดีที่สุด

การเลือกผู้ชนะอัตโนมัติตามเป้าหมายในการตั้งค่า A/B/n Split

เมื่อกำหนดค่าเสร็จแล้ว คลิก Save เพื่อใช้การตั้งค่าการทดสอบของคุณ

วิธีตั้งค่าและทำการทดสอบ A/B/n

ตั้งค่าการทดสอบ

หยุด Journey ชั่วคราว

หากคุณต้องการตั้งค่าการทดสอบ A/B/n ใน Journey ที่กำลังทำงานอยู่ ให้หยุดชั่วคราวก่อน หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการแก้ไข Journey ที่กำลังทำงานอยู่ โปรดอ่านบทความนี้

กำหนด Conversion Goal อย่างน้อยหนึ่งรายการ

ตั้งค่า Conversion Goal อย่างน้อยหนึ่งรายการที่จะใช้ในการคำนวณผลการทดสอบ ตัวอย่างเช่น หากคุณต้องการทดสอบว่า push notification สองรายการใดมีประสิทธิภาพมากที่สุด คุณสามารถตั้งค่า Event PW_InAppPurchase เป็น Conversion Goal ได้

ตั้งค่า Conversion Goal สำหรับการทดสอบ A/B/n

หากคุณระบุ Conversion Goals หลายรายการ ผลลัพธ์จะถูกคำนวณสำหรับแต่ละเป้าหมายแยกกัน

เพิ่มองค์ประกอบ A/B/n Split

วางองค์ประกอบ A/B/n Split ลงบน canvas หลังจากองค์ประกอบอื่นๆ แล้วดับเบิลคลิกเพื่อกำหนดค่าการทดสอบ

ตั้งค่า Branches และการกระจายผู้ใช้

เลือกจำนวน Branches คุณสามารถเพิ่มได้สูงสุดสี่ Branches ในการทดสอบของคุณ Branch แรกจะถือเป็นกลุ่มควบคุมเสมอ ซึ่งผลลัพธ์ใน Branches อื่นๆ จะถูกนำมาเปรียบเทียบด้วย โปรดปฏิบัติตามคู่มือนี้ต่อไปเพื่อเรียนรู้วิธีตั้งค่า Branch นี้ตามความต้องการของคุณ

ตั้งค่าจำนวน Branches สำหรับการทดสอบ A/B/n

ถัดไป กำหนดเปอร์เซ็นต์ของผู้ใช้ที่จะไปยังแต่ละ Branch ผลรวมของทุก Branches ควรเป็น 100% ตามเปอร์เซ็นต์ที่คุณตั้งค่า ผู้เดินทางใน Journey ที่มาถึงขั้นตอนนี้จะถูกแบ่งแบบสุ่มไปยังจำนวน Branches ที่ระบุ

โปรดทราบว่าผู้ใช้ที่ได้รับมอบหมายให้ไปยัง Branch A จะถือเป็นกลุ่มควบคุม ซึ่งผลลัพธ์ใน Branches อื่นๆ จะถูกนำมาเปรียบเทียบด้วย ขั้นตอนต่อไปจะอธิบายวิธีตั้งค่า Branch A สำหรับกรณีต่างๆ

ตั้งค่าการกระจายผู้ใช้ไปยัง Branches ต่างๆ

เลือกโหมดการประเมินผู้ชนะ

เลือกวิธีการกำหนดผู้ชนะ:

การเลือกอัตโนมัติตามเป้าหมาย ระบบจะติดตามเป้าหมายที่กำหนด ตรวจจับ Branch ที่มีประสิทธิภาพดีที่สุดโดยใช้นัยสำคัญทางสถิติ และส่งผู้ใช้ใหม่ไปยังผู้ชนะโดยอัตโนมัติ
การเลือกด้วยตนเอง คุณจะตรวจสอบผลการทดสอบและตัดสินใจด้วยตนเองว่า Branch ใดทำงานได้ดีที่สุด ตัวเลือกนี้ต้องการให้คุณตรวจสอบการทดสอบและปิดใช้งาน Branches ที่มีประสิทธิภาพต่ำด้วยตนเอง เรียนรู้เพิ่มเติม

กำหนดค่าเนื้อหาสำหรับแต่ละ Branch

ตอนนี้คุณสามารถตั้งค่าขั้นตอนการสื่อสารสำหรับแต่ละ Branch ได้แล้ว เนื่องจาก Branch A เป็นกลุ่มควบคุม คุณต้องกำหนดค่าในลักษณะที่แน่นอนขึ้นอยู่กับกรณีของคุณ:

ทดสอบขั้นตอนการสื่อสารที่มีอยู่กับเวอร์ชันใหม่ ในกรณีนี้ เวอร์ชันที่มีอยู่ควรอยู่ใน Branch A นอกจากนี้ ตรวจสอบให้แน่ใจว่า Conversion Goal สามารถทำได้ในทุก Branch รวมถึง Branch A ด้วย
ทดสอบเฉพาะเวอร์ชันใหม่กับกันเอง เนื่องจากไม่มีขั้นตอนการสื่อสารเก่า เวอร์ชันใหม่หนึ่งเวอร์ชันจะถูกทำเครื่องหมายเป็นกลุ่มควบคุม (เวอร์ชันที่อยู่ใน Branch A) ตรวจสอบให้แน่ใจว่า Conversion Goal สามารถทำได้ในทุก Branches
ทดสอบเวอร์ชันที่มีอยู่โดยไม่มีการสื่อสารใดๆ กับขั้นตอนการสื่อสารใหม่ ตัวอย่างเช่น คุณต้องการเพิ่ม push อีกหนึ่งรายการในตอนท้ายของ Journey เพื่อดูว่าประสิทธิภาพของแคมเปญเพิ่มขึ้นเมื่อเทียบกับเวอร์ชันดั้งเดิมที่ไม่มี push นี้หรือไม่ ในกรณีนี้ เวอร์ชัน ‘ว่าง’ ควรอยู่ใน Branch A เพื่อให้ได้ผลลัพธ์ที่น่าเชื่อถือ ให้เพิ่ม Time Delay ที่เท่ากันในแต่ละ Branch:

กำหนดค่า Branches ด้วยขั้นตอนการสื่อสารที่แตกต่างกันสำหรับการทดสอบ

เปิดใช้งาน Journey

หากทุกอย่างพร้อมแล้ว ให้เปิดใช้งาน Journey

วิเคราะห์ผลลัพธ์

ทันทีที่การทดสอบเริ่มขึ้น คุณสามารถดูสถิติแบบเรียลไทม์ได้

บน Journey canvas ดูจำนวนผู้ใช้ที่ผ่านแต่ละ Branch:

ดูจำนวนผู้ใช้สำหรับแต่ละ Branch บน Journey canvas

หากต้องการดูผลการทดสอบ ให้ดับเบิลคลิกที่องค์ประกอบ A/B/n Split คุณจะเห็นสถิติสำหรับแต่ละ Branch รวมถึง Conversion ไปยังเป้าหมายที่เลือกและเมตริกที่ใช้ในการคำนวณนัยสำคัญทางสถิติ

หากคุณได้ตั้งค่า Conversion Goals หลายรายการ คุณสามารถดูผลลัพธ์สำหรับแต่ละรายการได้โดยเลือกเป้าหมายที่ต้องการจากรายการ:

เลือก Conversion Goal เพื่อดูผลการทดสอบที่เฉพาะเจาะจง

หากคุณเปิดใช้งานการเลือกผู้ชนะอัตโนมัติ Pushwoosh จะตรวจสอบเป้าหมายที่เลือกอย่างต่อเนื่อง เมื่อ Branch หนึ่งบรรลุนัยสำคัญทางสถิติ Branch นั้นจะถูกทำเครื่องหมายเป็นผู้ชนะ Branches ที่มีประสิทธิภาพต่ำกว่าจะถูกปิดใช้งานโดยอัตโนมัติ และผู้ใช้ใหม่จะถูกส่งไปยัง Branch ที่ชนะเท่านั้น ไม่จำเป็นต้องดำเนินการด้วยตนเอง

หากการทดสอบของคุณมีผู้ชนะที่มีนัยสำคัญทางสถิติและคุณกำลังใช้การเลือกผู้ชนะด้วยตนเอง คุณสามารถปิด Branches ที่มีประสิทธิภาพต่ำกว่าได้ทันทีโดยคลิก Keep only winner ผู้เดินทางใน Journey ใหม่จะถูกส่งไปยัง Branch ที่ชนะ ผู้ใช้ที่เข้าไปใน Branches ที่ปิดใช้งานแล้วจะยังคงเดินทางผ่าน Branches เหล่านั้นต่อไปจนกว่าจะสิ้นสุด Journey

ตัวเลือก Keep only winner ในการเลือกผู้ชนะด้วยตนเอง

คุณสามารถดูผลการทดสอบสำหรับช่วงเวลาที่เฉพาะเจาะจงได้ ในการทำเช่นนี้ ให้เลือกช่วงเวลาที่ต้องการบนแผงด้านซ้ายและดับเบิลคลิกที่องค์ประกอบ A/B/n Split คุณจะเห็นสถิติสำหรับเวลาที่ระบุ

ผลการทดสอบคำนวณดังนี้:

Conversion คำนวณจากจำนวนผู้ใช้ใน Branch และ Conversion Goals ที่สำเร็จ Branch A จะถูกทำเครื่องหมายเป็น Baseline เนื่องจากเป็นตัวแทนของกลุ่มควบคุม
เมื่อคำนวณ นัยสำคัญทางสถิติ จะมีการพิจารณา Z-Score และ P-Value หากผลลัพธ์ถูกต้อง จะถูกทำเครื่องหมายเป็น Significant
Branch จะถือเป็น ผู้ชนะ หากมี Conversion สูงสุด และผลลัพธ์นี้ถูกทำเครื่องหมายเป็น Significant

ปิดใช้งาน Branches

หาก Pushwoosh ระบุผู้ชนะที่มีนัยสำคัญทางสถิติได้ คุณสามารถปิด Branches ที่มีประสิทธิภาพต่ำกว่าได้ทันทีโดยคลิก Keep only winner ในหน้าต่างสถิติการทดสอบ ในกรณีนี้ คุณไม่จำเป็นต้องหยุด Journey ชั่วคราว หาก Branch ใดทำงานได้ไม่ดี คุณสามารถปิดใช้งานได้ ผู้ใช้ใหม่จะไม่เข้าไปใน Branch ที่ปิดใช้งานอีกต่อไป

หากต้องการปิดใช้งาน Branch ให้หยุด Journey ชั่วคราวก่อน:

หยุด Journey ชั่วคราวเพื่อปิดใช้งาน Branch

หลังจากนั้น ให้ดับเบิลคลิกที่องค์ประกอบ A/B/n Split ตั้งค่า 0% สำหรับ Branch นี้และกระจายเปอร์เซ็นต์ของผู้ใช้ไปยัง Branches ที่เหลือใหม่:

ปิดใช้งาน Branch โดยตั้งค่าการกระจายผู้ใช้เป็น 0%