การดำเนินการทดสอบ A/B/n

ใช้ส่วนประกอบ A/B/n Split ใน Customer Journey เพื่อทดสอบว่าลำดับของข้อความใดทำงานได้ดีที่สุดสำหรับ เป้าหมาย Conversion (Conversion Goals) ของคุณ สิ่งนี้จะช่วยให้คุณปรับการสื่อสารให้เข้ากับความต้องการและความชอบของผู้ชมได้

1. หากคุณต้องการตั้งค่าการทดสอบ A/B/n ใน Journey ที่กำลังทำงานอยู่ ให้หยุดชั่วคราวก่อน หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการแก้ไข Journey ที่กำลังทำงานอยู่ โปรดอ่านบทความนี้

2. ตั้งค่าเป้าหมาย Conversion อย่างน้อยหนึ่งรายการที่จะใช้ในการคำนวณผลการทดสอบ ตัวอย่างเช่น หากคุณต้องการทดสอบว่าการแจ้งเตือนแบบพุชสองรายการใดมีประสิทธิภาพมากที่สุด คุณสามารถตั้งค่าเหตุการณ์ PW_InAppPurchase เป็นเป้าหมาย Conversion ได้

หากคุณระบุเป้าหมาย Conversion หลายรายการ ผลลัพธ์จะถูกคำนวณสำหรับแต่ละเป้าหมายแยกกัน

3. วางส่วนประกอบ A/B/n Split ลงบนพื้นที่ทำงาน (canvas) ต่อจากส่วนประกอบอื่น ๆ และดับเบิลคลิกเพื่อกำหนดค่าการทดสอบ

4. เลือกจำนวนสาขา คุณสามารถเพิ่มได้สูงสุดสี่สาขาในการทดสอบของคุณ สาขาแรกจะถือว่าเป็นกลุ่มควบคุม (control group) เสมอเพื่อใช้เปรียบเทียบผลลัพธ์ในสาขาอื่น ๆ โปรดปฏิบัติตามคำแนะนำนี้ต่อไปเพื่อเรียนรู้วิธีการตั้งค่าสาขานี้ตามความต้องการของคุณ

5. กำหนดเปอร์เซ็นต์ของผู้ใช้ที่จะไปยังแต่ละสาขา ผลรวมของทุกสาขาต้องเท่ากับ 100% ตามเปอร์เซ็นต์ที่คุณตั้งค่า ผู้เดินทางใน Journey ที่มาถึงขั้นตอนนี้จะถูกแบ่งแบบสุ่มไปยังจำนวนสาขาที่ระบุ

โปรดทราบว่าผู้ใช้ที่ถูกกำหนดไปยังสาขา A จะถือว่าเป็นกลุ่มควบคุมที่จะใช้เปรียบเทียบผลลัพธ์ในสาขาอื่น ๆ ขั้นตอนต่อไปจะอธิบายวิธีการตั้งค่าสาขา A สำหรับกรณีต่าง ๆ

6. ตอนนี้คุณสามารถตั้งค่าโฟลว์การสื่อสารสำหรับแต่ละสาขาได้ เนื่องจากสาขา A เป็นกลุ่มควบคุม คุณจึงต้องกำหนดค่าในลักษณะที่แน่นอนขึ้นอยู่กับกรณีของคุณ:

• ทดสอบโฟลว์การสื่อสารที่มีอยู่กับเวอร์ชันใหม่ ในกรณีนี้ เวอร์ชันที่มีอยู่ควรอยู่ในสาขา A และตรวจสอบให้แน่ใจว่าเป้าหมาย Conversion สามารถทำได้สำเร็จในทุกสาขา รวมถึงสาขา A ด้วย
• ทดสอบเฉพาะเวอร์ชันใหม่เปรียบเทียบกันเอง เนื่องจากไม่มีโฟลว์การสื่อสารเก่า หนึ่งในเวอร์ชันใหม่จะถูกทำเครื่องหมายเป็นกลุ่มควบคุม (เวอร์ชันที่อยู่ในสาขา A) ตรวจสอบให้แน่ใจว่าเป้าหมาย Conversion สามารถทำได้สำเร็จในทุกสาขา
• ทดสอบเวอร์ชันที่มีอยู่ซึ่งไม่มีการสื่อสารใด ๆ กับโฟลว์การสื่อสารใหม่ ตัวอย่างเช่น คุณต้องการเพิ่มการแจ้งเตือนแบบพุชอีกหนึ่งครั้งในตอนท้ายของ Journey เพื่อดูว่าประสิทธิภาพของแคมเปญเพิ่มขึ้นเมื่อเทียบกับเวอร์ชันดั้งเดิมที่ไม่มีการพุชนี้หรือไม่ ในกรณีนี้ เวอร์ชัน ‘ว่าง’ ควรอยู่ในสาขา A เพื่อให้ได้ผลลัพธ์ที่น่าเชื่อถือ ให้เพิ่ม Time Delay ที่เท่ากันในแต่ละสาขา:

7. หากทุกอย่างพร้อมแล้ว ให้เริ่มการทำงานของ Journey

ทันทีที่การทดสอบเริ่มขึ้น คุณสามารถดูสถิติแบบเรียลไทม์ได้

บนพื้นที่ทำงานของ Journey คุณสามารถดูจำนวนผู้ใช้ที่ผ่านแต่ละสาขาภายใน Journey ได้:

หากต้องการดูผลการทดสอบ ให้ดับเบิลคลิกที่ส่วนประกอบ A/B/n Split คุณจะเห็นสถิติสำหรับแต่ละสาขา รวมถึง Conversion ไปยังเป้าหมายที่เลือก และเมตริกที่ใช้ในการคำนวณนัยสำคัญทางสถิติ

หากคุณตั้งค่าเป้าหมาย Conversion ไว้หลายรายการ คุณสามารถดูผลลัพธ์สำหรับแต่ละรายการได้โดยการเลือกเป้าหมายที่ต้องการจากรายการ:

หากการทดสอบของคุณมีผู้ชนะที่มีนัยสำคัญทางสถิติ คุณสามารถปิดสาขาที่มีประสิทธิภาพน้อยกว่าได้ทันทีโดยคลิก Keep only winner ผู้เดินทางใน Journey รายใหม่จะถูกนำไปยังสาขาที่ชนะ ส่วนผู้ใช้ที่ได้เข้าไปในสาขาที่ปิดใช้งานแล้วจะยังคงดำเนินต่อไปจนกว่าจะสิ้นสุด Journey

คุณสามารถดูผลการทดสอบสำหรับช่วงเวลาที่ต้องการได้ โดยเลือกช่วงเวลาที่ต้องการบนแผงด้านซ้ายแล้วดับเบิลคลิกที่ส่วนประกอบ A/B/n Split คุณจะเห็นสถิติสำหรับเวลาที่ระบุ

ผลการทดสอบคำนวณดังนี้:

• Conversion คำนวณจากจำนวนผู้ใช้ในสาขาและเป้าหมาย Conversion ที่ทำได้สำเร็จ สาขา A จะถูกทำเครื่องหมายเป็น Baseline เนื่องจากเป็นตัวแทนของกลุ่มควบคุม
• เมื่อคำนวณ นัยสำคัญทางสถิติ (statistical significance) จะมีการพิจารณา Z-Score และ P-Value หากผลลัพธ์นั้นถูกต้อง จะถูกทำเครื่องหมายเป็น Significant
• สาขาจะถือว่าเป็น ผู้ชนะ (winner) หากมี Conversion สูงสุด และผลลัพธ์นี้ถูกทำเครื่องหมายเป็น Significant

หากสาขาใดมีประสิทธิภาพต่ำ คุณสามารถปิดใช้งานได้ ผู้ใช้ใหม่จะไม่เข้าไปในสาขาที่ปิดใช้งานอีกต่อไป

หากต้องการปิดใช้งานสาขา ให้หยุด Journey ชั่วคราวก่อน:

หลังจากนั้น ดับเบิลคลิกที่ส่วนประกอบ A/B/n Split ตั้งค่า 0% สำหรับสาขานี้และกระจายเปอร์เซ็นต์ของผู้ใช้ที่จะไปยังสาขาที่เหลือใหม่: