คำถามที่พบบ่อยเกี่ยวกับกลุ่มควบคุม

ฉันสามารถกันผู้ใช้ออกได้เฉพาะสำหรับ journey เดียวแทนที่จะเป็นทั้งแอปได้หรือไม่

ได้ ใช้เอลิเมนต์ Holdout Split ภายใน Customer Journey Builder เพื่อกันผู้ใช้ส่วนหนึ่งออกที่จุดหนึ่งใน journey เดียว แทนที่จะกันผู้ใช้ออกจากการส่งข้อความทางการตลาดทุกครั้งของแอป มันจะรายงาน uplift เป้าหมายของตัวเอง แยกจากหน้านี้

แอปพลิเคชันสามารถมีกลุ่มควบคุมมากกว่าหนึ่งกลุ่มได้หรือไม่

ได้ คลิก Add control group ใน Settings > Control groups เพื่อเพิ่มกลุ่มใหม่ เช่น หนึ่งกลุ่มต่อหนึ่งตลาด

• กลุ่มที่เปิดใช้งานทุกกลุ่มจะมีผลกับการส่งข้อความทางการตลาดทุกครั้งของแอป โดยแต่ละกลุ่มอยู่ภายในประเทศและแท็กของตัวเอง คุณไม่ต้องเลือกกลุ่มสำหรับแต่ละข้อความ
• ผู้ใช้จะถูกกันไว้หากมีกลุ่มใดกลุ่มหนึ่งเลือกผู้ใช้นั้น
• กลุ่มสามารถซ้อนทับกันได้ Pushwoosh จะแจ้งเตือนคุณและแสดง Overlaps with N groups ในรายการ เนื่องจากผู้ใช้ที่ตรงกับทั้งสองกลุ่มทำให้สถิติของทั้งสองกลุ่มคลาดเคลื่อน

ดูกลุ่มควบคุมหลายกลุ่มทำงานร่วมกันอย่างไร

ฉันสามารถลบกลุ่มควบคุมได้หรือไม่

ได้ จากเมนูสามจุดในหน้าของกลุ่ม การกระทำนี้ไม่สามารถยกเลิกได้: กลุ่มจะหยุดกันผู้ใช้ และสถิติทั้งหมดของกลุ่มจะสูญหาย กลุ่มอื่นๆ ของแอปจะยังคงทำงานต่อไป หากไม่มีกลุ่มที่เปิดใช้งานเหลืออยู่ ข้อความทางการตลาดจะถูกส่งไปยังผู้ใช้ทุกคน หากต้องการหยุดกลุ่มและเก็บประวัติไว้ ให้คลิก Disable instead ในกล่องโต้ตอบการลบ หรือปิดใช้งานจากเมนูสามจุด

ฉันสามารถเปลี่ยนชื่อกลุ่มควบคุมได้หรือไม่

ได้ ในหน้าของกลุ่ม คลิก เมนูสามจุด แล้วเลือก Rename จะเปลี่ยนเฉพาะชื่อที่คุณเห็นใน Pushwoosh เท่านั้น: ผู้ใช้ในกลุ่ม รอบปัจจุบัน และสถิติของกลุ่มจะยังคงเหมือนเดิม

ผู้ใช้คนไหนอยู่ในกลุ่มควบคุม

Pushwoosh ไม่ได้เก็บรายชื่อสมาชิกกลุ่มควบคุมไว้ แต่จะใช้สูตร ซึ่งเป็นการคำนวณที่ให้คำตอบเดียวกันเสมอสำหรับอินพุตเดียวกัน โดยอิงจากแอปของคุณ ID ของผู้ใช้ และการตั้งค่าปัจจุบันของกลุ่ม สิ่งนี้จะนำไปใช้กับฐานผู้ใช้ที่มีอยู่ทั้งหมดของคุณทันทีที่คุณเปิดใช้งานกลุ่ม ไม่ใช่เฉพาะผู้ที่ลงทะเบียนใหม่ และผลลัพธ์จะยังคงเหมือนเดิมสำหรับผู้ใช้แต่ละราย จนกว่าคุณจะสับเปลี่ยนกลุ่มหรือเปลี่ยนขนาด ID ของผู้ใช้เปลี่ยนแปลง หรือรอบ Auto-refresh สิ้นสุดลงหรือ Experiment ถึงวันที่สิ้นสุด

ผู้ใช้ในกลุ่มควบคุมได้รับข้อความธุรกรรมหรือไม่

ใช่ ข้อความธุรกรรม (เช่น การรีเซ็ตรหัสผ่าน การยืนยันคำสั่งซื้อ) จะถูกส่งไปยังผู้ใช้ทุกคน รวมถึงกลุ่มควบคุมด้วย เฉพาะข้อความทางการตลาดเท่านั้นที่จะถูกบล็อกสำหรับผู้ใช้ในกลุ่มควบคุม

ฉันจะตั้งค่าประเภทข้อความเป็นแบบการตลาดหรือธุรกรรมได้ที่ไหน

คุณสามารถเลือกได้ทุกที่ที่คุณส่งข้อความ สำหรับแต่ละช่องทาง โปรดดูที่ จะตั้งค่าประเภทข้อความได้ที่ไหน

จะเกิดอะไรขึ้นกับแคมเปญที่สร้างขึ้นก่อนที่ฉันจะเปิดใช้งานกลุ่มควบคุม

แคมเปญที่สร้างขึ้นก่อนที่คุณจะเปิดใช้งานกลุ่มควบคุมจะทำงานเหมือนกับแคมเปญใหม่ทุกประการ: Pushwoosh จะตรวจสอบประเภทข้อความของแคมเปญ ณ เวลาที่ส่ง ไม่ใช่เวลาที่สร้าง

• Marketing message (หรือไม่มีประเภทข้อความเลย ซึ่งอาจเกิดขึ้นกับแคมเปญที่สร้างผ่าน API): กลุ่มควบคุมจะยกเว้นผู้ใช้เหล่านั้นทันที
• Transactional message: ผู้ใช้ในกลุ่มควบคุมจะยังคงได้รับข้อความเหมือนเดิม

แก้ไขแคมเปญและตั้งค่าประเภทข้อความเป็น Transactional message หากคุณต้องการให้เข้าถึงทุกคน รวมถึงกลุ่มควบคุมด้วย

ฉันสามารถเปลี่ยนขนาดกลุ่มควบคุมหลังจากเปิดใช้งานได้หรือไม่

ได้ เปิดหน้าของกลุ่มจาก Settings > Control groups คลิก Control group settings เลือกเปอร์เซ็นต์ใหม่ (1% ถึง 20%) แล้วคลิก Apply Pushwoosh จะคำนวณสมาชิกใหม่สำหรับฐานผู้ใช้ทั้งหมดของคุณตามเปอร์เซ็นต์ใหม่: การขยายกลุ่มจะเพิ่มผู้ใช้โดยไม่ลบใครที่อยู่ในกลุ่มอยู่แล้ว และการลดขนาดจะปล่อยสมาชิกที่มีอยู่ออกไปบางส่วน ซึ่งอาจส่งผลต่อการเปรียบเทียบกับแคมเปญก่อนหน้า ดังนั้นควรเปลี่ยนขนาดเมื่อจำเป็นเท่านั้น

กลุ่มควบคุมมีโหมดใดบ้าง

มีสามโหมด Permanent จะเก็บกลุ่มเดิมไว้จนกว่าคุณจะปิดใช้งาน Auto-refresh จะแทนที่ด้วยกลุ่มใหม่โดยอัตโนมัติเมื่อสิ้นสุดแต่ละรอบ (1, 2 หรือ 3 เดือน) และให้กลุ่มก่อนหน้ากลับมาได้รับข้อความ Experiment with an end date จะให้กลุ่มทำงานจนถึงวันที่คุณกำหนด (อย่างน้อย 30 วันนับจากวันเริ่มต้น) จากนั้นจะให้ทุกคนกลับมาได้รับข้อความโดยอัตโนมัติ ตั้งค่าโหมดเมื่อสร้างกลุ่ม หรือภายหลังใน Control group settings ซึ่งเป็นกล่องโต้ตอบเดียวกับที่ใช้แก้ไขขนาดและประเทศของกลุ่ม การเปลี่ยนโหมดจะปิดรอบปัจจุบันของกลุ่ม เช่นเดียวกับการปรับขนาดหรือการกำหนดขอบเขตใหม่

ฉันจะดูรอบที่ผ่านมาของกลุ่มควบคุมได้อย่างไร

1. เปิดหน้าของกลุ่ม
2. คลิกตัวเลือกช่วงวันที่ที่มุมบนขวา ซึ่งมีป้ายกำกับ Current cycle สำหรับกลุ่ม Auto-refresh, Current experiment สำหรับกลุ่ม Experiment with an end date และไม่มีป้ายกำกับสำหรับกลุ่ม Permanent
3. เลือกรอบใต้ Previous รอบที่สิ้นสุดแล้วจะแสดงตามหมายเลขเป็น Cycle หรือ Experiment

กลุ่มแบบ Permanent ก็อาจมีรอบที่ผ่านมาได้เช่นกัน เนื่องจากการปรับขนาด การกำหนดขอบเขตใหม่ หรือการเปลี่ยนโหมดจะเริ่มรอบใหม่

ทำไมผลลัพธ์ของกลุ่มควบคุมของฉันจึงเริ่มต้นใหม่

หน้าต่างการวัดผลจะเริ่มต้นใหม่ทุกครั้งที่สมาชิกหรือผู้ชมของกลุ่มเปลี่ยนแปลง:

• คุณปรับขนาดกลุ่มหรือเปลี่ยนประเทศหรือแท็ก
• คุณสับเปลี่ยนกลุ่ม
• คุณเปลี่ยนโหมด
• รอบ Auto-refresh สิ้นสุดลง หรือ Experiment ถึงวันที่สิ้นสุด

ข้อมูลจากก่อนจุดนั้นจะไม่ตรงกับกลุ่มปัจจุบันอีกต่อไป จึงไม่ถูกรวมไว้ รอบที่สิ้นสุดแล้วยังคงดูได้ใต้ Previous ในตัวเลือกช่วงวันที่ในหน้าของกลุ่ม

จะเกิดอะไรขึ้นเมื่อ Experiment with an end date สิ้นสุดลง

ในวันที่ To ที่คุณตั้งไว้ ทุกคนในกลุ่มจะกลับมาได้รับข้อความทางการตลาดโดยอัตโนมัติ จากนั้น Experiment จะปรากฏใต้ Previous ในตัวเลือกช่วงวันที่ในหน้าของกลุ่ม โดยมีชื่อว่า Experiment พร้อมหมายเลขของตัวเอง เพื่อให้คุณยังคงตรวจสอบผลลัพธ์ได้

ฉันสามารถกำหนดขอบเขตกลุ่มควบคุมเฉพาะบางประเทศได้หรือไม่

ได้ ตั้งค่า Countries เมื่อสร้างกลุ่ม หรือภายหลัง: เปิดหน้าของกลุ่มจาก Settings > Control groups แล้วคลิก Control group settings ปล่อยว่างไว้เพื่อกันผู้ใช้จากผู้ชมทั้งหมดของคุณ หรือเลือกหนึ่งประเทศหรือมากกว่าเพื่อกันเฉพาะอุปกรณ์ในประเทศนั้นๆ การกำหนดขอบเขตตามประเทศเป็นการตรวจสอบต่ออุปกรณ์เพิ่มเติมจากสูตรเปอร์เซ็นต์: มันไม่ได้เปลี่ยนว่าสูตรเลือกใคร แต่จะเปลี่ยนเฉพาะอุปกรณ์ของพวกเขาที่จะถูกยกเว้นจากการตลาด การเปลี่ยน Countries จะเป็นการรีสตาร์ทการวัดผล uplift เนื่องจากผู้ชมที่เปรียบเทียบมีการเปลี่ยนแปลง

จะเกิดอะไรขึ้นกับอุปกรณ์ที่ไม่มีข้อมูลประเทศ

อุปกรณ์นั้นจะไม่ถูกกันไว้ แม้ว่าจะตั้งค่า Countries และผู้ใช้ของอุปกรณ์นั้นถูกเลือกไว้ก็ตาม Pushwoosh จะตรวจสอบแท็ก Country ของระบบของอุปกรณ์เทียบกับขอบเขต และอุปกรณ์ที่ไม่มีแท็กนั้นจะไม่มีอะไรให้ตรวจสอบ ดังนั้นมันจะยังคงได้รับข้อความทางการตลาดต่อไป

ฉันสามารถกำหนดขอบเขตกลุ่มควบคุมตามแท็กได้หรือไม่

ได้ ตั้งค่า Tag เมื่อสร้างกลุ่ม หรือภายหลัง: เปิดหน้าของกลุ่มจาก Settings > Control groups แล้วคลิก Control group settings เลือกแท็กประเภท string หรือ boolean ใดก็ได้ยกเว้น Country จากนั้นเลือกค่าหนึ่งค่าหรือมากกว่า วิธีนี้ทำงานเหมือนขอบเขตตามประเทศ: เป็นการตรวจสอบต่ออุปกรณ์เพิ่มเติมจากสูตรเปอร์เซ็นต์ และใช้ร่วมกับ Countries หากคุณตั้งค่าทั้งสองอย่าง อุปกรณ์ที่ไม่มีค่าของแท็ก หรือมีค่าที่คุณไม่ได้เลือก จะยังคงได้รับข้อความทางการตลาด แม้ว่าผู้ใช้ของอุปกรณ์นั้นจะถูกเลือกไว้ก็ตาม

ขอบเขตตามแท็กทำงานร่วมกับแท็กระดับอุปกรณ์และระดับผู้ใช้อย่างไร

แท็กที่คุณตั้งค่าต่ออุปกรณ์จะอธิบายเฉพาะอุปกรณ์เครื่องนั้นเท่านั้น ดังนั้นการกำหนดขอบเขตด้วยแท็กนี้จะกันอุปกรณ์ไว้ทีละเครื่อง แท็กที่คุณตั้งค่าต่อผู้ใช้จะถูกคัดลอกไปยังอุปกรณ์ทุกเครื่องของผู้ใช้นั้น ดังนั้นการกำหนดขอบเขตด้วยแท็กนี้จะกันหรือไม่กันอุปกรณ์ทั้งหมดของผู้ใช้พร้อมกัน ไม่ว่ากรณีใด อุปกรณ์ที่ไม่มีค่าสำหรับแท็กขอบเขตจะยังคงได้รับข้อความทางการตลาด และอุปกรณ์ที่ถูกกันไว้อาจเปลี่ยนไปตามเวลาเมื่อค่าแท็กของผู้ใช้เปลี่ยน โดยไม่ต้องมีใครแก้ไขกลุ่มควบคุม

จะเกิดอะไรขึ้นถ้าฉันปิดใช้งานกลุ่มควบคุม

กลุ่มนั้นจะหยุดกันผู้ใช้ และผู้ใช้จะเริ่มได้รับข้อความทางการตลาดอีกครั้ง เว้นแต่จะมีกลุ่มอื่นที่เปิดใช้งานอยู่กันผู้ใช้เหล่านั้นไว้ หากไม่มีกลุ่มที่เปิดใช้งานเหลืออยู่ ข้อความทางการตลาดจะถูกส่งไปยังผู้ใช้ทุกคน กลุ่มจะยังคงเก็บการตั้งค่าและประวัติสถิติไว้ หากคุณเปิดใช้งานกลุ่มควบคุมอีกครั้งในภายหลังโดยไม่สับเปลี่ยน คุณจะได้กลุ่มเดิมกลับมาทุกประการ เพราะการเป็นสมาชิกคำนวณจากสูตรเดียวกัน หากต้องการได้กลุ่มที่แตกต่างออกไปหลังจากเปิดใช้งานใหม่ ให้สับเปลี่ยนกลุ่ม

Reshuffle ทำอะไร

Reshuffle control group จะสุ่มตัวอย่างใหม่ทั้งหมดในเปอร์เซ็นต์เท่าเดิม โดยแทนที่กลุ่มควบคุมปัจจุบันด้วยชุดผู้ใช้ที่แตกต่างกัน สามารถใช้ได้จาก เมนูสามจุด ในหน้าของกลุ่ม ใช้เมื่อผู้ใช้กลุ่มเดิมถูกยกเว้นจากการตลาดเป็นเวลานานและคุณต้องการการครอบคลุมกลุ่มที่กันไว้ใหม่ การสับเปลี่ยนยังเป็นการรีสตาร์ทหน้าต่างการวัดผลสำหรับการวิเคราะห์กลุ่มควบคุมด้วย

ฉันจะดูได้อย่างไรว่าผู้ใช้คนไหนอยู่ในกลุ่มควบคุม

Pushwoosh ไม่ได้ติดแท็กผู้ใช้ในกลุ่มควบคุม เปิดหน้าของกลุ่มจาก Settings > Control groups คลิก เมนูสามจุด แล้วเลือก Export users เพื่อดาวน์โหลดไฟล์ CSV ของสมาชิกปัจจุบัน Export users ต้องใช้สิทธิ์ Personal data ในบทบาทของคุณ หากต้องการตรวจสอบการเป็นสมาชิกผ่านโปรแกรมแทน ให้เรียกใช้ CheckControlGroupMembership จาก Control Groups API พร้อมกับชุดของ User IDs

ทำไมผู้ใช้ในกลุ่มควบคุมอาจยังคงได้รับข้อความทางการตลาด

Pushwoosh คำนวณการเป็นสมาชิกกลุ่มควบคุมตาม User ID หากบุคคลคนเดียวกันมีวิธีการติดต่อหลายวิธี (เช่น อีเมล, อุปกรณ์พุช) ที่ไม่ได้เชื่อมโยงภายใต้ User ID เดียวกัน Pushwoosh จะถือว่าเป็นผู้ใช้ที่แตกต่างกันและคำนวณการเป็นสมาชิกสำหรับแต่ละรายแยกกัน: รายหนึ่งอาจอยู่ในกลุ่มควบคุมในขณะที่อีกรายไม่อยู่ วิธีการติดต่อที่ไม่มี User ID เลยจะไม่ถูกกันไว้ เนื่องจาก Pushwoosh ต้องการ User ID เพื่อคำนวณการเป็นสมาชิก เพื่อหลีกเลี่ยงปัญหานี้ ให้ลงทะเบียนวิธีการติดต่อทั้งหมดด้วย User ID เดียวกัน

ฉันควรเลือกเปอร์เซ็นต์กลุ่มควบคุมเท่าไหร่

เปอร์เซ็นต์ที่เหมาะสมขึ้นอยู่กับเป้าหมายของคุณ ขนาดแอป และวิธีที่คุณวางแผนจะใช้ผลลัพธ์ เปอร์เซ็นต์ที่น้อยกว่า (เช่น 3%) จะทำให้มีผู้ใช้ในกลุ่มเป้าหมายมากขึ้นและอาจเหมาะกับทีมที่ให้ความสำคัญกับการเข้าถึง เปอร์เซ็นต์ที่ใหญ่กว่า (เช่น 10%) สามารถให้ความเชื่อมั่นทางสถิติที่แข็งแกร่งขึ้นเมื่อเปรียบเทียบกลุ่ม คุณสามารถตั้งค่า Custom ได้ระหว่าง 1% ถึง 20% เพื่อให้ตรงกับความต้องการของคุณ

ทำไมกลุ่มควบคุมของฉันถึงไม่ตรงกับเปอร์เซ็นต์ที่ฉันตั้งไว้

ขนาดกลุ่มที่แสดงในหน้าคือจำนวนผู้ใช้จริงที่สูตรแฮชกำหนดให้กับกลุ่ม ไม่ใช่เปอร์เซ็นต์ที่คูณด้วยจำนวนผู้ใช้ของคุณ สำหรับแอปขนาดเล็ก จำนวนนี้อาจแตกต่างจากเปอร์เซ็นต์อย่างเห็นได้ชัด เนื่องจากสูตรจะกระจายผู้ใช้เป็นรายบุคคลแทนที่จะสุ่มตัวอย่างในสัดส่วนที่แน่นอน จำนวนนี้จะถูกแคชและรีเฟรชประมาณวันละครั้ง คุณสามารถสั่งให้คำนวณใหม่ทันทีจากหน้าเว็บ ซึ่งจะแสดงจำนวนก่อนหน้าพร้อมตัวบ่งชี้การโหลดในขณะที่ทำงาน

Not enough data ในตารางเหตุการณ์หมายความว่าอย่างไร

Not enough data หมายความว่ากลุ่ม treatment หรือ control มีคอนเวอร์ชันน้อยกว่า 10 ครั้ง หรือมีผู้ที่ไม่เกิดคอนเวอร์ชันน้อยกว่า 10 ครั้งสำหรับเหตุการณ์นั้นในช่วงเวลาที่เลือก Pushwoosh ไม่สามารถระบุได้ว่าความแตกต่างระหว่างกลุ่มนั้นมีนัยสำคัญทางสถิติหรือไม่จนกว่าจะมีข้อมูลเพิ่มเติม

Uplift คำนวณอย่างไร

Uplift แสดงความแตกต่างเป็นเปอร์เซ็นต์ระหว่างอัตราคอนเวอร์ชันของกลุ่ม treatment และ control เทียบกับอัตราของกลุ่ม control ค่าบวกหมายความว่ากลุ่ม treatment มีคอนเวอร์ชันดีกว่า Pushwoosh คำนวณเป็น (conv. treatment − conv. control) / conv. control × 100%

Conversions driven by messaging หมายความว่าอย่างไร

Conversions driven by messaging คือจำนวนเหตุการณ์เพิ่มเติมโดยประมาณที่เกิดจากข้อความของคุณ นอกเหนือจากจำนวนที่คาดว่าจะเกิดขึ้นหากไม่มีการส่งข้อความ Pushwoosh คำนวณเป็น (events per user in treatment − events per user in control) × treatment group size เปอร์เซ็นต์จะแสดงเหตุการณ์เพิ่มเติมเหล่านี้เป็นสัดส่วนของเหตุการณ์ทั้งหมดในกลุ่ม treatment

ฉันสามารถเปรียบเทียบเหตุการณ์ใดได้บ้างและจำนวนเท่าไหร่

เหตุการณ์ที่ตั้งค่าเป็น Conversion Goals ใน Customer Journey จะปรากฏในตารางโดยอัตโนมัติ คลิก Add events to compare เพื่อเพิ่มเหตุการณ์อื่นๆ ได้สูงสุด 10 เหตุการณ์ เหตุการณ์ที่เกี่ยวข้องกับการมีส่วนร่วมกับข้อความ (เช่น การเปิด การคลิก การส่ง การตีกลับ) จะถูกยกเว้นแม้ว่าจะตั้งเป็นเป้าหมายก็ตาม เนื่องจากผู้ใช้ในกลุ่มควบคุมจะไม่ได้รับข้อความทางการตลาดเพื่อตอบสนอง