รายงาน uplift

รายงาน uplift แสดงสิ่งที่แคมเปญหรือ journey ทำได้ด้วยตัวเอง โดยเปรียบเทียบผู้ใช้ที่ได้รับข้อความกับ holdout ซึ่งเป็นกลุ่มที่คุณกันไว้โดยตั้งใจเพื่อไม่ให้ได้รับข้อความ และแสดงว่ากลุ่มแรกบรรลุเป้าหมายบ่อยกว่ามากเพียงใด

แคมเปญจะอยู่ในรายงานก็ต่อเมื่อคุณส่งแคมเปญนั้นพร้อม holdout ซึ่งเป็นสัดส่วนของผู้รับที่คุณกันไว้ นักพัฒนาของคุณตั้งค่านี้ด้วยพารามิเตอร์ holdout_percentage ตั้งแต่ 1 ถึง 20 ใน Messaging API ส่วน journey จะอยู่ในรายงานหนึ่งครั้งสำหรับทุกจุด Holdout Split ที่มีอยู่

วิธีรับรายงาน

Journey: เปิดจุด Holdout Split ของ journey ซึ่งจะแสดง Goal uplift vs holdout ใน Control Panel
แคมเปญ: คุณจะได้รับรายงานในรูปแบบไฟล์ CSV เท่านั้น การส่งออกทำงานผ่าน API ดังนั้นให้นักพัฒนาของคุณเรียกใช้การส่งออก แจ้งช่วงวันที่ไม่เกิน 90 วัน และหากต้องการเพียงรายการเดียว ให้แจ้งแคมเปญหรือ journey นั้นด้วย หากไม่ระบุ ไฟล์จะครอบคลุมทุกแคมเปญและทุก journey ของแอปพลิเคชัน สิ่งที่อยู่ในไฟล์

กลุ่มควบคุมมีรายงานผลกระทบ (Impact report) ของตัวเองใน Settings ซึ่งวัดผลกลุ่มควบคุมของแอปพลิเคชัน ไม่ใช่แคมเปญหรือ journey เดียว

อะไรนับเป็น treatment และ control

รายงานเปรียบเทียบสองกลุ่ม: treatment คือผู้ใช้ที่ได้รับข้อความ และ control คือ holdout หรือผู้ใช้ที่ไม่ได้รับข้อความ

	Treatment	Control
แคมเปญ	ผู้รับทุกคนที่ถูกส่งแคมเปญ	ผู้รับทุกคนที่ holdout กันไว้ไม่ให้ได้รับแคมเปญ เช่นเดียวกับกลุ่มควบคุมของแอปพลิเคชัน
Journey	ผู้ใช้ทุกคนที่ผ่านจุด Holdout Split ไปยังสาขา In journey	ผู้ใช้ทุกคนที่ถูกส่งไปยังสาขา Holdout ของจุดนั้น

ผู้ใช้และผู้รับที่ไม่มี User ID จะไม่ถูกนับในทั้งสองกลุ่ม เพราะหากไม่มี User ID แล้ว Pushwoosh จะไม่สามารถบอกได้ว่าพวกเขาอยู่ในกลุ่มใด หรือจับคู่พวกเขากับคอนเวอร์ชันได้

เป้าหมายและหน้าต่างการระบุแหล่งที่มา

แคมเปญ: เป้าหมายและหน้าต่างการระบุแหล่งที่มา (ระยะเวลาหลังการส่งที่คอนเวอร์ชันยังคงนับ) มาจาก Conversion goal ของแอปพลิเคชัน เมื่อกำหนดค่าไว้มากกว่าหนึ่งรายการ รายงานจะใช้หน้าต่างการระบุแหล่งที่มาที่สั้นที่สุดในบรรดารายการเหล่านั้น เพื่อไม่ให้การส่งได้รับเครดิตจากคอนเวอร์ชันที่ห่างไกลและไม่เกี่ยวข้อง

Journey: เป้าหมายคือจุด Goal ของ journey เอง และหน้าต่างคือการตั้งค่าช่วงเวลาคอนเวอร์ชันของ journey (7 วันหาก journey ไม่ได้ตั้งค่าไว้) หน้าต่างจะเริ่มเมื่อผู้ใช้แต่ละคนผ่านจุด Holdout Split เพราะผู้ใช้ใน holdout ไม่เคยได้รับการส่งที่จะใช้เป็นจุดเริ่มต้น

ทั้งสองกรณีจะไม่นับเหตุการณ์การมีส่วนร่วมกับข้อความ (การเปิด การคลิก และอื่นๆ ที่คล้ายกัน) เป็นเป้าหมาย กลุ่ม holdout ไม่เคยได้รับข้อความที่จะตอบสนอง ดังนั้นการนับการมีส่วนร่วมจะแสดงเพียงว่ามีการส่งข้อความออกไป ไม่ใช่สิ่งที่ข้อความนั้นทำได้ การวิเคราะห์กลุ่มควบคุม ก็ไม่นับเหตุการณ์เหล่านี้ด้วยเหตุผลเดียวกัน

เมตริกในรายงาน

เมตริก	ความหมาย
Uplift %	ความแตกต่างเป็นเปอร์เซ็นต์ระหว่างอัตราคอนเวอร์ชันของกลุ่ม treatment และ control เทียบกับอัตราของกลุ่ม control ใช้สูตรเดียวกับ Uplift ของกลุ่มควบคุมของแอปพลิเคชัน
Incremental events	ค่าประมาณว่ากลุ่ม treatment สร้างเหตุการณ์มากกว่าที่ควรจะเป็นตามอัตราต่อผู้ใช้ของกลุ่ม control เท่าใด โดยนับสำหรับผู้ใช้ treatment ทั้งหมด ใช้สูตรเดียวกับ Conversions driven by messaging
% of treatment	Incremental events เป็นสัดส่วนของเหตุการณ์ทั้งหมดที่กลุ่ม treatment สร้างขึ้น
Z-score, P-value, Confidence %	Confidence % แสดงว่ารายงานมั่นใจเพียงใดว่าความแตกต่างระหว่างกลุ่มไม่ได้เกิดจากความบังเอิญ: ยิ่งสูง ยิ่งเชื่อถือผลลัพธ์ได้มาก Z-score และ P-value คือค่าสถิติเบื้องหลัง ซึ่งมาจากการทดสอบเดียวกับที่กลุ่มควบคุมของแอปพลิเคชันใช้
Significance	Significant, Not significant หรือ Not enough data โดย Significant หมายความว่า Confidence % สูงกว่า 95% ซึ่งใช้ได้ทั้งสองทิศทาง: Uplift % ที่ติดลบอย่างมีนัยสำคัญหมายความว่าข้อความทำให้อัตราคอนเวอร์ชันลดลง ค่านี้จะแสดงเป็นข้อมูลไม่เพียงพอเมื่อกลุ่มใดกลุ่มหนึ่งมีคอนเวอร์ชันน้อยกว่า 10 ครั้งหรือมีกรณีที่ไม่เกิดคอนเวอร์ชันน้อยกว่า 10 ครั้ง
Treatment revenue / Control revenue	รายได้ที่แต่ละกลุ่มสร้างจากเหตุการณ์เป้าหมายของรายงาน แยกตามสกุลเงิน
Incremental revenue	Incremental events ในรูปแบบตัวเงิน: ความแตกต่างของรายได้ต่อผู้ใช้ระหว่าง treatment และ control โดยนับสำหรับผู้ใช้ treatment ทั้งหมด แยกตามสกุลเงิน
Revenue tracked	แหล่งรายได้ของเหตุการณ์นี้ได้รับการกำหนดค่าจริงหรือไม่ ไม่ใช่การคาดเดา ดูรายได้ในรายงาน

ตัวอย่างเช่น journey ส่งข้อความต้อนรับไปยังผู้ใช้ 90,000 คนและกันไว้ 10,000 คน ในกลุ่ม In journey มีผู้ใช้ 4,500 คนบรรลุเป้าหมาย (5%) ในกลุ่ม Holdout มี 400 คน (4%) รายงานจะแสดง:

เมตริก	ค่า
Uplift %	25% เพราะ 5% มากกว่า 4% อยู่หนึ่งในสี่
Significance	Significant เพราะเมื่อกลุ่มมีขนาดใหญ่เช่นนี้ ความแตกต่างไม่น่าจะเกิดจากความบังเอิญ

Uplift % นับผู้ใช้แต่ละคนเพียงครั้งเดียว ดังนั้นผู้ใช้ที่มีความเคลื่อนไหวมากผิดปกติเพียงคนเดียวจึงไม่สามารถทำให้ค่าเบี่ยงเบนได้ ส่วน Incremental events นับทุกเหตุการณ์โดยไม่จำกัดต่อผู้ใช้ เช่นเดียวกับกลุ่มควบคุมของแอปพลิเคชัน ดังนั้นผู้ใช้ treatment ที่มีความเคลื่อนไหวมากเพียงคนเดียวอาจทำให้ตัวเลขนี้สูงขึ้นได้โดยไม่ทำให้ Uplift % เปลี่ยน เมื่อทั้งสองค่าไม่สอดคล้องกัน ให้เชื่อ Uplift %

สิ่งที่อยู่ในไฟล์ที่ส่งออก

แต่ละแถวของไฟล์คือแคมเปญหนึ่งรายการ หรือจุด Holdout Split หนึ่งจุดของ journey สำหรับเหตุการณ์เป้าหมายหนึ่งรายการ แต่ละแถวประกอบด้วย:

แคมเปญหรือ journey และเหตุการณ์เป้าหมาย
จำนวนผู้ใช้และคอนเวอร์ชันในแต่ละกลุ่ม
เมตริกจากตารางด้านบน
รายได้ของแต่ละสกุลเงิน

สำหรับแต่ละแคมเปญ จุด Holdout Split และเหตุการณ์เป้าหมาย ไฟล์จะเก็บผลการคำนวณรายวันล่าสุดภายในช่วงวันที่ที่คุณเลือก ดูรายงานย้อนหลังได้ไกลแค่ไหน

สำหรับ journey จากตัวอย่างด้านบน คอลัมน์หลักจะมีลักษณะดังนี้:

คอลัมน์	ตัวอย่าง	ความหมาย
`owner_type`	`TYPE_JOURNEY`	แถวนี้เกี่ยวกับ journey ไม่ใช่แคมเปญ
`event_name`	`purchase`	เหตุการณ์เป้าหมาย
`treatment_users`	90000	ผู้ใช้ในกลุ่ม In journey
`control_users`	10000	ผู้ใช้ในกลุ่ม Holdout
`treatment_conversions`	4500	ผู้ใช้ในกลุ่ม In journey ที่บรรลุเป้าหมาย
`control_conversions`	400	ผู้ใช้ในกลุ่ม Holdout ที่บรรลุเป้าหมาย
`uplift_pct`	25.00	Uplift %
`significance`	`TYPE_SIGNIFICANT`	Significant

รายได้ในรายงาน

รายได้ของ treatment, control และรายได้ส่วนเพิ่มจะนับสำหรับเหตุการณ์เป้าหมายเดียวกัน ผู้ใช้กลุ่มเดียวกัน และหน้าต่างการระบุแหล่งที่มาเดียวกันกับตัวเลขคอนเวอร์ชันในรายงาน

รายได้แยกตามสกุลเงิน ไม่มีการแปลงค่า

รายได้จะไม่ถูกแปลงระหว่างสกุลเงิน เพราะ Pushwoosh เก็บเฉพาะอัตราแลกเปลี่ยนของวันนี้ และการแปลงหน้าต่างที่เก่ากว่าด้วยอัตราของวันนี้จะเป็นเพียงการคาดเดา Treatment revenue, Control revenue และ Incremental revenue แต่ละรายการเก็บยอดเงินหนึ่งยอดต่อสกุลเงิน แทนที่จะเป็นยอดรวมเดียว รายได้จากเหตุการณ์ที่ไม่ได้ระบุสกุลเงินจะแสดงอยู่ภายใต้ unknown

Revenue tracked บอกว่าแหล่งรายได้ได้รับการกำหนดค่าหรือไม่

Revenue tracked แสดงว่ามีการตั้งค่ารายได้สำหรับเหตุการณ์เป้าหมายหรือไม่ เพื่อให้แอปพลิเคชันที่ไม่เคยตั้งค่าแสดงเป็นยังไม่ได้วัดผล ไม่ใช่รายได้เป็นศูนย์

Pushwoosh อ่านรายได้ของเหตุการณ์จากสามแหล่ง ตามลำดับนี้:

ฟิลด์ value และ currency ของเหตุการณ์ในตัว PW_Conversion เอง
การแมปรายได้ของเหตุการณ์ที่คุณกำหนดค่าไว้สำหรับเหตุการณ์นั้น
แอตทริบิวต์แบบเดิม __amount และ __currency บนเหตุการณ์ หากไม่มีสองแหล่งข้างต้น

Revenue tracked จะเปิดเฉพาะสำหรับสองแหล่งแรก สำหรับแหล่งที่สาม รายงานยังคงแสดงยอดเงิน แต่จะปิดแฟล็กไว้ เพราะไม่มีใครกำหนดค่ารายได้สำหรับเหตุการณ์นั้น

รายงานอัปเดตเมื่อใด

รายงานไม่ได้เป็นแบบเรียลไทม์ แต่จะคำนวณใหม่วันละครั้งเวลา 01:30 UTC ดังนั้นแคมเปญที่ส่งหรือจุด journey ที่ผ่านในวันนี้จะปรากฏในรายงานในวันพรุ่งนี้

เฉพาะ journey ที่กำลังทำงานและมีจุด Goal อย่างน้อยหนึ่งจุดเท่านั้นที่จะถูกคำนวณใหม่ เมื่อ journey หยุดทำงาน จุด Holdout Split จะยังคงแสดงตัวเลขล่าสุด

รายงานย้อนหลังได้ไกลแค่ไหน

การคำนวณรายวันแต่ละครั้งจะนับการส่งแคมเปญในช่วงประมาณ 45 วันล่าสุด และการผ่าน Holdout Split ในช่วง 180 วันล่าสุด การส่งและการผ่านที่เก่ากว่านั้นจะหลุดออกจากการคำนวณครั้งถัดไป ดังนั้นแคมเปญจะไม่ถูกคำนวณใหม่อีกประมาณ 45 วันหลังจากส่ง

Pushwoosh เก็บผลการคำนวณรายวันแต่ละครั้งไว้ 90 วัน จุด Holdout Split แสดงผลล่าสุด การส่งออกจะแสดงผลล่าสุดภายในช่วงวันที่ที่คุณระบุ ดังนั้นการส่งออกสำหรับวันที่เมื่อสองเดือนก่อนจะแสดงตัวเลขตามที่เป็นในตอนนั้น สำหรับการส่งและการผ่านก่อนหน้านั้น