कंट्रोल ग्रुप के प्रभाव का विश्लेषण करें

प्रत्येक कंट्रोल ग्रुप का पेज दिखाता है कि आपके संदेश उस ग्रुप के मुकाबले कैसा प्रदर्शन करते हैं। इसे सेटिंग्स > कंट्रोल ग्रुप्स से ग्रुप की पंक्ति पर क्लिक करके खोलें।

ग्रुप का मोड और तिथियाँ जाँचें

ग्रुप के नाम के नीचे, पेज Group size, Mode, वर्तमान Cycle की संख्या, और एक तिथि दिखाता है जो मोड पर निर्भर करती है:

मोड	नाम के नीचे की तिथि	दिनांक-सीमा चयनकर्ता का लेबल
स्थायी	Running since: वह तिथि जब ग्रुप शुरू हुआ	कोई लेबल नहीं
ऑटो-रीफ़्रेश	वर्तमान चक्र की Range	Current cycle
समाप्ति तिथि वाला प्रयोग	वर्तमान चक्र की Range	Current experiment

किसी पिछले चक्र के परिणाम देखने के लिए, दिनांक-सीमा चयनकर्ता खोलें और उसे Previous के अंतर्गत चुनें। समाप्त चक्र वहाँ संख्या के अनुसार, Cycle या Experiment के रूप में सूचीबद्ध होते हैं। स्थायी ग्रुप के भी पिछले चक्र हो सकते हैं, क्योंकि आकार बदलने, दायरा बदलने या मोड बदलने से एक नया चक्र शुरू होता है।

पेज किसकी तुलना करता है

पेज में दो ब्लॉक हैं: शीर्ष पर एक इवेंट तुलना तालिका और उसके नीचे एक प्रभाव रिपोर्ट। दोनों आपके द्वारा चुने गए किसी भी इवेंट पर उपयोगकर्ताओं के दो समूहों की तुलना करते हैं:

• उपचार समूह (Treatment group): ग्रुप के दर्शकों में वे उपयोगकर्ता जो कंट्रोल ग्रुप में नहीं हैं। वे आपके मार्केटिंग संदेश (Push, Email, In-App, SMS, WhatsApp) हमेशा की तरह प्राप्त करते रहते हैं।
• कंट्रोल ग्रुप: आपके द्वारा ऊपर कॉन्फ़िगर किया गया होल्डआउट। इन उपयोगकर्ताओं को मार्केटिंग संदेशों से बाहर रखा जाता है, इसलिए उनके व्यवहार में कोई भी अंतर आपके अभियानों से प्रभावित नहीं होता है।

दोनों समूह ग्रुप के दर्शकों से लिए जाते हैं, जो ग्रुप के पेज पर Measured among में दिखाए जाते हैं: All users, या वे उपयोगकर्ता जो आज ग्रुप के देशों और टैग मानों से मेल खाते हैं।

• जिस उपयोगकर्ता का टैग मान बदलता है, वह गिनती से बाहर हो जाता है।
• वर्तमान चक्र का डेटा दिन में एक बार अपडेट होता है। जब कोई चक्र समाप्त होता है, तो उसके अंतिम परिणाम आमतौर पर 15 मिनट के भीतर Previous के अंतर्गत दिखाई देते हैं।
• Pushwoosh किसी भी समूह को वैध पुश टोकन, सत्यापित ईमेल, या अन्य पहुँच योग्य चैनल वाले उपयोगकर्ताओं तक फ़िल्टर नहीं करता है।

उपचार और नियंत्रण उपयोगकर्ताओं के एक ही सेट से आते हैं, उनके बीच कोई अलग फ़िल्टरिंग नहीं होती है।

25–26 अगस्त, 2026 से पहले के परिणाम

25–26 अगस्त, 2026 से पहले, दोनों समूहों की गिनती अलग तरीके से की जाती थी। यदि आपकी समय खिड़की में ये तिथियाँ शामिल हैं, तो Conv. Control और Uplift में अचानक एक ऐसा उछाल दिख सकता है जो आपके ऐप में किसी भी चीज़ के कारण नहीं है।

इवेंट्स की तुलना करें

1. एक समय खिड़की चुनें: पिछले 3 दिन, पिछले 7 दिन, या पिछले 30 दिन। किसी पिछले चक्र की तुलना करने के लिए, उसे Previous के अंतर्गत चुनें।

   माप विंडो फिर से शुरू हो जाती है, और पहले का डेटा अब शामिल नहीं किया जाता, जब:

   • आप ग्रुप का आकार बदलते हैं या उसके देश बदलते हैं;
   • आप ग्रुप को फिर से शफ़ल करते हैं;
   • आप मोड बदलते हैं;
   • कोई ऑटो-रीफ़्रेश चक्र समाप्त होता है या कोई प्रयोग अपनी समाप्ति तिथि पर पहुँचता है।

   उस बिंदु से पहले का डेटा अब वर्तमान सदस्यों या दर्शकों से मेल नहीं खाता। समाप्त चक्र दिनांक-सीमा चयनकर्ता में Previous के अंतर्गत सूचीबद्ध होते हैं।

2. इवेंट्स तुलना तालिका की समीक्षा करें। यह केवल तभी स्वचालित रूप से इवेंट्स दिखाती है जब आपने Customer Journey में रूपांतरण लक्ष्य सेट किए हों। अन्यथा, तालिका खाली शुरू होती है।

3. मापने के लिए किसी भी इवेंट को जोड़ने के लिए तुलना करने के लिए इवेंट्स जोड़ें पर क्लिक करें। आप कुल 10 इवेंट्स तक जोड़ सकते हैं।

   संदेश-सगाई इवेंट्स की तुलना नहीं की जा सकती

   पुश या ईमेल ओपन, क्लिक, सेंड और बाउंस यहाँ उपलब्ध नहीं हैं, भले ही आपने किसी को रूपांतरण लक्ष्य के रूप में सेट किया हो। कंट्रोल ग्रुप के उपयोगकर्ता कभी भी मार्केटिंग संदेश प्राप्त नहीं करते, इसलिए ये इवेंट्स केवल यह दिखाएँगे कि एक संदेश भेजा गया था, न कि उसने क्या हासिल किया।

तालिका प्रत्येक इवेंट के लिए ये मीट्रिक्स दिखाती है:

मीट्रिक	यह क्या दिखाता है
Conv. Control	उन अद्वितीय उपयोगकर्ताओं का हिस्सा जिन्हें मार्केटिंग संदेशों से बाहर रखा गया था और फिर भी बिना किसी संदेश प्रभाव के कम से कम एक बार इवेंट को ट्रिगर किया।
Conv. Treatment	उन अद्वितीय उपयोगकर्ताओं का हिस्सा जिन्होंने आपके मार्केटिंग संदेश (Push, Email, In-App, SMS, WhatsApp) प्राप्त किए और कम से कम एक बार इवेंट को ट्रिगर किया।
Uplift	उपचार और नियंत्रण रूपांतरण दरों के बीच प्रतिशत अंतर, नियंत्रण दर के सापेक्ष। एक सकारात्मक मान का मतलब है कि उपचार समूह ने बेहतर रूपांतरण किया। (conv. treatment − conv. control) / conv. control × 100% के रूप में गणना की गई।
Significance	क्या अंतर सांख्यिकीय रूप से विश्वसनीय है। स्थितियाँ अगली तालिका में देखें।

Significance स्थिति	इसका क्या अर्थ है
Significant	अपलिफ्ट के संयोग से होने की संभावना नहीं है।
Not significant	अंतर अभी तक सांख्यिकीय रूप से विश्वसनीय नहीं है।
Not enough data	इस इवेंट के लिए किसी भी समूह में 10 से कम रूपांतरण या 10 से कम गैर-रूपांतरण हैं, इसलिए महत्व की गणना नहीं की जा सकती है।

प्रभाव रिपोर्ट देखें

तालिका से एक इवेंट का चयन करने के लिए View event ड्रॉपडाउन का उपयोग करें। नीचे दी गई प्रभाव रिपोर्ट उस इवेंट के लिए एक गहरा विश्लेषण दिखाती है।

मीट्रिक	यह क्या दिखाता है
Uplift (change from control)	उपचार रूपांतरण दर नियंत्रण रूपांतरण दर से कितनी भिन्न है। यह वही मान है जो इवेंट्स तालिका में दिखाया गया है।
Conversions driven by messaging	आपके संदेशों द्वारा उत्पन्न अतिरिक्त इवेंट्स की अनुमानित संख्या, जो बिना संदेश के अपेक्षित संख्या से अधिक है। प्रतिशत इन्हें सभी उपचार इवेंट्स के हिस्से के रूप में दिखाता है। (events per user in treatment − events per user in control) × treatment group size के रूप में गणना की गई।
Significance	क्या अंतर सांख्यिकीय रूप से विश्वसनीय है: Significant, Not significant, या Not enough data। Confidence और P-value पर आधारित।
Confidence	Pushwoosh कितना निश्चित है कि अपलिफ्ट संयोग के बजाय एक वास्तविक अंतर को दर्शाता है, प्रतिशत के रूप में। जितना अधिक, उतना ही मजबूत सबूत।
P-value	यदि संदेश का कोई वास्तविक प्रभाव न हो, तो यह अंतर संयोग से दिखने की कितनी संभावना है। जितना कम, उतना ही मजबूत सबूत।
Z-score	दोनों समूहों के प्रदर्शन में कितना अंतर रहा। 0 के करीब होने पर अंतर यादृच्छिक हो सकता है। 0 से जितना दूर, आप उतने ही अधिक आश्वस्त हो सकते हैं कि एक समूह बेहतर है।
Group breakdown	Treatment और Control साथ-साथ: Estimated users, Total number of events, Events per user, और Conv. rate (unique)।

परिणामों को कैसे पढ़ें

• Significant, सकारात्मक Uplift: आपके संदेश इस इवेंट को बढ़ा रहे हैं। इन्हें भेजते रहें।
• Significant, नकारात्मक Uplift: इस इवेंट पर कंट्रोल ग्रुप उपचार समूह से बेहतर रूपांतरण करता है। यह निष्कर्ष निकालने से पहले कि संदेश आपके विरुद्ध काम कर रहे हैं, जाँचें कि क्या यह इवेंट वास्तव में ऐसा है जिसे बढ़ाने के लिए संदेश बनाए गए हैं।
• Not significant: अंतर अभी विश्वसनीय नहीं है, इसका मतलब यह नहीं कि कोई प्रभाव नहीं है। निर्णय लेने से पहले इवेंट को अधिक रूपांतरण जमा करने दें।
• Not enough data: इस इवेंट के लिए किसी भी समूह में 10 से कम रूपांतरण या 10 से कम गैर-रूपांतरण हैं। अधिक मात्रा वाले इवेंट की तुलना करें, या उसके और होने की प्रतीक्षा करें।

दो और बातें ध्यान में रखें:

• एक ही माप विंडो के भीतर तुलना करें। रीशफल करना, आकार बदलना, दायरा बदलना, मोड बदलना, ऑटो-रीफ़्रेश रोलओवर, या प्रयोग की समाप्ति विंडो को फिर से शुरू कर देती है। इनमें से किसी के पहले और बाद के परिणाम तुलनीय नहीं हैं।
• ऐसे इवेंट्स चुनें जिन्हें बढ़ाने के लिए आपके अभियान बनाए गए हैं, जैसे खरीदारी या साइन-अप, न कि ऐसे इवेंट्स जिन तक संदेशों का कोई सीधा रास्ता नहीं है।