अपलिफ्ट रिपोर्ट

अपलिफ्ट रिपोर्ट दिखाती है कि किसी अभियान या journey ने अपने दम पर क्या हासिल किया। यह उन उपयोगकर्ताओं की तुलना holdout से करती है जिन्होंने उसे प्राप्त किया। holdout वह समूह है जिसे आप जानबूझकर अलग रखते हैं ताकि उसे संदेश न मिले। रिपोर्ट दिखाती है कि पहले समूह ने कितनी अधिक बार लक्ष्य हासिल किया।

कोई अभियान रिपोर्ट में तभी दिखता है जब आपने उसे holdout के साथ भेजा हो, यानी प्राप्तकर्ताओं के एक हिस्से को अलग रखकर। आपके डेवलपर इसे Messaging API में holdout_percentage पैरामीटर से सेट करते हैं, जिसका मान 1 से 20 तक होता है। कोई journey रिपोर्ट में अपने हर Holdout Split बिंदु के लिए एक बार दिखती है।

रिपोर्ट कैसे प्राप्त करें

• Journey: journey का Holdout Split बिंदु खोलें। यह Control Panel में Goal uplift vs holdout दिखाता है।
• अभियान: आप रिपोर्ट केवल CSV फ़ाइल के रूप में प्राप्त कर सकते हैं। एक्सपोर्ट API के माध्यम से चलता है, इसलिए अपने डेवलपर्स से एक्सपोर्ट चलाने के लिए कहें। उन्हें तिथियाँ बताएँ, अधिकतम 90 दिन, और यदि आपको केवल एक की आवश्यकता है, तो अभियान या journey भी बताएँ। इसके बिना, फ़ाइल में एप्लिकेशन के सभी अभियान और journey शामिल होते हैं। फ़ाइल में क्या है

कंट्रोल ग्रुप्स की अपनी प्रभाव रिपोर्ट Settings में होती है। यह एप्लिकेशन के कंट्रोल ग्रुप्स को मापती है, किसी एक अभियान या journey को नहीं।

उपचार और कंट्रोल में क्या गिना जाता है

रिपोर्ट दो समूहों की तुलना करती है: उपचार (treatment), यानी वे उपयोगकर्ता जिन्हें संदेश मिला, और कंट्रोल (control), यानी holdout, वे उपयोगकर्ता जिन्हें संदेश नहीं मिला।

	उपचार	कंट्रोल
अभियान	हर वह प्राप्तकर्ता जिसे अभियान भेजा गया।	हर वह प्राप्तकर्ता जिसे holdout ने अभियान प्राप्त करने से रोका, जैसा कि एप्लिकेशन के कंट्रोल ग्रुप्स में होता है।
Journey	हर वह उपयोगकर्ता जो Holdout Split बिंदु से होकर In journey शाखा पर गया।	हर वह उपयोगकर्ता जिसे उस बिंदु की Holdout शाखा पर भेजा गया।

जिन उपयोगकर्ताओं और प्राप्तकर्ताओं के पास User ID नहीं है, उन्हें दोनों समूहों से बाहर रखा जाता है, क्योंकि इसके बिना Pushwoosh यह नहीं बता सकता कि वे किस समूह से संबंधित हैं या उन्हें किसी कन्वर्जन से नहीं मिला सकता।

लक्ष्य और एट्रिब्यूशन विंडो

अभियान: लक्ष्य और एट्रिब्यूशन विंडो (भेजने के कितने समय बाद तक कोई कन्वर्जन गिना जाता है) एप्लिकेशन के कन्वर्जन गोल्स से आते हैं। जब एक से अधिक कॉन्फ़िगर किए गए हों, तो रिपोर्ट उनमें से सबसे छोटी एट्रिब्यूशन विंडो का उपयोग करती है, ताकि किसी भेजे गए संदेश को कभी किसी दूर के, असंबंधित कन्वर्जन का श्रेय न मिले।

Journey: लक्ष्य journey के अपने Goal बिंदु होते हैं, और विंडो journey की रूपांतरण अवधि सेटिंग होती है (यदि journey इसे सेट नहीं करती है तो 7 दिन)। विंडो तब शुरू होती है जब प्रत्येक उपयोगकर्ता Holdout Split बिंदु से गुजरता है, क्योंकि holdout उपयोगकर्ताओं को कभी कोई संदेश नहीं भेजा जाता जिससे इसे शुरू किया जा सके।

दोनों ही संदेश-एंगेजमेंट इवेंट्स (ओपन, क्लिक और इसी तरह के) को लक्ष्य से बाहर रखते हैं। holdout समूह को कभी कोई संदेश नहीं मिलता जिस पर वह प्रतिक्रिया दे सके, इसलिए एंगेजमेंट गिनने से केवल यह पता चलता कि संदेश भेजा गया था, यह नहीं कि उसने क्या हासिल किया। कंट्रोल ग्रुप एनालिटिक्स भी इसी कारण से उन्हें बाहर रखता है।

रिपोर्ट में मेट्रिक्स

मेट्रिक	इसका क्या अर्थ है
Uplift %	उपचार और कंट्रोल कन्वर्जन दरों के बीच प्रतिशत अंतर, कंट्रोल दर के सापेक्ष। एप्लिकेशन के कंट्रोल ग्रुप्स के Uplift जैसा ही सूत्र।
Incremental events	एक अनुमान कि उपचार समूह ने कंट्रोल समूह की प्रति-उपयोगकर्ता दर की तुलना में कितने अधिक इवेंट्स उत्पन्न किए, सभी उपचार उपयोगकर्ताओं के लिए गिना गया। Conversions driven by messaging जैसा ही सूत्र।
% of treatment	उपचार समूह द्वारा उत्पन्न सभी इवेंट्स में Incremental events का हिस्सा।
Z-score, P-value, Confidence %	Confidence % दिखाता है कि रिपोर्ट को कितना भरोसा है कि समूहों के बीच का अंतर संयोग नहीं है: जितना अधिक, उतना ही आप परिणाम पर भरोसा कर सकते हैं। Z-score और P-value इसके पीछे के आँकड़े हैं, उसी परीक्षण से जिसका उपयोग एप्लिकेशन के कंट्रोल ग्रुप्स करते हैं।
Significance	Significant, Not significant या Not enough data। Significant का अर्थ है कि Confidence % 95% से अधिक है। यह दोनों दिशाओं में काम करता है: एक महत्वपूर्ण नकारात्मक Uplift % का अर्थ है कि संदेश ने कन्वर्जन दर को कम कर दिया। जब किसी भी समूह में 10 से कम कन्वर्जन या 10 से कम नॉन-कन्वर्जन हों, तो यह पर्याप्त डेटा नहीं के रूप में दिखता है।
Treatment revenue / Control revenue	रिपोर्ट के लक्ष्य इवेंट पर प्रत्येक समूह द्वारा लाया गया राजस्व, प्रत्येक मुद्रा के लिए अलग से रखा गया।
Incremental revenue	Incremental events का मौद्रिक संस्करण: उपचार और कंट्रोल के बीच प्रति उपयोगकर्ता राजस्व का अंतर, सभी उपचार उपयोगकर्ताओं के लिए, प्रति मुद्रा गिना गया।
Revenue tracked	क्या इस इवेंट का राजस्व स्रोत वास्तव में कॉन्फ़िगर किया गया था, अनुमान नहीं लगाया गया। देखें रिपोर्ट में राजस्व।

उदाहरण के लिए, एक journey 90,000 उपयोगकर्ताओं को स्वागत संदेश भेजती है और 10,000 को अलग रखती है। In journey समूह में, 4,500 उपयोगकर्ता लक्ष्य तक पहुँचते हैं (5%)। Holdout समूह में, 400 पहुँचते हैं (4%)। रिपोर्ट दिखाती है:

मेट्रिक	मान
Uplift %	25%, क्योंकि 5%, 4% से एक चौथाई अधिक है
Significance	Significant, क्योंकि इतने बड़े समूहों में अंतर के संयोग होने की संभावना कम है

नोट

Uplift % प्रत्येक उपयोगकर्ता को एक बार गिनता है, इसलिए एक असामान्य रूप से सक्रिय उपयोगकर्ता इसे बिगाड़ नहीं सकता। Incremental events प्रति उपयोगकर्ता बिना किसी सीमा के हर इवेंट को गिनता है, जैसा कि एप्लिकेशन के कंट्रोल ग्रुप्स करते हैं, इसलिए एक बहुत सक्रिय उपचार उपयोगकर्ता Uplift % को बदले बिना उस संख्या को बढ़ा सकता है। जब दोनों में असहमति हो, तो Uplift % पर भरोसा करें।

एक्सपोर्ट की गई फ़ाइल में क्या है

फ़ाइल की प्रत्येक पंक्ति एक लक्ष्य इवेंट के लिए एक अभियान, या किसी journey का एक Holdout Split बिंदु है। एक पंक्ति में शामिल होता है:

• अभियान या journey और लक्ष्य इवेंट;
• प्रत्येक समूह में उपयोगकर्ताओं और कन्वर्जन की संख्या;
• ऊपर दी गई तालिका के मेट्रिक्स;
• प्रत्येक मुद्रा के लिए राजस्व।

प्रत्येक अभियान, Holdout Split बिंदु और लक्ष्य इवेंट के लिए, फ़ाइल में आपके द्वारा चुनी गई तिथियों के भीतर की नवीनतम दैनिक गणना होती है। देखें रिपोर्ट कितना पीछे तक देख सकती है।

ऊपर दिए गए उदाहरण की journey के लिए, मुख्य कॉलम इस तरह दिखते हैं:

कॉलम	उदाहरण	इसका क्या अर्थ है
owner_type	TYPE_JOURNEY	पंक्ति एक journey के बारे में है, अभियान के बारे में नहीं।
event_name	purchase	लक्ष्य इवेंट।
treatment_users	90000	In journey समूह के उपयोगकर्ता।
control_users	10000	Holdout समूह के उपयोगकर्ता।
treatment_conversions	4500	In journey समूह के वे उपयोगकर्ता जो लक्ष्य तक पहुँचे।
control_conversions	400	Holdout समूह के वे उपयोगकर्ता जो लक्ष्य तक पहुँचे।
uplift_pct	25.00	Uplift %।
significance	TYPE_SIGNIFICANT	Significant।

रिपोर्ट में राजस्व

उपचार, कंट्रोल और इंक्रीमेंटल राजस्व उसी लक्ष्य इवेंट, उन्हीं उपयोगकर्ताओं और उसी एट्रिब्यूशन विंडो के लिए गिने जाते हैं जो रिपोर्ट में कन्वर्जन संख्याओं के लिए उपयोग होते हैं।

राजस्व प्रति मुद्रा रखा जाता है, कभी परिवर्तित नहीं किया जाता

राजस्व को मुद्राओं के बीच परिवर्तित नहीं किया जाता, क्योंकि Pushwoosh केवल आज की विनिमय दरें रखता है, और किसी पुरानी विंडो को आज की दर पर परिवर्तित करना एक अनुमान होगा। Treatment revenue, Control revenue और Incremental revenue प्रत्येक में एक संयुक्त कुल के बजाय प्रति मुद्रा एक राशि होती है। जिस इवेंट में मुद्रा का उल्लेख नहीं है, उसका राजस्व unknown के अंतर्गत सूचीबद्ध होता है।

Revenue tracked बताता है कि स्रोत कॉन्फ़िगर किया गया था या नहीं

Revenue tracked दिखाता है कि लक्ष्य इवेंट के लिए राजस्व सेट किया गया था या नहीं, ताकि जिस एप्लिकेशन ने इसे कभी सेट नहीं किया, वह शून्य राजस्व के रूप में नहीं, बल्कि बिना मापे गए के रूप में दिखे।

Pushwoosh किसी इवेंट का राजस्व तीन स्थानों से, इस क्रम में पढ़ता है:

1. बिल्ट-इन PW_Conversion इवेंट के अपने value और currency फ़ील्ड।
2. उस इवेंट के लिए आपके द्वारा कॉन्फ़िगर की गई इवेंट राजस्व मैपिंग।
3. इवेंट पर लीगेसी __amount और __currency एट्रिब्यूट, यदि ऊपर दिए गए दोनों में से कोई लागू नहीं होता।

Revenue tracked केवल पहले दो स्रोतों के लिए चालू होता है। तीसरे स्रोत के साथ, रिपोर्ट फिर भी राशि दिखाती है लेकिन फ़्लैग बंद रखती है, क्योंकि उस इवेंट के लिए किसी ने राजस्व कॉन्फ़िगर नहीं किया।

रिपोर्ट कब अपडेट होती है

रिपोर्ट रीयल टाइम नहीं है। इसकी पुनर्गणना दिन में एक बार, 01:30 UTC पर होती है, इसलिए आज भेजा गया अभियान या आज पार किया गया journey बिंदु कल रिपोर्ट में दिखाई देता है।

केवल कम से कम एक Goal बिंदु वाली चल रही journeys की ही पुनर्गणना होती है। जब कोई journey रुक जाती है, तो Holdout Split बिंदु अपनी अंतिम संख्याएँ दिखाता रहता है।

रिपोर्ट कितना पीछे तक देख सकती है

प्रत्येक दैनिक गणना लगभग पिछले 45 दिनों के अभियान सेंड और पिछले 180 दिनों के Holdout Split पास को गिनती है। पुराने सेंड और पास अगली गणना से बाहर हो जाते हैं, इसलिए भेजे जाने के लगभग 45 दिन बाद किसी अभियान की पुनर्गणना बंद हो जाती है।

Pushwoosh प्रत्येक दैनिक गणना को 90 दिनों तक रखता है। Holdout Split बिंदु नवीनतम गणना दिखाता है। एक्सपोर्ट आपके द्वारा दी गई तिथियों के भीतर की नवीनतम गणना दिखाता है, इसलिए दो महीने पहले की तिथियों का एक्सपोर्ट उस समय की संख्याएँ दिखाता है, उससे पहले के सेंड और पास के लिए।