A/B/n स्प्लिट
यह परीक्षण करने के लिए A/B/n स्प्लिट एलिमेंट का उपयोग करें कि कौन से संदेश अनुक्रम आपके कन्वर्जन गोल्स के लिए सबसे अच्छा प्रदर्शन करते हैं। अपने दर्शकों के लिए सबसे प्रभावी दृष्टिकोण ढूंढकर संचार को अनुकूलित करें।
A/B/n स्प्लिट सेटिंग्स कॉन्फ़िगर करें
Anchor link toकैनवास पर A/B/n स्प्लिट एलिमेंट रखने के बाद, टेस्ट सेटिंग्स कॉन्फ़िगर करने के लिए उस पर डबल-क्लिक करें।
ब्रांचों की संख्या सेट करें
Anchor link toब्रांचेज ड्रॉपडाउन का उपयोग करके चुनें कि आप कितने वेरिएशंस का परीक्षण करना चाहते हैं (4 तक)। डिफ़ॉल्ट रूप से, ब्रांच A कंट्रोल ग्रुप है।
ब्रांचों में उपयोगकर्ता वितरण को परिभाषित करें
Anchor link toप्रत्येक ब्रांच में भेजे जाने वाले उपयोगकर्ताओं का प्रतिशत सेट करें, यह सुनिश्चित करते हुए कि कुल योग 100% हो। उपयोगकर्ताओं को ब्रांचों के बीच समान रूप से विभाजित करने के लिए, रीसेट डिस्ट्रिब्यूशन पर क्लिक करें।
विजेता का चयन कैसे किया जाएगा, यह चुनें
Anchor link toआपके पास दो विकल्प हैं:
आप विजेता का चयन मैन्युअल रूप से करते हैं
Anchor link toआप परिणामों की समीक्षा करेंगे और बाद में मैन्युअल रूप से विजेता ब्रांच का चयन करेंगे। इसके लिए निरंतर निगरानी और मैन्युअल निष्क्रियता की आवश्यकता होती है। और जानें
विजेता का चयन लक्ष्य के अनुसार स्वचालित रूप से किया जाता है
Anchor link toसिस्टम अभियान के लक्ष्य की निगरानी करता है और सांख्यिकीय महत्व प्राप्त होने पर कमजोर ब्रांचों को निष्क्रिय कर देता है। फिर नए उपयोगकर्ताओं को विजेता ब्रांच में निर्देशित किया जाता है।
जब स्वचालित विजेता चयन सक्षम होता है, तो चुनें कि सिस्टम को विजेता का मूल्यांकन कैसे करना चाहिए:
-
महत्व प्राप्त करने वाला पहला लक्ष्य। सिस्टम सभी निर्दिष्ट लक्ष्यों की निगरानी करता है और सांख्यिकीय महत्व तक पहुंचने वाले पहले लक्ष्य का चयन करता है।
-
एक विशिष्ट लक्ष्य चुनें (उदाहरण के लिए,
CheckoutSuccess)। इस लक्ष्य का उपयोग यह मूल्यांकन करने के लिए किया जाएगा कि कौन सी ब्रांच सबसे अच्छा प्रदर्शन करती है।
कॉन्फ़िगर हो जाने के बाद, अपनी टेस्ट सेटिंग्स लागू करने के लिए सेव करें पर क्लिक करें।
A/B/n टेस्ट कैसे सेट अप और चलाएं
Anchor link toएक टेस्ट सेट अप करें
Anchor link toजर्नी को रोकें
Anchor link toयदि आप एक सक्रिय जर्नी में A/B/n टेस्टिंग सेट अप करना चाहते हैं, तो पहले उसे रोकें। एक सक्रिय जर्नी को संपादित करने के बारे में अधिक जानने के लिए, यह लेख पढ़ें।
कम से कम एक कन्वर्जन गोल परिभाषित करें
Anchor link toकम से कम एक कन्वर्जन गोल सेट करें जिसका उपयोग टेस्ट परिणामों की गणना के लिए किया जाएगा। उदाहरण के लिए, यदि आप यह परीक्षण करना चाहते हैं कि दो पुश नोटिफिकेशन में से कौन सा सबसे प्रभावी है, तो आप PW_InAppPurchase इवेंट को कन्वर्जन गोल के रूप में सेट कर सकते हैं।
यदि आप कई कन्वर्जन गोल निर्दिष्ट करते हैं, तो परिणाम प्रत्येक लक्ष्य के लिए अलग-अलग गणना किए जाते हैं।
A/B/n स्प्लिट एलिमेंट जोड़ें
Anchor link toA/B/n स्प्लिट एलिमेंट को किसी भी अन्य एलिमेंट के बाद कैनवास पर रखें और टेस्ट को कॉन्फ़िगर करने के लिए उस पर डबल-क्लिक करें।
ब्रांच और उपयोगकर्ता वितरण सेट करें
Anchor link toब्रांचों की संख्या चुनें। आप अपने टेस्ट में चार ब्रांच तक जोड़ सकते हैं। पहली ब्रांच को हमेशा एक कंट्रोल ग्रुप माना जाता है जिसके विरुद्ध अन्य ब्रांचों में परिणामों की तुलना की जाती है। अपनी आवश्यकताओं के आधार पर इस ब्रांच को कैसे सेट अप करें, यह जानने के लिए इस गाइड का पालन करते रहें।
इसके बाद, प्रत्येक ब्रांच में जाने वाले उपयोगकर्ताओं का प्रतिशत सेट करें। सभी ब्रांचों का कुल योग 100% होना चाहिए। आपके द्वारा सेट किए गए प्रतिशत के अनुसार, जर्नी में इस चरण तक पहुंचने वाले उपयोगकर्ता निर्दिष्ट संख्या में ब्रांचों में यादृच्छिक रूप से विभाजित हो जाएंगे।
कृपया ध्यान दें कि ब्रांच A को सौंपे गए उपयोगकर्ताओं को एक कंट्रोल ग्रुप माना जाएगा जिसके विरुद्ध अन्य ब्रांचों में परिणामों की तुलना की जाएगी। अगला चरण बताता है कि विभिन्न मामलों के लिए ब्रांच A को कैसे सेट अप किया जाए।
विजेता मूल्यांकन मोड चुनें
Anchor link toचुनें कि विजेता का निर्धारण कैसे किया जाता है:
- लक्ष्य के अनुसार स्वचालित चयन। सिस्टम एक परिभाषित लक्ष्य को ट्रैक करता है, सांख्यिकीय महत्व का उपयोग करके सबसे अच्छा प्रदर्शन करने वाली ब्रांच का पता लगाता है, और नए उपयोगकर्ताओं को स्वचालित रूप से विजेता के पास भेजता है।
- मैन्युअल चयन। आप टेस्ट परिणामों की समीक्षा करेंगे और मैन्युअल रूप से तय करेंगे कि कौन सी ब्रांच सबसे अच्छा प्रदर्शन करती है। इस विकल्प के लिए आपको टेस्ट की निगरानी करने और खराब प्रदर्शन करने वाली ब्रांचों को मैन्युअल रूप से निष्क्रिय करने की आवश्यकता होती है। और जानें
प्रत्येक ब्रांच के लिए सामग्री कॉन्फ़िगर करें
Anchor link toअब आप प्रत्येक ब्रांच के लिए संचार प्रवाह सेट कर सकते हैं। चूंकि ब्रांच A एक कंट्रोल ग्रुप है, इसलिए आपको इसे अपने मामले के आधार पर एक निश्चित तरीके से कॉन्फ़िगर करने की आवश्यकता है:
- नए संस्करणों के विरुद्ध मौजूदा संचार प्रवाह का परीक्षण करें। इस मामले में, मौजूदा संस्करण ब्रांच A में होना चाहिए। साथ ही, सुनिश्चित करें कि कन्वर्जन गोल किसी भी ब्रांच में पूरा किया जा सकता है, जिसमें ब्रांच A भी शामिल है।
- केवल नए संस्करणों का एक दूसरे के विरुद्ध परीक्षण करें। चूंकि कोई पुराना संचार प्रवाह नहीं है, इसलिए नए संस्करणों में से एक को कंट्रोल ग्रुप के रूप में चिह्नित किया जाएगा (जो ब्रांच A में प्रस्तुत किया गया है)। सुनिश्चित करें कि कन्वर्जन गोल सभी ब्रांचों में पूरा किया जा सकता है।
- नए संचार प्रवाहों के विरुद्ध बिना किसी संचार के मौजूदा संस्करण का परीक्षण करें। उदाहरण के लिए, आप यह देखने के लिए एक जर्नी के अंत में एक और पुश जोड़ना चाहते हैं कि क्या इस पुश के बिना मूल संस्करण की तुलना में अभियान का प्रदर्शन बढ़ता है। इस मामले में, ‘खाली’ संस्करण ब्रांच A में प्रस्तुत किया जाना चाहिए। विश्वसनीय परिणाम प्राप्त करने के लिए, प्रत्येक ब्रांच में एक समान टाइम डिले जोड़ें:
जर्नी लॉन्च करें
Anchor link toयदि सब कुछ तैयार है, तो जर्नी लॉन्च करें।
परिणामों का विश्लेषण करें
Anchor link toजैसे ही टेस्ट लॉन्च होता है, आप उस पर वास्तविक समय के आँकड़े देख सकते हैं।
जर्नी कैनवास पर, प्रत्येक ब्रांच से गुजरने वाले उपयोगकर्ताओं की संख्या देखें:
टेस्ट परिणाम देखने के लिए, A/B/n स्प्लिट एलिमेंट पर डबल-क्लिक करें। आपको प्रत्येक ब्रांच के लिए आँकड़े दिखाई देंगे, जिसमें चयनित लक्ष्य में कन्वर्जन और सांख्यिकीय महत्व की गणना के लिए उपयोग किए जाने वाले मेट्रिक्स शामिल हैं।
यदि आपने कई कन्वर्जन गोल सेट किए हैं, तो आप सूची से आवश्यक गोल का चयन करके उनमें से प्रत्येक के लिए परिणाम देख सकते हैं:
यदि आपके टेस्ट में सांख्यिकीय रूप से महत्वपूर्ण विजेता है और आप मैन्युअल विजेता चयन का उपयोग कर रहे हैं, तो आप केवल विजेता रखें पर क्लिक करके कम प्रदर्शन करने वाली ब्रांचों को तुरंत बंद कर सकते हैं। जर्नी में नए उपयोगकर्ताओं को विजेता ब्रांच में निर्देशित किया जाएगा। जो उपयोगकर्ता पहले से ही निष्क्रिय ब्रांचों में चले गए हैं, वे जर्नी पूरी होने तक उनसे गुजरते रहेंगे।
आप एक विशिष्ट अवधि के लिए टेस्ट परिणाम देख सकते हैं। ऐसा करने के लिए, बाएं पैनल पर वांछित अवधि का चयन करें और A/B/n स्प्लिट एलिमेंट पर डबल-क्लिक करें। आपको निर्दिष्ट समय के लिए आँकड़े दिखाई देंगे।
टेस्ट परिणामों की गणना इस प्रकार की जाती है:
- कन्वर्जन की गणना ब्रांच में उपयोगकर्ताओं की संख्या और पूरे किए गए कन्वर्जन गोल्स के आधार पर की जाती है। ब्रांच A को बेसलाइन के रूप में चिह्नित किया जाएगा, क्योंकि यह कंट्रोल ग्रुप का प्रतिनिधित्व करता है।
- सांख्यिकीय महत्व की गणना करते समय, Z-स्कोर और P-वैल्यू को ध्यान में रखा जाता है। यदि परिणाम मान्य है, तो इसे महत्वपूर्ण के रूप में चिह्नित किया जाएगा।
- एक ब्रांच को विजेता माना जाता है यदि उसका कन्वर्जन सबसे अधिक है, और इस परिणाम को महत्वपूर्ण के रूप में चिह्नित किया गया है।
ब्रांचों को निष्क्रिय करें
Anchor link toयदि Pushwoosh ने एक सांख्यिकीय रूप से महत्वपूर्ण विजेता की पहचान की है, तो आप टेस्ट आँकड़े विंडो में केवल विजेता रखें पर क्लिक करके कम प्रदर्शन करने वाली ब्रांचों को तुरंत बंद कर सकते हैं। इस मामले में, आपको जर्नी को रोकने की आवश्यकता नहीं है। यदि कोई ब्रांच खराब प्रदर्शन करती है, तो आप उसे निष्क्रिय कर सकते हैं। नए उपयोगकर्ता अब निष्क्रिय ब्रांच में नहीं जाएंगे।
एक ब्रांच को निष्क्रिय करने के लिए, पहले जर्नी को रोकें:
उसके बाद, A/B/n स्प्लिट एलिमेंट पर डबल-क्लिक करें। इस ब्रांच के लिए 0% सेट करें और शेष ब्रांचों में जाने वाले उपयोगकर्ताओं के प्रतिशत को पुनर्वितरित करें:
