Holdout Split

জার্নির বাকি অংশ থেকে ব্যবহারকারীদের একটি অংশ আটকে রাখতে Holdout Split এলিমেন্ট ব্যবহার করুন, তারপর তাদের গোল সম্পন্ন হওয়ার তুলনা করুন সেই সবার সাথে যারা সেই পয়েন্টের পরেও এগিয়ে গেছে। অ্যাকাউন্ট-ওয়াইড কন্ট্রোল গ্রুপ-এর বিপরীতে, যা প্রতি অ্যাপ্লিকেশনে ফিক্সড এবং সর্বত্র মার্কেটিং মেসেজ ব্লক করে, একটি Holdout Split শুধুমাত্র একটি জার্নির ভেতরে, তার ফ্লোর একটি পয়েন্টে প্রযোজ্য হয়।

কখন Holdout Split ব্যবহার করবেন

• একটি নির্বাচিত পয়েন্টে একটি জার্নির প্রভাব পরিমাপ করুন। এই পয়েন্টে পৌঁছানো ব্যবহারকারীদের একটি অংশ আটকে রাখুন এবং দেখুন এর পরের ধাপগুলি সেই ধাপগুলি এড়িয়ে যাওয়ার চেয়ে আপনার কনভার্সন গোলগুলিকে বেশি এগিয়ে নেয় কিনা।
• একটি নির্দিষ্ট সেগমেন্ট বা ফ্লো পরীক্ষা করুন। আপনার পুরো অ্যাপ্লিকেশন আটকে রাখার পরিবর্তে শুধুমাত্র এই ক্যাম্পেইনের জন্য গুরুত্বপূর্ণ ব্যবহারকারীদের জন্য প্রভাব পরিমাপ করতে Holdout Split-কে অডিয়েন্স-ভিত্তিক এন্ট্রি বা ট্রিগার-ভিত্তিক এন্ট্রি-এর সাথে একত্রিত করুন।
• শুধু একটি ইভেন্ট গণনা নয়, বরং প্রতি-গোল আপলিফ্ট পান। যদি জার্নিতে একাধিক কনভার্সন গোল থাকে, তাহলে Holdout Split প্রতিটির জন্য আলাদাভাবে আপলিফট এবং পরিসংখ্যানগত তাৎপর্য রিপোর্ট করে।

উদাহরণস্বরূপ, Holdout Split-কে এন্ট্রির পরে এবং আপনার অনবোর্ডিং মেসেজের আগে রাখুন। In journey-তে এগিয়ে যাওয়া ব্যবহারকারীদের জন্য একটি ক্রয় কনভার্সন গোলের তুলনা করুন Holdout-এর ব্যবহারকারীদের সাথে, যারা সেখানে বেরিয়ে যায় এবং এই জার্নি থেকে আর কিছুই পায় না।

পূর্বশর্ত

আপনি যদি আপলিফট রিপোর্টে সংখ্যা চান, তাহলে জার্নির জন্য অন্তত একটি কনভার্সন গোল নির্ধারণ করুন। আপনি গোল ছাড়াও Holdout Split রাখতে এবং সংরক্ষণ করতে পারেন। এটি ছাড়া, রিপোর্টটি রেট এবং আপলিফটের পরিবর্তে একটি গোল যোগ করার প্রম্পট দেখায়।

Holdout Split যোগ এবং কনফিগার করুন

1. Holdout Split এলিমেন্টটি ক্যানভাসে সেই জায়গায় রাখুন যেখান থেকে আপনি জার্নির বাকি অংশ পরিমাপ করা শুরু করতে চান (আপনি যে মেসেজ বা ধাপগুলি পরীক্ষা করছেন তার আগে)।

2. এর সেটিংস খুলতে এলিমেন্টে ডাবল-ক্লিক করুন।

3. Share held out সেট করুন: এই পয়েন্টে পৌঁছানো ব্যবহারকারীদের কত শতাংশ Holdout শাখায় রুট করা হয়। বাকিরা In journey শাখায় এগিয়ে যায়। Share held out 1–20% গ্রহণ করে।

   

4. ক্যানভাসে শাখাগুলি সংযুক্ত করুন:

   • Holdout শাখাটি অসংযুক্ত রাখুন। সেই শাখার ব্যবহারকারীরা অবিলম্বে জার্নি থেকে বেরিয়ে যায় এবং এটি থেকে আর কিছুই পায় না।
   • In journey শাখাটি আপনার বাকি ফ্লোর সাথে সংযুক্ত করুন।

5. Save-এ ক্লিক করুন।

সংরক্ষণ করার পরে, আপনার এলিমেন্ট থেকে দুটি শাখা দেখা উচিত: Holdout যার কোনো পরবর্তী ধাপ নেই, এবং In journey যা আপনার সংযুক্ত করা ফ্লোতে নিয়ে যায়।

নোট

আটকে রাখা ব্যবহারকারীদের শুধুমাত্র এই জার্নি থেকে বাদ দেওয়া হয়। তারা এখনও আপনার অন্যান্য জার্নি এবং একবারের প্রেরণ থেকে মেসেজ পেতে পারেন।

আপলিফট রিপোর্ট পরীক্ষা করুন

একটি প্রশ্নের উত্তর দিতে Goal uplift vs holdout ব্যবহার করুন: এই পয়েন্টের পরের ধাপগুলি কি এখানে থেমে যাওয়া ব্যবহারকারীদের তুলনায় আপনার কনভার্সন গোলগুলি বাড়ায়?

1. চলমান জার্নিটি খুলুন।

2. Holdout Split পয়েন্ট খুলুন এবং বর্তমান স্প্লিটের নিচে Goal uplift vs holdout খুঁজুন।

3. যদি আপনি রেটের পরিবর্তে একটি প্লেসহোল্ডার দেখেন, পরের দিন ফিরে আসুন। Pushwoosh দিনে একবার রিপোর্ট রিফ্রেশ করে, এবং জার্নি শুরু হওয়ার পরের দিন প্রথম সংখ্যাগুলি প্রদর্শিত হয়।

4. রেট বিশ্বাস করার আগে, রিপোর্ট হেডারে নমুনার আকার এবং সময় পরীক্ষা করুন:

   • সর্বশেষ রিফ্রেশে In journey এবং Holdout-এ কতজন ব্যবহারকারী ছিলেন
   • অ্যাট্রিবিউশন উইন্ডো (পয়েন্টের কত দিন পরে একটি গোল সম্পন্ন হওয়া এখনও গণনা করা হয়)
   • রিপোর্টটি সর্বশেষ কখন গণনা করা হয়েছিল

   একটি ছোট holdout নমুনা আপলিফটকে অস্থির করে তোলে, এমনকি ইন-জার্নি রেট শক্তিশালী দেখালেও।

5. প্রতিটি কনভার্সন গোলের জন্য, শাখাগুলি তুলনা করুন, তারপর আপলিফট এবং তাৎপর্য পড়ুন:

   • Conversion, in journey-কে Conversion, holdout (রেট এবং সংখ্যা) এর সাথে তুলনা করুন। এটি সেই ব্যবহারকারীদের মধ্যে পার্থক্য যারা জার্নির বাকি অংশ পেয়েছে এবং যারা এই পয়েন্টের পরে এটি থেকে আর কিছুই পায়নি।
   • সেই পার্থক্যের জন্য Uplift-কে একটি আপেক্ষিক পরিবর্তন হিসাবে পড়ুন। ইতিবাচক আপলিফটের অর্থ হলো ইন-জার্নি শাখা holdout-এর চেয়ে ভালো কনভার্ট করেছে। যদি এই গোলের জন্য holdout-এ শূন্য কনভার্সন থাকে, তাহলে আপলিফট — দেখায় (আপেক্ষিক পার্থক্যের জন্য কোনো ভিত্তি নেই)।
   • আপলিফটকে একটি সিদ্ধান্ত হিসাবে বিবেচনা করার আগে তাৎপর্য ব্যাজ পড়ুন:
     • Significant: শাখাগুলির মধ্যে পার্থক্য বাস্তব, এলোমেলো নয়। আপলিফট সংখ্যাটি বিশ্বাস করুন।
     • Not significant: Pushwoosh-এর কাছে পর্যাপ্ত ডেটা আছে, কিন্তু পার্থক্যটি নির্ভরযোগ্য নয়। এখনও এই আপলিফট সংখ্যার ভিত্তিতে কাজ করবেন না।
     • Not enough data: এখন পর্যন্ত যেকোনো দিকে বলার জন্য খুব কম কনভার্সন। বৃহত্তর নমুনার জন্য জার্নিটি চলতে দিন।

একটি জায়গায় প্রতিটি Holdout Split পর্যালোচনা করতে, জার্নির ক্যাম্পেইন হেলথ ড্যাশবোর্ড খুলুন এবং প্রতিটি পয়েন্টের জন্য একই রিপোর্ট পরীক্ষা করুন।

প্রতিটি Holdout Split পয়েন্টের আপলিফট CSV ফাইল হিসাবে, প্রতি মুদ্রায় রাজস্ব সহ পেতে, API-এর মাধ্যমে আপলিফট রিপোর্ট রপ্তানি করুন।

প্রতিটি শাখা থেকে ব্যবহারকারীদের রপ্তানি করুন

একটি চলমান জার্নিতে কোন ব্যবহারকারীরা Holdout-এ গেছেন এবং কোন ব্যবহারকারীরা In journey-তে গেছেন তার একটি তালিকা ডাউনলোড করুন।

Export users-এর জন্য আপনার রোলে Personal data অনুমতি প্রয়োজন।

1. চলমান জার্নিটি খুলুন।

2. Holdout Split পয়েন্ট খুলুন।

3. Goal uplift vs holdout-এর নিচে Export users-এ ক্লিক করুন।

4. তারিখ পরিসীমা সেট করুন। আপনি শুধুমাত্র গত ২ মাসের ডেটা রপ্তানি করতে পারেন।

   

5. Start exporting-এ ক্লিক করুন।

6. ফাইলটি প্রস্তুত হয়ে গেলে, একই প্যানেলে একটি ডাউনলোড বোতাম প্রদর্শিত হয়। CSV পেতে এটিতে ক্লিক করুন।

প্রতিটি সারিতে একটি ব্যবহারকারী ID এবং সেই ব্যবহারকারী যে শাখা নিয়েছেন তা তালিকাভুক্ত থাকে, holdout বা journey। যদি সেই তারিখ পরিসীমায় কেউ পয়েন্টে না পৌঁছায়, তাহলে ফাইলটিতে শুধুমাত্র হেডার সারি থাকে।

যদি আপনার প্রতি-জার্নির পরিবর্তে অ্যাকাউন্ট-ওয়াইড holdout প্রয়োজন হয়, তাহলে কন্ট্রোল গ্রুপ ব্যবহার করুন।