আপলিফট রিপোর্ট

আপলিফট রিপোর্ট দেখায় একটি ক্যাম্পেইন বা জার্নি নিজে থেকে কী অর্জন করেছে। এটি যারা সেটি পেয়েছে সেই ব্যবহারকারীদের তুলনা করে holdout-এর সাথে, যা এমন একটি গ্রুপ যাকে আপনি ইচ্ছাকৃতভাবে আলাদা রাখেন যাতে তারা মেসেজটি না পায়, এবং দেখায় প্রথম গ্রুপটি কত বেশি বার লক্ষ্যে পৌঁছেছে।

একটি ক্যাম্পেইন রিপোর্টে থাকে কেবল তখনই, যখন আপনি সেটি holdout সহ পাঠিয়েছেন, অর্থাৎ প্রাপকদের একটি অংশ আলাদা রেখে। আপনার ডেভেলপাররা এটি Messaging API-তে holdout_percentage প্যারামিটার দিয়ে সেট করেন, 1 থেকে 20 পর্যন্ত। একটি জার্নি রিপোর্টে তার প্রতিটি Holdout Split পয়েন্টের জন্য একবার করে থাকে।

রিপোর্টটি কীভাবে পাবেন

• জার্নি: জার্নির Holdout Split পয়েন্টটি খুলুন। এটি Control Panel-এ Goal uplift vs holdout দেখায়।
• ক্যাম্পেইন: আপনি রিপোর্টটি কেবল একটি CSV ফাইল হিসেবে পেতে পারেন। এক্সপোর্টটি API-এর মাধ্যমে চলে, তাই আপনার ডেভেলপারদের এক্সপোর্টটি চালাতে বলুন। তাদের তারিখগুলি দিন, সর্বোচ্চ 90 দিন, এবং যদি আপনার কেবল একটির প্রয়োজন হয়, তাহলে ক্যাম্পেইন বা জার্নিটি জানান। তা না দিলে, ফাইলটিতে অ্যাপ্লিকেশনের সমস্ত ক্যাম্পেইন এবং জার্নি থাকবে। ফাইলটিতে কী আছে

কন্ট্রোল গ্রুপগুলির নিজস্ব ইমপ্যাক্ট রিপোর্ট Settings-এ রয়েছে। এটি অ্যাপ্লিকেশনের কন্ট্রোল গ্রুপগুলি পরিমাপ করে, কোনো একক ক্যাম্পেইন বা জার্নি নয়।

কী ট্রিটমেন্ট এবং কন্ট্রোল হিসেবে গণ্য হয়

রিপোর্টটি দুটি গ্রুপের তুলনা করে: ট্রিটমেন্ট (treatment), যে ব্যবহারকারীরা মেসেজটি পেয়েছে, এবং কন্ট্রোল (control), অর্থাৎ holdout, যে ব্যবহারকারীরা পায়নি।

	ট্রিটমেন্ট	কন্ট্রোল
ক্যাম্পেইন	প্রতিটি প্রাপক যাকে ক্যাম্পেইনটি পাঠানো হয়েছিল।	প্রতিটি প্রাপক যাকে holdout সেটি পাওয়া থেকে বিরত রেখেছে, অ্যাপ্লিকেশনের কন্ট্রোল গ্রুপগুলির মতোই।
জার্নি	প্রতিটি ব্যবহারকারী যে Holdout Split পয়েন্ট দিয়ে In journey শাখায় গেছে।	প্রতিটি ব্যবহারকারী যাকে সেই পয়েন্টের Holdout শাখায় রুট করা হয়েছে।

যে ব্যবহারকারী এবং প্রাপকদের User ID নেই, তাদের উভয় গ্রুপ থেকেই বাদ দেওয়া হয়, কারণ এটি ছাড়া Pushwoosh বলতে পারে না তারা কোন গ্রুপের অন্তর্ভুক্ত, বা তাদের কোনো কনভার্সনের সাথে মেলাতে পারে না।

লক্ষ্য এবং অ্যাট্রিবিউশন উইন্ডো

ক্যাম্পেইন: লক্ষ্য এবং অ্যাট্রিবিউশন উইন্ডো (পাঠানোর পরে কতক্ষণ পর্যন্ত একটি কনভার্সন গণনা করা হয়) আসে অ্যাপ্লিকেশনের কনভার্সন গোলগুলি থেকে। যখন একাধিক কনফিগার করা থাকে, রিপোর্টটি তাদের মধ্যে সবচেয়ে ছোট অ্যাট্রিবিউশন উইন্ডো ব্যবহার করে, যাতে কোনো পাঠানোকে কখনো দূরবর্তী, সম্পর্কহীন কনভার্সনের কৃতিত্ব দেওয়া না হয়।

জার্নি: লক্ষ্য হল জার্নির নিজস্ব Goal পয়েন্টগুলি, এবং উইন্ডো হল জার্নির রূপান্তর সময়কাল সেটিং (জার্নি এটি সেট না করলে 7 দিন)। উইন্ডোটি শুরু হয় যখন প্রতিটি ব্যবহারকারী Holdout Split পয়েন্ট পার হয়, কারণ holdout ব্যবহারকারীরা কখনো এমন কোনো পাঠানো পায় না যেখান থেকে এটি শুরু করা যায়।

উভয় ক্ষেত্রেই মেসেজ-এনগেজমেন্ট ইভেন্টগুলি (ওপেন, ক্লিক এবং অনুরূপ) লক্ষ্য থেকে বাদ দেওয়া হয়। holdout গ্রুপ কখনো প্রতিক্রিয়া জানানোর মতো কোনো মেসেজ পায় না, তাই এনগেজমেন্ট গণনা করলে কেবল দেখা যেত যে একটি মেসেজ পাঠানো হয়েছে, এটি কী অর্জন করেছে তা নয়। কন্ট্রোল গ্রুপ অ্যানালিটিক্স একই কারণে এগুলি বাদ দেয়।

রিপোর্টের মেট্রিক্স

মেট্রিক	এর অর্থ কী
Uplift %	ট্রিটমেন্ট এবং কন্ট্রোল কনভার্সন রেটের মধ্যে শতাংশ পার্থক্য, কন্ট্রোল রেটের সাপেক্ষে। অ্যাপ্লিকেশনের কন্ট্রোল গ্রুপগুলির Uplift-এর মতো একই সূত্র।
Incremental events	ট্রিটমেন্ট গ্রুপ কন্ট্রোল গ্রুপের প্রতি-ব্যবহারকারী রেটে যা তৈরি করত তার চেয়ে কত বেশি ইভেন্ট তৈরি করেছে তার একটি অনুমান, সমস্ত ট্রিটমেন্ট ব্যবহারকারীর জন্য গণনা করা। মেসেজিং দ্বারা চালিত রূপান্তর-এর মতো একই সূত্র।
% of treatment	ট্রিটমেন্ট গ্রুপের তৈরি সমস্ত ইভেন্টের মধ্যে Incremental events-এর অংশ।
Z-score, P-value, Confidence %	Confidence % দেখায় রিপোর্টটি কতটা নিশ্চিত যে গ্রুপগুলির মধ্যে ব্যবধানটি আকস্মিক নয়: যত বেশি, তত বেশি আপনি ফলাফলে বিশ্বাস করতে পারেন। Z-score এবং P-value হল এর পেছনের পরিসংখ্যান, অ্যাপ্লিকেশনের কন্ট্রোল গ্রুপগুলি যে পরীক্ষা ব্যবহার করে সেই একই পরীক্ষা থেকে।
Significance	Significant, Not significant, অথবা Not enough data। Significant মানে Confidence % 95%-এর উপরে। এটি উভয় দিকেই কাজ করে: একটি তাৎপর্যপূর্ণ নেতিবাচক Uplift % মানে মেসেজটি কনভার্সন রেট কমিয়েছে। যেকোনো গ্রুপে 10টির কম কনভার্সন বা 10টির কম নন-কনভার্সন থাকলে এটি পর্যাপ্ত ডেটা নেই হিসেবে দেখায়।
Treatment revenue / Control revenue	রিপোর্টের লক্ষ্য ইভেন্টে প্রতিটি গ্রুপ যে রাজস্ব এনেছে, প্রতিটি মুদ্রার জন্য আলাদাভাবে রাখা।
Incremental revenue	Incremental events-এর আর্থিক সংস্করণ: ট্রিটমেন্ট এবং কন্ট্রোলের মধ্যে প্রতি ব্যবহারকারী রাজস্বের পার্থক্য, সমস্ত ট্রিটমেন্ট ব্যবহারকারীর জন্য, প্রতি মুদ্রায় গণনা করা।
Revenue tracked	এই ইভেন্টের রাজস্বের উৎস আসলেই কনফিগার করা হয়েছিল কিনা, অনুমান করা নয়। দেখুন রিপোর্টে রাজস্ব।

উদাহরণস্বরূপ, একটি জার্নি 90,000 ব্যবহারকারীকে একটি স্বাগত মেসেজ পাঠায় এবং 10,000 জনকে আলাদা রাখে। In journey গ্রুপে, 4,500 ব্যবহারকারী লক্ষ্যে পৌঁছায় (5%)। Holdout গ্রুপে, 400 জন পৌঁছায় (4%)। রিপোর্টটি দেখায়:

মেট্রিক	মান
Uplift %	25%, কারণ 5% হল 4%-এর চেয়ে এক-চতুর্থাংশ বেশি
Significance	Significant, কারণ এত বড় গ্রুপের ক্ষেত্রে ব্যবধানটি আকস্মিক হওয়ার সম্ভাবনা কম

নোট

Uplift % প্রতিটি ব্যবহারকারীকে একবার গণনা করে, তাই একজন অস্বাভাবিকভাবে সক্রিয় ব্যবহারকারী এটিকে বিকৃত করতে পারে না। Incremental events প্রতি ব্যবহারকারীর কোনো সীমা ছাড়াই প্রতিটি ইভেন্ট গণনা করে, যেমনটি অ্যাপ্লিকেশনের কন্ট্রোল গ্রুপগুলি করে, তাই একজন খুব সক্রিয় ট্রিটমেন্ট ব্যবহারকারী Uplift % না বদলেই সেই সংখ্যাটি বাড়িয়ে দিতে পারে। যখন দুটি মেলে না, তখন Uplift %-এ বিশ্বাস করুন।

এক্সপোর্ট করা ফাইলে কী আছে

ফাইলের প্রতিটি সারি হল একটি লক্ষ্য ইভেন্টের জন্য একটি ক্যাম্পেইন, অথবা একটি জার্নির একটি Holdout Split পয়েন্ট। একটি সারিতে থাকে:

• ক্যাম্পেইন বা জার্নি এবং লক্ষ্য ইভেন্ট;
• প্রতিটি গ্রুপে ব্যবহারকারী এবং কনভার্সনের সংখ্যা;
• উপরের টেবিলের মেট্রিক্স;
• প্রতিটি মুদ্রার জন্য রাজস্ব।

প্রতিটি ক্যাম্পেইন, Holdout Split পয়েন্ট এবং লক্ষ্য ইভেন্টের জন্য, ফাইলটিতে আপনার বেছে নেওয়া তারিখগুলির মধ্যে সর্বশেষ দৈনিক গণনা থাকে। দেখুন রিপোর্টটি কতদূর পেছনে দেখতে পারে।

উপরের উদাহরণের জার্নির জন্য, প্রধান কলামগুলি এরকম দেখায়:

কলাম	উদাহরণ	এর অর্থ কী
owner_type	TYPE_JOURNEY	সারিটি একটি জার্নি সম্পর্কে, ক্যাম্পেইন নয়।
event_name	purchase	লক্ষ্য ইভেন্ট।
treatment_users	90000	In journey গ্রুপের ব্যবহারকারীরা।
control_users	10000	Holdout গ্রুপের ব্যবহারকারীরা।
treatment_conversions	4500	In journey গ্রুপের যে ব্যবহারকারীরা লক্ষ্যে পৌঁছেছে।
control_conversions	400	Holdout গ্রুপের যে ব্যবহারকারীরা লক্ষ্যে পৌঁছেছে।
uplift_pct	25.00	Uplift %।
significance	TYPE_SIGNIFICANT	Significant।

রিপোর্টে রাজস্ব

ট্রিটমেন্ট, কন্ট্রোল এবং ইনক্রিমেন্টাল রাজস্ব গণনা করা হয় সেই একই লক্ষ্য ইভেন্ট, একই ব্যবহারকারী এবং একই অ্যাট্রিবিউশন উইন্ডোর জন্য, যা রিপোর্টের কনভার্সন সংখ্যাগুলিতে ব্যবহৃত হয়।

রাজস্ব প্রতি মুদ্রায় রাখা হয়, কখনো রূপান্তর করা হয় না

রাজস্ব মুদ্রাগুলির মধ্যে রূপান্তর করা হয় না, কারণ Pushwoosh কেবল আজকের বিনিময় হার রাখে, এবং একটি পুরোনো উইন্ডোকে আজকের হারে রূপান্তর করা হবে অনুমান মাত্র। Treatment revenue, Control revenue এবং Incremental revenue প্রতিটিতে একটি সম্মিলিত মোটের পরিবর্তে প্রতি মুদ্রায় একটি করে পরিমাণ থাকে। যে ইভেন্টে কোনো মুদ্রার উল্লেখ নেই, তার রাজস্ব unknown-এর অধীনে তালিকাভুক্ত হয়।

Revenue tracked জানায় উৎসটি কনফিগার করা হয়েছিল কিনা

Revenue tracked দেখায় লক্ষ্য ইভেন্টের জন্য রাজস্ব সেট আপ করা হয়েছিল কিনা, যাতে যে অ্যাপ্লিকেশন কখনো এটি সেট আপ করেনি সেটি শূন্য রাজস্ব হিসেবে নয়, বরং অপরিমাপিত হিসেবে দেখায়।

Pushwoosh একটি ইভেন্টের রাজস্ব তিনটি জায়গা থেকে, এই ক্রমে পড়ে:

1. বিল্ট-ইন PW_Conversion ইভেন্টের নিজস্ব value এবং currency ফিল্ড।
2. সেই ইভেন্টের জন্য আপনার কনফিগার করা একটি ইভেন্ট রাজস্ব ম্যাপিং।
3. ইভেন্টের লিগ্যাসি __amount এবং __currency অ্যাট্রিবিউট, যদি উপরের দুটির কোনোটিই প্রযোজ্য না হয়।

Revenue tracked কেবল প্রথম দুটি উৎসের জন্য চালু থাকে। তৃতীয়টির ক্ষেত্রে, রিপোর্টটি তবুও পরিমাণটি দেখায় কিন্তু ফ্ল্যাগটি বন্ধ রাখে, কারণ কেউ সেই ইভেন্টের জন্য রাজস্ব কনফিগার করেনি।

রিপোর্টটি কখন আপডেট হয়

রিপোর্টটি রিয়েল টাইম নয়। এটি দিনে একবার, 01:30 UTC-তে পুনরায় গণনা করা হয়, তাই আজ পাঠানো একটি ক্যাম্পেইন বা আজ পার হওয়া একটি জার্নি পয়েন্ট আগামীকাল রিপোর্টে দেখা যায়।

কেবল অন্তত একটি Goal পয়েন্ট সহ চলমান জার্নিগুলিই পুনরায় গণনা করা হয়। যখন একটি জার্নি বন্ধ হয়ে যায়, Holdout Split পয়েন্টটি তার শেষ সংখ্যাগুলি দেখাতে থাকে।

রিপোর্টটি কতদূর পেছনে দেখতে পারে

প্রতিটি দৈনিক গণনা প্রায় শেষ 45 দিনের ক্যাম্পেইন পাঠানো এবং শেষ 180 দিনের Holdout Split পার হওয়া গণনা করে। পুরোনো পাঠানো এবং পার হওয়াগুলি পরবর্তী গণনা থেকে বাদ পড়ে যায়, তাই একটি ক্যাম্পেইন পাঠানোর প্রায় 45 দিন পরে আর পুনরায় গণনা করা হয় না।

Pushwoosh প্রতিটি দৈনিক গণনা 90 দিন রাখে। Holdout Split পয়েন্টটি সর্বশেষটি দেখায়। একটি এক্সপোর্ট আপনার দেওয়া তারিখগুলির মধ্যে সর্বশেষটি দেখায়, তাই দুই মাস আগের তারিখের একটি এক্সপোর্ট সংখ্যাগুলিকে তখন যেমন ছিল তেমনই দেখায়, তার আগের পাঠানো এবং পার হওয়াগুলির জন্য।