تقرير الارتفاع (Uplift)
يوضح تقرير الارتفاع (uplift) ما حققته الحملة أو الرحلة بمفردها. فهو يقارن المستخدمين الذين تلقوها بمجموعة holdout، وهي مجموعة تستبعدها عمدًا حتى لا تتلقى الرسالة، ويوضح كم مرة أكثر وصلت المجموعة الأولى إلى الهدف.
لا تظهر الحملة في التقرير إلا إذا أرسلتها مع holdout، أي جزء من المستلمين تستبعده. يضبطه المطورون لديك باستخدام المعامل holdout_percentage، من 1 إلى 20، في Messaging API. وتظهر الرحلة في التقرير مرة واحدة لكل نقطة Holdout Split تحتوي عليها.
كيفية الحصول على التقرير
Anchor link to- الرحلة: افتح نقطة Holdout Split في الرحلة. تعرض النقطة Goal uplift vs holdout في Control Panel.
- الحملة: لا يمكنك الحصول على التقرير إلا كملف CSV. يتم التصدير عبر API، لذا اطلب من المطورين تشغيل التصدير. زوّدهم بالتواريخ، بحد أقصى 90 يومًا، وإذا كنت تحتاج إلى واحدة فقط، فحدد الحملة أو الرحلة. بدون ذلك، يغطي الملف جميع حملات التطبيق ورحلاته. محتويات الملف
لمجموعات التحكم تقرير التأثير (Impact report) الخاص بها في Settings. وهو يقيس مجموعات التحكم الخاصة بالتطبيق، وليس حملة واحدة أو رحلة واحدة.
ما الذي يُحتسب كمعالجة وتحكم
Anchor link toيقارن التقرير بين مجموعتين: المعالجة (treatment)، أي المستخدمون الذين تلقوا الرسالة، والتحكم (control)، أي مجموعة holdout، المستخدمون الذين لم يتلقوها.
| المعالجة | التحكم | |
|---|---|---|
| الحملة | كل مستلم أُرسلت إليه الحملة. | كل مستلم منعه holdout من تلقيها، كما في مجموعات التحكم الخاصة بالتطبيق. |
| الرحلة | كل مستخدم مرّ عبر نقطة Holdout Split إلى فرع In journey. | كل مستخدم تم توجيهه إلى فرع Holdout في تلك النقطة. |
يُستبعد المستخدمون والمستلمون الذين ليس لديهم User ID من كلتا المجموعتين، لأن Pushwoosh لا يستطيع بدونه معرفة المجموعة التي ينتمون إليها أو مطابقتهم مع تحويل.
الهدف ونافذة الإسناد
Anchor link toالحملة: يأتي الهدف ونافذة الإسناد (المدة التي يظل خلالها التحويل محتسبًا بعد الإرسال) من أهداف التحويل الخاصة بالتطبيق. عند تكوين أكثر من هدف، يستخدم التقرير أقصر نافذة إسناد بينها، حتى لا يُنسب إلى الإرسال أبدًا تحويل بعيد وغير مرتبط به.
الرحلة: الهدف هو نقاط Goal الخاصة بالرحلة، والنافذة هي إعداد فترة التحويل للرحلة (7 أيام إذا لم تحدده الرحلة). تبدأ النافذة عندما يمر كل مستخدم بنقطة Holdout Split، لأن مستخدمي holdout لا يتلقون أبدًا إرسالًا تبدأ منه.
يستبعد كلاهما أحداث التفاعل مع الرسائل (عمليات الفتح والنقرات وما شابهها) من الهدف. لا تتلقى مجموعة holdout أبدًا رسالة تتفاعل معها، لذا فإن احتساب التفاعل لن يُظهر إلا أن رسالة قد أُرسلت، وليس ما حققته. وتستبعدها تحليلات مجموعات التحكم للسبب نفسه.
المقاييس في التقرير
Anchor link to| المقياس | المعنى |
|---|---|
| Uplift % | الفرق المئوي بين معدلي التحويل لمجموعتي المعالجة والتحكم، نسبةً إلى معدل التحكم. الصيغة نفسها المستخدمة في Uplift لمجموعات التحكم الخاصة بالتطبيق. |
| Incremental events | تقدير لعدد الأحداث الإضافية التي أنتجتها مجموعة المعالجة مقارنةً بما كانت ستنتجه بمعدل مجموعة التحكم لكل مستخدم، محسوبًا لجميع مستخدمي المعالجة. الصيغة نفسها المستخدمة في Conversions driven by messaging. |
| % of treatment | الأحداث الإضافية (Incremental events) كحصة من جميع الأحداث التي ولّدتها مجموعة المعالجة. |
| Z-score, P-value, Confidence % | يوضح Confidence % مدى ثقة التقرير بأن الفرق بين المجموعتين ليس مصادفة: كلما ارتفع، زادت ثقتك في النتيجة. أما Z-score وP-value فهما الإحصاءات التي يستند إليها، من الاختبار نفسه الذي تستخدمه مجموعات التحكم الخاصة بالتطبيق. |
| Significance | Significant أو Not significant أو Not enough data. تعني Significant أن Confidence % أعلى من 95%. ويعمل ذلك في الاتجاهين: فقيمة Uplift % سالبة وذات دلالة تعني أن الرسالة خفّضت معدل التحويل. وتظهر القيمة كبيانات غير كافية عندما يكون لدى أي من المجموعتين أقل من 10 تحويلات أو أقل من 10 حالات عدم تحويل. |
| Treatment revenue / Control revenue | الإيرادات التي حققتها كل مجموعة من حدث الهدف في التقرير، مع الاحتفاظ بها منفصلة لكل عملة. |
| Incremental revenue | النسخة المالية من Incremental events: الفرق في الإيرادات لكل مستخدم بين المعالجة والتحكم، محسوبًا لجميع مستخدمي المعالجة، لكل عملة. |
| Revenue tracked | ما إذا كان مصدر الإيرادات لهذا الحدث قد تم تكوينه فعلًا، وليس تخمينه. راجع الإيرادات في التقرير. |
على سبيل المثال، ترسل رحلة رسالة ترحيب إلى 90,000 مستخدم وتستبعد 10,000. في مجموعة In journey، يصل 4,500 مستخدم إلى الهدف (5%). وفي مجموعة Holdout، يصل 400 (4%). يعرض التقرير:
| المقياس | القيمة |
|---|---|
| Uplift % | 25%، لأن 5% أكبر من 4% بمقدار الربع |
| Significance | Significant، لأنه مع مجموعات بهذا الحجم من غير المرجح أن يكون الفرق مصادفة |
محتويات الملف المُصدَّر
Anchor link toكل صف في الملف يمثل حملة واحدة، أو نقطة Holdout Split واحدة في رحلة، لحدث هدف واحد. يحتوي الصف على:
- الحملة أو الرحلة وحدث الهدف؛
- عدد المستخدمين والتحويلات في كل مجموعة؛
- المقاييس من الجدول أعلاه؛
- الإيرادات لكل عملة.
لكل حملة ونقطة Holdout Split وحدث هدف، يحتوي الملف على أحدث حساب يومي ضمن التواريخ التي اخترتها. راجع إلى أي مدى يمكن أن يعود التقرير في الماضي.
بالنسبة للرحلة في المثال أعلاه، تبدو الأعمدة الرئيسية هكذا:
| العمود | مثال | المعنى |
|---|---|---|
owner_type | TYPE_JOURNEY | الصف يخص رحلة، وليس حملة. |
event_name | purchase | حدث الهدف. |
treatment_users | 90000 | المستخدمون في مجموعة In journey. |
control_users | 10000 | المستخدمون في مجموعة Holdout. |
treatment_conversions | 4500 | المستخدمون في مجموعة In journey الذين وصلوا إلى الهدف. |
control_conversions | 400 | المستخدمون في مجموعة Holdout الذين وصلوا إلى الهدف. |
uplift_pct | 25.00 | Uplift %. |
significance | TYPE_SIGNIFICANT | Significant. |
الإيرادات في التقرير
Anchor link toتُحتسب إيرادات المعالجة والتحكم والإيرادات الإضافية لحدث الهدف نفسه، والمستخدمين أنفسهم، ونافذة الإسناد نفسها المستخدمة في أرقام التحويل في التقرير.
تُحفظ الإيرادات لكل عملة ولا تُحوَّل أبدًا
Anchor link toلا تُحوَّل الإيرادات بين العملات، لأن Pushwoosh يحتفظ فقط بأسعار صرف اليوم، وتحويل نافذة أقدم بسعر اليوم سيكون مجرد تخمين. يحتوي كل من Treatment revenue وControl revenue وIncremental revenue على مبلغ واحد لكل عملة بدلًا من إجمالي مجمّع واحد. وتُدرج الإيرادات من حدث لا يحدد عملة تحت unknown.
يوضح Revenue tracked ما إذا كان المصدر قد تم تكوينه
Anchor link toيوضح Revenue tracked ما إذا كانت الإيرادات قد أُعدّت لحدث الهدف، بحيث يظهر التطبيق الذي لم يُعدّها أبدًا على أنه غير مقيس، وليس على أنه بإيرادات صفرية.
يقرأ Pushwoosh إيرادات الحدث من ثلاثة أماكن، بهذا الترتيب:
- الحقلان
valueوcurrencyالخاصان بالحدث المدمجPW_Conversion. - تعيين إيرادات الحدث الذي قمت بتكوينه لذلك الحدث.
- السمتان القديمتان
__amountو__currencyفي الحدث، إذا لم ينطبق أي مما سبق.
لا يكون Revenue tracked مفعّلًا إلا للمصدرين الأولين. مع المصدر الثالث، يظل التقرير يعرض المبلغ لكنه يترك العلامة معطلة، لأن أحدًا لم يكوّن الإيرادات لذلك الحدث.
متى يتم تحديث التقرير
Anchor link toالتقرير ليس في الوقت الفعلي. تتم إعادة حسابه مرة واحدة يوميًا، في الساعة 01:30 UTC، لذا فإن الحملة المرسلة أو نقطة الرحلة التي تم المرور بها اليوم تظهر في التقرير غدًا.
لا تتم إعادة حساب إلا الرحلات الجارية التي تحتوي على نقطة Goal واحدة على الأقل. عندما تتوقف الرحلة، تستمر نقطة Holdout Split في عرض أرقامها الأخيرة.
إلى أي مدى يمكن أن يعود التقرير في الماضي
Anchor link toيحتسب كل حساب يومي عمليات إرسال الحملات من آخر 45 يومًا تقريبًا وعمليات المرور بـ Holdout Split من آخر 180 يومًا. تخرج عمليات الإرسال والمرور الأقدم من الحساب التالي، لذا تتوقف إعادة حساب الحملة بعد نحو 45 يومًا من إرسالها.
يحتفظ Pushwoosh بكل حساب يومي لمدة 90 يومًا. تعرض نقطة Holdout Split أحدثها. ويعرض التصدير أحدثها ضمن التواريخ التي تحددها، لذا فإن تصديرًا لتواريخ قبل شهرين يعرض الأرقام كما كانت آنذاك، لعمليات الإرسال والمرور التي سبقت ذلك.