一、活動背景
通過第三方廣告媒體app（比如微信、抖音等）投放針對老用戶的素材對用戶促活，已經成為很多公司用來提升存量老用戶活躍度的有效方法（后續會統稱為“渠道拉活”）
某公司的市場投放部門也開始投入預算試水「渠道拉活」這一項目，在項目啟動一段時間后，已經回收累積了大量的用戶數據，但是：
1、渠道拉活對于DAU的帶動貢獻究竟有多大？
2、是否值得持續投入更多的資源？
3、活動情況的ROI如何？是否符合預期？
4、活動是否存在改進空間？
這些領導和業務方非常關注的問題，需要分析師基于數據給出公正和客觀的答復。
二、分析框架和指標體系
2.1、分析框架
活動整體增量效果評估 (包括短期效果分析、長期效果分析)
ROI 核算（計算單用戶的拉新或者促活成本）
參活用戶質量評估
活動存在問題分析
2.2、指標體系
2.21、流量規模
DAU
參與活動的用戶數（舉例：渠道拉活成功召回的用戶數）
通過活動首次調起app的uv（舉例：通過渠道拉活首次調起app的uv）
通過活動首次調起app的uv占day的比例（舉例：通過渠道拉活首次調起uv的dau占比）
可解決的問題：
通過對比事先制定好的活動KPI指標，評估目標完成率；
與其他活動對比，評估促活的核心指標（通常是DAU）是否達到預期；
評估渠道拉活能夠召回的用戶量級有多大；
評估對DAU的凈增量貢獻有多大；
2.22、用戶質量、用戶畫像
留存率（次日回訪率、7日回訪率、30日回訪率）
日均使用時長
核心功能滲透率
核心功能人均PV
人群畫像（性別、城市、消費能力）
可解決的問題：
評估渠道召回用戶的質量
監測是否存在刷量作弊渠道
2.23、用戶行為
站外轉化漏斗（舉例：廣告曝光-廣告點擊-成功調起app-deeplink抵達特定頁面）
站內核心行為的轉化漏斗（舉例：活動頁-列表頁-詳情頁）
可解決的問題：
評估用戶從站外渠道到抵達App的路徑是否順暢，發現產品bug或者可以改善的機會點
評估活動的站內承接策略是否合理
三、分析過程
3.1、活動效果評估以及活動ROI分析
當日貢獻是指：當日的召回用戶對于當日DAU的增量貢獻
長期貢獻是指：由于召回用戶的后續回流，在后續特定時間范圍還會持續貢獻的用戶天數增量。比如，活動后的50個參與用戶，在后續30天內人均活躍天數比活動前提高10天，那么促活的增量貢獻就是1500天。
不得不承認，AB實驗最擅長處理歸因和量化的問題。它的思想是，將流量隨機分為數量均勻和特征均勻的兩組（即對照組和實驗組），實驗組用戶只有在產品策略上與對照組不同，因此我們可以認為兩組用戶在同一時間維度上的指標差異，可以完全歸因于策略上的差異。
然而，該廣告拉活項目無法設計對應的AB實驗，但我們可以基于AB測試的思想，構造與實驗組“相似”的用戶群體作為對照組。具體過程如下：
1、將拉活渠道喚起app的用戶作為實驗組，未曾被拉活召回的存量用戶作為對照組；
2、選取可能影響用戶未來活躍度的特征（比如機型、新增渠道、歷史活躍度、…），基于“特征相同”的原則，對兩組用戶劃分為 N 對實驗組和對照組。注意盡量將特征通過區間離散化，避免劃分出的某一組落入的樣本數過少，導致兩組樣本的指標差異不可信，比如特征「新增日期間隔」可以離散化為：7天內、8-14天、14天以上；
3、計算 N 對實驗組和對照組的每一組的指標差異值，以及實驗組的總指標差異（等于每一組指標差異*人群占比的相乘結果求和）
通過以上方法，可以計算出拉活對于當日DAU的貢獻、以及拉活對于未來30天DAU的總增量貢獻。
值得一提的是，“首次歸因”的方法也可以應用至“產品新上線功能評估”的效果量化中，通常我們可以將“啟動app后首次訪問該功能的用戶量”作為該功能對dau的貢獻量。
對于活動成本的核算，我們可以通過 “總成本消耗量 / 總DAU增量”，計算每個DAU增量的成本，以評估ROI是否符合預期。
3.2、用戶行為分析、和用戶質量評估
四、結語
作為數據分析師，實際工作中遇到的促活策略往往是五花八門，但是活動效果好壞的評估過程依然是有章可循的。最后，簡單總結下本文對于后續活動評估的可復用之處：
2、如何量化歸因活動的短期貢獻（即“首次歸因”法）；
3、如何在無法開展AB測試的情況下，通過構造對照組的方式，快速地量化評估長期的增量貢獻；
本文為@運營喵原創，運營喵專欄作者。
