如何通過A/B test迭代社群運營玩法模型？

不論是做產品或者做運營，日常都會經歷一些假設-測試-驗證-定義的迭代過程，只有不斷的迭代挖掘與試驗，我們才會找到更多的增長點。本文主要講的內容是如何通過A/B test迭代社群運營玩法模型，一起來看看~

文章大綱：

1. 用戶增長理論
2. ABtest操作流程
3. 產品迭代

我們現在做增長，比如做拉新，可能更多是借鑒別人的玩法，或者自己拍腦袋想出一個點子，其背后是否可驗證的邏輯支持，是否適合你的產品和用戶這些可能都不一定就直接去做了，這樣產生的效果就是你的活動效果一般都不是很好，而且還不能很穩定的產出運營策略。

這就需要我們總結出自己一套增長辦法，而且還是可持續迭代的。

下面分享一個自己做的案例，期待與大家交流學習更多增長的思維模型。

一、用戶增長理論

不論是做產品或者做運營，日常都會經歷一些假設-測試-驗證-定義的迭代過程，只有不斷的迭代挖掘與試驗，我們才會找到更多的增長點。

用戶增長方法論：確定北極星指標——拆解成具體可以操作的優化場景與指標——規劃并排序A/B測試試驗——對于有效的方向進行更多的挖掘與試驗。

下面，我舉一個真實的案例，是我親自參與的迭代試驗，對上面這句話做一個詮釋，希望大家能夠從案例中了解到做增長做迭代原來就是這么一回事。

首先，我介紹下活動背景：

我們一個小團隊是負責大學生四六級項目的，通過推廣免費的流量課程來圈住大學生人群，然后去推廣我們平臺的其他高單價課程，前期已經驗證增加社群服務是可以提高學完率和用戶續報轉化率的。所以后面我們的圈人班課程均會增加社群服務，下面我們需要對社群服務不斷迭代試驗，提高社群運營效率。

我們梳理了下我們的北極星指標是提高用戶價值（單進班價值=總營業額/領班人數），而總營業額又跟續報領課人數有關，再進一步拆解續報領課人數跟好友數和領課率有關，領課率又跟社群的服務對用戶信任度的提升有關。

那么社群的服務又包含：答疑、直播、促學提醒。所以我們最終要提高的是答疑、直播、促學這些場景中參與用戶續報課程人數。

大家可以直接看這個北極星指標拆解下來的流程圖，如下圖：

通過拆解北極星指標，我們知道了原來要落地的運營動作就是提高社群服務中參與人數的比例，我們開始梳理整個運營流程，這時我們發現一些變量，這些變量可能會影響我們最終的北極星指標，這時候就需要做ABtest驗證，固定一個變量來測試對北極星指標的正負影響。

二、A/B test操作流程

我們在梳理運營流程時發現了用戶學習行為過程中出現了兩個變量：學制（分定時開班和隨報隨學）、分組（有分組和無分組），定時開班和分組對人員操作成本比較大，是否取消，這兩個變量對課程學完率和單進班價值到底影響有多大，都需要我們做試驗來驗證。

下面以其中一個ABtest為例：

（1）明確試驗的目的

比如，我們一組試驗是：通過對比定時開班學習和隨報隨學兩種學習模式對單進班價值的影響。如果隨報隨學這種學制跟定時開班學習的單進班價值差不多或者更高，那么可以直接采用這種模式，減少人力成本，反之亦然。

（2）設置A/B對照組

驗證方法：

1. 對照組A：四級詞匯圈人班定時開班專題領取用戶；
2. 對照組B：四級詞匯圈人班隨報隨學專題領取用戶。

為了保證試驗的準確性，兩個樣本A和B需要滿足：

1. 用戶量級相近，用戶量級也不能太小，至少600人以上，要能代表全局特性。
2. 用戶屬性相似，具有代表性，比如我們的目標用戶都是以大學生人群為主。
3. 測試環境能夠代表全局特性，比如：都是沿用之前的用戶領課路徑，只保留唯一一個變量，其他環境都一樣。

制定社群運營AB測試流程方案，確定續報課程觸達方式和用戶續報路徑，如下圖：

（社群運營ABtest流程方案）

梳理這個流程方案很重要，將你的整個的運營動作都排期放到里面，幫助你按照自己的運營節奏來。

下面，是不是就可以活動上線前的準備工作做完了，等看效果了呢？還有一項很重要的工作要做。

整理數據需求：

測試方案確定后，在活動上線前，需要做的很重要一點就是跟BI提數據需求，確保數據可以滿足以下幾點，不然等試驗結束后再跟數據同學提需求，可能會落得尷尬局面，數據無法獲取。

保證活動數據可以滿足：

1. 能均勻地把獨立用戶分成2個屬性一致的樣本群體A和B。比如：我們課程上架分兩個專題，將用戶做A和B區分。
2. 能對每個獨立用戶做身份標記，也就是每個樣本的用戶數據可以追蹤到。比如：用戶從領課——添加個人號——學習行為——續報課程，這條路徑的數據都可以追蹤。
3. 能針對A和B在線調控出變量。比如：我們這次的一組試驗變量就是學制的不同，在專題頁直接設計隨報隨學和定時開班兩種開班模型。
4. 能分離A和B因為變量導致的數據差異。比如：對兩個樣本用戶的續報領課情況，我們分別設置了帶source的課程鏈接，這樣可以獲取每個樣本下不同渠道的續報轉化人數。

以上準備工作做完后，就可以開始活動上線，然后看最終的數據結果啦。

（3）分析數據

活動結束后，根據續報課程轉化周期，我們活動結束3天后就可以開始找BI拉數據了。還是上面的例子，我們分析下兩個ABtest的數據情況：

學習行為數據對比（以下數據有改動，非真實數據，僅供演示所用）：

用戶學習行為數據（留存及學完率）

從數據可以看出，B組定時開班模式用戶7日TAD（7日累計活躍天數）和學完率都明顯高于A組隨報隨學學制；A組有分組7日TAD和學完率都明顯高于B組無分組。

單進班價值數據對比：

（續報轉化數據）

從數據可以看出，A組隨報隨學模式的單進班價值（總營業額/領課用戶）明顯高于B組定時開班；A組有分組的用戶單進班價值明顯高于B組定時開班。

（4）得出結論

回顧我們社群運營的北極星指標，采用隨報隨學和有分組兩種學制下用戶的單進班價值更高，之后的社群運營流程可以繼續沿用。

三、產品迭代

上面確定了社群的玩法模型采用隨報隨學和分組pk更加有效這個結論，但因為分組pk在微信群人工操作成本很大，如果社群用戶量級很大，則需要走產品端的分組模式，解放人力，提高社群運營效率。

除了通過試驗來驗證用戶哪種學習模式更有效外，我們還可以做更多其他的試驗，比如設置對照組來測試社群的轉化模型哪種更有效，不斷迭代優化，提高運營效率。