AB實(shí)驗(yàn)系統(tǒng)與數(shù)據(jù)統(tǒng)計(jì)分析在互聯(lián)網(wǎng)產(chǎn)業(yè)下的應(yīng)用

王志興

摘要：隨著流量紅利、人口紅利衰減 ，產(chǎn)品運(yùn)營(yíng)算法更加關(guān)注精細(xì)化運(yùn)營(yíng)，AB實(shí)驗(yàn)是一種精細(xì)化運(yùn)營(yíng)的手段。通過(guò)對(duì)實(shí)驗(yàn)策略和對(duì)照策略的數(shù)據(jù)進(jìn)行分析，對(duì)比關(guān)鍵指標(biāo)的變化，將轉(zhuǎn)化率高的策略進(jìn)行轉(zhuǎn)全上線。指標(biāo)分析分為實(shí)時(shí)指標(biāo)和離線指標(biāo)，實(shí)時(shí)指標(biāo)用來(lái)及時(shí)反饋數(shù)據(jù)異常與否，離線指標(biāo)用來(lái)觀察業(yè)務(wù)關(guān)心的指標(biāo)的變化情況，其中對(duì)指標(biāo)的有效性分析需要統(tǒng)計(jì)學(xué)的樣本量預(yù)估和假設(shè)性檢驗(yàn)。

關(guān)鍵詞：AB實(shí)驗(yàn);數(shù)據(jù)埋點(diǎn);指標(biāo)分析;假設(shè)性檢驗(yàn);實(shí)驗(yàn)轉(zhuǎn)全

中圖分類號(hào)：TP311.13?文獻(xiàn)標(biāo)識(shí)碼：A?文章編號(hào)：1672-9129（2020）10-0026-02

1?項(xiàng)目背景介紹

ABTest將用戶隨機(jī)分為若干個(gè)用戶組，將不同的用戶組同時(shí)試驗(yàn)線上不同的版本效果。我們將新建一個(gè)頁(yè)面設(shè)置為測(cè)試頁(yè)面，然后這個(gè)新建的頁(yè)面可能在背景顏色，文字內(nèi)容及風(fēng)格樣式等與原有的基線頁(yè)面不同，我們將這兩個(gè)頁(yè)面隨機(jī)的分發(fā)給不同的在線用戶，其中看到基線頁(yè)面的用戶群體為A流量組，看到測(cè)試頁(yè)面的用戶群體為B流量組，A流量組和B流量組所占全體用戶的比例是一致的，且用戶畫像群體隨機(jī)離散。在實(shí)驗(yàn)過(guò)程中我們對(duì)用戶的行為數(shù)據(jù)進(jìn)行埋點(diǎn)，通過(guò)統(tǒng)一的上報(bào)通道收集到數(shù)據(jù)倉(cāng)庫(kù)中。最終后臺(tái)通過(guò)大數(shù)據(jù)分析的方式計(jì)算出基準(zhǔn)頁(yè)面及測(cè)試頁(yè)面不同的點(diǎn)擊，意向及轉(zhuǎn)化率等指標(biāo)，幫助業(yè)務(wù)對(duì)產(chǎn)品策略進(jìn)行決策。AB實(shí)驗(yàn)的三個(gè)特性，先驗(yàn)性：相對(duì)于后驗(yàn)先讓部分小流量用戶使用，來(lái)驗(yàn)證我們的想法;并行性：運(yùn)行兩個(gè)或兩個(gè)以上版本策略同時(shí)去對(duì)比，節(jié)省驗(yàn)證時(shí)間;科學(xué)性：用統(tǒng)計(jì)的指標(biāo)判斷結(jié)果，避免我們依靠經(jīng)驗(yàn)主義去做決策。

但是ABTest僅僅只是將用戶分成若干個(gè)不同的群體，存在如下的問題

1.1流量饑餓及實(shí)驗(yàn)間相互影響。現(xiàn)有大部分分流模型都是單層的實(shí)驗(yàn)?zāi)Ｐ?，即不同的?shí)驗(yàn)使用不同的流量，各自獨(dú)立，流量間互不干擾，但是會(huì)存在流量饑餓的問題。單層實(shí)驗(yàn)?zāi)Ｐ拖?，其中?shí)驗(yàn)A占用了40%的實(shí)驗(yàn)流量，實(shí)驗(yàn)B占用了50%的實(shí)驗(yàn)流量，在增加一個(gè)實(shí)驗(yàn)C20%的實(shí)驗(yàn)流量時(shí)，我們發(fā)現(xiàn)已經(jīng)沒有空閑流量給實(shí)驗(yàn)C使用，支持的實(shí)驗(yàn)個(gè)數(shù)是有限的。在多層的實(shí)驗(yàn)?zāi)Ｐ拖?，即不同的?shí)驗(yàn)使用的流量相互正交，可以最大程度支持實(shí)驗(yàn)數(shù)量，但是這樣會(huì)存在實(shí)驗(yàn)間相互干擾的情況。多層實(shí)驗(yàn)?zāi)Ｐ拖?，假設(shè)針對(duì)某個(gè)功能模塊建立了背景顏色實(shí)驗(yàn)和文字顏色實(shí)驗(yàn)，背景顏色實(shí)驗(yàn)中背景色是紅色或者白色，文字顏色實(shí)驗(yàn)中文字顏色是紅色或者綠色，并且這兩個(gè)實(shí)驗(yàn)分別放置于不同的實(shí)驗(yàn)層中，如果用戶同時(shí)命中了這兩個(gè)實(shí)驗(yàn)，并且命中的策略是背景顏色為紅色，文字顏色也是紅色，如此一來(lái)就導(dǎo)致了頁(yè)面樣式不可讀，實(shí)驗(yàn)間相互干擾的情況出現(xiàn)。

1.2業(yè)務(wù)埋點(diǎn)方案復(fù)雜。在一般的埋點(diǎn)方案下，業(yè)務(wù)方的每個(gè)需求都需要向負(fù)責(zé)埋點(diǎn)的同學(xué)申請(qǐng)埋點(diǎn)規(guī)范，并且需要業(yè)務(wù)方關(guān)注埋點(diǎn)的數(shù)據(jù)，實(shí)驗(yàn)埋點(diǎn)邏輯完全由代碼控制，增加了業(yè)務(wù)方同學(xué)的開發(fā)量，埋點(diǎn)行為缺乏控制，容易出現(xiàn)缺少埋點(diǎn)，埋點(diǎn)錯(cuò)誤等問題。

1.3數(shù)據(jù)產(chǎn)出不及時(shí)，缺乏科學(xué)分析方式。ABTest在整體流程上只包含業(yè)務(wù)的分流，并不包含產(chǎn)出數(shù)據(jù)的具體流程，所有的數(shù)據(jù)產(chǎn)出需要業(yè)務(wù)方找專業(yè)的數(shù)據(jù)人員去提取數(shù)據(jù)，而且在產(chǎn)出數(shù)據(jù)后，僅通過(guò)指標(biāo)的大小比較，以確定最優(yōu)策略。但在現(xiàn)實(shí)情況中，這樣的策略全量發(fā)布后，往往沒有獲得正向的收益。

2?實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

2.1分流模型：原有的分流模型只包含同層實(shí)驗(yàn)?zāi)Ｐ图岸鄬訉?shí)驗(yàn)?zāi)Ｐ?。而在?shí)驗(yàn)系統(tǒng)提供的解決方案中，可以同時(shí)滿足業(yè)務(wù)方對(duì)互斥實(shí)驗(yàn)和正交實(shí)驗(yàn)的需求。具體實(shí)現(xiàn)中，實(shí)驗(yàn)系統(tǒng)按照業(yè)務(wù)維度對(duì)用戶的流量進(jìn)行劃分，在每個(gè)業(yè)務(wù)內(nèi)部實(shí)驗(yàn)系統(tǒng)對(duì)實(shí)驗(yàn)的位置進(jìn)行了劃分，最高級(jí)別的是頁(yè)面的維度，其次對(duì)每個(gè)頁(yè)面拆解為多個(gè)模塊，最后在模塊的維度進(jìn)一步拆解為若干個(gè)層;接著實(shí)驗(yàn)系統(tǒng)內(nèi)部按照業(yè)務(wù)將用戶的流量均勻劃分為若干個(gè)流量大小相同的流量桶，然后將這些流量桶組成實(shí)驗(yàn)域，這些實(shí)驗(yàn)域包含隔離實(shí)驗(yàn)域（在這個(gè)域下的用戶不會(huì)命中任何實(shí)驗(yàn)），互斥實(shí)驗(yàn)域（在這個(gè)實(shí)驗(yàn)域中的用戶在這個(gè)業(yè)務(wù)下至多命中一個(gè)實(shí)驗(yàn)），正交實(shí)驗(yàn)域（在這個(gè)域中我們分為頁(yè)面隔離實(shí)驗(yàn)即用戶在一個(gè)頁(yè)面可以命中至多命中一個(gè)實(shí)驗(yàn)，正交實(shí)驗(yàn)即用戶可以命中多個(gè)實(shí)驗(yàn)）。業(yè)務(wù)在進(jìn)行實(shí)驗(yàn)的時(shí)候可以對(duì)自己實(shí)驗(yàn)的實(shí)驗(yàn)方式進(jìn)行選擇，放在不同的實(shí)驗(yàn)域中進(jìn)行實(shí)驗(yàn)，來(lái)支持更多的實(shí)驗(yàn)。

2.2流量圈定：首先對(duì)用戶進(jìn)行流量圈定，如所在的城市需要是北京，客戶端版本范圍圈定，用戶畫像圈定等，我們將這些條件和我們的實(shí)驗(yàn)進(jìn)行綁定，確保只有滿足上述條件的用戶才能命中該實(shí)驗(yàn)。

2.3分流算法： 將每一層用戶充分打散的算法，分流算法為f（分流標(biāo)識(shí)+離散因子）。在分流標(biāo)識(shí)方面，實(shí)驗(yàn)系統(tǒng)支持多種分流標(biāo)量，例如uuid，userid，cookie等一系列的用戶唯一標(biāo)識(shí)。而在離散因子上實(shí)驗(yàn)系統(tǒng)會(huì)為每層生成不同的離散因子，并且會(huì)對(duì)離散因子進(jìn)行預(yù)驗(yàn)證來(lái)保證該離散因子能夠保證用戶在每層上命中的實(shí)驗(yàn)都是均勻離散的。最后在離散算法上，我們通過(guò)對(duì)大量算法的驗(yàn)證，最終采用Murmur3Hash作為我們的離散算法，更好的保證用戶能夠充分離散。

分流流程： 根據(jù)分流算法f（用戶唯一標(biāo)識(shí)+業(yè)務(wù)） mod 100獲取用戶在業(yè)務(wù)上命中的桶號(hào)，根據(jù)桶號(hào)我們找到業(yè)務(wù)所在的實(shí)驗(yàn)域，如果在對(duì)照實(shí)驗(yàn)域，那么用戶不會(huì)命中任何實(shí)驗(yàn)，直接返回;如果用戶命中隔離實(shí)驗(yàn)域，那么用戶通過(guò)命中的桶號(hào)去層上找到對(duì)應(yīng)的實(shí)驗(yàn)，如果找到實(shí)驗(yàn)則返回該實(shí)驗(yàn)，如果沒有找到則直接返回。如果用戶命中正交實(shí)驗(yàn)域，這時(shí)如果該層屬于頁(yè)面隔離的實(shí)驗(yàn)范疇，我們根據(jù)分流算法f（用戶唯一標(biāo)識(shí)+業(yè)務(wù)+頁(yè)面標(biāo)識(shí)） mod 正交實(shí)驗(yàn)域桶個(gè)數(shù) 獲取新的桶號(hào);如果該層屬于正交實(shí)驗(yàn)的范疇我們根據(jù)分流算法f（用戶唯一標(biāo)識(shí)+業(yè)務(wù)+層標(biāo)識(shí)） mod 正交實(shí)驗(yàn)域桶個(gè)數(shù) 獲取新的桶號(hào)。我們根據(jù)獲取到的桶號(hào)去層上找到對(duì)應(yīng)的實(shí)驗(yàn)，如果找到實(shí)驗(yàn)則返回該實(shí)驗(yàn)，如果沒有找到則直接返回。

3?數(shù)據(jù)分析

3.1樣本量預(yù)估：層域模型客觀避免了實(shí)驗(yàn)干擾也支持了更多的實(shí)驗(yàn)，但是同層上主觀流量浪費(fèi)依然存在，大家喜歡隨機(jī)申請(qǐng)流量，流量到底多少合適？既不浪費(fèi)流量，又能保證流量足以置信。樣本量過(guò)?。簩?shí)驗(yàn)結(jié)果不能排除隨機(jī)誤差造成的假象樣本量過(guò)大：策略影響面較大、資源浪費(fèi)，同層流量是有限的。所以系統(tǒng)應(yīng)該提供科學(xué)的樣本量計(jì)算工具，根據(jù)現(xiàn)在的數(shù)據(jù)指標(biāo)和預(yù)估提升率計(jì)算出樣本量。

3.2埋點(diǎn)流程：業(yè)務(wù)PM首先在實(shí)驗(yàn)系統(tǒng)平臺(tái)配置該實(shí)驗(yàn)所需要關(guān)注的相關(guān)埋點(diǎn)，實(shí)驗(yàn)系統(tǒng)會(huì)將埋點(diǎn)和實(shí)驗(yàn)的關(guān)聯(lián)關(guān)系統(tǒng)一下發(fā)到分流服務(wù)中，然后客戶端向分流服務(wù)請(qǐng)求實(shí)驗(yàn)的時(shí)候會(huì)將埋點(diǎn)信息一并下發(fā)到客戶端中，并保存到本地的緩存。業(yè)務(wù)只需要關(guān)注自己業(yè)務(wù)的埋點(diǎn)，并不需要顯式的將實(shí)驗(yàn)信息追加到埋點(diǎn)中，最終在埋點(diǎn)通報(bào)上報(bào)的過(guò)程中，會(huì)去通過(guò)埋點(diǎn)id查詢本地緩存，找到該埋點(diǎn)關(guān)聯(lián)的實(shí)驗(yàn)信息，自動(dòng)追加到埋點(diǎn)中，完成實(shí)驗(yàn)數(shù)據(jù)的上報(bào)。

3.3數(shù)據(jù)產(chǎn)出：業(yè)務(wù)首先在實(shí)驗(yàn)系統(tǒng)平臺(tái)配置關(guān)心的數(shù)據(jù)指標(biāo)，根據(jù)上面埋點(diǎn)流程產(chǎn)出的數(shù)據(jù)，實(shí)驗(yàn)系統(tǒng)會(huì)將業(yè)務(wù)實(shí)驗(yàn)的流量明細(xì)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，實(shí)驗(yàn)系統(tǒng)會(huì)通過(guò)業(yè)務(wù)配置的不同的數(shù)據(jù)指標(biāo)。

實(shí)時(shí)指標(biāo)：1）數(shù)據(jù)指標(biāo)：曝光UV、點(diǎn)擊UV、意向UV、支付UV、支付訂單數(shù)、支付金額等;2）實(shí)時(shí)數(shù)據(jù)以天為維度，從當(dāng)天0點(diǎn)0分開始到當(dāng)前時(shí)間的累積數(shù)據(jù)（UV去重）;3）存入底表字段：除了篩選維度外，支持 abtest_key、版本、埋點(diǎn)模塊 在底表查詢; 4）展示需求：默認(rèn)按該ABkey下ABtest_flow維度展示當(dāng)天實(shí)時(shí)指標(biāo)數(shù)據(jù);日期項(xiàng)下顯示當(dāng)天。每個(gè)實(shí)驗(yàn)數(shù)據(jù)表中展示這個(gè)實(shí)驗(yàn)key的埋點(diǎn)轉(zhuǎn)化數(shù)據(jù)（每個(gè)實(shí)驗(yàn)的數(shù)據(jù)單獨(dú)展示）;5）數(shù)據(jù)下載需求：支持?jǐn)?shù)據(jù)下載及復(fù)制SQL。

離線指標(biāo)：?jiǎn)?dòng)不同的后臺(tái)ETL任務(wù)將實(shí)驗(yàn)的指標(biāo)數(shù)據(jù)進(jìn)行聚合，統(tǒng)一存儲(chǔ)到業(yè)務(wù)實(shí)驗(yàn)指標(biāo)庫(kù)中，最后在實(shí)驗(yàn)系統(tǒng)平臺(tái)讀取業(yè)務(wù)實(shí)驗(yàn)指標(biāo)庫(kù)的數(shù)據(jù)進(jìn)行報(bào)表展示。

3.4數(shù)據(jù)分析：業(yè)務(wù)在進(jìn)行數(shù)據(jù)分析的過(guò)程中，實(shí)驗(yàn)系統(tǒng)引入了統(tǒng)計(jì)學(xué)的相關(guān)概念，假設(shè)性檢驗(yàn)，是統(tǒng)計(jì)學(xué)中用來(lái)判斷從樣本得出的結(jié)論能否推論到總體的一種方法（小概率反正法）。原假設(shè)：實(shí)驗(yàn)策略與對(duì)照策略無(wú)顯著差別，備擇假設(shè)：實(shí)驗(yàn)策略與對(duì)照策略有顯著的差別，顯著性水平α：當(dāng)原假設(shè)為正確時(shí)卻把它拒絕了的概率或風(fēng)險(xiǎn)，規(guī)約α=0.05，P值：表示對(duì)原假設(shè)的支持程度，P <=α?xí)r，小概率事件不可能發(fā)生，拒絕原假設(shè)，即備擇假設(shè)成立，P> α?xí)r，接受原定的零假設(shè)。我們將實(shí)驗(yàn)的結(jié)論直觀的告訴給業(yè)務(wù)方，方便業(yè)務(wù)方進(jìn)行數(shù)據(jù)分析，確定實(shí)驗(yàn)是否置信。

3.5實(shí)驗(yàn)轉(zhuǎn)全：實(shí)驗(yàn)策略的指標(biāo)達(dá)到預(yù)期后，需要發(fā)起轉(zhuǎn)全申請(qǐng)，申請(qǐng)應(yīng)該提正式的轉(zhuǎn)全郵件，內(nèi)容應(yīng)該包括實(shí)驗(yàn)背景概述、項(xiàng)目簡(jiǎn)介、小流量數(shù)據(jù)指標(biāo)、性能數(shù)據(jù)、上線日期、下一步計(jì)劃、審批人和關(guān)注人等，待審批人認(rèn)可并通過(guò)審批后方可進(jìn)行策略上線。

參考文獻(xiàn)：

[1] R. Kohavi， R. Longbotham， D. Sommerfield， and R. M. Henne. Controlled experiments on the web： Survey and practical guide. Data Mining and Knowledge Discovery， 18， no. 1：140–181， July 2008.

[2]T. Crook， B. Frasca， R. Kohavi， and R. Longbotham. Seven pitfalls to avoid when running controlled experiments on the web. Microsoft white paper， March 2008. http：//exp-platform.com/Documents/ExPpitfalls.pdf.

[3]石林，張景.概率論與數(shù)理統(tǒng)計(jì)——理論與演練[M].第1版.成都：西南交通大學(xué)出版社，2013