基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

羅嘉龍 蘇毓洲 方健煒 陳正銘

摘要：隨著大數(shù)據(jù)時(shí)代多元化商業(yè)模式和細(xì)分市場(chǎng)的快速發(fā)展，眾多行業(yè)面臨著高昂獲客成本和流失率的雙重挑戰(zhàn)，如何精確獲取用戶行為數(shù)據(jù)成為重中之重。為解決問(wèn)題，該文提出基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺(tái)，對(duì)用戶行為數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，優(yōu)化企業(yè)營(yíng)銷策略，精細(xì)化運(yùn)營(yíng)。本項(xiàng)目通過(guò)測(cè)試，證實(shí)能更好地對(duì)任意網(wǎng)站進(jìn)行用戶數(shù)據(jù)獲取和挖掘利用。

關(guān)鍵詞：大數(shù)據(jù);獲客成本;高流失率;用戶行為分析;精細(xì)化

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）35-0054-03

時(shí)至今日，大數(shù)據(jù)（big data）一詞頻繁出現(xiàn)在各信息領(lǐng)域。據(jù)預(yù)計(jì)，到2020年全球每天所產(chǎn)文件、圖片、視頻等各類信息數(shù)據(jù)量可達(dá)35ZB（240GB量級(jí)）[2]，并還在增長(zhǎng)，這些龐大數(shù)據(jù)中包含著豐富的用戶行為信息。如何及時(shí)、精確地從這些信息中統(tǒng)計(jì)、分析出對(duì)企業(yè)有用的數(shù)據(jù)信息，挖掘出這些信息背后隱含規(guī)律和價(jià)值，已成為制約企業(yè)決策發(fā)展戰(zhàn)略，開(kāi)拓市場(chǎng)和擴(kuò)寬客戶群的重要因素[3]。目前企業(yè)主流做法是引入類似于諸葛IO，百度統(tǒng)計(jì)等第三方模塊，或者另外自行開(kāi)發(fā)后臺(tái)統(tǒng)計(jì)模塊。為此，本文設(shè)計(jì)用戶行為分析平臺(tái)[4]，運(yùn)用大數(shù)據(jù)分析技術(shù)、Lu-cene全文檢索交叉分析算法，自定義埋點(diǎn)技術(shù)，摒除接入第三方服務(wù)進(jìn)行用戶分析所帶來(lái)的風(fēng)險(xiǎn)，對(duì)數(shù)據(jù)進(jìn)行用戶渠道轉(zhuǎn)化、新增、留存、多維度交叉分析，能很好地發(fā)現(xiàn)潛藏規(guī)律，預(yù)測(cè)數(shù)據(jù)未來(lái)走向，并以圖表可視化形式展示，很大程度上滿足了企業(yè)決策者需求。

1 存在問(wèn)題描述

經(jīng)市場(chǎng)調(diào)研，傳統(tǒng)的企業(yè)開(kāi)發(fā)網(wǎng)頁(yè)系統(tǒng)普遍存在問(wèn)題如下：

1）性能問(wèn)題：用戶在日常體驗(yàn)過(guò)程，網(wǎng)頁(yè)往往會(huì)生成大量的新增留存數(shù)據(jù)。傳統(tǒng)企業(yè)開(kāi)發(fā)網(wǎng)頁(yè)系統(tǒng)需要及時(shí)對(duì)其進(jìn)行數(shù)據(jù)處理并分析數(shù)據(jù)所帶來(lái)的潛在信息，這一過(guò)程會(huì)極大消耗服務(wù)器大量性能，同時(shí)對(duì)系統(tǒng)性能造成一定損耗。

2）獲客成本問(wèn)題：傳統(tǒng)網(wǎng)頁(yè)開(kāi)發(fā)系統(tǒng)為了處理網(wǎng)頁(yè)用戶數(shù)據(jù)往往會(huì)消耗一定成本自行開(kāi)發(fā)，或者接入第三方服務(wù)統(tǒng)計(jì)功能模塊，從而導(dǎo)致企業(yè)開(kāi)發(fā)網(wǎng)頁(yè)獲客成本高昂，得不償失。

3）安全性問(wèn)題：目前，部分企業(yè)會(huì)接入第三方服務(wù)來(lái)優(yōu)化數(shù)據(jù)統(tǒng)計(jì)模塊（如諸葛IO，百度統(tǒng)計(jì)等），雖然成本較低，但所有分析都將暴露給了第三方平臺(tái)，數(shù)據(jù)存在泄漏的可能，隱含著極大安全隱患。

4）用戶高流失率[1]問(wèn)題：企業(yè)傳統(tǒng)網(wǎng)頁(yè)在開(kāi)發(fā)過(guò)程中統(tǒng)計(jì)方式單一，數(shù)據(jù)處理與分析方面還做得不夠完善，如何提高用戶體驗(yàn)感迫在眉睫，用戶流失高問(wèn)題日漸體現(xiàn)。

5）市場(chǎng)營(yíng)銷定位問(wèn)題：一個(gè)精確、符合大眾用戶的營(yíng)銷策略決定一個(gè)企業(yè)的盈利虧損。傳統(tǒng)網(wǎng)頁(yè)開(kāi)發(fā)對(duì)在挖掘用戶數(shù)據(jù)潛在價(jià)值這一模塊缺乏重視，制約著決策者對(duì)市場(chǎng)營(yíng)銷數(shù)據(jù)流動(dòng)進(jìn)行正確的價(jià)值評(píng)估，往往導(dǎo)致決策者無(wú)法作出精確營(yíng)銷[5]，造成經(jīng)濟(jì)上不必要的損失。

2 系統(tǒng)設(shè)計(jì)理念與模塊

用戶行為分析平臺(tái)設(shè)計(jì)采用SSM+MAVEN框架進(jìn)行開(kāi)發(fā)，嚴(yán)格遵守著MVC思想，分析統(tǒng)計(jì)各個(gè)網(wǎng)站的瀏覽量，用戶群體訪問(wèn)量，為用戶提供較好的決策方案，操作簡(jiǎn)單、數(shù)據(jù)準(zhǔn)確，具有良好的個(gè)性化服務(wù)的特征其中本系統(tǒng)在事件的搜索上使用了全文檢索，提高了網(wǎng)站的查詢效率。由于在數(shù)據(jù)量龐大，基于大數(shù)據(jù)可視化的統(tǒng)計(jì)不可避免，為此，本系統(tǒng)做到了各種報(bào)表的導(dǎo)出與統(tǒng)計(jì)圖下載相結(jié)合，采用多維度細(xì)分時(shí)間分析，提供新增、活躍、留存訪客等分析數(shù)據(jù)，通過(guò)大數(shù)據(jù)精確分析[6]，同時(shí)還提供標(biāo)簽反向檢測(cè)，減少數(shù)據(jù)錯(cuò)誤，為決策者、網(wǎng)站管理者提供幫助。平臺(tái)主要分為以下模塊：

3 系統(tǒng)實(shí)現(xiàn)

3.1系統(tǒng)架構(gòu)流程介紹

如下圖2所示，當(dāng)用戶對(duì)網(wǎng)站進(jìn)行操作，用戶行為數(shù)據(jù)將會(huì)發(fā)送至本系統(tǒng)的接收器，接收器通過(guò)算法對(duì)數(shù)據(jù)進(jìn)行篩選與過(guò)濾，進(jìn)而把有效數(shù)據(jù)存儲(chǔ)進(jìn)數(shù)據(jù)倉(cāng)庫(kù)。當(dāng)數(shù)據(jù)倉(cāng)庫(kù)接收到數(shù)據(jù)后，系統(tǒng)利用一系列如用戶活躍度、終端分析、地域分析等大數(shù)據(jù)用戶行為分析算法，根據(jù)用戶在網(wǎng)頁(yè)的瀏覽行為進(jìn)行加權(quán)評(píng)分，然后全局比較，分析用戶活躍沉默用戶，同時(shí)會(huì)將計(jì)算后的結(jié)果趨勢(shì)分析，分析出用戶是否留存，最終以大數(shù)據(jù)分析圖表技術(shù)展示，并把結(jié)果返回給用戶。同時(shí)，基于數(shù)據(jù)量較大影響系統(tǒng)的檢索速度的不足，本系統(tǒng)采用全文檢索算法[7]，從根本上解決搜索檢索效率的問(wèn)題，最后將會(huì)把數(shù)據(jù)回饋展示到系統(tǒng)頁(yè)面上，以提供用戶實(shí)時(shí)使用。同時(shí)，本系統(tǒng)為解決獲取的用戶數(shù)據(jù)可能因網(wǎng)站版本的迭代或傳輸過(guò)程中出現(xiàn)錯(cuò)誤的問(wèn)題，設(shè)計(jì)開(kāi)發(fā)出驗(yàn)證檢測(cè)模塊，該模塊利用爬蟲與標(biāo)簽遞歸算法檢查數(shù)據(jù)正確性，保證了統(tǒng)計(jì)數(shù)據(jù)的完整性。

3.2系統(tǒng)設(shè)計(jì)總流程

1）調(diào)查網(wǎng)上各類統(tǒng)計(jì)平臺(tái)的需求，設(shè)計(jì)平臺(tái)需求文檔，埋點(diǎn)方案[8]設(shè)計(jì)，不斷吸收大眾的意見(jiàn)，總結(jié)出明確的文檔。

2）設(shè)計(jì)系統(tǒng)Browser/Web/DataBase3層體系架構(gòu)：表示層（presentation）-Web瀏覽器、功能層（business logic）-具有應(yīng)用程序擴(kuò)展功能的Web服務(wù)器、數(shù)據(jù)層（data service）-數(shù)據(jù)庫(kù)服務(wù)器。

3）對(duì)系統(tǒng)模塊進(jìn)行劃分，明確各個(gè)模塊的功能和聯(lián)系。

4）設(shè)計(jì)后臺(tái)數(shù)據(jù)庫(kù)，規(guī)范設(shè)計(jì)出數(shù)據(jù)庫(kù)表，包含event、log、subpage、user、useraction、userdetail、web、webdetail等表。

5）編程和調(diào)試，完成前端頁(yè)面設(shè)計(jì)與實(shí)現(xiàn)和后端功能的開(kāi)發(fā)，完成前后端數(shù)據(jù)交互。最后再完成移動(dòng)端頁(yè)面的實(shí)現(xiàn)。

6）α測(cè)試：計(jì)算本機(jī)測(cè)試，采用不同瀏覽器和不同分辨率顯示器進(jìn)行可用性測(cè)試。

7）項(xiàng)目部署到云端。

8）β測(cè)試：讓測(cè)試人員采用不同的設(shè)備進(jìn)行測(cè)試，修改測(cè)試過(guò)程中發(fā)現(xiàn)的BUG。

9）調(diào)試修改代碼，根據(jù)測(cè)試結(jié)果，修改程序的不足之處。

3.3關(guān)鍵功能實(shí)現(xiàn)

前端埋點(diǎn)方案button按鈕標(biāo)簽數(shù)據(jù)獲取相關(guān)部分代碼：

$（'button'）.click（function （）{//前端Javascript代碼獲取所有button標(biāo)簽并進(jìn)行點(diǎn)擊事件處理

if（$（this）.attr（'min'）==null）{//判斷植入頁(yè)面button是否具有min屬性

var label='button';//賦值該button為label

var value=this.value;//賦值該button標(biāo)簽value值為

var text=this.innerText;//賦值該button標(biāo)簽innerText為tex

var id=this.id;//賦值該button標(biāo)簽id為id

var classname=this.className;

//賦值該button標(biāo)簽className為classname

var name=this.name;//賦值該button標(biāo)簽name為name

label=label=="‖label==null？"：label;

//三元表達(dá)式判斷l(xiāng)abel值是否為空

id=id=="‖id==null？"：id;

//三元表達(dá)式判斷id值是否為空

classname=classname=="‖classname==null？"：class-name;

//三元表達(dá)式判斷classname值是否為空

name=name=="‖name==null？"：name;

//三元表達(dá)式判斷name值是否為空

text=text=="‖text==null？"：text;

//三元表達(dá)式判斷text值是否為空

value=value=="‖value==null？"：value;

//三元表達(dá)式判斷vallue值是否為空

var tab=this.outerHTML==null？""：this.outerHTML;

//三元表達(dá)式判斷outerHTML值是否為空

var message='Iabel='+label+'&id='+id+'&className='+

classname+'&name='+name+'&text='+text+'&value='+value+'&tab='+tab;//賦值message

console.log（message）;//后臺(tái)輸出message進(jìn)行測(cè)試

if（tab！=null&&tab！="&&tab！='undefined'）{

//判斷tab是否為nun或undefined

sendMsg（message）;//發(fā)送到后端

}}}）;

當(dāng)頁(yè)面植入用戶行為平臺(tái)所下載的代碼，點(diǎn)擊任意button，即可輸出該button標(biāo)簽label名、value、innnerHTML、name、id、className等一系列標(biāo)簽屬性。如圖3所示，是button標(biāo)簽測(cè)試在后端輸出的結(jié)果。

當(dāng)用戶進(jìn)行用戶行為，系統(tǒng)會(huì)自動(dòng)監(jiān)控用戶行為所產(chǎn)生的數(shù)據(jù)，并對(duì)其進(jìn)行訪客分析，以1小時(shí)實(shí)時(shí)記錄訪問(wèn)者行為，在線時(shí)間、在線人數(shù)有多少個(gè)。分多時(shí)間緯度觀察近期訪問(wèn)者數(shù)量通過(guò)折線圖展示，而訪問(wèn)者詳細(xì)細(xì)節(jié)通過(guò)表格呈現(xiàn)（包括他們通過(guò)什么瀏覽器訪問(wèn)、訪問(wèn)時(shí)間、訪問(wèn)的操作系統(tǒng)、訪問(wèn)的頁(yè)面、訪問(wèn)的IP），并對(duì)其進(jìn)行地域分析，記錄訪問(wèn)者的來(lái)源地，如圖4所示通過(guò)中國(guó)地圖形式展現(xiàn)出來(lái)。

4 結(jié)束語(yǔ)

隨著互聯(lián)網(wǎng)技術(shù)的進(jìn)步和快速發(fā)展，精細(xì)化運(yùn)營(yíng)逐漸成為市場(chǎng)主流，而用戶行為數(shù)據(jù)分析的重要性日漸凸顯。本文講述基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)流程，致力于解決現(xiàn)有市場(chǎng)普遍存在的成本、安全等一系列問(wèn)題，同時(shí)可以有效提高用戶體驗(yàn)，很好的分擔(dān)決策者壓力。目前，本系統(tǒng)多次測(cè)試結(jié)果基本滿足設(shè)計(jì)需求。綜上所述，本文系統(tǒng)設(shè)計(jì)順應(yīng)社會(huì)發(fā)展趨勢(shì)，具有較好的商業(yè)實(shí)用性和較高的市場(chǎng)價(jià)值。

參考文獻(xiàn)：

[1]賴院根，劉敏健，王星.網(wǎng)絡(luò)環(huán)境下的信息用戶流失分析[J].情報(bào)科學(xué)，2011，29（11）：1736-1741.

[2]何運(yùn)祺.基于Hadoop移動(dòng)大數(shù)據(jù)的用戶行為分析[D].蘭州：蘭州理工大學(xué)，2017.

[3]陳恩紅，陳玉瑩，潘鎮(zhèn)，等.用戶序列行為分析研究與應(yīng)用綜述[J].安徽大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，42（5）：39-51.

[4]郝增勇.基于Hadoop用戶行為分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2014.

[5]楊芮.Web用戶行為數(shù)據(jù)收集統(tǒng)計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2015.

[6]閆朝陽(yáng).基于Web的大數(shù)據(jù)分析平臺(tái)交互設(shè)計(jì)研究[J].設(shè)計(jì)，2019（17）：94-97.

[7]王鵬.基于Hadoop全文檢索的研究與應(yīng)用[D].重慶：重慶郵電大學(xué)，2017.

[8]廖建軍.Web信息的無(wú)埋點(diǎn)精準(zhǔn)采集[D].北京：北京郵電大學(xué)，2019.

【通聯(lián)編輯：梁書】

收稿日期：2019-10-11

基金項(xiàng)目：韶關(guān)學(xué)院大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃立項(xiàng)項(xiàng)目（省級(jí)）（S201910576037）