校園網(wǎng)用戶行為分析系統(tǒng)設計與實現(xiàn)

許聞秋++高偉++申健

摘要：用戶視頻瀏覽行為是視頻個性化推薦及視頻網(wǎng)站優(yōu)化的關鍵，而校園網(wǎng)用戶區(qū)別于其他社會群體有其特殊代表性。本文基于校園網(wǎng)流量，提出了一種基于MapReduce的校園網(wǎng)視頻用戶行為分析方案，融合深度包檢測與網(wǎng)絡爬蟲技術，挖掘校園網(wǎng)用戶視頻行為特征。以優(yōu)酷網(wǎng)為例，統(tǒng)計了用戶行為識別率并分析了視頻用戶行為，給出校園網(wǎng)用戶視頻推薦列表。

關鍵詞：校園網(wǎng) 視頻用戶 行為分析

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2014）12-0134-02

Design and Implementation of Campus Network Users Behavior Analysis System

Xu Wenqiu，Gao Wei，Shen Jian

大數(shù)據(jù)時代，信息量增長，用戶數(shù)增加。截至2014年12月，我國網(wǎng)絡視頻用戶規(guī)模達到4.33億，比去年年底增加了478萬，用戶使用率為66.7%，中國網(wǎng)絡視頻的用戶規(guī)模持依舊呈現(xiàn)出持續(xù)穩(wěn)定上升的態(tài)勢[1]。校園網(wǎng)用戶不同于其他社會群體，有其獨特的行為和偏好特征。視頻瀏覽是校園網(wǎng)用戶學習生活的一部分。

本文在傳統(tǒng)視頻推薦及流量識別的基礎上，提出了一種對校園網(wǎng)視頻流量識別及用戶行為分析方案。

1 研究背景

傳統(tǒng)的視頻推薦技術需要首先獲取視頻網(wǎng)站日志挖掘用戶數(shù)據(jù)，再對視頻網(wǎng)站用戶行為進行研究。傳統(tǒng)基于端口及協(xié)議的流量識別方法并不能滿足校園網(wǎng)大數(shù)據(jù)流量的存儲與分析要求。前人的研究無一例外都是以商業(yè)網(wǎng)站的自身優(yōu)化為目的。為了解決傳統(tǒng)數(shù)據(jù)挖掘算法無法對TB級校園網(wǎng)流量數(shù)據(jù)進行存儲于運算的問題，本文借助MapReduce的分布式存儲及并行運算優(yōu)勢。融合深度數(shù)據(jù)包檢測及視頻網(wǎng)站爬蟲技術對校園網(wǎng)視頻用戶行為進行挖掘和統(tǒng)計分析，并生成推薦列表。

本文創(chuàng)新點如下。

（1）研究對象不同。不同于前人對商業(yè)視頻網(wǎng)站的用戶行為研究，本文針對校園網(wǎng)用戶，研究該群體在主流視頻網(wǎng)站的用戶行為。

（2）研究方法不同。不同于前人基于P2P或提取網(wǎng)站日志的流量識別方法，本文基于深度包檢測技術，對校園網(wǎng)數(shù)據(jù)中心交換機端口的鏡像信息進行抓包。并結合網(wǎng)絡爬蟲技術，爬取視頻網(wǎng)站視頻信息，從而識別用戶視頻行為的研究實屬首列。

（3）研究目的不同。前人對視頻用戶行為研究目的在于調(diào)控網(wǎng)絡流量和網(wǎng)絡計費，本文目的在于針對校園網(wǎng)管理及視頻資源優(yōu)化。

2 系統(tǒng)方案設計

2.1 校園網(wǎng)視頻用戶行為識別

以優(yōu)酷網(wǎng)某視頻請求為例。通過抓包分析，對數(shù)據(jù)包重組解析，用戶HTTP請求內(nèi)容有明顯視頻用戶行為標識特征，如圖1所示，數(shù)據(jù)數(shù)據(jù)包中Full request URI可由Host域名和GET請求URI組合而成。當用戶瀏覽某視頻時，HTTP GET請求中會帶有明確的Host域名和視頻對應ID號。如訪問優(yōu)酷網(wǎng)時，請求URI “GET /v_show/id_XNDYyODM3MDM2.html”中的XNDYyODM3MDM2就是優(yōu)酷網(wǎng)視頻“重慶郵電大學傳媒藝術學院運動會啦啦隊”的唯一標識ID號。

2.2 MapReduce編程模型設計

本文通過多個MapReduce任務實現(xiàn)校園網(wǎng)流量數(shù)據(jù)包解析，如圖2所示。

（1）job 1數(shù)據(jù)包HTTP重組。通過PcapIputFormat從HDFS中讀取數(shù)據(jù)包，以數(shù)據(jù)包在文件的偏移量為key、數(shù)據(jù)包為value作為map階段的輸入，map任務對數(shù)據(jù)包解碼，以五元組（源IP、目的IP、源端口、目的端口、傳輸協(xié)議）進行數(shù)據(jù)包分流，并將時間戳、TCP序列號添加到數(shù)據(jù)包凈荷前面，用以reduce階段數(shù)據(jù)重組，最終形成以五元組為key、數(shù)據(jù)流為value作為map階段的輸出。

（2）job 2～3用戶視頻行為特征提取。以job 1 reduce輸出結果作為job 2 map輸入，拼接Host字段和GET字段還原完整的URL。同時提取Referer字段，存入Referer數(shù)據(jù)庫。reduce結果輸出以視頻行為特征字段/商品ID為key、計數(shù)為value的形式。

（3）job 4用戶視頻行為統(tǒng)計。以job 3 reduce結果為輸入，通過與視頻信息庫匹配，得到用戶瀏覽視頻具體信息，結果輸出以視頻行為特征字段/視頻ID/計數(shù)為key、視頻具體信息為value的形式，完成對用戶視頻行為的統(tǒng)計。

3 實驗結果與分析

3.1 實驗環(huán)境及數(shù)據(jù)

本文在Hadoop測試平臺，基于單位網(wǎng)絡中心3臺服務器上部署十臺虛擬機構成的集群。該集群由普通的PC機所組成，1個NameNode，8G內(nèi)存，500G硬盤；5個DataNode，均為4G內(nèi)存，500G硬盤。幾個節(jié)點均由交換機相連，使用雙核CPU。平臺使用Hcap-224F千兆數(shù)據(jù)采集卡，配置Hadoop1.1.2和JDK1.7.0_45。

采集本校學生公寓的數(shù)據(jù)，通過機房中心端口映射，以pcap（libpcap）格式保存離線文件?？傆嫴杉奶煺９ぷ魅招@網(wǎng)數(shù)據(jù)，即2013年12月9-12號，其中9-11日三天采集了校園網(wǎng)用戶課后自由支配時間段的數(shù)據(jù)，即18：00-23：00；11-12日兩天采集了校園網(wǎng)用戶工作時段的數(shù)據(jù)，即09：00-18：00?？傆嫴杉瘮?shù)據(jù)500G。

3.2 實驗結果分析

本文以校園網(wǎng)用戶的性別、時間段為主要分析緯度，分析視頻網(wǎng)站、頻道、節(jié)目的視頻訪問量，從以上三個方面對校園網(wǎng)視頻用戶行為統(tǒng)計分析。（如表1）

如圖3所示。18點至晚上21點視頻請求量顯著增大，并出現(xiàn)一天當中的峰值21點以后，視頻請求量再次下降，學生逐漸進入休息狀態(tài)。

4 結語

本文在視頻推薦研究基礎上，提出了一種基于MapReduce分布式模型的校園網(wǎng)視頻用戶行為分析系統(tǒng)。通過結合深度包檢測技術和網(wǎng)絡爬蟲技術，實現(xiàn)了對視頻業(yè)務內(nèi)容的準確識別，并對校園網(wǎng)用戶行為特征進行歸類、統(tǒng)計、分析和展示。為高校管理者及時了解在校學生的思想行為動態(tài)，為視頻提供商為有針對性訂制視頻節(jié)目，也為視頻網(wǎng)站優(yōu)化、實現(xiàn)精準營銷提供依據(jù)。

參考文獻

[1]中國互聯(lián)網(wǎng)絡信息中心（CNNIC）.第35次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告[R].2015：87-98.

[2]Tom White.Hadoop：The definitive Guide （3E），OReilly，2012.