面向IDC互聯(lián)網(wǎng)行為分析的大數(shù)據(jù)平臺(tái)設(shè)計(jì)與應(yīng)用

史興亞

摘 要：從ICP角度來(lái)講，網(wǎng)絡(luò)用戶的興趣愛(ài)好、消費(fèi)習(xí)慣、關(guān)系網(wǎng)絡(luò)及互聯(lián)網(wǎng)的潮流和走向都非常有價(jià)值，而這些信息都將在IDC處保存和交互，因此如何挖掘潛藏在這些信息數(shù)據(jù)中的商業(yè)價(jià)值變得十分迫切。為此，本文筆者結(jié)合相關(guān)知識(shí)，淺析面向IDC互聯(lián)網(wǎng)行為分析的大數(shù)據(jù)平臺(tái)設(shè)計(jì)與應(yīng)用。

關(guān)鍵詞：IDC；互聯(lián)網(wǎng)行為分析；大數(shù)據(jù)平臺(tái)

IDC是一種通過(guò)向用戶提供帶寬和機(jī)房環(huán)境的租用服務(wù)來(lái)為ICP、企業(yè)、媒體和網(wǎng)站提供安全、可靠、高質(zhì)量、大規(guī)模的服務(wù)器托管及增值服務(wù)的互聯(lián)網(wǎng)數(shù)據(jù)中心，其具有可靠性高、靈活性好的優(yōu)點(diǎn)，因此極大地方便了用戶。針對(duì)保存在IDC中的信息數(shù)據(jù)，急需建立起數(shù)據(jù)分析平臺(tái)來(lái)整合和深挖其中潛在的商業(yè)價(jià)值，從而增強(qiáng)對(duì)IDC客戶營(yíng)銷決策的服務(wù)能力。據(jù)此，筆者簡(jiǎn)要闡述這一數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)及其應(yīng)用。

1 互聯(lián)網(wǎng)行為分析平臺(tái)的架構(gòu)

圖1為面向IDC的互聯(lián)網(wǎng)行為分析平臺(tái)的業(yè)務(wù)模式。

根據(jù)圖1所示的業(yè)務(wù)模式，開發(fā)了一種面向服務(wù)的分布式系統(tǒng)架構(gòu)，其采用了一種基于J2EE的B/S軟件架構(gòu)，并應(yīng)用到了基于微信/易信平臺(tái)開發(fā)、互聯(lián)網(wǎng)行為可視化呈現(xiàn)、大數(shù)據(jù)存儲(chǔ)與分析、海量數(shù)據(jù)傳輸與分發(fā)、IP包采集與策略控制及流量分析等核心技術(shù)。在互聯(lián)網(wǎng)行為分析平臺(tái)中，前端網(wǎng)頁(yè)的開發(fā)采用了STRUTS2+JAAX+FLEX；接口層是一種基于ESB平臺(tái)的接口服務(wù)管控，其具有規(guī)范化和統(tǒng)一化的特征；應(yīng)用層采用的是JBOSS Web服務(wù)器；數(shù)據(jù)服務(wù)層用到了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)Oracle和Hadoop分布式文件系統(tǒng)，具體將DPI、網(wǎng)絡(luò)流量等海量數(shù)據(jù)存入Hadoop中及由Oracle來(lái)處理其他普通結(jié)構(gòu)化的數(shù)據(jù)。在互聯(lián)網(wǎng)行為分析平臺(tái)中，其需分別通過(guò)與IDC機(jī)房的DPI設(shè)備、IDC業(yè)務(wù)網(wǎng)管系統(tǒng)、IDC資源系統(tǒng)、CRM與計(jì)費(fèi)系統(tǒng)、AAA系統(tǒng)等對(duì)接來(lái)獲取網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)、IDC資源信息及業(yè)務(wù)數(shù)據(jù)等。另外，平臺(tái)通過(guò)接口適配實(shí)現(xiàn)了數(shù)據(jù)的采集與監(jiān)控，同時(shí)通過(guò)運(yùn)用Hadoop集群與NoSQL技術(shù)、分布式計(jì)算與存儲(chǔ)技術(shù)來(lái)采集、存儲(chǔ)和分析海量的DPI數(shù)據(jù)及網(wǎng)管流量數(shù)據(jù)。因此，互聯(lián)網(wǎng)行為分析平臺(tái)的建立可為IDC客戶提供信息服務(wù)、客戶報(bào)告及業(yè)務(wù)營(yíng)銷服務(wù)。

2 互聯(lián)網(wǎng)行為分析平臺(tái)的應(yīng)用

在本章節(jié)，筆者簡(jiǎn)要從如下方面淺析互聯(lián)網(wǎng)行為分析平臺(tái)的應(yīng)用：

2.1 互聯(lián)網(wǎng)行業(yè)分析

即：（1）網(wǎng)站排行分析，用戶通過(guò)輸入網(wǎng)站域名，便可查詢到網(wǎng)站的訪問(wèn)量，同時(shí)可按如下步驟維護(hù)網(wǎng)站的行業(yè)分類：首先劃分主流網(wǎng)站→允許用戶自定義及添加網(wǎng)站、類型→經(jīng)管理員審核通過(guò)→操作成功；（2）流量流向區(qū)域分析，具體分析省/市區(qū)域的流量流向情況，用以指導(dǎo)IDC客戶擴(kuò)容及調(diào)整市場(chǎng)方向；（3）應(yīng)用流量分析，具體從應(yīng)用方面分析IDC流量的分布狀況。

2.2 網(wǎng)站訪客分析

即通過(guò)深挖IDC中的DPI數(shù)據(jù)來(lái)深入分析訪問(wèn)平臺(tái)的網(wǎng)絡(luò)流量及訪客行為，具體如下：（1）訪問(wèn)趨勢(shì)分析，具體分析網(wǎng)站訪問(wèn)量在一段時(shí)間內(nèi)的變化走勢(shì)，從而直觀地對(duì)比呈現(xiàn)出多天在相同時(shí)段中的訪問(wèn)量；（2）訪問(wèn)地域分析，具體分析用戶所在的省份；（3）搜索引擎分析，具體分析用戶進(jìn)入平臺(tái)所用的搜索引擎；（4）搜索詞分析，具體分析用戶所用搜索詞的排名，用以支持客戶網(wǎng)站的SEO；（5）外部鏈接分析，具體分析訪客平臺(tái)的搜索引擎URL等外部鏈接URL；（6）運(yùn)營(yíng)商分析，具體分析訪客進(jìn)入平臺(tái)所選擇的運(yùn)營(yíng)商；（7）實(shí)時(shí)訪客分析，具體查看近0.5h進(jìn)入網(wǎng)站的訪客情況，其中包括訪問(wèn)地域與時(shí)間、訪客來(lái)源與類型、訪問(wèn)時(shí)長(zhǎng)與頁(yè)數(shù)、入口頁(yè)面及最后停留頁(yè)面等內(nèi)容；（8）客戶端信息分析，具體分析訪客平臺(tái)用戶所用的瀏覽器類型；（9）新老訪客分析，具體通過(guò)對(duì)比分析新老訪客的特征來(lái)指導(dǎo)IDC客戶對(duì)自身服務(wù)進(jìn)行優(yōu)化，從而實(shí)現(xiàn)留住老客戶及吸引新用戶的目的；（10）忠誠(chéng)度分析，深入分析用戶訪問(wèn)的網(wǎng)站頁(yè)面；（11）用戶興趣分析，具體分析訪客的興趣，用以指導(dǎo)IDC客戶針對(duì)性地改造系統(tǒng)，從而提高用戶的黏性。

2.3 運(yùn)營(yíng)監(jiān)控

在互聯(lián)網(wǎng)行為分析平臺(tái)中，運(yùn)營(yíng)監(jiān)控的實(shí)現(xiàn)主要表現(xiàn)在如下方面：（1）顯示客戶的名稱、地址、密碼、移動(dòng)電話及電子郵箱等基本信息；（2）顯示自帶交換機(jī)、服務(wù)器等資產(chǎn)信息，其中IP資源顯示客戶的IP信息及交換機(jī)端口顯示客戶的交換機(jī)端口信息；（3）網(wǎng)絡(luò)拓?fù)渲庇^地將客戶的網(wǎng)絡(luò)設(shè)備、主機(jī)資源顯示在拓?fù)渖霞巴ㄟ^(guò)監(jiān)控拓?fù)鋪?lái)獲取設(shè)備的流量、性能、告警等信息；（4）流量分析，即通過(guò)分析實(shí)際產(chǎn)生的流量與客戶購(gòu)買的實(shí)際流量來(lái)進(jìn)行預(yù)警或告警，具體展現(xiàn)方式包括流量值列表和流量波動(dòng)圖，其中流量波動(dòng)圖包括年、月、周、日流量圖等類型；（5）性能分析，即CPU等主機(jī)性能、路由器等網(wǎng)絡(luò)設(shè)備性能及Web與中間件服務(wù)等應(yīng)用性能，其中平臺(tái)的應(yīng)用系統(tǒng)支持通過(guò)擴(kuò)建來(lái)滿足系統(tǒng)未來(lái)的應(yīng)用需要；（6）告警分析，即對(duì)客戶的主機(jī)、端口、電路和網(wǎng)絡(luò)設(shè)備等進(jìn)行統(tǒng)一化的告警管理，并以郵件或短信等形式將最終的故障信息告知客戶，同時(shí)平臺(tái)通過(guò)集中存儲(chǔ)告警事件來(lái)實(shí)現(xiàn)對(duì)歷史告警的查詢和統(tǒng)計(jì)。

3 結(jié)語(yǔ)

針對(duì)本案所建立的互聯(lián)網(wǎng)行為分析平臺(tái)，其在技術(shù)上支持整合全網(wǎng)數(shù)據(jù)及綜合深挖跨地域與行業(yè)的數(shù)據(jù)；在應(yīng)用上主要面向IDC進(jìn)行互聯(lián)網(wǎng)行為分析，因此這種基于大規(guī)模的IDC流量數(shù)據(jù)可實(shí)現(xiàn)對(duì)全網(wǎng)進(jìn)行行為檢測(cè)和應(yīng)用分析。

參考文獻(xiàn)

[1]劉化召.面向IDC互聯(lián)網(wǎng)行為分析的大數(shù)據(jù)平臺(tái)設(shè)計(jì)與應(yīng)用[J].電信技術(shù)，2016，（1）：68-74.

[2]蔣昌俊，丁志軍，王俊麗，等.面向互聯(lián)網(wǎng)金融行業(yè)的大數(shù)據(jù)資源服務(wù)平臺(tái)[J].科學(xué)通報(bào)，2014，（36）：3547-3554.

[3]馬俊佳.中國(guó)移動(dòng)“36宮格”互聯(lián)網(wǎng)內(nèi)容資源評(píng)估優(yōu)化體系研究[J].電信技術(shù)，2015，（10）：88-92.

（作者單位：深圳市都信建設(shè)監(jiān)理有限公司）