大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的研究

葛艷珍

（淮北礦業(yè)股份有限公司財(cái)務(wù)共享中心 安徽省淮北市 235000）

對(duì)于海量的網(wǎng)絡(luò)數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析技術(shù)明顯不足以應(yīng)對(duì)，大數(shù)據(jù)分析技術(shù)具有更強(qiáng)的洞察力和分析能力，可對(duì)網(wǎng)絡(luò)中分散的各種信息進(jìn)行整合，借助數(shù)據(jù)挖掘技術(shù)，對(duì)網(wǎng)絡(luò)內(nèi)各要素的關(guān)系深入分析，在網(wǎng)絡(luò)規(guī)劃、優(yōu)化、安全保障、流量預(yù)測(cè)中發(fā)揮重要價(jià)值。下文結(jié)合筆者實(shí)踐經(jīng)驗(yàn)，對(duì)大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的應(yīng)用展開(kāi)綜述。

1 大數(shù)據(jù)分析技術(shù)及其作用

1.1 大數(shù)據(jù)分析技術(shù)的主要技術(shù)

大數(shù)據(jù)分析技術(shù)作為一種新時(shí)代處理和分析數(shù)據(jù)的方式，應(yīng)用的主要技術(shù)體現(xiàn)在以下方面：

（1）去除不必要的信息。大數(shù)據(jù)時(shí)代，信息的大爆炸使得企業(yè)要處理大量的信息，但是巨量的信息中并非所有的都是有價(jià)值的信息。想要在激烈的競(jìng)爭(zhēng)中抓住市場(chǎng)抓住發(fā)展的機(jī)會(huì)，就需要有效的處理無(wú)用的信息，利用大數(shù)據(jù)分析技術(shù)就能很好的實(shí)現(xiàn)數(shù)據(jù)的整合。

（2）數(shù)據(jù)的處理和提取。網(wǎng)絡(luò)中充斥著各類的信息，在大量的數(shù)據(jù)中，找到有用的信息離不開(kāi)大數(shù)據(jù)分析技術(shù)的高效整合和提取技術(shù)。

（3）可視化的數(shù)據(jù)分析?；谟?jì)算機(jī)的大數(shù)據(jù)分析技術(shù)能同時(shí)處理多項(xiàng)數(shù)據(jù)，在進(jìn)行數(shù)據(jù)的獲取和加工時(shí)，大數(shù)據(jù)分析技術(shù)能把整個(gè)的加工和處理的環(huán)節(jié)都進(jìn)行可視化的呈現(xiàn)。對(duì)于一些企業(yè)需要提取關(guān)鍵的數(shù)字信息，這時(shí)候就可以在數(shù)據(jù)的分析環(huán)節(jié)進(jìn)行可視化的數(shù)據(jù)分析技術(shù)，讓數(shù)據(jù)的處理結(jié)果更加的直觀清晰。新時(shí)代下進(jìn)行數(shù)據(jù)的處理，讓大數(shù)據(jù)分析技術(shù)和人工智能進(jìn)行融合，有利的一點(diǎn)是能使得數(shù)據(jù)的分析更加的準(zhǔn)確和可靠，為網(wǎng)絡(luò)信息系統(tǒng)的優(yōu)化提供技術(shù)上的發(fā)展基礎(chǔ)。

1.2 大數(shù)據(jù)分析技術(shù)的作用

在網(wǎng)絡(luò)信息系統(tǒng)中，由于不同的網(wǎng)絡(luò)設(shè)備數(shù)量眾多，由此產(chǎn)生的數(shù)據(jù)量非常大。傳統(tǒng)的數(shù)據(jù)分析技術(shù)無(wú)法在短時(shí)間內(nèi)快速處理和分析大量的數(shù)據(jù)信息。鑒于網(wǎng)絡(luò)信息系統(tǒng)中數(shù)據(jù)信息的類型不同，并且涉及的業(yè)務(wù)領(lǐng)域廣泛，想要使得工作的效率得到保證，可以利用大數(shù)據(jù)分析技術(shù)從海量復(fù)雜的數(shù)據(jù)中分析提取有價(jià)值的數(shù)據(jù)內(nèi)容進(jìn)行處理和整合，從而提高和優(yōu)化業(yè)務(wù)管理。現(xiàn)代網(wǎng)絡(luò)大數(shù)據(jù)分析技術(shù)在社會(huì)生活中發(fā)揮著重要作用，但是事物都是兩面性的，在人們獲得良好的聯(lián)網(wǎng)體驗(yàn)的同時(shí)，也因此產(chǎn)生越來(lái)越多的冗余數(shù)據(jù)。為了提高網(wǎng)絡(luò)安全和信息效率，可以引入大數(shù)據(jù)分析。完成大數(shù)據(jù)的采集、過(guò)濾、存儲(chǔ)、管理和應(yīng)用，提高網(wǎng)絡(luò)信息系統(tǒng)效率的技術(shù)。

2 網(wǎng)絡(luò)領(lǐng)域中應(yīng)用的大數(shù)據(jù)分析關(guān)鍵技術(shù)

2.1 數(shù)據(jù)匯聚傳輸

數(shù)據(jù)匯聚傳輸基于不同的開(kāi)發(fā)接口協(xié)議，采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范通過(guò)加密服務(wù)、SSL 證書、DDoS 防護(hù)、傳輸身份認(rèn)證等安全措施，實(shí)現(xiàn)集成 SCADA 數(shù)據(jù)、生產(chǎn)經(jīng)營(yíng)計(jì)劃各系統(tǒng)數(shù)據(jù)、服務(wù)資源及第三方數(shù)據(jù)的準(zhǔn)確采集及安全轉(zhuǎn)發(fā)。數(shù)據(jù)匯聚傳輸形式可以是公司各信息化系統(tǒng)的數(shù)據(jù)庫(kù)，可以是各單位上報(bào)的報(bào)表，也可以是手工導(dǎo)入系統(tǒng)的公司歷史檔案數(shù)據(jù)?？傊彩窃诠窘?jīng)營(yíng)計(jì)劃管理中產(chǎn)生的數(shù)據(jù)，均能夠成為數(shù)據(jù)匯聚的組成部分。

2.2 構(gòu)建數(shù)據(jù)處理中心

在軟硬件基礎(chǔ)之上，構(gòu)建企業(yè)大數(shù)據(jù)云存儲(chǔ)與應(yīng)用服務(wù)中心，提供大數(shù)據(jù)下的對(duì)象存儲(chǔ)、文件存儲(chǔ)，采用時(shí)空組織框架提供大數(shù)據(jù)展示與智能分析服務(wù)，為各類綜合應(yīng)用提供平臺(tái)服務(wù)插件、功能服務(wù)插件、數(shù)據(jù)服務(wù)插件、接口開(kāi)發(fā)插件、可視化展示插件、應(yīng)用插件和二次開(kāi)發(fā)工具，實(shí)現(xiàn)數(shù)據(jù)資源各核心業(yè)務(wù)數(shù)據(jù)集中管理，固化統(tǒng)一數(shù)據(jù)管理流程。數(shù)據(jù)中心通過(guò)企業(yè)服務(wù)總線（ESB）、主數(shù)據(jù)庫(kù)、主數(shù)據(jù)管理平臺(tái)的建設(shè)，實(shí)現(xiàn)多個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一共享，集中對(duì)核心業(yè)務(wù)數(shù)據(jù)進(jìn)行匯總、篩選等管理，最終以服務(wù)的形式把統(tǒng)一的、完整的、準(zhǔn)確的數(shù)據(jù)分發(fā)給其他需要使用這些數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。

2.3 數(shù)據(jù)管理

主要包含數(shù)據(jù)瀏覽、數(shù)據(jù)標(biāo)準(zhǔn)化、生命周期管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等功能。數(shù)據(jù)瀏覽提供圖形化的數(shù)據(jù)瀏覽展示，將總體的表數(shù)量及各子系統(tǒng)的數(shù)據(jù)量以圖表的形式直觀地展示出來(lái); 系統(tǒng)提供數(shù)據(jù)全生命周期的流動(dòng)管理（包括從數(shù)據(jù)到數(shù)據(jù)過(guò)時(shí)被刪除） ；數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)對(duì)數(shù)據(jù)從計(jì)劃、獲取、存 儲(chǔ)、共享、維護(hù)、應(yīng)用、失效全生命周期里可能引發(fā)的各類質(zhì)量問(wèn)題進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警，采集到數(shù)據(jù)中心的各類數(shù)據(jù)經(jīng)過(guò)質(zhì)量管理、標(biāo)準(zhǔn)化處理后，方可流入業(yè)務(wù)模型中。

（1）數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)存儲(chǔ)建立并存儲(chǔ)通過(guò)關(guān)聯(lián)規(guī)則和序列模式挖掘基于時(shí)間、空間、屬性和事件的多維關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)數(shù)據(jù)資源管理、塑化劑更新管理、歷史數(shù)據(jù)數(shù)據(jù)管理及數(shù)據(jù)傳輸管理。

（2）數(shù)據(jù)計(jì)算?；趯?shí)時(shí)接入能力和服務(wù)能力擴(kuò)展的需要，在萬(wàn)兆網(wǎng)絡(luò)、使用雙副本的條件下，對(duì)于高效模式單臺(tái)數(shù)據(jù)總線服務(wù)器支持的業(yè)務(wù)數(shù)據(jù)加載速度不低于 300 Mb /s，可以線性擴(kuò)展。對(duì)于可靠模式支持的業(yè)務(wù)數(shù)據(jù)加載速度不低于 20 Mb /s，可以線性擴(kuò)展。高效模式下數(shù)據(jù)允許有萬(wàn)分之一以內(nèi)的丟失?？煽磕Ｊ较录虞d數(shù)據(jù)要求與輸入數(shù)據(jù)一致。單集群支持的數(shù)據(jù)總線服務(wù)器總數(shù)不少于 100 臺(tái)。數(shù)據(jù)從輸入到訂閱者能夠訂閱到時(shí)延不高于 1 s。

（3）資產(chǎn)分析。資產(chǎn)分析通過(guò)圖、表等可視化的方式，直觀的對(duì)資產(chǎn)大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

（4）安全管理。采用防火墻、防病毒軟件等保護(hù)工具，利用磁盤的RAID 機(jī)制、容災(zāi)備份、軟件服務(wù)主備自動(dòng)切換、數(shù)據(jù)可備份與恢復(fù)、數(shù)據(jù)加密、數(shù)據(jù)脫敏等安全措施預(yù)防和解決系統(tǒng)或應(yīng)用程序在使用過(guò)程中出現(xiàn)計(jì)算、傳輸數(shù)據(jù)泄漏或數(shù)據(jù)失竊等問(wèn)題。

3 大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的應(yīng)用

3.1 光纖網(wǎng)絡(luò)中大數(shù)據(jù)分析技術(shù)的應(yīng)用

光纖屬于重要的網(wǎng)絡(luò)資源，對(duì)其合理分配，是滿足用戶對(duì)網(wǎng)絡(luò)流量需求的重要措施，也是基本前提。近年來(lái)，在光纖網(wǎng)絡(luò)優(yōu)化、流量預(yù)測(cè)中，應(yīng)用大數(shù)據(jù)分析技術(shù)來(lái)解決問(wèn)題的案例屢屢增多，且均獲得了研究成果。其具體應(yīng)用包括如下方面：

3.1.1 網(wǎng)絡(luò)優(yōu)化

在光纖網(wǎng)絡(luò)優(yōu)化中，大數(shù)據(jù)分析技術(shù)的應(yīng)用，主要是可解決路由和波長(zhǎng)分配的問(wèn)題。路由和波長(zhǎng)分配算法對(duì)光纖網(wǎng)絡(luò)有重要意義。目前這一算法有多重解決方案，包括快速有效啟發(fā)式算法、分層圖模型、線性規(guī)劃模型等，而大數(shù)據(jù)分析技術(shù)在其中的應(yīng)用研究較少。研究人員開(kāi)發(fā)了一個(gè)Hadoop 云計(jì)算系統(tǒng)，其包含10 臺(tái)低端桌面，各計(jì)算機(jī)上能夠獨(dú)立運(yùn)行路由和波長(zhǎng)分配算法，對(duì)一定數(shù)量需求序列進(jìn)行分析，從而在短時(shí)間內(nèi)，對(duì)一定數(shù)量需求序列進(jìn)行評(píng)估。研究人員對(duì)各需求序列結(jié)果進(jìn)行評(píng)估，選出最佳解決方案，流程見(jiàn)圖1。

圖1： 需求序列分析流程圖

仿真結(jié)果發(fā)現(xiàn)，對(duì)若干混洗需求序列進(jìn)行評(píng)估，可以獲得和最優(yōu)值十分接近的性能。若某一大型網(wǎng)絡(luò)中，節(jié)點(diǎn)數(shù)共500 個(gè)，鏈路1000 條，請(qǐng)求4000 個(gè)，并行混洗光路需求序列5000 個(gè)，運(yùn)用這一系統(tǒng)，可在3h 之內(nèi)，為所有序列運(yùn)行同一個(gè)路由和波長(zhǎng)分配算法，這和普通的計(jì)算機(jī)相比，要快30 倍左右。

3.1.2 流量預(yù)測(cè)

新服務(wù)一旦出現(xiàn)，對(duì)網(wǎng)絡(luò)就會(huì)提出更高要求，所需的比特率更大，且要為動(dòng)態(tài)狀態(tài)，這需要網(wǎng)絡(luò)運(yùn)營(yíng)商主動(dòng)探索以動(dòng)態(tài)方式來(lái)解決預(yù)期流量問(wèn)題的系統(tǒng)，而虛擬網(wǎng)絡(luò)拓?fù)浼軜?gòu)為最佳解決系統(tǒng)。一種方案是，采取網(wǎng)絡(luò)超供應(yīng)形式，對(duì)預(yù)期流量做好應(yīng)對(duì)，不過(guò)這會(huì)導(dǎo)致總成本升高。另一方案是，在閾值基礎(chǔ)上實(shí)現(xiàn)容量重配置，節(jié)省功耗，這一方案的不足是，不能促使每個(gè)IP 路由器需安裝光轉(zhuǎn)發(fā)器數(shù)量減少。利用大數(shù)據(jù)分析技術(shù)，可以構(gòu)建一種新的方案，對(duì)原始目的地通信流展開(kāi)定期分析，來(lái)執(zhí)行對(duì)應(yīng)VNT 重構(gòu)，流程見(jiàn)圖2。這一方案是借助邊際IP 路由器，對(duì)流量監(jiān)控?cái)?shù)據(jù)展開(kāi)定期收集，各邊際路由器是每個(gè)其他目的路由器收集的流量樣本，這些信息會(huì)在收集數(shù)據(jù)庫(kù)中儲(chǔ)存。預(yù)測(cè)模塊可借助機(jī)器學(xué)習(xí)技術(shù)，為未來(lái)時(shí)段預(yù)測(cè)OD 的流量矩陣，此時(shí)，決策者可結(jié)合這一矩陣，決定是否開(kāi)展VNT 重構(gòu)。

圖2： 大數(shù)據(jù)分析技術(shù)上的VNT 重配置流程圖

相較于靜態(tài)、閾值的架構(gòu)方法，大數(shù)據(jù)分析技術(shù)基礎(chǔ)上的VNT 重構(gòu)方案，可節(jié)省安裝光轉(zhuǎn)發(fā)器總數(shù)8%至42%，且這一方案可于低流量狀態(tài)，將轉(zhuǎn)發(fā)器停用進(jìn)行應(yīng)對(duì)，達(dá)到節(jié)能的目的。同時(shí)，還可自光學(xué)層來(lái)將光路釋放，促使成本降低。

3.2 無(wú)線網(wǎng)絡(luò)中大數(shù)據(jù)分析技術(shù)的應(yīng)用

和網(wǎng)絡(luò)領(lǐng)域的其他分領(lǐng)域比較，無(wú)線網(wǎng)絡(luò)對(duì)于大數(shù)據(jù)分析技術(shù)的應(yīng)用更為成熟，且已形成了大量的研究成果。大數(shù)據(jù)分析技術(shù)在其中的應(yīng)用，主要集中在以下幾個(gè)方面：

3.2.1 故障檢測(cè)

故障檢測(cè)是無(wú)線網(wǎng)絡(luò)應(yīng)用大數(shù)據(jù)技術(shù)的典型案例。借助大數(shù)據(jù)分析技術(shù)實(shí)施故障檢測(cè)，主要是通過(guò)對(duì)帶寬趨勢(shì)、用戶通話記錄、切換成功情況、測(cè)量報(bào)告等進(jìn)行分析，來(lái)對(duì)設(shè)備故障、覆蓋程度弱、休眠小區(qū)、用戶異常等網(wǎng)絡(luò)故障問(wèn)題加以解決。

很多用戶會(huì)遇到手機(jī)通話突然中斷的情況，如用戶自某一小區(qū)向另一小區(qū)移動(dòng)后（如從5G 基站向4G 基站移動(dòng)），可能會(huì)出現(xiàn)無(wú)法接通、通話中斷情況，要解決這一類的問(wèn)題，通常需要應(yīng)用網(wǎng)絡(luò)仿真、路測(cè)、基于KPI 等方法。其中路測(cè)費(fèi)用較高，耗時(shí)較長(zhǎng)，而網(wǎng)絡(luò)仿真和基于KPI 的結(jié)果均不精確。國(guó)外學(xué)者借助大數(shù)據(jù)提出，可借助5G 網(wǎng)絡(luò)覆蓋的分析方法，對(duì)運(yùn)營(yíng)商儲(chǔ)存的大量網(wǎng)絡(luò)測(cè)試數(shù)據(jù)，來(lái)對(duì)現(xiàn)有網(wǎng)絡(luò)覆蓋性能加以優(yōu)化。這一方案是在Hadoop 平臺(tái)分析基站系統(tǒng)之上，通過(guò)移動(dòng)交換中心和基站子系統(tǒng)實(shí)現(xiàn)信息交換。5G 網(wǎng)絡(luò)覆蓋分析法精度較高，比基于KPI 的方法更為精確。網(wǎng)絡(luò)運(yùn)營(yíng)商可通過(guò)運(yùn)營(yíng)支撐系統(tǒng)，對(duì)網(wǎng)絡(luò)性能測(cè)量的數(shù)據(jù)進(jìn)行收集，借助大數(shù)據(jù)技術(shù)，處理運(yùn)營(yíng)支撐系統(tǒng)中的相關(guān)數(shù)據(jù)，從而實(shí)現(xiàn)高效、自動(dòng)的網(wǎng)絡(luò)優(yōu)化。還有研究人員發(fā)現(xiàn)了在大數(shù)據(jù)分析技術(shù)之上的覆蓋自由化算法，其是獲取、分析數(shù)據(jù)的基礎(chǔ)上，對(duì)現(xiàn)階段無(wú)線網(wǎng)絡(luò)性能情況做好記錄，對(duì)異常覆蓋性能小區(qū)加以定位，通過(guò)對(duì)天線參數(shù)適當(dāng)調(diào)整，促使下行覆蓋性能提升。對(duì)電信運(yùn)營(yíng)商而言，覆蓋優(yōu)化算法成本較低、效率較高。

3.2.2 緩存應(yīng)用

在緩存中大數(shù)據(jù)分析技術(shù)的應(yīng)用，主要包括優(yōu)化帶寬分配、緩存及熱點(diǎn)跟蹤、優(yōu)化緩存節(jié)點(diǎn)部署、5G 主動(dòng)緩存等內(nèi)容。

移動(dòng)互聯(lián)網(wǎng)中的用戶數(shù)量龐大，在互聯(lián)網(wǎng)應(yīng)用不斷增多的背景下，為用戶分配帶寬，提供高質(zhì)量服務(wù)，十分重要。大數(shù)據(jù)分析技術(shù)的應(yīng)用，能夠讓用戶隨時(shí)提供互聯(lián)網(wǎng)的連接，要實(shí)現(xiàn)這一目的，可借助動(dòng)態(tài)帶寬分配算法，讓要下載同一內(nèi)容的用戶，共享基站無(wú)線信道。這一算法可自用戶設(shè)備中，收集網(wǎng)絡(luò)數(shù)據(jù)及用戶數(shù)據(jù)，對(duì)用戶進(jìn)行劃分，放到不同集群中，實(shí)現(xiàn)寬帶共享，這樣能夠提升網(wǎng)絡(luò)資源的利用率，促使內(nèi)容分發(fā)速度加快。

5G 主動(dòng)緩存中，可在大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)基礎(chǔ)上，形成主動(dòng)緩存機(jī)制，來(lái)對(duì)5G 中內(nèi)容流行度進(jìn)行預(yù)測(cè)。在對(duì)用戶流量這一原始數(shù)據(jù)收集之后，可通過(guò)Hadoop 來(lái)對(duì)有用信息加以提取，如HTTP 請(qǐng)求統(tǒng)一資源標(biāo)識(shí)符、位置區(qū)域代碼等；之后可用這一信息，對(duì)原始數(shù)據(jù)中內(nèi)容流行度進(jìn)行評(píng)估。從大城市的基站中獲取的移動(dòng)用戶真實(shí)數(shù)據(jù)顯示，這一機(jī)制能促使緩存性能提升，并對(duì)用戶體驗(yàn)加以優(yōu)化。

3.2.3 流量監(jiān)控

大型蜂窩網(wǎng)絡(luò)的傳輸速率較高，可滿足用戶對(duì)移動(dòng)多媒體應(yīng)用的需求。這些網(wǎng)絡(luò)需要通過(guò)大容量、高性能服務(wù)器，實(shí)施流量監(jiān)視、分析。不過(guò)隨著人們對(duì)數(shù)據(jù)量、數(shù)據(jù)速率的需求逐漸提升，這一方法逐漸呈現(xiàn)出局限性。借助Hadoop移動(dòng)互聯(lián)網(wǎng)流量監(jiān)控系統(tǒng)，可在大型蜂窩網(wǎng)絡(luò)中部署，每日可對(duì)123Gbit/s 鏈路4.2TB 流量數(shù)據(jù)進(jìn)行監(jiān)測(cè)，性能較高，成本較低。Ocampo 等人，構(gòu)建了在Spark 基礎(chǔ)上的企業(yè)網(wǎng)絡(luò)流量監(jiān)控框架，允許批處理和流處理。流處理功能，可對(duì)各會(huì)話、各端口的帶寬應(yīng)用情況進(jìn)行分析，在不同時(shí)間跨度實(shí)現(xiàn)對(duì)用戶網(wǎng)絡(luò)活動(dòng)的監(jiān)測(cè)。這一框架可對(duì)存儲(chǔ)用戶流量進(jìn)行批量處理，能對(duì)用戶當(dāng)前活動(dòng)和歷史應(yīng)用情況進(jìn)行比較。流式、批量分析，都可構(gòu)成異常檢測(cè)基礎(chǔ)，可對(duì)錯(cuò)誤配置、惡意行為、異常行為進(jìn)行識(shí)別。這一框架可于不同數(shù)量用戶及工作負(fù)載之下，完成擴(kuò)展。

3.2.4 網(wǎng)絡(luò)優(yōu)化

網(wǎng)絡(luò)大融合背景下，各種通信手段及網(wǎng)絡(luò)間的互相操作越發(fā)頻繁，涉及到的優(yōu)化、協(xié)調(diào)部署更為復(fù)雜，對(duì)網(wǎng)絡(luò)管理系統(tǒng)中各數(shù)據(jù)處理的能力要求也越發(fā)升高。與此同時(shí)，業(yè)務(wù)類型越發(fā)多樣，入網(wǎng)設(shè)備數(shù)量增多，這為網(wǎng)絡(luò)規(guī)劃、優(yōu)化造成了一定挑戰(zhàn)。對(duì)網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)質(zhì)量可造成干擾的因素較多，傳統(tǒng)因果關(guān)系建模難度較大，而通過(guò)大數(shù)據(jù)分析技術(shù)，可對(duì)數(shù)據(jù)間有價(jià)值的、潛在的關(guān)系進(jìn)行分析，為網(wǎng)絡(luò)分析工作創(chuàng)造有利條件。目前，大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)規(guī)劃、優(yōu)化中的應(yīng)用，主要包括表1 中的幾個(gè)方面。

表1： 大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)規(guī)劃、優(yōu)化中的應(yīng)用

3.2.5 5G 通信

和4G 網(wǎng)絡(luò)相比，5 G 網(wǎng)絡(luò)的容量更大，速率更高，預(yù)期連接能力較高，至少可對(duì)1000 億臺(tái)設(shè)備、各用戶10gbps高速傳輸提供支持。借助大數(shù)據(jù)分析技術(shù)，推動(dòng)新興通信技術(shù)發(fā)展十分重要。在5G 網(wǎng)絡(luò)中，大數(shù)據(jù)分析技術(shù)包括預(yù)測(cè)分析、規(guī)范性分析、診斷分析及描述性分析。

描述性分析，指的是在歷史、當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)基礎(chǔ)上，展開(kāi)分析，對(duì)過(guò)去的事件進(jìn)行識(shí)別，分析測(cè)量報(bào)告中各決定因素等的方式，在網(wǎng)絡(luò)管理中應(yīng)用較多。可構(gòu)建5G 網(wǎng)在大數(shù)據(jù)自組織網(wǎng)絡(luò)基礎(chǔ)上的框架，開(kāi)發(fā)端到端網(wǎng)絡(luò)可見(jiàn)性，這樣能夠?qū)Ξ?dāng)前的網(wǎng)絡(luò)狀態(tài)形成完整情報(bào)，對(duì)用戶行為可進(jìn)行預(yù)測(cè)，且可具備連接網(wǎng)絡(luò)響應(yīng)、網(wǎng)絡(luò)參數(shù)的性能。

診斷分析是對(duì)歷史數(shù)據(jù)展開(kāi)分析，提供過(guò)去部分結(jié)果出現(xiàn)的根本原因。網(wǎng)絡(luò)運(yùn)營(yíng)商可結(jié)合診斷結(jié)果，采取更好措施來(lái)實(shí)施網(wǎng)絡(luò)運(yùn)維管理，防止過(guò)去出現(xiàn)過(guò)的負(fù)面結(jié)果，進(jìn)而為網(wǎng)絡(luò)優(yōu)化、故障診斷提供思路。

預(yù)測(cè)分析是對(duì)預(yù)測(cè)、未來(lái)結(jié)果概率展開(kāi)估算的方法，可對(duì)未來(lái)機(jī)會(huì)、風(fēng)險(xiǎn)進(jìn)行定義，能對(duì)用戶行為進(jìn)行預(yù)測(cè)。如可構(gòu)建在大數(shù)據(jù)分析基礎(chǔ)上的預(yù)測(cè)、主動(dòng)推送、緩存技術(shù)互相結(jié)合的系統(tǒng)，將用戶的需求作為個(gè)人興趣的驅(qū)動(dòng)需求，在大數(shù)據(jù)分析技術(shù)上，對(duì)用戶需求進(jìn)行預(yù)測(cè)，之后構(gòu)建這一系統(tǒng)基本的框架，結(jié)合預(yù)測(cè)結(jié)果，確定緩存、推送策略，應(yīng)用緩存命中率，對(duì)系統(tǒng)性能進(jìn)行測(cè)試。

規(guī)范性分析可對(duì)未來(lái)行動(dòng)造成的影響進(jìn)行預(yù)測(cè)，在組織行動(dòng)過(guò)程中，將“可能發(fā)生的事”作為參考，便于用戶根據(jù)這一結(jié)果，采取最合理的決策。典型規(guī)范性分析應(yīng)用，是網(wǎng)絡(luò)資源的分配。如有一種BDA 基礎(chǔ)上的切片準(zhǔn)入策略，這一策略可對(duì)資源分配的解決方案實(shí)現(xiàn)最優(yōu)化分析，促使基礎(chǔ)設(shè)施提供商利潤(rùn)明顯提升。軟件定義網(wǎng)絡(luò)、網(wǎng)絡(luò)功能虛擬化，可實(shí)現(xiàn)無(wú)線電、傳輸、云資源聯(lián)合協(xié)調(diào)，于5G 中占據(jù)核心作用。這樣，InPs 可于基礎(chǔ)物理設(shè)施之上，創(chuàng)建一個(gè)虛擬的網(wǎng)絡(luò)，在不同需求用戶之間實(shí)現(xiàn)資源的共享。InPs 可通過(guò)大數(shù)據(jù)分析，來(lái)對(duì)切片資源需求變化情況進(jìn)行預(yù)測(cè)。

3.3 網(wǎng)絡(luò)安全中大數(shù)據(jù)分析技術(shù)的應(yīng)用

對(duì)于網(wǎng)絡(luò)領(lǐng)域而言，網(wǎng)絡(luò)安全是重要支柱，是互聯(lián)網(wǎng)穩(wěn)定、可靠運(yùn)行的基礎(chǔ)，各網(wǎng)絡(luò)安全檢測(cè)措施，能為互聯(lián)網(wǎng)活動(dòng)的開(kāi)展創(chuàng)建安全通信保障。在網(wǎng)絡(luò)安全領(lǐng)域，大數(shù)據(jù)分析技術(shù)同樣可以發(fā)揮作用。

3.3.1 檢測(cè)APT 攻擊

在全球網(wǎng)絡(luò)信息化快速發(fā)展背景下，APT 這種針對(duì)性、滲透性、隱秘性強(qiáng)的攻擊逐漸增多，這導(dǎo)致企業(yè)、國(guó)家的網(wǎng)絡(luò)信息系統(tǒng)、數(shù)據(jù)安全均面臨巨大挑戰(zhàn)。APT 攻擊檢測(cè)的挑戰(zhàn)之一，是在發(fā)現(xiàn)檢測(cè)異常時(shí)，篩選出海量的數(shù)據(jù)，這導(dǎo)致檢測(cè)任務(wù)難度較大。因網(wǎng)絡(luò)數(shù)據(jù)數(shù)量多、增長(zhǎng)快、來(lái)源廣，傳統(tǒng)網(wǎng)絡(luò)外圍防御系統(tǒng)效果不佳。大數(shù)據(jù)分析技術(shù)可在海量數(shù)據(jù)中發(fā)現(xiàn)深度關(guān)聯(lián)，對(duì)APT 攻擊有明顯的防御效果。

借助大數(shù)據(jù)分析技術(shù)檢測(cè)APT 攻擊的具體應(yīng)用為：可根據(jù)攻擊樹(shù)概念，構(gòu)建概念攻擊模型，也即攻擊金字塔。在金字塔的頂層，包括可能被攻擊的目標(biāo)，如數(shù)據(jù)服務(wù)器、敏感數(shù)據(jù)等，通過(guò)橫向平面表示攻擊相關(guān)事件環(huán)境，如網(wǎng)絡(luò)平面或用戶平面。在檢測(cè)框架中，將組織內(nèi)和安全相關(guān)的事件分組成若干場(chǎng)景，之后于每個(gè)場(chǎng)景、跨場(chǎng)景之中，借助MAPReduce 并行處理，再通過(guò)不同算法，對(duì)可能惡意活動(dòng)進(jìn)行檢測(cè)。

3.3.2 檢測(cè)僵尸網(wǎng)絡(luò)

互聯(lián)網(wǎng)存在的一些安全問(wèn)題，如網(wǎng)絡(luò)釣魚、垃圾郵件等，均是因僵尸網(wǎng)絡(luò)引發(fā)。僵尸網(wǎng)絡(luò)指的是攻擊者控制的、被惡意軟件入侵的機(jī)器形成的網(wǎng)絡(luò)，一次攻擊中，僵尸網(wǎng)絡(luò)可對(duì)90000 個(gè)IP 形成攻擊，這是巨大的安全性挑戰(zhàn)。為檢測(cè)這一類攻擊，網(wǎng)絡(luò)分析師一般會(huì)通過(guò)網(wǎng)絡(luò)跟蹤、數(shù)據(jù)包捕獲來(lái)加強(qiáng)防御，不過(guò)這些大型數(shù)據(jù)集的處理，對(duì)普通計(jì)算機(jī)而言處理難度較大。為解決這一問(wèn)題，可通過(guò)大數(shù)據(jù)分析技術(shù)，構(gòu)建大數(shù)據(jù)分析框架P2P 僵尸網(wǎng)絡(luò)檢測(cè)系統(tǒng)，包括流量嗅探、機(jī)器學(xué)習(xí)、特征抽取模塊。這一系統(tǒng)可借助Dumpcap 來(lái)抓包，借助Tshark 提取域內(nèi)數(shù)據(jù)，送至HDFS 存儲(chǔ)，以Apache Hive 來(lái)提取動(dòng)態(tài)的網(wǎng)絡(luò)特征，最后通過(guò)Mahout 并行處理能力，構(gòu)建決策樹(shù)模型，用于僵尸網(wǎng)絡(luò)的檢測(cè)。

4 結(jié)束語(yǔ)

大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的應(yīng)用多種多樣，通過(guò)這一技術(shù)，用戶可以對(duì)網(wǎng)絡(luò)中的日志信息、流量信息、系統(tǒng)信號(hào)等進(jìn)行收集，充分挖掘數(shù)據(jù)背后潛藏的巨大利用價(jià)值，來(lái)獲取更高收益。在日后網(wǎng)絡(luò)領(lǐng)域應(yīng)用大數(shù)據(jù)分析技術(shù)過(guò)程中，需要特別注意數(shù)據(jù)安全、最小化處理、人口密集及貧窮地區(qū)微型互聯(lián)網(wǎng)連接、物聯(lián)網(wǎng)節(jié)點(diǎn)部署等內(nèi)容，促使大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域得到更為有效的應(yīng)用。