基于社區(qū)挖掘的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法

王永程，褚衍杰

(盲信號(hào)處理重點(diǎn)實(shí)驗(yàn)室，四川 成都 610041)

?

基于社區(qū)挖掘的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法

王永程，褚衍杰

(盲信號(hào)處理重點(diǎn)實(shí)驗(yàn)室，四川 成都 610041)

摘要：網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控通常應(yīng)用于大型企業(yè)級(jí)網(wǎng)絡(luò)監(jiān)控，通過分析企業(yè)網(wǎng)中承載的業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)中業(yè)務(wù)類型及不同業(yè)務(wù)對(duì)應(yīng)的終端分布情況的監(jiān)測(cè)。提出了一種基于社區(qū)挖掘的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法，該方法的輸入為企業(yè)網(wǎng)中IP通聯(lián)數(shù)據(jù)，通過構(gòu)建IP通聯(lián)圖，并基于IP通聯(lián)圖進(jìn)行社區(qū)挖掘，輸出IP通聯(lián)社區(qū)，每個(gè)社區(qū)代表一種業(yè)務(wù)類型，社區(qū)內(nèi)節(jié)點(diǎn)代表相應(yīng)的業(yè)務(wù)終端。通過對(duì)某大型跨國(guó)企業(yè)網(wǎng)絡(luò)數(shù)據(jù)的實(shí)證分析，發(fā)現(xiàn)與傳統(tǒng)業(yè)務(wù)監(jiān)控方法相比，該方法不僅能夠有效發(fā)現(xiàn)各業(yè)務(wù)網(wǎng)絡(luò)，實(shí)時(shí)監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)狀態(tài)，且能對(duì)網(wǎng)絡(luò)中出現(xiàn)的新業(yè)務(wù)進(jìn)行預(yù)警。

關(guān)鍵詞：網(wǎng)絡(luò)監(jiān)控；社區(qū)挖掘；業(yè)務(wù)網(wǎng)絡(luò)；深度包檢測(cè)(DPI)監(jiān)測(cè)

0前言

網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控一直是網(wǎng)絡(luò)管理、網(wǎng)絡(luò)監(jiān)控鄰域的重要內(nèi)容。隨著網(wǎng)絡(luò)業(yè)務(wù)越來越呈現(xiàn)出多樣化、復(fù)雜化的特點(diǎn)，對(duì)于網(wǎng)絡(luò)業(yè)務(wù)的精細(xì)化分和監(jiān)測(cè)成為學(xué)術(shù)界和工業(yè)界的重點(diǎn)研究課題。

傳統(tǒng)網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法包括早期的端口識(shí)別[1-2]、深度包檢測(cè)(deep packet inspection，DPI)[3-6]以及基于機(jī)器學(xué)習(xí)[7-10]的業(yè)務(wù)識(shí)別、監(jiān)控方法。端口識(shí)別是IP網(wǎng)絡(luò)發(fā)展初期常見的業(yè)務(wù)監(jiān)控手段，但隨著越來越多的業(yè)務(wù)采用動(dòng)態(tài)端口、端口偽裝以及端口封裝等規(guī)避網(wǎng)絡(luò)監(jiān)控的方式后，端口識(shí)別手段已經(jīng)不再適用。DPI深度包檢測(cè)[3-6]是目前應(yīng)用最廣的一類方法，該方法通過分析數(shù)據(jù)包載荷中的特征字段來識(shí)別業(yè)務(wù)。大多數(shù)協(xié)議含有一個(gè)或多個(gè)用于區(qū)分不同協(xié)議的字段，且這些字段通常是公開和易于分析得到的，這樣通過檢測(cè)和匹配這些字段就可以識(shí)別相應(yīng)的業(yè)務(wù)，如HTTP協(xié)議的GET，POST等字段。DPI檢測(cè)與端口識(shí)別本質(zhì)上是一樣的，都是確定性方法，區(qū)別在于前者利用的字段信息更多、更準(zhǔn)確。然而，DPI檢測(cè)方法仍不能解決私有協(xié)議業(yè)務(wù)、加密流量下的業(yè)務(wù)識(shí)別。利用機(jī)器學(xué)習(xí)的方法來識(shí)別網(wǎng)絡(luò)業(yè)務(wù)是近幾年的研究熱點(diǎn)，如業(yè)務(wù)聚類研究[7]，樸素貝葉斯用于業(yè)務(wù)分類[8]，貝葉斯網(wǎng)絡(luò)[9]以及SVM方法[10]等。這類方法不涉及具體的業(yè)務(wù)承載內(nèi)容，只需要特定的統(tǒng)計(jì)特征，不足之處在于業(yè)務(wù)識(shí)別的性能與機(jī)器學(xué)習(xí)方法的選擇依賴性大，且往往計(jì)算復(fù)雜度較高。

本文提出利用復(fù)雜網(wǎng)絡(luò)鄰域的社區(qū)挖掘技術(shù)[11]來識(shí)別網(wǎng)絡(luò)業(yè)務(wù)的方法，該方法的輸入為網(wǎng)絡(luò)中的IP終端通聯(lián)數(shù)據(jù)，基于這些通聯(lián)信息構(gòu)建IP通聯(lián)圖，通過社區(qū)挖掘技術(shù)，輸出IP通聯(lián)社區(qū)，每個(gè)社區(qū)代表一種業(yè)務(wù)類型，社區(qū)內(nèi)節(jié)點(diǎn)(IP節(jié)點(diǎn))代表相應(yīng)的業(yè)務(wù)終端。方法假設(shè)每個(gè)IP終端只運(yùn)行一種業(yè)務(wù)類型，顯然這個(gè)假設(shè)在公眾通信網(wǎng)中往往不合適，故這個(gè)方法適用于特定行業(yè)的專用網(wǎng)絡(luò)。我們有針對(duì)性地選取了某大型跨國(guó)企業(yè)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行實(shí)證分析，網(wǎng)絡(luò)終端都是該公司的辦公終端，每一終端運(yùn)行的網(wǎng)絡(luò)業(yè)務(wù)不超過2種，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)與傳統(tǒng)業(yè)務(wù)監(jiān)控方法相比，該方法不僅能夠有效發(fā)現(xiàn)各業(yè)務(wù)網(wǎng)絡(luò)，實(shí)時(shí)監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)狀態(tài)，且能對(duì)網(wǎng)絡(luò)中出現(xiàn)的新業(yè)務(wù)以及異常業(yè)務(wù)進(jìn)行預(yù)警。

1網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控總體框架

1.1應(yīng)用場(chǎng)景描述

基于社區(qū)挖掘的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控涉及的應(yīng)用場(chǎng)景如下：在公司專網(wǎng)內(nèi)的各路由器處，部署網(wǎng)絡(luò)數(shù)據(jù)采集器以及IP通聯(lián)元數(shù)據(jù)提取和預(yù)處理軟件。各采集點(diǎn)輸出的IP通聯(lián)記錄格式為四元組{t,IPsrc,IPdst,proto}，其中，t為時(shí)間戳，表示IP包采集時(shí)刻，IPsrc為源IP地址，IPdst為目的IP地址，proto為IP包頭內(nèi)的協(xié)議字段，利用proto可以對(duì)前端輸入進(jìn)行過濾，如只對(duì)TCP包所承載的業(yè)務(wù)感興趣的話，可以只分析proto=6的IP通聯(lián)記錄。

這里我們采用集中處理模式，即各采集點(diǎn)的通聯(lián)記錄統(tǒng)一傳輸?shù)郊刑幚碇行?，通?lián)元數(shù)據(jù)的采樣間隔T可由用戶自定義，由于在特定采集間隔內(nèi)，具有相同源地址、目的地址以及協(xié)議類型的通聯(lián)數(shù)據(jù)包只產(chǎn)生一次記錄，且集中處理中心會(huì)進(jìn)一步去重，故通聯(lián)元數(shù)據(jù)的傳輸對(duì)網(wǎng)絡(luò)帶寬的影響基本可忽略。

用戶既可以對(duì)多個(gè)時(shí)間段的IP通聯(lián)記錄分別進(jìn)行網(wǎng)絡(luò)業(yè)務(wù)分析，進(jìn)而監(jiān)控網(wǎng)絡(luò)業(yè)務(wù)的動(dòng)態(tài)變化情況，也可以長(zhǎng)時(shí)間持續(xù)收集IP通聯(lián)記錄，進(jìn)行一次性業(yè)務(wù)分析。

1.2網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控總體框架

如圖 1所示，網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控總體分2大部分，第1部分是各數(shù)據(jù)采集點(diǎn)IP通聯(lián)元數(shù)據(jù)的采集和預(yù)處理，第2部分是集中處理中心的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控引擎，完成數(shù)據(jù)收集去重、數(shù)據(jù)篩選、IP通聯(lián)圖構(gòu)建以及社區(qū)挖掘算法，最終輸出各業(yè)務(wù)網(wǎng)絡(luò)。這里業(yè)務(wù)網(wǎng)絡(luò)指由運(yùn)行相同業(yè)務(wù)的IP終端形成的通聯(lián)圖，是整個(gè)IP通聯(lián)圖的子圖。社區(qū)挖掘算法我們采用基于鄰域相似性的社區(qū)劃分方法[11]，下節(jié)將對(duì)該方法進(jìn)行詳細(xì)介紹。

圖1　網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控總體框架Fig.1　Framework of network service monitoring

2基于鄰域相似性的社區(qū)挖掘

IP通信網(wǎng)絡(luò)具有大量的節(jié)點(diǎn)和復(fù)雜的連接關(guān)系，具有和其功能相適應(yīng)的結(jié)構(gòu)特征，如小世界、無標(biāo)度、高積聚系數(shù)和組織結(jié)構(gòu)等特性。這些特性從不同的層面揭示了網(wǎng)絡(luò)的相關(guān)特征，對(duì)于分析和判斷網(wǎng)絡(luò)的功能、演化特性具有重要的意義。業(yè)務(wù)網(wǎng)絡(luò)結(jié)構(gòu)從網(wǎng)絡(luò)通信拓?fù)涞慕嵌葋砝斫饩褪侵竷?nèi)部緊密、外部松散的耦合模式，與傳統(tǒng)的社區(qū)結(jié)構(gòu)概念類似。如圖 2是一個(gè)簡(jiǎn)單的示意圖，其中，節(jié)點(diǎn)表示IP，邊表示IP之間具有通信關(guān)系?；贗P通聯(lián)圖的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控就是利用IP通聯(lián)關(guān)系實(shí)現(xiàn)圖中社區(qū)結(jié)構(gòu)的自動(dòng)發(fā)現(xiàn)。

圖2　具有3個(gè)社區(qū)的簡(jiǎn)單網(wǎng)絡(luò)Fig.2　Simple network with three communities

2.1IP通聯(lián)圖的構(gòu)建及社區(qū)結(jié)構(gòu)的度量

IP之間的通聯(lián)關(guān)系是一種關(guān)系型數(shù)據(jù)，可以建模為圖模型，IP作為圖中的節(jié)點(diǎn)，IP之間的通信關(guān)系作為圖中的邊。

設(shè)網(wǎng)絡(luò)G=(V,E)，具有n個(gè)節(jié)點(diǎn)，m條邊，即

(1)

(2)

其鄰接矩陣A=(Aij)n×n定義為

(3)

(4)

以及

(5)

(6)

對(duì)于社區(qū)結(jié)構(gòu)未知的網(wǎng)絡(luò)，模塊度度量了網(wǎng)絡(luò)不同劃分方式的差異。因此，社區(qū)發(fā)現(xiàn)問題可在一定程度上轉(zhuǎn)化為尋求網(wǎng)絡(luò)的某個(gè)劃分，使其具有最大的模塊度取值。

2.2基于鄰域相似性的社區(qū)劃分方法

首先定義網(wǎng)絡(luò)的鄰域?yàn)?/p>

(7)

它表示與節(jié)點(diǎn)Vi的距離不超過α的點(diǎn)的集合。其中，dist(Vi,Vj)表示頂點(diǎn)Vi,Vj之間的最短距離。如果α=0，它只有一個(gè)點(diǎn)，即Vi本身Cover(Vi,α)={Vi}；如果α=diameter(G)，其中,diameter(G)表示圖的直徑，它包含G中全部的點(diǎn)，即Cover(Vi,diameter(G))=V。

α為控制參數(shù)，在實(shí)驗(yàn)中，α的取值從0開始逐漸增大至diameter(G)，我們?nèi)∈沟媚K度為最大值時(shí)對(duì)應(yīng)的α為最佳α取值。

我們的社區(qū)發(fā)現(xiàn)過程是自下而上的，開始時(shí)每個(gè)節(jié)點(diǎn)都屬于單獨(dú)的劃分，即

(8)

(9)

每次合并2個(gè)最相似的成員集合，不妨設(shè)合并編號(hào)為i與編號(hào)為j的非空集合，新的集合編號(hào)設(shè)為j，此時(shí)編號(hào)為i的集合為空集，可以從劃分中刪除。即按照(10)式更新劃分。

(10)

此時(shí)，按照(11)式更新合并得到的集合與其他集合的相似性

(11)

(11)中，Ni表示合并前編號(hào)為i的集合所含的頂點(diǎn)數(shù)目。

(12)

即第i個(gè)劃分由n+1-i個(gè)不同的集合所構(gòu)成。然后比較這些劃分的模塊度取值，將取值最大的輸出，作為社區(qū)發(fā)現(xiàn)的結(jié)果。

(13)

注意，上述過程是對(duì)特定的α來進(jìn)行的。為了獲得更好的結(jié)果，我們讓?duì)翉?開始逐漸增大，來獲取最大的模塊度取值。最終的結(jié)果可表示為

(14)

Input：IPgraphG=(V,E)

4.H←newHeap()

5.for(Vi,Vj)∈E

6.Sij=sim(Vi,Vj|α)

7.H.insert(Sij,i,j)

8.endfor

9.whereH.isnotEmpty()

10.i=H.popMax(),j=H.popMax()

14.ifSik>0orSjk>0then

15. Sik=Ski=0

17. H.update(Sjk,j,k)

18. H.delete(Sik,i,k)

19.endif

20.endfor

21.ifQ>Qm

22. Qm=Q

24.endif

25.endwhile

3實(shí)驗(yàn)分析

為了驗(yàn)證該技術(shù)的有效性，利用某大型跨國(guó)企業(yè)網(wǎng)絡(luò)2015年1月至2015年6月的IP通聯(lián)數(shù)據(jù)，構(gòu)建IP通聯(lián)圖，該圖中有5 000多個(gè)節(jié)點(diǎn)，數(shù)十萬條邊，應(yīng)用鄰域相似性的社區(qū)劃分方法對(duì)網(wǎng)絡(luò)業(yè)務(wù)進(jìn)行挖掘，圖3為實(shí)驗(yàn)結(jié)果圖。從圖3中可以明顯看出幾大主要的網(wǎng)絡(luò)業(yè)務(wù)，分別用橢圓曲線標(biāo)明，通過人工驗(yàn)證，對(duì)主要的業(yè)務(wù)進(jìn)行了標(biāo)注，考慮到隱私性，專用業(yè)務(wù)用私有業(yè)務(wù)進(jìn)行標(biāo)示。橢圓內(nèi)的社區(qū)結(jié)構(gòu)模塊度強(qiáng)，與外部社區(qū)的聯(lián)系很少，說明該網(wǎng)絡(luò)中的主機(jī)(即圖中的一個(gè)節(jié)點(diǎn)，對(duì)應(yīng)一個(gè)IP地址)大多僅負(fù)責(zé)單一的功能，如VOIP業(yè)務(wù)、FTP業(yè)務(wù)等，這符合專用網(wǎng)絡(luò)的特點(diǎn)。僅有少數(shù)主機(jī)與外部社區(qū)有通信聯(lián)系，說明該部分主機(jī)同時(shí)負(fù)責(zé)多種業(yè)務(wù)。另外可以發(fā)現(xiàn)，在圖3的左下方存在未知業(yè)務(wù)社區(qū)，這部分業(yè)務(wù)未在該網(wǎng)絡(luò)事先約定的業(yè)務(wù)列表中，屬于異常現(xiàn)象，從而說明本文提出的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法能夠有效發(fā)現(xiàn)網(wǎng)絡(luò)中的新業(yè)務(wù)，而利用DPI檢測(cè)等方法將無法發(fā)現(xiàn)此類新業(yè)務(wù)，這一功能對(duì)網(wǎng)絡(luò)監(jiān)控而言具有重要意義。

圖3　網(wǎng)絡(luò)業(yè)務(wù)發(fā)現(xiàn)結(jié)果圖Fig.3　Network service discovery results

我們對(duì)圖3中的VOIP業(yè)務(wù)社區(qū)進(jìn)行了細(xì)粒度的分析，對(duì)其進(jìn)行放大處理，得到圖4所示的VOIP業(yè)務(wù)社區(qū)圖。從圖4中可以明顯看出，該業(yè)務(wù)的通信分成了模塊度強(qiáng)的2個(gè)社區(qū)，經(jīng)過對(duì)2部分社區(qū)涉及到的網(wǎng)絡(luò)數(shù)據(jù)的人工分析，發(fā)現(xiàn)圖4中右方的社區(qū)屬于正常的VOIP業(yè)務(wù)通信，而左側(cè)方框內(nèi)的部分并不是真正的語音業(yè)務(wù)數(shù)據(jù)。這2種數(shù)據(jù)都采用相同特征的端口，且用于識(shí)別VOIP業(yè)務(wù)的數(shù)據(jù)包載荷中的特征字段也相同，如果采用DPI檢測(cè)方法，將無法發(fā)現(xiàn)框內(nèi)的異常業(yè)務(wù)。上述現(xiàn)象表明，本文提出的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法能夠發(fā)現(xiàn)異常業(yè)務(wù)通信社區(qū)，從而識(shí)別出異常業(yè)務(wù)。

圖4　VOIP業(yè)務(wù)社區(qū)圖Fig.4　VOIP community result

4結(jié)論

本文提出了一種基于社區(qū)挖掘的網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控方法，該方法不僅能夠有效發(fā)現(xiàn)各業(yè)務(wù)網(wǎng)絡(luò)，實(shí)時(shí)監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)狀態(tài)，且能對(duì)網(wǎng)絡(luò)中的異常業(yè)務(wù)及出現(xiàn)的新業(yè)務(wù)進(jìn)行預(yù)警?；谀炒笮涂鐕?guó)企業(yè)網(wǎng)絡(luò)數(shù)據(jù)的實(shí)證分析，證明了該方法的有效性。

參考文獻(xiàn)：

[1]張治斌,譚靜.基于K均值與決策樹的P2P流量識(shí)別研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(03):798-802.

ZHANG Z B, TAN J. Research of P2Ptraffic identification based on K-Means and decision tree[J]. Computer Engineering & Design, 2014, 35(03):798-802.

[2]KARAGIANNIS T, PAPAGIANNAKI K, FALOUTSOS M. BLINC: Multilevel Traffic Classification in the Dark[J]. ACM Sigcomm Computer Communication Review, 2005, 35(4):229-240.

[3]SEN S, WANG J. Analyzing peer-to-peer traffic across large networks[J]. IEEE/ACM Transactions on Networking(ToN), 2004, 12(2): 219-232.

[4]LUCHAUP D, DE C L, JHA S, et al. Deep packet inspection with DFA-trees and parametrized language overapproximation[C]// INFOCOM, 2014 Proceedings IEEE.

Toronto: IEEE Press, 2014:531-539.

[5]BREMLER A, HARCHOL Y, HAY D, et al. Deep packet inspection as a service[C]//Proceedings of the 10th ACM International on Conference on emerging Networking Experiments and Technologies. New York: ACM Press, 2014: 271-282.

[6]SHIN S, JUNG J, BALAKRISHNAN H. Malware prevalence in the KaZaA file-sharing network[C]//Proceedings of the 6th ACM SIGCOMM conference on Internet measurement. New York: ACM Press, 2006: 333-338.

[7]ZENG Y, CHEN T M, ZENG Y, et al. Classification of Traffic Flows into QoS Classes by Unsupervised Learning and KNN Clustering[J]. Ksii Transactions on Internet & Information Systems, 2009, 3(2):134-146.

[9]AULD T, MOORE A W, GULL S F. Bayesian neural networks for internet traffic classification[J]. Neural Networks, IEEE Transactions on, 2007, 18(1): 223-239.

[10] YUAN R, LI Z, GUAN X, et al. An SVM-based machine learning method for accurate internet traffic classification[J]. Information Systems Frontiers, 2010, 12(2):149-156.

[11] XU L, ZHENG X, YI D Y. Community Detection by Neighborhood Similarity[J]. Chinese Physics Letters, 2012, 29(4):48902-48905.

Research on network traffic monitoring based on community minging

WANG Yongcheng，CHU Yanjie

(National Key Laboratory of Blind Signal Processing，Chengdu 6100412，P.R.China)

Abstract:Network traffic monitoring is usually applied to large enterprise network in monitoring traffic types and correponding terminals through the analysis of traffic data in network. We put forward a network traffic monitoring method based on community mining, with the IP communication data as input. This method constructs IP communication graph to mining IP community output IP communities. Each community represents a traffic type where nodes represent the corresponding service terminals. Through empirical analysis of the network data of a large multinational enterprise, the method can not only effectively discover the network traffic types, monitoring the network state in real time, but also give early warnings for new emerging traffic type.

Keywords：network monitoring; community mining; service network; deep packet inspection (DPI) monitoring

DOI：10.3979/j.issn.1673-825X.2016.03.024

收稿日期：2015-11-17

修訂日期：2016-04-28通訊作者：王永程407541127@qq.com

基金項(xiàng)目：國(guó)家自然科學(xué)基金(61372076)

Foundation Item：The National Natural Science Foundation of China (61372076)

中圖分類號(hào)：TP393

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-825X(2016)03-0426-05

作者簡(jiǎn)介：

王永程(1987-)，男，山西人，博士研究生，主要研究方向?yàn)榫W(wǎng)絡(luò)測(cè)量、數(shù)據(jù)挖掘。E-mail:407541127@qq.com。

褚衍杰(1983-)，男，山東人，博士研究生，工程師，主要研究方向?yàn)閿?shù)據(jù)挖掘、智能信息處理。

(編輯：田海江)