基于流數(shù)據(jù)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計(jì)

李玲玲　辛 浩

(淮北職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系， 安徽 淮北 235000)

?

基于流數(shù)據(jù)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計(jì)

李玲玲辛 浩

(淮北職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系， 安徽 淮北 235000)

針對(duì)各種惡意攻擊及濫用資源的網(wǎng)絡(luò)現(xiàn)象，提出一種新的基于流數(shù)據(jù)的網(wǎng)絡(luò)安全檢測(cè)算法。采用可調(diào)節(jié)大小的滑動(dòng)窗口，使用收銀機(jī)模型、十字轉(zhuǎn)門模型與時(shí)間序列模型進(jìn)行流數(shù)據(jù)處理和挖掘，以檢測(cè)并預(yù)警不安全的網(wǎng)絡(luò)流。

流數(shù)據(jù)； 滑動(dòng)窗口； 安全檢測(cè)； 桶

隨著互聯(lián)網(wǎng)的普及、網(wǎng)絡(luò)技術(shù)的不斷更新以及網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)業(yè)務(wù)不斷深入到各個(gè)領(lǐng)域 。人們的日常生活越來(lái)越依賴網(wǎng)絡(luò)，因此，網(wǎng)絡(luò)安全尤顯重要，反病毒、黑客的網(wǎng)絡(luò)安全防護(hù)技術(shù)也應(yīng)不斷提高。病毒及黑客入侵等各種網(wǎng)絡(luò)攻擊行為嚴(yán)重影響到網(wǎng)絡(luò)安全，用戶不斷提高的網(wǎng)絡(luò)防護(hù)要求與有限帶寬之間的矛盾也趨尖銳[1-2]。原有的網(wǎng)絡(luò)安全檢測(cè)方法需要不斷更新，以適應(yīng)實(shí)時(shí)、快速、海量的流數(shù)據(jù)處理要求。如何對(duì)流數(shù)據(jù)進(jìn)行有效的分析檢測(cè)，預(yù)警控制不安全的網(wǎng)絡(luò)行為，是時(shí)下數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)之一。本次研究中設(shè)計(jì)了一套基于流數(shù)據(jù)的網(wǎng)絡(luò)安全檢測(cè)新系統(tǒng)，用于網(wǎng)絡(luò)異常行為分析及預(yù)警。

1　流數(shù)據(jù)技術(shù)

流數(shù)據(jù)[3]是指連續(xù)到達(dá)的數(shù)據(jù)項(xiàng)序列(d1，d2，…，di)，描述為一個(gè)一維函數(shù)D[1，2，3，…，N]→R，即按時(shí)間先后順序快速到達(dá)的海量數(shù)據(jù)流集合。流數(shù)據(jù)到達(dá)的速度無(wú)法預(yù)知和控制，其特點(diǎn)是實(shí)時(shí)到達(dá)、次序獨(dú)立、規(guī)模宏大、不可預(yù)知，且數(shù)據(jù)一經(jīng)處理后就不能再次取出，或者取出的代價(jià)高昂?；瑒?dòng)窗口和流數(shù)據(jù)模型是流數(shù)據(jù)技術(shù)應(yīng)用的重要內(nèi)容。

1.1滑動(dòng)窗口

滑動(dòng)窗口是流數(shù)據(jù)處理的常用方法[4]?；瑒?dòng)窗口技術(shù)，是指在數(shù)據(jù)的實(shí)時(shí)檢測(cè)中，用固定的時(shí)間窗口以固定的時(shí)間間隔滑動(dòng)來(lái)截取無(wú)限長(zhǎng)的對(duì)象序列，從而獲得定長(zhǎng)的待檢測(cè)對(duì)象序列。

滑動(dòng)窗口一般分為2類[5-6]：一類是基于元組個(gè)數(shù)來(lái)定義的固定窗口大小的滑動(dòng)窗口，窗口內(nèi)始終保持著最近到來(lái)的N個(gè)元組；另一類是基于時(shí)間定義即固定時(shí)間的窗口，窗口內(nèi)始終存儲(chǔ)固定時(shí)間T內(nèi)的元組。不管是固定窗口大小的滑動(dòng)窗口還是固定時(shí)間的窗口，都要隨著流數(shù)據(jù)的到來(lái)而向后進(jìn)行滑動(dòng)。

1.2流數(shù)據(jù)模型

常用的流數(shù)據(jù)模型有3種，分別是時(shí)間序列模型、收銀機(jī)模型和十字轉(zhuǎn)門模型[7]。時(shí)間序列模型(TimeSeriesModel)是指數(shù)據(jù)di按照時(shí)間先后順序到來(lái)處理數(shù)據(jù)的模型。十字轉(zhuǎn)門模型(TurnstileModel)是一種“完全動(dòng)態(tài)狀態(tài)”的模型，模仿的是賓館轉(zhuǎn)動(dòng)門工作模式，即在同一時(shí)刻，有“入”的數(shù)據(jù)，也有“出”的數(shù)據(jù)。收銀機(jī)模型(CashRegisterModel)模仿的是超市收銀機(jī)的工作模式，可對(duì)數(shù)據(jù)進(jìn)行累加，適用于監(jiān)控或訪問(wèn)Web服務(wù)器的主機(jī)IP地址，以及流過(guò)網(wǎng)絡(luò)中某個(gè)鏈路的數(shù)據(jù)包IP地址。

2　基于流數(shù)據(jù)的網(wǎng)絡(luò)安全檢測(cè)系統(tǒng)設(shè)計(jì)

進(jìn)行網(wǎng)絡(luò)安全檢測(cè)前，首先要學(xué)習(xí)和建立用戶的正常歷史行為，將實(shí)時(shí)數(shù)據(jù)行為與正常的用戶行為進(jìn)行比較，從中發(fā)現(xiàn)異常行為后提出預(yù)警，從而達(dá)到凈化網(wǎng)絡(luò)環(huán)境、提高網(wǎng)絡(luò)有效利用率的目的。一般情況下，非正常網(wǎng)絡(luò)用戶使用網(wǎng)絡(luò)流量較大，或是在一段時(shí)間內(nèi)發(fā)起的連接請(qǐng)求數(shù)目過(guò)多、頻率過(guò)高[8-9]，有的連接請(qǐng)求具有一定的間隔規(guī)律。

基于流數(shù)據(jù)的網(wǎng)絡(luò)安全檢測(cè)系統(tǒng)設(shè)計(jì)了三大功能模塊(見(jiàn)圖1)，分別為數(shù)據(jù)準(zhǔn)備模塊、使用挖掘算法進(jìn)行挖掘模塊、規(guī)則發(fā)現(xiàn)及有效性驗(yàn)證模塊。

圖1　功能模塊示意圖

2.1網(wǎng)絡(luò)行為判斷特征設(shè)定

網(wǎng)絡(luò)異常行為的表現(xiàn)有多種特征，在此，以區(qū)分度最大的特征屬性值作為網(wǎng)絡(luò)行為異常的判定依據(jù)。在局域網(wǎng)中，根據(jù)網(wǎng)絡(luò)流的特征值來(lái)進(jìn)行安全預(yù)警。網(wǎng)絡(luò)流中包含了很多重要屬性值，如通信協(xié)議類型(Protocol)、源IP地址(SrcIP)、目標(biāo)IP地址(DstIP)、源端口(SrcPort)、目標(biāo)端口(DstPort)、服務(wù)類型(ToS)、路由器的接入口(InInt)；如果對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行相應(yīng)設(shè)置，則網(wǎng)絡(luò)流數(shù)據(jù)還可以包括數(shù)據(jù)個(gè)數(shù)(Pkts)和(字節(jié)數(shù))Bytes。在一定時(shí)間內(nèi)，如果某一源IP地址的連接數(shù)據(jù)個(gè)數(shù)及流量總和超出了一定標(biāo)準(zhǔn)，則認(rèn)定在局域網(wǎng)中此IP地址用戶為網(wǎng)絡(luò)異常行為用戶。因此，不需要關(guān)注每一個(gè)字段，基于流數(shù)據(jù)的局域網(wǎng)絡(luò)安全檢測(cè)算法只需要關(guān)注源IP地址(SrcIP)、目標(biāo)IP地址(DstIP)、ConFlow(網(wǎng)絡(luò)連接流量)這3個(gè)字段即可。

2.2流數(shù)據(jù)挖掘模型的建立

我們提出了基于網(wǎng)絡(luò)流數(shù)據(jù)模型的數(shù)據(jù)挖掘新算法，然后根據(jù)設(shè)定的挖掘規(guī)則找出異常用戶。

流數(shù)據(jù)通常是實(shí)時(shí)、順序、大量到達(dá)，因而采用時(shí)間序列模型對(duì)網(wǎng)絡(luò)整體流量進(jìn)行檢測(cè)處理，采用十字轉(zhuǎn)門模型與時(shí)間序列模型相結(jié)合的方式對(duì)同一源IP地址發(fā)出的連接進(jìn)行檢測(cè)處理，采用收銀機(jī)模型對(duì)同一時(shí)刻各個(gè)不同目標(biāo)IP地址的連接情況進(jìn)行檢測(cè)處理。

2.3流數(shù)據(jù)挖掘算法思路及描述

2.3.1算法思路

數(shù)據(jù)處理過(guò)程中需要運(yùn)用變異的滑動(dòng)窗口技術(shù)。在實(shí)時(shí)檢測(cè)中，窗口的大小會(huì)隨著檢測(cè)的進(jìn)行而變化，而初始窗口大小N的設(shè)定結(jié)合具體情況而定，且不宜過(guò)大。窗口大小的變化規(guī)則如下：窗口每次向前的滑動(dòng)量為a×N，(其中0

(1)用大綱數(shù)據(jù)結(jié)構(gòu)中的等高直方圖來(lái)存儲(chǔ)流入的數(shù)據(jù)，每個(gè)等高直方圖就是一個(gè)桶(bucket)[10]。

(2)桶中存儲(chǔ)3部分信息：以用戶的源IP地址(SrcIP)作為標(biāo)識(shí)的桶特征值；目的IP地址(DstIP)；數(shù)據(jù)流量包流量總和(SumConFlow)。

(3)在當(dāng)前時(shí)間窗口 (t，t+N)內(nèi)，對(duì)于初始窗口的特征屬性值進(jìn)行累加。即，當(dāng)新數(shù)據(jù)對(duì)象di到達(dá)時(shí)，首先與已有桶的特征值進(jìn)行比較。若具有相同的標(biāo)識(shí)，則通過(guò)收銀機(jī)模型進(jìn)行累加，并將其放入具有相同標(biāo)識(shí)的桶中，然后更新桶內(nèi)的目的IP地址與桶內(nèi)的網(wǎng)絡(luò)連接流量值；若不具備相同標(biāo)識(shí)，則創(chuàng)建一個(gè)新桶，新桶的特征均值為對(duì)象si的源IP地址，然后更新桶內(nèi)的目的IP地址與桶內(nèi)的網(wǎng)絡(luò)連接流量值。

(4)在窗口滑動(dòng)的過(guò)程中，采用十字轉(zhuǎn)門模型。窗口每次向前移動(dòng)的量為a×N，同時(shí)窗口的長(zhǎng)度也增加a×N，移動(dòng)后的窗口終止位置與移動(dòng)前窗口的終止位置之間的數(shù)據(jù)量為2a×N。這里a參數(shù)取0～1，具體取值根據(jù)實(shí)際流數(shù)據(jù)檢測(cè)的需要人為設(shè)定。

(5)對(duì)于新到來(lái)的數(shù)據(jù)對(duì)象，依然采用前述步驟進(jìn)行處理。對(duì)于離開(kāi)的數(shù)據(jù)對(duì)象，則查找離開(kāi)的數(shù)據(jù)對(duì)象所在的桶，并檢測(cè)與該數(shù)據(jù)具有相同標(biāo)識(shí)符的目標(biāo)IP地址數(shù)：若IP地址數(shù)為多個(gè)，則減去一個(gè)，并將該數(shù)據(jù)對(duì)象的流量去除；若IP地址數(shù)為一個(gè)，則去掉該數(shù)據(jù)，并刪除該數(shù)據(jù)對(duì)象所對(duì)應(yīng)的桶。

(6)經(jīng)過(guò)以上步驟得到聚類結(jié)果，聚類結(jié)果為代表不同源IP地址的桶。

2.3.2算法描述

設(shè)流數(shù)據(jù)序列為(d1，d2，…，di)，則算法1表示當(dāng)前時(shí)刻當(dāng)前窗口流數(shù)據(jù)到來(lái)時(shí)的處理過(guò)程，算法2表示當(dāng)前時(shí)刻當(dāng)前窗口流數(shù)據(jù)的離開(kāi)處理過(guò)程，算法3表示隨著時(shí)間的推移，窗口的滑動(dòng)過(guò)程。具體如下：

(1)算法1：DealInData(D, k)。

1)讀入第1個(gè)數(shù)據(jù)對(duì)象d1，放入第1個(gè)桶b1中，設(shè)置桶b1的特征均值為該對(duì)象的源IP地址；

2)讀入數(shù)據(jù)對(duì)象di，判斷di與已有桶bj(1≤j≤i)的特征均值是否存在有相同標(biāo)識(shí)；

3)if(exist)；

4)將該數(shù)據(jù)放入到對(duì)象標(biāo)識(shí)相同的桶中，更新桶內(nèi)各屬性值；

5)else；

6)創(chuàng)建一個(gè)新桶，將數(shù)據(jù)放入新桶，設(shè)定新桶的特征均值為該數(shù)據(jù)的源IP地址，更新新桶的各屬性值。

(2)算法2：DealOutData(D, n)；

1)查找要離開(kāi)的數(shù)據(jù)所在的桶，統(tǒng)計(jì)桶內(nèi)目的IP地址的個(gè)數(shù)n；

2)if(n>1)；

3)刪除該數(shù)據(jù)的目標(biāo)IP地址，n=n-1，用流量包流量總和減去該數(shù)據(jù)包內(nèi)的流量包大??；

4)else(n=1)；

5)則去掉該數(shù)據(jù)，并刪除該數(shù)據(jù)對(duì)象所對(duì)應(yīng)的桶。

(3)算法3：SlideWindows(b, l,c)。

1)如果在桶bj內(nèi)監(jiān)測(cè)到異常數(shù)據(jù)，則發(fā)出警報(bào)l，則初始時(shí)lj=0，c≥1，c為靈敏度系數(shù)，需人工進(jìn)行設(shè)置；

lj=lj+1;

3)輸出桶bj的特征均值，輸出桶bj對(duì)應(yīng)的異常警報(bào)次數(shù)lj。

通過(guò)以上算法過(guò)程，得到輸出結(jié)果：異常用戶的IP地址；每個(gè)異常用戶的警報(bào)次數(shù)。

2.4時(shí)間復(fù)雜度

算法1和算法2中涉及到時(shí)間復(fù)雜度的確定。

假設(shè)窗口長(zhǎng)度為n，算法1中首先需要對(duì)窗口內(nèi)的數(shù)據(jù)流完成一次遍歷，然后需要對(duì)類進(jìn)行查找，此算法的時(shí)間復(fù)雜度為O(kn)。

算法2中，首先需要對(duì)窗口內(nèi)的數(shù)據(jù)進(jìn)行更新，然后再繼續(xù)查找，算法2的時(shí)間復(fù)雜度也是為O(kn)。

3　算法有效性的實(shí)驗(yàn)驗(yàn)證

3.1實(shí)驗(yàn)方法

首先采集局域網(wǎng)用戶的網(wǎng)絡(luò)管理日志的數(shù)據(jù)，并分析這些用戶的連接數(shù)量以及發(fā)包的數(shù)量；然后結(jié)合實(shí)際的網(wǎng)絡(luò)情況，設(shè)置算法1和算法2中的參數(shù)，并利用算法1和算法2來(lái)挖掘這些用戶的行為特征。

實(shí)驗(yàn)數(shù)據(jù)中包括了某國(guó)際大公司的計(jì)算機(jī)網(wǎng)絡(luò)運(yùn)維日志：2周的Netflow和Bigbrother(主機(jī)狀態(tài)監(jiān)控)日志，1周的防火墻日志，通過(guò)日志分析可以找出異常行為。從日志中篩選出一個(gè)局域網(wǎng)的數(shù)據(jù)集，包含目的IP、源IP、發(fā)送時(shí)間、數(shù)據(jù)包大小等等相關(guān)信息。我們將算法1和算法2中的參數(shù)a設(shè)置為10%。對(duì)于每位用戶，若接收或發(fā)送數(shù)據(jù)包的數(shù)量超出平均值的50%且其連接數(shù)量也超出平均值的50%，則表示該用戶行為異常。若出現(xiàn)3次這樣的情況，則對(duì)該用戶給予警示。

3.2實(shí)驗(yàn)結(jié)果分析

首先通過(guò)用戶一個(gè)窗口的流量日志進(jìn)行分析，這里面涉及到用戶及其對(duì)應(yīng)的連接行為。圖2所示為用戶的連接數(shù)，可以看出，有些用戶的連接數(shù)遠(yuǎn)遠(yuǎn)超出了平均數(shù)量。圖3所示為用戶的流量值。如果同一用戶的連接數(shù)和流量值均超出了平均水平，那么該用戶便有可能是異常用戶。

圖2　用戶連接數(shù)

圖3　用戶流量值

在這里，我們對(duì)于超出用戶平均水平50%的異常行為，給予預(yù)警。當(dāng)預(yù)警次數(shù)達(dá)3次及以上時(shí)，我們才向用戶發(fā)送預(yù)警信息。

4　結(jié)　語(yǔ)

該方法針對(duì)局域網(wǎng)的特性選擇了具有評(píng)判網(wǎng)絡(luò)安全行為的屬性特征，采用桶存儲(chǔ)數(shù)據(jù)的方式，使用可調(diào)節(jié)的滑動(dòng)窗口，綜合運(yùn)用時(shí)間序列模型、收銀機(jī)模型、十字轉(zhuǎn)門模型，對(duì)大型流數(shù)據(jù)進(jìn)行處理，以實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)。通過(guò)實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)可以實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)，進(jìn)行網(wǎng)絡(luò)異常行為分析，并對(duì)用戶提出預(yù)警。

[1] 中國(guó)互聯(lián)網(wǎng)中心.第36次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[R].(2015-07-23)[2016-04-25]http://www.cnnic.net.cnhlwfzyjhlwxzbghlwtjbg201507t20150722_52624.htm.

[2] 張衛(wèi)華.網(wǎng)絡(luò)行為監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2010:13.[3]HENZINGERMR，RAGHAVANP，RAJAGOPALANS.ComputingonDataStreamsSRCTechnicalNote[R].PaloAlto，California:DigitalSystemsResearchCenter，1998:4.

[4] 孫玉芬，盧炎生.流數(shù)據(jù)挖掘綜述[J].計(jì)算機(jī)科學(xué)， 2007， 34(1)：1-2.

[5] 劉秋蘭.基于流數(shù)據(jù)挖掘的網(wǎng)絡(luò)行為分析及其應(yīng)用研究[D].蘇州：蘇州大學(xué)，2008：38.

[6]ZHUSS.StatStream:StatisticalMonitoringofThousandsofDataStreamsinRealTime[C]Proc.ofthe28thInt′lConf.onVeryLargeDataBases.HongKong:MorganKaufmann，2002：356-366.

[7] 王濤， 李舟軍， 顏躍進(jìn)， 等.數(shù)據(jù)流挖掘分類技術(shù)綜述[J].計(jì)算機(jī)研究與發(fā)展， 2007， 44(11)：1800-1812.

[8] 賈慧，高仲合.異常流量的分析與研究[J].計(jì)算機(jī)安全，2010(7)：57-59.

[9]KINDA，STOECKLINMP，DIMITROPOULOSX.Histogram-BasedTrafficAnomalyDetection[G].IEEETransactionsonNetworksServiceManagement，2009.

[10]RICHARDSW.TCPIP詳解：卷1(協(xié)議)[M].北京：機(jī)械工業(yè)出版社，2009：80.

ANetworkInspectionSystemDesignBasedonDataStream

LI LinglingXIN Hao

(Department of Computing, Huaibei Vocational and Technical College, Huaibei Anhui 235000, China)

Basedonthephenomenonthatnetworksecurityhasbeenthreatenedbyvarioushostileattacksandmisuseofthenetworkresources,anewnetworksecuritydetectionalgorithmbasedondatastreamisproposedinthispaper.Withadjustableslidingwindows,thisalgorithmutilizescashregistermodel,turnstilemodelandtimeseriesmodeltoanalyzethestreamdataformisuseandanomalydetection.

streamdata;slidingwindow;securitymonitoring;bucket

2015-12-15

安徽省高校優(yōu)秀青年人才基金重點(diǎn)項(xiàng)目“基于DatafStream的實(shí)時(shí)網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計(jì)”(2013SQL138ZD)

李玲玲(1979 — )，女，安徽淮北人，碩士，講師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。

TP301.6

A

1673-1980(2016)04-0109-04