基于獨(dú)立流量平穩(wěn)模型的異常檢測算法研究

費(fèi)金龍 蔡 靖 賀新征 祝躍飛

(解放軍信息工程大學(xué) 河南 鄭州 450001)

基于獨(dú)立流量平穩(wěn)模型的異常檢測算法研究

費(fèi)金龍 蔡 靖 賀新征 祝躍飛

(解放軍信息工程大學(xué) 河南 鄭州 450001)

當(dāng)鏈路流量由不同流復(fù)合而成時(shí)，不同流的短時(shí)變化(增大或降低)可以相互中和，使鏈路上的所有流趨于平穩(wěn)。當(dāng)流之間相互獨(dú)立，鏈路流量趨于平穩(wěn)狀態(tài)。但是，當(dāng)鏈路中出現(xiàn)相關(guān)流時(shí)，該平穩(wěn)狀態(tài)將被打破。研究證明許多異常流量發(fā)生時(shí)會(huì)違反流的獨(dú)立性?；诖?，提出了獨(dú)立流量平穩(wěn)模型iTSM(independent Traffic Stationary Model)，并設(shè)計(jì)了一種異常流量檢測算法。實(shí)驗(yàn)證明：針對單鏈路異常檢測，該算法顯著優(yōu)于其他算法的檢測效果。

異常檢測 假設(shè)檢驗(yàn) 流量測量

0 引 言

近年來，Internet承載越來越多的業(yè)務(wù)，尤其隨著云計(jì)算、大數(shù)據(jù)等技術(shù)的發(fā)展，我國適時(shí)提出了互聯(lián)網(wǎng)+戰(zhàn)略，進(jìn)一步促進(jìn)了業(yè)務(wù)向Internet融合。然而，新形勢下，網(wǎng)絡(luò)安全面臨著新的挑戰(zhàn)。據(jù)CNCERT統(tǒng)計(jì)，2014年針對我國關(guān)鍵基礎(chǔ)設(shè)施的DDoS攻擊比前一年增加三倍，且攻擊頻繁、強(qiáng)度增大。異常流量規(guī)模不斷增加，嚴(yán)重影響了網(wǎng)絡(luò)的正常運(yùn)行，因此，在網(wǎng)絡(luò)鏈路上檢測異常流量迫在眉睫。

一般來說，異常流量檢測首先根據(jù)干凈的、不含異常的訓(xùn)練數(shù)據(jù)，完成訓(xùn)練過程，建立正常的流量檢測模型。其次，對于被檢測對象(實(shí)時(shí)流量)，計(jì)算相同的特征值，并與正常模型進(jìn)行對比，如果當(dāng)前流量“顯著”偏離建立的正常流量模型，那么判定為發(fā)生異常，否則沒有發(fā)生異常。異常檢測對流量建立數(shù)學(xué)模型，基于流量行為，判定是否發(fā)生異常。因此，與傳統(tǒng)基于規(guī)則匹配的檢測方法比較，異常流量檢測可以發(fā)現(xiàn)隱含在流量中的異常。然而，該方法完全依賴于建立的數(shù)學(xué)模型的準(zhǔn)確性和訓(xùn)練數(shù)據(jù)的代表性，因此，其存在方法不穩(wěn)定，檢測率低、實(shí)時(shí)性差的問題。

為了降低假警率，研究人員對網(wǎng)絡(luò)流量異常檢測已經(jīng)進(jìn)行了大量研究，但在準(zhǔn)確性方面一直難以令人滿意。究其原因有以下兩個(gè)方面：(1) 提取正常流量模式困難。由于網(wǎng)絡(luò)正常工作模式的提取需要網(wǎng)絡(luò)沒有任何異常的干凈流量，而這在現(xiàn)實(shí)中不可能實(shí)現(xiàn)。(2) 異常流量的數(shù)學(xué)模型建立困難。

本文提出一種實(shí)時(shí)的流量異常檢測方法，避免了通過歷史數(shù)據(jù)訓(xùn)練正常流量模式的過程。該方法采用了一種簡單、有效的統(tǒng)計(jì)檢驗(yàn)方法用在單一鏈路上評(píng)估流量的相關(guān)性。這個(gè)檢驗(yàn)基于一種平穩(wěn)假設(shè)的數(shù)學(xué)模型,本文稱為獨(dú)立流量平穩(wěn)模型iTSM。正常情況下，網(wǎng)絡(luò)中的每條鏈路的流量是由通過該鏈路的大量流復(fù)合而成，且不同流的變化趨勢是短時(shí)的，有些流增加，有些流減小。從鏈路流量觀察，不同趨勢的流穿過一條鏈路，鏈路流量變化會(huì)在某種程度上相互中和，最終，鏈路整體變化趨于平穩(wěn)。假設(shè)各個(gè)流是相互獨(dú)立的，那么這種穩(wěn)態(tài)是存在的。基于iTSM，本文提出了一種異常流量檢測技術(shù)，通過檢測鏈路中流的獨(dú)立性來判定是否發(fā)生異常，即，當(dāng)鏈路中的大量流表現(xiàn)為相同的趨勢(同時(shí)增加或減小)時(shí)，鏈路流的獨(dú)立性被破壞，這種現(xiàn)象可判定為異常。根據(jù)檢測異常的不同，流可由報(bào)文頭部域的不同組合來判定。例如，若檢測端口掃描可通過目的端口標(biāo)識(shí)流。現(xiàn)實(shí)中，許多異常均表現(xiàn)為違反iTSM模型，例如DDoS攻擊。

1 相關(guān)研究

異常檢測是入侵檢測系統(tǒng)的重要組成部分。早期的ADAM[1]、SPADE[2]和NIDES[3]等異常檢測系統(tǒng)通過學(xué)習(xí)正常流量的統(tǒng)計(jì)模型，識(shí)別被檢測對象與模型的偏離程度。模型通?；谠?、目的地址或端口的分布。例如，SPADE提供了到達(dá)TCP連接的如下四特征：P(目的地址、目的端口)，P(源地址，目的地址，目的端口)，P(源地址，源端口，目的地址，目的端口)和上述特征的Bayes估計(jì)。上述系統(tǒng)主要使用平穩(wěn)模型，事件的概率有訓(xùn)練數(shù)據(jù)的平均頻率估計(jì)。

文獻(xiàn)[4]首次將空間主成分分析應(yīng)用于網(wǎng)絡(luò)異常檢測。文獻(xiàn)[5]則基于熵改進(jìn)PCA在異常檢測中的性能，提出了檢測多維度的流量特征分布識(shí)別各種異常。該方法將主成分分析(PCA)應(yīng)用到多維度的流特征中。具有高標(biāo)準(zhǔn)差的主分量表示為網(wǎng)絡(luò)的正常行為，而具有較小方差值的分量用于識(shí)別和分類異常。該方法消除了背景流量對異常檢測的干擾，提高了檢測性能。然而，該方法沒有給出如何確定主分量數(shù)量，可能因存在不包含異常的主分量導(dǎo)致檢測性能惡化。Ringberg等[6]研究發(fā)現(xiàn)：PCA對參數(shù)設(shè)置敏感，系統(tǒng)檢測性能不穩(wěn)定，極大地依賴于訓(xùn)練集。Brauckhoff等[7]進(jìn)一步指出PCA性能不穩(wěn)定的原因是數(shù)據(jù)的時(shí)間相關(guān)性、數(shù)據(jù)的非平穩(wěn)特性以及主成分?jǐn)?shù)量難以確定等原因。

與采用PCA方法壓縮高維度特征不同，劉玉寬等[8]利用Sketch矩陣對網(wǎng)絡(luò)信息參數(shù)(目的IP)壓縮存儲(chǔ)，并對存儲(chǔ)信息進(jìn)行信息熵評(píng)估，進(jìn)而判斷是否異常。實(shí)驗(yàn)表明：經(jīng)過壓縮，檢測系統(tǒng)速率顯著提升，降低了DDoS攻擊對目標(biāo)資源的危害性。

Barford等[9]采用wavelets預(yù)測流量變化，在多個(gè)分辨率上刻畫流量特征，發(fā)現(xiàn)不同的隱含異常。Zhang等[10]設(shè)計(jì)了一種通用框架，致力于從網(wǎng)絡(luò)鏈路負(fù)載流量中發(fā)現(xiàn)異常事件。上述兩種典型方法對導(dǎo)致網(wǎng)絡(luò)流量顯著偏離正常模式的異常或攻擊比較有效。然而，對于有意隱藏的秘密攻擊行為，例如，低速率的攻擊在流量大小中難以體現(xiàn)。

Gu等[11]使用復(fù)合的特征分布刻畫流量，采用訓(xùn)練數(shù)據(jù)獲得該分布的參數(shù)模型。對被觀測網(wǎng)絡(luò)流量與建立的模型進(jìn)行比較，發(fā)現(xiàn)了隱含的異常。作者假設(shè)訓(xùn)練集不包含任何異常。Wagner等[12]研究了流量軌跡中不同IP頭部域的熵值，反映可壓縮特性的變化。作者發(fā)現(xiàn)：在蠕蟲爆發(fā)時(shí)，流量特征的可壓縮特性發(fā)生了劇烈的變化。目前，大量研究將信息理論應(yīng)用于基于流量特征的異常檢測中。這些方法采用熵或相對熵比較流量特征分布的不同。熵是用于度量概率分布的不確定性。熵的兩個(gè)特性可用于異常檢測。首先，熵的概念將一個(gè)概率分布?xì)w結(jié)為單個(gè)值，用于比較概率分布間的不同。其次，一些常見的攻擊會(huì)導(dǎo)致流特征的概率分布的集中或發(fā)散。但是，熵的缺陷是完全不同的概率分布的熵值可能是相同的，易引發(fā)誤判。

與刻畫流特征分布不同，范曉詩等[13]針對網(wǎng)絡(luò)流量特征屬性不確定性和模糊性的特點(diǎn)，引入直覺模糊推理理論，提出了一種基于包含度的直覺模糊推理異常檢測方法，通過包含度的相關(guān)性建立規(guī)則庫，提高了檢測率。但是該方法規(guī)則庫生成需要額外的時(shí)間，不利于實(shí)時(shí)檢測。

Soule等[14]對兩個(gè)相鄰的骨干網(wǎng)絡(luò)的研究表明：由于流量收集設(shè)備的不同，大規(guī)模異常在兩種網(wǎng)絡(luò)中表現(xiàn)為不同的特點(diǎn)。Brauckhoff等[15]研究了流量抽樣對異常檢測系統(tǒng)的影響。流抽象能夠影響基于流大小的異常檢測方法，但是不會(huì)破壞流分布特性，因此，流分布特性可以用于抽樣流的異常檢測。Scherrer等[16]提出了一種Internet流量的長相關(guān)非高斯模型，并基于此設(shè)計(jì)了一種異常檢測算法，識(shí)別模型中估計(jì)參數(shù)的顯著變化。Hohn等[17]提出了一種兩層的特征異常檢測技術(shù)。第一層對不同特征的典型值進(jìn)行建模。例如，對連接到特定端口的流的典型數(shù)量建模。第二層估計(jì)被觀察特征分布與已經(jīng)建立的模型的差值。該方法的優(yōu)點(diǎn)是刻畫特征分布的細(xì)粒度模型，而不是簡單地將其建模為熵值。

以上方法主要對傳統(tǒng)互聯(lián)網(wǎng)中的異常流量檢測方法進(jìn)行研究。馬超等[18]分析了云環(huán)境下SDN的流量異常檢測性能。研究表明：基于SDN檢測內(nèi)部威脅時(shí)比傳統(tǒng)網(wǎng)絡(luò)環(huán)境占用更少的物理內(nèi)存而不影響精確度。李建國[19]基于電信網(wǎng)的特殊模型，從流密度和流距離對異常檢測算法進(jìn)行了改進(jìn)。

總之，當(dāng)前異常檢測研究針對流量特征的不同特性展開研究，從算法設(shè)計(jì)到特殊場景都進(jìn)行了廣泛的研究。但是，本質(zhì)上，這些工作仍主要從特征刻畫和模型建立兩方面展開研究，需要對理論模型進(jìn)行訓(xùn)練，準(zhǔn)確性取決于訓(xùn)練樣本的正確性。與現(xiàn)有方法相比，本文方法不需要從正常流量數(shù)據(jù)中訓(xùn)練，也就可以不受訓(xùn)練數(shù)據(jù)的污染，而且參數(shù)設(shè)置簡單。

2 模型定義

本文考察短時(shí)間分辨率的流量，因此流統(tǒng)計(jì)的時(shí)間分辨率為分鐘級(jí)別的。一條流定義為具有相同流特征值的報(bào)文集合。本文采用五元組標(biāo)示流特征。流由固定時(shí)間間隙內(nèi)流的報(bào)文數(shù)來衡量大小。每條流由三個(gè)屬性標(biāo)示：流到達(dá)時(shí)間間隙、流活躍時(shí)間以及流報(bào)文數(shù)組成的向量序列。本文以網(wǎng)絡(luò)中一條鏈路為研究對象，假設(shè)兩個(gè)前提。首先，流不相關(guān)性。即正常情況下，流的屬性相互獨(dú)立。文獻(xiàn)[16-17]研究顯示實(shí)際鏈路上的不同流的依賴性正常情況下是很弱的，在短時(shí)間分辨率上，可以認(rèn)為不相關(guān)。其次，流平穩(wěn)特性。即在統(tǒng)計(jì)時(shí)間間隙較小的情況下，流到達(dá)分布是平穩(wěn)的，雖然在宏觀分辨率上，鏈路流量表現(xiàn)為突發(fā)性，但在微觀分辨率上，其可由穩(wěn)態(tài)分布描述。

結(jié)論1 當(dāng)前文兩個(gè)前提滿足時(shí)，從Ω中任選兩個(gè)流f和h滿足：(a)πf,i和πh,i均值為0；(b) 如果f≠h，那么πf,i和πh,i獨(dú)立；(c)πf,i和πh,i有相同的分布。

因?yàn)榱鱢在時(shí)間間隙sf到達(dá)，持續(xù)到sf+Δt-1，因此vsf+Δt=vsf-1=0，即結(jié)論1(a)得證。

3 基于iTSM模型的異常檢測算法

本節(jié)設(shè)計(jì)了基于iTSM的異常檢測算法。為了檢測流的獨(dú)立性，算法定義檢測器的假設(shè)檢驗(yàn)：H0：結(jié)論1正確；H1：結(jié)論1不正確。

即：

進(jìn)而得出：

(1)

(2)

基于iTSM模型的異常流量檢測算法：

1： 設(shè)定系統(tǒng)假警率q，并據(jù)此計(jì)算R(q)；

2： ?f, 計(jì)算πf,i=vf,i+1-vf,i；

4： 當(dāng)Ξ>R(q)時(shí)，與模型iTSM不一致，因此，判定i時(shí)間段內(nèi)發(fā)生異常。

4 仿真評(píng)估

本節(jié)采用兩種數(shù)據(jù)集進(jìn)行對比試驗(yàn)。數(shù)據(jù)集A是統(tǒng)計(jì)某內(nèi)網(wǎng)出口鏈路流量一周的數(shù)據(jù)，統(tǒng)計(jì)時(shí)間間隙為2分鐘。統(tǒng)計(jì)過程中，前三天的流量不插入任何異常流量，作為其他算法的訓(xùn)練集；后四天數(shù)據(jù)則實(shí)時(shí)插入DDoS攻擊和端口掃描攻擊作為異常流量，其中DDoS攻擊和端口掃描供給285次。DDoS攻擊的特點(diǎn)是大量小報(bào)文從多個(gè)源IP達(dá)到單個(gè)目的IP；端口掃描的特點(diǎn)是大量小的報(bào)文從單個(gè)源IP到達(dá)單個(gè)目的IP的多個(gè)端口。因此，兩者均會(huì)增加鏈路上的流獨(dú)立性。

數(shù)據(jù)集B是公開的Abilene網(wǎng)絡(luò)數(shù)據(jù)集。該網(wǎng)絡(luò)主要滿足大學(xué)和研究機(jī)構(gòu)的傳輸需求，以及部分教育網(wǎng)流量。Abilene的統(tǒng)計(jì)時(shí)間間隙是5分鐘，符合本文模型的流特征統(tǒng)計(jì)需求。與數(shù)據(jù)集A類似，仿真中注入相同的DDoS攻擊和端口掃描攻擊。

本節(jié)將iTSM與支持向量機(jī)、卡爾曼濾波、主分量分析及小波等經(jīng)典算法的性能進(jìn)行比較。首先，不同算法對不同數(shù)據(jù)集的平均檢測時(shí)間。其次，仿真考察算法在不同數(shù)據(jù)集下的性能比較。為了展示不同算法的性能，本文采用常用的接收機(jī)曲線。該曲線將假警率和檢測率結(jié)合，將后者作為前者的函數(shù)，因此，在左上角的曲線性能最好。

首先，仿真比較不同算法的時(shí)間消耗，可以看出兩種不同數(shù)據(jù)集下iTSM平均時(shí)間消耗均遠(yuǎn)低于其它算法，因?yàn)槠錈o需經(jīng)典算法中的訓(xùn)練階段，節(jié)省了平均檢測時(shí)間。如表1所示。

表1 算法時(shí)間消耗比較

其次，我們比較了iTSM與相關(guān)算法的接收機(jī)曲線，如圖1所示?？梢钥闯觯篿TSM的性能比典型算法更優(yōu)。因?yàn)樗惴ㄍㄟ^檢測鏈路中流相關(guān)性，鏈路中一旦出現(xiàn)攻擊流，即可影響鏈路的相關(guān)性，而且本文算法基于攻擊流的本質(zhì)特征，無需訓(xùn)練，避免了訓(xùn)練數(shù)據(jù)不準(zhǔn)確而導(dǎo)致模型偏離正常模式。

圖1 不同算法的ROC曲線

由于iTSM是基于獨(dú)立流量平穩(wěn)模型，對于不滿足上述條件的異常，本文算法往往漏檢。因此，實(shí)踐中，可將iTSM與典型算法聯(lián)合使用，從而提高檢測率。因此，本節(jié)也仿真了iTSM，主分量分析以及iTSM與主分量分析結(jié)合的方法的性能曲線，如圖2所示。

圖2 iTSM, PCA, iTSM+PCA的性能曲線

由圖2可以看出：在兩種數(shù)據(jù)集下，兩種算法結(jié)合時(shí)均表現(xiàn)為優(yōu)于各自獨(dú)立運(yùn)行時(shí)的結(jié)果。因?yàn)閕TSM能夠檢測的異常類型與經(jīng)典PCA不同，可以互相補(bǔ)充，所以iTSM在實(shí)際中可與經(jīng)典算法進(jìn)行結(jié)合，效果更優(yōu)。

5 結(jié) 語

本文提出了一種針對網(wǎng)絡(luò)鏈路的實(shí)時(shí)異常流量檢測方法。首先基于鏈路中流量的獨(dú)立特性，提出了描述正常流量模式的iTSM模型；其次，基于iTSM模型，通過檢測鏈路中的流量的相關(guān)性，判斷是否發(fā)生異常；最后，通過與經(jīng)典算法的仿真對比驗(yàn)證了本文算法在檢測單鏈路異常流量方面的有效性。未來工作將基于OpenFlow的流統(tǒng)計(jì)功能，將本文算法實(shí)現(xiàn)為控制器的應(yīng)用模塊。

[1] Sekar R,Bendre M,Dhurjati D,et al.A fast automaton-based method for detecting anomalous program behaviors[C]//Proceedings of the IEEE Symposium on Security & Privacy,2001:144-155.

[2] SPADE.Silicon Defense[DB/OL].http://www.silicondefense.com/software/spice/.

[3] Anderson D,Lunt T F,Javitz H,et al.Detecting Unusual Program Behavior Using the Statistical Component of the Next-generation Intrusion Detection Expert System (NIDES)1[C]//Computer Science Laboratory Sri International Ravenswood Avenue Menlo Park Ca,1995.

[4] Lakhina A,Crovella M,Diot C.Diagnosing network-wide traffic anomalies[J].Acm Sigcomm Computer Communication Review,2004,34(4):219-230.

[5] Lakhina A,Crovella M,Diot C.Mining anomalies using traffic feature distributions[J].Acm Sigcomm Computer Communication Review,2005,35(4):217-228.

[6] Ringberg H,Soule A,Rexford J,et al.Sensitivity of PCA for traffic anomaly detection[M].ACM SIGMETRICS Performance Evaluation Review.ACM,2007:109-120.

[7] Brauckhoff D,Salamatian K,May M.Applying PCA for Traffic Anomaly Detection: Problems and Solutions[C]//INFOCOM 2009,IEEE.IEEE,2009:2866-2870.

[8] 劉玉寬,蘇金樹.分布式拒絕服務(wù)攻擊高速率單點(diǎn)局部異常檢測[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(9):299-304.

[9] Barford P,Kline J,Plonka D,et al.A Signal Analysis of Network Traffic Anomalies[C]//Internet Measurement Workshop,2002:71-82.

[10] Zhang Y,Ge Z,Greenberg A,et al.Network anomography[C]//Proceedings of the 5th ACM SIGCOMM conference on Internet Measurement.USENIX Association,2005:30-30.

[11] Gu Y,Mccallum A,Towsley D.Detecting anomalies in network traffic using maximum entropy[C]//Proceedings of the 5th ACM SIGCOMM conference on Internet Measurement.USENIX Association,2005:345-350.

[12] Wagner A,Plattner B.Entropy based worm and anomaly detection in fast IP networks[C]//Proceedings of the Workshop on Enabling Technologies Infrastructure for Collaborative Enterprises Wet Ice,2005:172-177.

[13] 范曉詩,雷英杰,王亞男,等.流量異常檢測中的直覺模糊推理方法[J].電子與信息學(xué)報(bào),2015,37(9):2218-2224.

[14] Soule A,Ringberg H,Silveira F,et al.Detectability of Traffic Anomalies in Two Adjacent Networks[J].Lecture Notes in Computer Science,2007,4427:22-31.

[15] Scherrer A,Larrieu N,Owezarski P,et al.Non-Gaussian and Long Memory Statistical Characterizations for Internet Traffic with Anomalies[J].Dependable & Secure Computing IEEE Transactions on,2007,4(1):56-70.

[16] Barakat C,Thiran P,Iannaccone G,et al.A Flow-Based Model For Internet Backbone Traffic[C]//Imw Proceedings of Acm Sigcomm Workshop on Internet Measurment,2002:35-47.

[17]HohnN,VeitchD,AbryP.Clusterprocesses:Anaturallanguagefornetworktraffic[J].IEEETransSignalProcess,2003,51(8):2229-2244.

[18] 馬超,程力,孔玲玲.云環(huán)境下SDN的流量異常檢測性能分析[J].計(jì)算機(jī)與現(xiàn)代化,2015,10(2):92-98.

[19] 李建國.基于數(shù)據(jù)流技術(shù)的電信網(wǎng)絡(luò)異常檢測模型研究[J].電子信息與計(jì)算機(jī)科學(xué),2014,11(1):3-5.

AN ANOMALY DETECTION ALGORITHM BASED ON THE INDEPENDENTTRAFFIC STATIONARY MODEL

Fei Jinlong Cai Jing He Xinzheng Zhu Yuefei

(InformationEngineeringUniversity,Zhengzhou450001,Henan,China)

When the link traffic is traversed by many flows, their volume’s changes are short-lived, and such changes tend to cancel each other out, making total changes of link traffic approach to zero. If the flows on the link are independent with each other, total link traffic is stationary. When small and correlated flows present themselves on the link, this stationary state will be violated. Many anomalies meet this feature. Based on this observation, an independent traffic stationary model (iTSM) is provided, and an algorithm to detect single link anomalies is proposed. The simulation validates that the proposed method uncovers single link anomalies better than previous techniques.

Anomaly detection Hypothesis testing Traffic measurement

2016-01-05。國家科技支撐計(jì)劃項(xiàng)目(2012BAH47B01)；信息保障技術(shù)重點(diǎn)實(shí)驗(yàn)室開放

KJ-14-105)。費(fèi)金龍，講師，主研領(lǐng)域：網(wǎng)絡(luò)與信息安全。蔡靖，本科生。賀新征，博士生。祝躍飛，教授。

TP393.08

A

10.3969/j.issn.1000-386x.2017.03.049