網(wǎng)絡(luò)異常檢測(cè)技術(shù)的研究與應(yīng)用

顧惠超

（安陽(yáng)師范學(xué)院，河南 安陽(yáng) 455000）

0 引言

計(jì)算機(jī)網(wǎng)絡(luò)異常檢測(cè)技術(shù)是入侵檢測(cè)研究的重要內(nèi)容，與基于規(guī)則（簽名）的入侵檢測(cè)相比，其最大的優(yōu)點(diǎn)是能夠檢測(cè)到未知的脆弱性和零攻擊（Zero-Day Attack）。一般的異常檢測(cè)技術(shù)主要包括基于統(tǒng)計(jì)方法的異常檢測(cè)和基于專家知識(shí)的異常檢測(cè)。但是，由于誤報(bào)率高、攻擊范圍不全面、檢測(cè)效率不滿足高速網(wǎng)絡(luò)的實(shí)時(shí)檢測(cè)需求等，這些異常檢測(cè)技術(shù)在實(shí)際環(huán)境中沒(méi)有被大規(guī)模應(yīng)用。

因而，基于機(jī)器學(xué)習(xí)的異常檢測(cè)技術(shù)逐漸成為研究的熱點(diǎn)。通過(guò)機(jī)器學(xué)習(xí)的方法，首先比較待檢測(cè)的數(shù)據(jù)與正常數(shù)據(jù)的輪廓，當(dāng)達(dá)到一定偏移量時(shí)會(huì)發(fā)生檢測(cè)到異常，再進(jìn)行報(bào)警，這就是基于正常特征的數(shù)據(jù)用于檢測(cè)網(wǎng)絡(luò)異常的方法。當(dāng)前，用于檢測(cè)網(wǎng)絡(luò)攻擊行為的最佳數(shù)據(jù)源是網(wǎng)絡(luò)數(shù)據(jù)流，因此，基于網(wǎng)絡(luò)的異常侵入檢測(cè)系統(tǒng)可以研究和應(yīng)用最廣泛的檢測(cè)技術(shù)。

1 基于支持向量機(jī)分類的網(wǎng)絡(luò)異常檢測(cè)技術(shù)

分類器是通過(guò)對(duì)一組帶標(biāo)簽的樣本進(jìn)行學(xué)習(xí)而產(chǎn)生的模型，之后用這個(gè)模型對(duì)測(cè)試樣本分類。用分類器檢測(cè)網(wǎng)絡(luò)異常，一般分成兩個(gè)階段：

（1）訓(xùn)練階段，在該階段，分類器對(duì)訓(xùn)練集樣本學(xué)習(xí)分類；

（2）測(cè)試階段，在該階段，用訓(xùn)練好的分類模型對(duì)測(cè)試集樣本分類。

支持向量機(jī)（Support Vector Machine，SVM）在處理非線性分類問(wèn)題上的操作是，首先把輸入空間映射到高維的特征空間，然后用大間隔因子在高維特征空間中尋找最大間隔超平面。由于高維特征空間的超平面與輸入空間中的非線性分類面相對(duì)應(yīng)，因此，支持向量機(jī)的優(yōu)化過(guò)程是通過(guò)線性核、多項(xiàng)式核和高斯核等核函數(shù)把高維特征空間中的內(nèi)積運(yùn)算轉(zhuǎn)化為原始空間中核函數(shù)的運(yùn)算。

首先假設(shè)，在給定的特征空間中，一個(gè)SVM 分類器可以對(duì)正常類和異常類進(jìn)行有效區(qū)別。幾種常用的基于SVM 的網(wǎng)絡(luò)異常分類檢測(cè)技術(shù)原理如下。

1.1 核支持向量機(jī)模型

核支持向量機(jī)模型（Kernelized SVM）利用不同的核函數(shù)，可使SVM 具備非線性分類和回歸能力[1]。SVM 技術(shù)需要結(jié)合使用不同核函數(shù)對(duì)網(wǎng)絡(luò)異常進(jìn)行分類，其中幾種常用的核函數(shù)如下所示。

高斯核函數(shù)：

式中：y是核函數(shù)中心，σ是函數(shù)的寬度參數(shù)，控制函數(shù)的徑向作用范圍。

多項(xiàng)式核函數(shù)：

式中：參數(shù)d是正整數(shù)，表示最高項(xiàng)次數(shù)，a是正實(shí)數(shù)，c是非負(fù)實(shí)數(shù)。

線性核函數(shù)：

1.2 單類支持向量機(jī)模型

如果在數(shù)據(jù)集中出現(xiàn)未標(biāo)記的訓(xùn)練數(shù)據(jù)集，通常采用（One-Class Support Vector Machine，One-Class SVM）[2]的方法來(lái)對(duì)網(wǎng)絡(luò)異常數(shù)據(jù)進(jìn)行檢測(cè)分類。其表達(dá)式如式（4）、式（5）所示。

式中：函數(shù)Φ(xi)表示訓(xùn)練數(shù)據(jù)集合X映射到點(diǎn)積空間F時(shí)的特征圖譜，此時(shí)Φ(x)可以用一些簡(jiǎn)單的核函數(shù)表示，如高斯核函數(shù)等。當(dāng)ξi松弛變量被目標(biāo)函數(shù)懲罰時(shí)，w和ρ是該目標(biāo)函數(shù)中針對(duì)該問(wèn)題而設(shè)置的初始參數(shù)。此時(shí)，正則項(xiàng)||w||取最小值時(shí)，f(x)=(w·Φ(xi))≥ρ-ξi對(duì)訓(xùn)練集中的樣本x正相關(guān)。v為異常值的分?jǐn)?shù)設(shè)置了一個(gè)上限（訓(xùn)練數(shù)據(jù)集里面被認(rèn)為是異常的）。l是一個(gè)正整數(shù)，表示訓(xùn)練數(shù)據(jù)集的數(shù)目。

作為無(wú)監(jiān)督學(xué)習(xí)方法，該方法被廣泛地應(yīng)用于檢測(cè)無(wú)標(biāo)記的數(shù)據(jù)。但是就目前的檢測(cè)準(zhǔn)確率而言，相比于有監(jiān)督的學(xué)習(xí)方法，該方法還需要進(jìn)一步發(fā)展改進(jìn)來(lái)提高檢查精度。

1.3 SVM 與其它機(jī)器學(xué)習(xí)技術(shù)結(jié)合

基于SVM 的異常檢測(cè)方法非常適合小樣本檢測(cè)，原因是其異常檢測(cè)速度快、效率高、檢測(cè)精度高，因此成為當(dāng)前的研究熱點(diǎn)。如今，學(xué)術(shù)界經(jīng)常用將SVM 與其他算法結(jié)合的方法來(lái)檢測(cè)異常。利用SVM 和蟻群算法相結(jié)合，并將數(shù)據(jù)集從高維通過(guò)特征選取方法降為低維（如將41 維輸入向量降低為19 維），實(shí)現(xiàn)了檢測(cè)精度的提高[3]。使用SVM來(lái)進(jìn)行分類，使用動(dòng)態(tài)增長(zhǎng)的自組織樹(shù)來(lái)進(jìn)行聚類并確定邊界數(shù)據(jù)的方法來(lái)解決大樣本數(shù)據(jù)訓(xùn)練速度過(guò)慢的問(wèn)題[4]，將SVM 與決策樹(shù)（Decision Tree，DT）和模擬退火算法（Simulated Annealing，SA）結(jié)合來(lái)解決維度災(zāi)害問(wèn)題[5]。

基于SVM 檢測(cè)技術(shù)的方法通常需要比較干凈的數(shù)據(jù)，而實(shí)際流量數(shù)據(jù)通常包含了大量的噪聲數(shù)據(jù)，因此，檢測(cè)結(jié)果的誤報(bào)率高，檢測(cè)精度不足。由于有監(jiān)督的機(jī)器學(xué)習(xí)檢測(cè)方法需要人工標(biāo)記大量數(shù)據(jù)，面臨大量的困難，基于半監(jiān)督或無(wú)監(jiān)督的SVM 檢測(cè)技術(shù)逐漸引起了學(xué)者重視。

2 基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)異常檢測(cè)技術(shù)

2.1 自組織映射神經(jīng)網(wǎng)絡(luò)

利用自組織映射神經(jīng)網(wǎng)絡(luò)（Self-Organizing Map，SOM），可以使數(shù)據(jù)成為無(wú)監(jiān)視學(xué)習(xí)集群。SOM 是“無(wú)監(jiān)督學(xué)習(xí)”模型中的一種。ANN（MLP）模型與SOM 模型在結(jié)構(gòu)上相似，不同的是，SOM可以將高維的Input 數(shù)據(jù)顯示在低次元空間，也可以應(yīng)用于數(shù)據(jù)可視化和集群。

SOM剛開(kāi)始被用于誤用檢測(cè)（Misuse Detection）的方法上。從本質(zhì)來(lái)看，其中的神經(jīng)網(wǎng)絡(luò)只包含了兩個(gè)層級(jí)，一個(gè)是隱藏層，另外一個(gè)是輸入層[6]。隱藏層中的每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)的是需要進(jìn)行集合的類，具體的訓(xùn)練選擇的方法是沖突學(xué)習(xí)。對(duì)于其中每一個(gè)輸入事例進(jìn)行分析可以發(fā)現(xiàn)，每一個(gè)隱藏層都有對(duì)應(yīng)的匹配節(jié)點(diǎn)，這個(gè)節(jié)點(diǎn)屬于活動(dòng)節(jié)點(diǎn)。其中“winning neuron”可以針對(duì)已經(jīng)激活的每一個(gè)節(jié)點(diǎn)參數(shù)進(jìn)行修改，使用的方法是隨機(jī)梯度下降，另外這些節(jié)點(diǎn)附近的點(diǎn)也會(huì)根據(jù)與活動(dòng)節(jié)點(diǎn)之間的距離大小來(lái)改變和調(diào)整對(duì)應(yīng)的數(shù)據(jù)。

SOM 的隱藏層的節(jié)點(diǎn)之間存在拓?fù)潢P(guān)系。需要確定這個(gè)關(guān)系，將隱藏節(jié)點(diǎn)連成一條線，就形成了一維模型；二維拓?fù)潢P(guān)系是平面，其二維拓?fù)潢P(guān)系如圖1 所示。

圖1 SOM 結(jié)構(gòu)圖

隱藏層的拓?fù)潢P(guān)系允許SOM 模型將任意維度輸入離散到一維或二維（更高維度的非一般）離散空間。Cmaptation layer 中的節(jié)點(diǎn)與Input layer 的節(jié)點(diǎn)完全連接。其計(jì)算過(guò)程如下。

初始化：所有的節(jié)點(diǎn)都將自身的參數(shù)數(shù)據(jù)進(jìn)行初始化設(shè)置，每一個(gè)節(jié)點(diǎn)的參數(shù)個(gè)數(shù)將會(huì)與Input數(shù)據(jù)的維度保持一致。

所有的輸入數(shù)據(jù)都可以找到對(duì)應(yīng)的節(jié)點(diǎn)來(lái)進(jìn)行匹配。如果在輸入時(shí)假定X={xi,i=1,2,…,D}為D維，則判別函數(shù)可以為輸入向量X和權(quán)重向量wi,j的歐幾里德距離：

如果其中存在活動(dòng)節(jié)點(diǎn)I(x)，那么就應(yīng)該進(jìn)一步針對(duì)其附近的節(jié)點(diǎn)進(jìn)行更新。在所有神經(jīng)元網(wǎng)格上，Sij表示任意兩個(gè)神經(jīng)元i和j的橫向距離。這個(gè)距離數(shù)據(jù)直接決定了活動(dòng)節(jié)點(diǎn)的分配更新權(quán)重。

在SOM 中，σ是一個(gè)特殊的特征，表示鄰域大小，其隨著迭代次數(shù)而減小。

下一步需要對(duì)節(jié)點(diǎn)參數(shù)進(jìn)行更新，具體的操作是基于梯度下降法進(jìn)行的：

進(jìn)行迭代，直到收斂。式（8）中：公式η(t)=η0exp(-t/τn)表示一個(gè)依賴次數(shù)t的學(xué)習(xí)速率。還需要在初始狀態(tài)開(kāi)始，選擇合適的初始參數(shù)η0和τn。

2.2 自生長(zhǎng)分層自組織映射神經(jīng)網(wǎng)絡(luò)

隨著研究的深入，SOM 的弊端逐漸表現(xiàn)出來(lái)：必須預(yù)先確定網(wǎng)絡(luò)大小和架構(gòu)，固定網(wǎng)格的投影不能直觀地表示數(shù)據(jù)中的分級(jí)關(guān)系?；谝陨蟂OM算法的缺點(diǎn)，有學(xué)者提出了自生長(zhǎng)分層自組織映射神經(jīng)網(wǎng)絡(luò)（Growing Hierarchy SOM，GHSOM）。該網(wǎng)絡(luò)將SOM 分為多層網(wǎng)絡(luò)結(jié)構(gòu)，并基于輸入數(shù)據(jù)進(jìn)行結(jié)構(gòu)的自適應(yīng)擬合，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 GHSOM 算法結(jié)構(gòu)示意圖

2.3 GHSOM 與其他機(jī)器學(xué)習(xí)檢測(cè)算法結(jié)合

為了進(jìn)一步提高檢測(cè)精度，不同的研究人員將GHSOM 與其他檢測(cè)方法或檢測(cè)思想結(jié)合起來(lái)使用，如：

（1）GHSOM 與K-means 結(jié)合，提出一種半監(jiān)督的檢測(cè)方法來(lái)提高精度[7]；

（2）GHSOM 與SVM 結(jié)合，使用GHSOM 來(lái)對(duì)網(wǎng)絡(luò)流量進(jìn)行聚類及相應(yīng)的可視化，基于GHSOM的Label 標(biāo)簽，再使用SVM 來(lái)進(jìn)一步進(jìn)行異常行為分類[8]；

（3）GHSOM 與CSFS（Classifier-specific feature selection，CSFS）結(jié)合，該論文的實(shí)驗(yàn)結(jié)果顯示減少了GHSOM 生成的層數(shù)，并提高了檢測(cè)效率與精度[9]。

3 基于聚類的網(wǎng)絡(luò)異常檢測(cè)技術(shù)

3.1 基于歐式距離的聚類算法

基于歐式距離的聚類（K-means）算法屬于硬聚類算法，它也是典型的目標(biāo)函數(shù)聚類方法之一，具體是以模型為基礎(chǔ)實(shí)現(xiàn)的。其中還需要使用到目的函數(shù)來(lái)進(jìn)行優(yōu)化，具體的優(yōu)化過(guò)程必須測(cè)量數(shù)據(jù)點(diǎn)到圓形之間的距離大小。使用其中的計(jì)算函數(shù)極值方法，就可以分析得到迭代計(jì)算過(guò)程中的調(diào)整規(guī)則。

德國(guó)圖賓根大學(xué)的GERHARD MUNZ 等在入侵檢測(cè)中首次引入該算法，采用了流量的統(tǒng)計(jì)數(shù)據(jù)作為特征，在判斷時(shí)將分類器（Classification）和異常點(diǎn)檢測(cè)（Outlier Detection）結(jié)合進(jìn)行檢測(cè)，如圖3所示。

圖3 K-means 入侵檢測(cè)示意圖

步驟如下所示：

（1）隨機(jī)在圖中取K個(gè)種子點(diǎn)；

（2）對(duì)于圖中的所有點(diǎn)，確定到K種點(diǎn)的距離，并且當(dāng)Pi最接近種子點(diǎn)Si時(shí)，Pi屬于Si類；

（3）確定組的平均值，并將新的種子點(diǎn)作為類的中心；

（4）重復(fù)第（2）步和第（3）步，直到種子點(diǎn)未移動(dòng)。

YU G 等提出了Y-means 聚類方法用于異常檢測(cè)，該方法基于K-means，克服了K-means 方法對(duì)集群的依賴等問(wèn)題。

RANJAN R 等提出了K-Medios 算法，計(jì)算集群中每個(gè)樣本點(diǎn)距離的絕對(duì)誤差（K-Manas 是集群中所有點(diǎn)的平均值）最小的點(diǎn)，作為新的中心點(diǎn)。

步驟如下所示：

（1）隨機(jī)在圖中取K個(gè)種子點(diǎn)；

（2）對(duì)于圖中的所有點(diǎn)確定到K種點(diǎn)的距離，并且當(dāng)Pi最接近種子點(diǎn)Si時(shí)，Pi屬于Si類；

（3）計(jì)算集群中每個(gè)樣本點(diǎn)距離的絕對(duì)誤差（K-means 是集群中所有點(diǎn)的平均值）最小的點(diǎn)，作為新的中心點(diǎn)；

（4）重復(fù)第（2）步和第（3）步，直到種子點(diǎn)未移動(dòng)。

K-SMedios 方法的優(yōu)點(diǎn)是對(duì)噪聲不敏感，并且遠(yuǎn)離組的點(diǎn)對(duì)分割的結(jié)果偏差不太大，并且少數(shù)數(shù)據(jù)不產(chǎn)生大的影響。算法使相異的綜合最小化，所得簇相當(dāng)緊湊，簇與簇之間分隔明顯。缺點(diǎn)是它是對(duì)K-means的改進(jìn)，但由于是由中心點(diǎn)選擇的方案，所以算法的時(shí)間復(fù)雜度也比K-means 上升，計(jì)算量更大，一般只適合中小數(shù)據(jù)量。

3.2 K-近鄰算法

K-近鄰（K-Nearest Neighboors，KNN）算法從訓(xùn)練集中發(fā)現(xiàn)最接近新數(shù)據(jù)的k條記錄，并根據(jù)它們的主要分類確定新數(shù)據(jù)的類別。

LIN W C，KE S W，TSAI C F 等在入侵檢測(cè)中引入KNN 算法，結(jié)合聚類算法的中心點(diǎn)來(lái)構(gòu)造新的特征進(jìn)行分類。

算法步驟如下：

（1）訓(xùn)練數(shù)據(jù)集聚類，聚類中心點(diǎn)C={Cu1,Cu2,…,Cum}；

（2）找到每個(gè)數(shù)據(jù)點(diǎn)的最近鄰；

（3）針對(duì)步驟（1）和步驟（2）的結(jié)果構(gòu)建新特征，已知數(shù)據(jù)點(diǎn)集合A=(a1,a2,a3,…,an) 和B=(b1,b2,b3,…,bn)，則可以用以下公式求A，B數(shù)據(jù)點(diǎn)集合的歐式距離。

基于以上公式，可進(jìn)一步計(jì)算出數(shù)據(jù)點(diǎn)集合D和中心點(diǎn)C的距離和數(shù)據(jù)點(diǎn)集合D與最近鄰點(diǎn)集合N的距離。

（4）針對(duì)新的特征（一維）進(jìn)行k-NN 算法分類，算法框架如圖4～圖6 所示。

圖4 提取聚類中心和最近臨近點(diǎn)

圖5 形成新的數(shù)據(jù)集

圖6 形成K-NN 分類器

該算法的優(yōu)勢(shì)有：實(shí)現(xiàn)簡(jiǎn)單，重新訓(xùn)練的代價(jià)較低，按訓(xùn)練集的規(guī)模線性計(jì)算時(shí)間和空間。KNN法主要依賴于周邊有限的鄰近樣本，算法適用于樣本容量大的類域的自動(dòng)分類，但是那些樣本容量小的類域如果采用該算法，容易發(fā)生誤差。

該算法的不足有：KNN 算法是散漫的學(xué)習(xí)方法，積極學(xué)習(xí)的算法非?？欤悇e評(píng)分不是規(guī)格化的，輸出的可解釋性不強(qiáng)，訓(xùn)練有更高的要求。如果樣品不平衡，例如，一個(gè)類的樣品容量大，而其他類的樣品容量很小，當(dāng)輸入新樣本時(shí)，與該樣本的K個(gè)相鄰的大容量類的樣本占多數(shù)。另外，該算法的計(jì)算量較大，現(xiàn)在經(jīng)常使用的解決方法是，事先將已知的樣本點(diǎn)剪切，除去對(duì)分類沒(méi)什么效果的樣品，或者使用kd 樹(shù)削減計(jì)算量。

4 結(jié)語(yǔ)

以上幾種算法是檢查網(wǎng)絡(luò)異常的常用的、可靠的方法，能夠檢測(cè)出當(dāng)前網(wǎng)絡(luò)中存在的異常問(wèn)題和安全問(wèn)題。但是在檢測(cè)過(guò)程中仍然存在一些問(wèn)題，主要體現(xiàn)在以下幾個(gè)方面。

（1）檢測(cè)的快速實(shí)時(shí)性。針對(duì)高速網(wǎng)絡(luò)動(dòng)輒千兆、萬(wàn)兆帶寬的實(shí)時(shí)流量，對(duì)檢測(cè)模型及相關(guān)算法處理數(shù)據(jù)的實(shí)時(shí)性要求很高，同時(shí)在保證實(shí)時(shí)性的前提下，需要盡量降低誤報(bào)率和漏報(bào)率。

（2）高誤報(bào)率（False Positive）和高泄漏率（False Negative）。目前異常檢測(cè)面臨的問(wèn)題主要是高誤報(bào)率及高漏報(bào)率，使得異常檢測(cè)的實(shí)際應(yīng)用受到限制。安全分析員被淹沒(méi)在大量的假報(bào)警中，而真正的報(bào)警又沒(méi)有被檢測(cè)出來(lái)。

（3）警報(bào)過(guò)濾（Alarm Filtering）。傳統(tǒng)的異常檢測(cè)通常認(rèn)為惡意行為表現(xiàn)一定異常、而善意行為表現(xiàn)正常。在實(shí)際復(fù)雜的環(huán)境中，惡意行為通常通過(guò)偽裝自己從而表現(xiàn)正常，而善意行為在特定條件下有時(shí)也會(huì)表現(xiàn)得異常。針對(duì)這部分可疑警報(bào)，需要被增強(qiáng)過(guò)濾或增強(qiáng)轉(zhuǎn)發(fā)至二次檢測(cè)，以提高檢測(cè)精度。

（4）數(shù)據(jù)訓(xùn)練模型的自適應(yīng)性。傳統(tǒng)的訓(xùn)練模式通常采用離線訓(xùn)練、在線運(yùn)行的方式。線下與線上環(huán)境的差異，以及線上環(huán)境的實(shí)時(shí)動(dòng)態(tài)變化，導(dǎo)致檢測(cè)效果不理想。更新訓(xùn)練通常在線進(jìn)行，缺乏適應(yīng)能力。

因此，綜合這些問(wèn)題，網(wǎng)絡(luò)異常檢測(cè)不再僅僅局限于方法的操作。一個(gè)形成體系的完整檢測(cè)框架，是進(jìn)一步需要研究的熱點(diǎn)方向。