基于CNN-NSVM的入侵檢測(cè)模型

王佳林 童恩棟 牛溫佳 劉吉強(qiáng) 趙 迪

北京交通大學(xué)智能交通數(shù)據(jù)安全與隱私保護(hù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京 100044

引言

隨著互聯(lián)網(wǎng)用戶持續(xù)呈指數(shù)形式增長(zhǎng)，網(wǎng)絡(luò)空間的保護(hù)也在不斷改善。但與此同時(shí)，攻擊者的攻擊頻率也在不斷增長(zhǎng)。根據(jù)國(guó)家互聯(lián)網(wǎng)應(yīng)急中心[1]統(tǒng)計(jì)，僅在2017年7月，我國(guó)就發(fā)生了近3000起網(wǎng)絡(luò)漏洞攻擊事件，嚴(yán)重威脅了人民的信息安全，網(wǎng)絡(luò)空間安全的防護(hù)迫在眉睫。目前網(wǎng)絡(luò)安全防御通常是利用放置在網(wǎng)關(guān)處的防火墻來(lái)檢測(cè)入侵活動(dòng)。為了動(dòng)態(tài)監(jiān)視入侵活動(dòng)，IDS(Intrusion Detection System, 入侵檢測(cè)系統(tǒng))被用作第二道防線，它可以主動(dòng)監(jiān)視計(jì)算機(jī)中的網(wǎng)絡(luò)日志以及文件系統(tǒng)等，通過(guò)分析網(wǎng)絡(luò)流量中的正常或異常行為，可以檢測(cè)出未知的或新的攻擊[2]。IDS可分為HIDS(Host-based Intrusion Detection System，基于主機(jī)的入侵檢測(cè)系統(tǒng))以及NIDS(Network-based Intrusion Detection System)。HIDS使用由單個(gè)計(jì)算機(jī)系統(tǒng)收集的信息，而NIDS收集原始網(wǎng)絡(luò)數(shù)據(jù)包作為網(wǎng)絡(luò)數(shù)據(jù)源并分析入侵標(biāo)志[3]。

目前實(shí)現(xiàn)IDS的方法主要包括：統(tǒng)計(jì)分析方法，模式匹配方法，基于數(shù)據(jù)挖掘的異常檢測(cè)方法，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法等。Tian等人[4]提出了一種基于誤用檢測(cè)與異常檢測(cè)相結(jié)合的IDS模型。在該模型中，誤用檢測(cè)基于模式匹配，異常檢測(cè)基于統(tǒng)計(jì)分析。該方法降低了假陰性率和假陽(yáng)性率，提高了IDS的準(zhǔn)確性。然而，使用統(tǒng)計(jì)分析技術(shù)需要建立一個(gè)區(qū)分異常事件的閾值，如果設(shè)置不當(dāng)，將導(dǎo)致大量誤報(bào)和漏報(bào)，并且在模式匹配技術(shù)中，會(huì)忽略沒有規(guī)則描述的攻擊。Zhang等人[5]提出了兩種基于數(shù)據(jù)挖掘的改進(jìn)算法，分別為INFLOF(Influenced Local Outlier Factor，基于對(duì)稱鄰居關(guān)系的離群因子)算法和COF(Connectivity based Outlier Factor，基于連接的離群系數(shù)) 算法。該方法可以解決由密度簇引起的邊緣誤判問(wèn)題，但在參數(shù)選擇上存在一定的困難。雖然LOF(Local Outlier Factor，局部異常因子)算法可以通過(guò)觀察不同的k值，然后取最大的離群值來(lái)解決這個(gè)問(wèn)題，但是仍然需要確定參數(shù)的邊界。

為了解決上述問(wèn)題，一些淺層的分類器被應(yīng)用在了入侵檢測(cè)領(lǐng)域，其中SVM(Support Vector Machine，支持向量機(jī))基于統(tǒng)計(jì)學(xué)習(xí)方法，相比傳統(tǒng)分類方法，SVM對(duì)小樣本數(shù)據(jù)、高維數(shù)據(jù)展現(xiàn)出了良好的效果。Guang[6]等人為了提高復(fù)雜非線性系統(tǒng)中SVM的檢測(cè)能力，提出了一種基于小波核最小二乘的入侵檢測(cè)方法。然而，該算法的訓(xùn)練和測(cè)試時(shí)間相對(duì)較長(zhǎng)。Pervez[7]等人為了改進(jìn)基于SVM的入侵檢測(cè)系統(tǒng)，提出了一種基于遺傳算法的入侵檢測(cè)算法，其選擇了SVM的最優(yōu)特征子集，但沒有考慮SVM的錯(cuò)誤率。為了克服淺層學(xué)習(xí)的問(wèn)題，一些研究者已經(jīng)證明，分層的深度學(xué)習(xí)算法和淺層分類器進(jìn)行結(jié)合能夠更好地對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行學(xué)習(xí)以及分類[8]。然而這樣的方法在入侵檢測(cè)領(lǐng)域仍然存在一定的局限性。文章[9]使用非對(duì)稱的棧式自編碼器和隨機(jī)森林相結(jié)合進(jìn)行入侵檢測(cè)，使用KDD99數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，模型在整體性能上表現(xiàn)良好，但是在數(shù)據(jù)集中小樣本的檢測(cè)準(zhǔn)確率較低。并且在自編碼器中由于相鄰層之間的完全連接單元，還有貪婪式的預(yù)訓(xùn)練使得模型具有大量的訓(xùn)練參數(shù)。

鑒于上述原因，開發(fā)了一種新的基于CNN-NSVM(Convolutional Neural Network-support Vector Machine，卷積神經(jīng)網(wǎng)絡(luò)-多類支持向量機(jī)分類器)的方法來(lái)提高入侵檢測(cè)的性能。我們考慮了數(shù)據(jù)集中存在數(shù)量較少的小樣本數(shù)據(jù)，因此改進(jìn)了少數(shù)類合成算法對(duì)數(shù)據(jù)進(jìn)行過(guò)采樣操作，解決了數(shù)據(jù)中存在的不平衡現(xiàn)象。利用CNN(Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò))對(duì)數(shù)據(jù)集進(jìn)行特征提取，通過(guò)稀疏連接和共享權(quán)重的方式減少模型的參數(shù)，提高檢測(cè)效率，并且設(shè)計(jì)了多類SVM分類器，縮短了訓(xùn)練的時(shí)間，提高了入侵檢測(cè)的準(zhǔn)確率以及召回率。

2 基于CNN-NSVM的入侵檢測(cè)方法

CNN可以有效地學(xué)習(xí)特征，通常被用來(lái)對(duì)圖像進(jìn)行處理，但同樣可以用來(lái)進(jìn)行數(shù)據(jù)流量檢測(cè)。SVM[3]用于解決小樣本和非線性問(wèn)題，解決了維度災(zāi)難、過(guò)擬合等常見問(wèn)題，是當(dāng)前機(jī)器學(xué)習(xí)的重要方法。通過(guò)結(jié)合CNN與SVM，我們提出了CNN-NSVM模型。如圖1所示，CNN-NSVM主要包括3部分：1)預(yù)處理階段；2)CNN特征提取階段；3)多類SVM分類階段。

圖1 CNN-NSVM整體架構(gòu)

2.1 預(yù)處理

2.1.1 稀疏特征合并

在數(shù)據(jù)特征中會(huì)存在一些特征值v對(duì)應(yīng)的標(biāo)簽y是相同的，那么這些v之間是沒有意義的，我們通常將他們進(jìn)行合并，這可以降低數(shù)據(jù)的計(jì)算成本，提高數(shù)據(jù)分類的準(zhǔn)確性，同時(shí)減少數(shù)據(jù)的稀疏度。

2.1.2 特征編碼

基于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要使用到數(shù)值型的特征。因此在預(yù)處理階段需要把非數(shù)值型的特征轉(zhuǎn)換為數(shù)值型的特征。本文使用One-hot編碼將字符型數(shù)據(jù)映射為數(shù)值形式。

2.1.3 改進(jìn)的少數(shù)類合成算法

在網(wǎng)絡(luò)流量中，大多數(shù)是合法的數(shù)據(jù)流量，只有少量數(shù)據(jù)流量是非法的，但往往是這些占少量的數(shù)據(jù)流量危害更大。提高小樣本的檢測(cè)率，對(duì)提高整體入侵檢測(cè)技術(shù)有重要意義。過(guò)采樣技術(shù)可以解決數(shù)據(jù)集中各類數(shù)據(jù)的不平衡問(wèn)題，Chawla等人[10]首次提出了過(guò)采樣技術(shù)少數(shù)類合成算法，但是這種方法在過(guò)采樣操作時(shí)存在一定的盲目性，沒有考慮到小樣本數(shù)據(jù)的分布問(wèn)題，容易使數(shù)據(jù)邊緣化問(wèn)題惡化，使得數(shù)據(jù)在過(guò)采樣之后的檢測(cè)率不增反減。因此針對(duì)這個(gè)問(wèn)題我們對(duì)少數(shù)類合成算法進(jìn)行改進(jìn)。

在訓(xùn)練集S中，xi是數(shù)據(jù)集中的少數(shù)樣本。計(jì)算出與xi相似的k近鄰半徑內(nèi)數(shù)據(jù)集Pi。我們計(jì)算k近鄰時(shí)采用歐氏距離r，計(jì)算公式如下所示。

統(tǒng)計(jì)Pi中多數(shù)類樣本的個(gè)數(shù)xd，計(jì)算xd在Pi中的比例k，根據(jù)過(guò)采樣數(shù)量的大小設(shè)定閥值t，如果0＜k＜t，則從Pi中隨機(jī)選擇一個(gè)樣本xaq，進(jìn)行樣本的人工合成；如果t＜k＜1，則不進(jìn)行數(shù)據(jù)合成。具體的數(shù)學(xué)表達(dá)式如式(2)所示。

其中，rand(0，1)表示隨機(jī)數(shù)字在0到1之間選擇。然后根據(jù)所需的過(guò)采樣集的數(shù)量重復(fù)過(guò)采樣操作，并將新的合成的少量樣本添加到初始訓(xùn)練樣本中。從而增加樣本數(shù)量，降低數(shù)據(jù)集中的不平衡，并獲得新的訓(xùn)練樣本。改進(jìn)的少數(shù)類合成算法小樣本增量過(guò)程如下所示。

輸入：小樣本數(shù)據(jù)集T；多數(shù)類樣本數(shù)據(jù)集M；采樣率N%；采樣閥值t；

輸出：(N/100)*T新的合成少數(shù)類樣本。

對(duì)于每一個(gè)樣本 xi，xi∈T；

在T找到xi的k近鄰半徑內(nèi)Pj，j∈(1…k)，T，M∈Pj；

k=M/Pj；

如果 t＜k＜1；

對(duì)xi不處理；

否則，如果 0＜k＜t；

從k個(gè)近鄰中隨機(jī)的選擇一個(gè)樣本xaq，在0到1之間隨機(jī)的選擇一個(gè)隨機(jī)數(shù)，從而合成一個(gè)新的樣本fiq。

對(duì)步驟二重復(fù)進(jìn)行N次，得到新的樣本數(shù)據(jù)集。

2.1.4 歸一化

數(shù)據(jù)集中存在一些離散或連續(xù)的數(shù)值，它們的范圍不同，使得數(shù)據(jù)在各維度之間不存在可比性，規(guī)范化方法使用以下方法映射[0，1]之間的數(shù)字屬性。

其中，X是數(shù)據(jù)中某一維度的值，Xmin是該維度的最小值，Xmax是該維度的最大值，Xk是最后得到的歸一化之后的數(shù)據(jù)。

2.2 特征提取

我們使用CNN對(duì)數(shù)據(jù)流量進(jìn)行特征提取，將數(shù)據(jù)流量重新整理成數(shù)據(jù)矩陣，矩陣中的每一個(gè)值都代表一個(gè)像素點(diǎn)，通過(guò)卷積、池化的不斷操作，將數(shù)據(jù)中的特征進(jìn)行學(xué)習(xí)，并且保存下來(lái)。在CNN-NSVM模型中，我們使用3×3的卷積核將預(yù)處理數(shù)據(jù)輸入到輸入層，保存在最后一個(gè)全連接層中提取的特征。模型中使用的CNN結(jié)構(gòu)如表1所示。

2.3 多類SVM分類

SVM是一種高效的兩分類機(jī)器學(xué)習(xí)算法，但大多數(shù)分類案例都是多分類的。在本文中，提取的特征被輸入到基于二叉樹構(gòu)造的多類SVM分類器中。其中的核函數(shù)是高斯核函數(shù)，核函數(shù)中的參數(shù)σ=0.0001，懲罰因子C=1000，實(shí)驗(yàn)經(jīng)過(guò)五折交叉驗(yàn)證的結(jié)果來(lái)調(diào)節(jié)參數(shù)獲取最高的分類準(zhǔn)確率。多類SVM的分類步驟如下。

1)將得到的特征輸入到SVM1中，SVM1首先判斷數(shù)據(jù)是正常類型還是攻擊類型，如果攻擊類型，則將攻擊類型的數(shù)據(jù)輸入到SVM2中，否則標(biāo)記normal標(biāo)簽。

2)SVM2判斷得到的數(shù)據(jù)是Dos還是Probe、U2R、R2L中的某個(gè)類型，如果是Probe、U2R、R2L中的某個(gè)類型，則將這類數(shù)據(jù)輸入到SVM3中，否則的話標(biāo)記Dos標(biāo)簽。

3)SVM3判斷得到的數(shù)據(jù)是Probe還是U2R和R2L中的某個(gè)攻擊類型，如果是U2R和R2L中的攻擊類型，則將該類數(shù)據(jù)輸入到SVM4中進(jìn)行分類，否則的話就標(biāo)記為Probe類型。

4)SVM4判斷得到的數(shù)據(jù)是否是U2R還是R2L，判斷結(jié)果用于標(biāo)記數(shù)據(jù)，最后對(duì)所有數(shù)據(jù)進(jìn)行分類。

表1 CNN結(jié)構(gòu)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)計(jì)

本文的實(shí)驗(yàn)過(guò)程如圖2所示。首先將KDD 99數(shù)據(jù)集進(jìn)行2.1節(jié)介紹的預(yù)處理操作，將獲得的標(biāo)準(zhǔn)數(shù)據(jù)集輸入CNN進(jìn)行特征提取，進(jìn)一步將提取的特征輸入多類SVM分類器進(jìn)行訓(xùn)練和測(cè)試，根據(jù)實(shí)驗(yàn)結(jié)果分析改進(jìn)模型。采用Accuracy、FNR、FPR等評(píng)價(jià)標(biāo)準(zhǔn)將本文的結(jié)果和其他模型進(jìn)行對(duì)比。

圖2 實(shí)驗(yàn)流程

3.2 實(shí)驗(yàn)數(shù)據(jù)

KDD99數(shù)據(jù)集是美國(guó)空軍9周收集的網(wǎng)絡(luò)連接和系統(tǒng)審計(jì)數(shù)據(jù)，涵蓋各種用戶類型，各種網(wǎng)絡(luò)流量和攻擊方法，以模擬真實(shí)的網(wǎng)絡(luò)環(huán)境[11]。訓(xùn)練數(shù)據(jù)包括490萬(wàn)單個(gè)連接數(shù)據(jù)，測(cè)試數(shù)據(jù)包含200萬(wàn)個(gè)網(wǎng)絡(luò)連接數(shù)據(jù)。我們僅使用數(shù)據(jù)集的10%進(jìn)行訓(xùn)練，其中有494021條記錄。這個(gè)數(shù)據(jù)集有五種類型，包括Normal、DoS、R2L、U2R、Probe。攻擊類型分為4類，共39種攻擊類型，其中22種類型的攻擊出現(xiàn)在訓(xùn)練集中，另外17種未知類型出現(xiàn)在測(cè)試集中。每個(gè)連接有41個(gè)特征。其中Normal類型有97278條記錄，Probe類型有4107條記錄，DoS有391458條記錄，U2R有52條記錄，R2L有1126條記錄。它們分別占總數(shù)的19.69%、0.83%、79.24%、0.01%、0.22%。

3.3 數(shù)據(jù)預(yù)處理

1)合并稀疏特征。我們發(fā)現(xiàn)“service”中“ntpu、tftpu、redi”對(duì)應(yīng)的標(biāo)簽都是“normal”，可以將他們3個(gè)進(jìn)行合并?！皃mdump”、“http2784”、“harvest”、“aol”、“http_8001”所對(duì)應(yīng)的標(biāo)簽都是“satan”，可以將它們5個(gè)進(jìn)行合并。

2)數(shù)值化特征。本文使用One-hot編碼處理非數(shù)值型的數(shù)據(jù)。在KDD 99數(shù)據(jù)集中有3種協(xié)議類型，對(duì)應(yīng)3維的向量；70種服務(wù)符號(hào)取值，則對(duì)應(yīng)70維不同向量；11種標(biāo)簽的符號(hào)取值，對(duì)應(yīng)11個(gè)向量。我們?yōu)樗麄兘⑾鄳?yīng)的數(shù)值映射(例如TCP=[1，0，0]，UDP=[0,1,0]，ICMP=[0,0,1])轉(zhuǎn)換為數(shù)值特征。最后數(shù)據(jù)在編碼之后的維度從41維變成了122維數(shù)據(jù)。

3)過(guò)采樣技術(shù)。因?yàn)樵贙DD 99數(shù)據(jù)中U2R樣本類型的數(shù)量較少，所以本文將得到的數(shù)值化之后的122維數(shù)據(jù)中的U2R攻擊類型進(jìn)行過(guò)采樣操作。過(guò)采樣之后的數(shù)據(jù)集中類型的數(shù)量如表2所示。

表2 過(guò)采樣之后的數(shù)據(jù)類型數(shù)量

4)歸一化。KDD99數(shù)據(jù)中存在一些離散或連續(xù)的數(shù)值，它們的范圍不同，使得數(shù)據(jù)在各維度之間不存在可比性，我們將數(shù)據(jù)歸一化操作，將數(shù)據(jù)映射到[0，1]之間再對(duì)數(shù)據(jù)進(jìn)行提取以及分類操作。

3.4 實(shí)驗(yàn)結(jié)果與分析

1)實(shí)驗(yàn)1，卷積核長(zhǎng)度對(duì)檢測(cè)結(jié)果的影響。

本文分析了CNN中卷積核長(zhǎng)度對(duì)結(jié)果的影響，檢測(cè)指標(biāo)是假陰性率(FNR)和假陽(yáng)性率(FPR)，實(shí)驗(yàn)結(jié)果如圖3所示。從圖3中可以看出兩個(gè)檢測(cè)指標(biāo)都存在先下降后上升的趨勢(shì)，在卷積核長(zhǎng)度為2的時(shí)候FNR達(dá)到最低，說(shuō)明此時(shí)攻擊類型檢測(cè)的準(zhǔn)確率最高，但此時(shí)的FPR較高，我們希望的是提升整體的準(zhǔn)確率。在卷積核長(zhǎng)度為3的時(shí)候，F(xiàn)PR達(dá)到最低，同時(shí)FNR也達(dá)到了一個(gè)相對(duì)較低的水平。當(dāng)卷積核長(zhǎng)度達(dá)到4、5、6時(shí)，F(xiàn)NR和FPR都比卷積核長(zhǎng)度為3時(shí)高，所以卷積核長(zhǎng)度為3的時(shí)候綜合性能最好?？梢姡矸e核的長(zhǎng)度不宜過(guò)大，過(guò)長(zhǎng)的卷積核會(huì)導(dǎo)致模型的參數(shù)增多，增加模型的訓(xùn)練難度，從而在一定程度上降低模型的檢測(cè)性能。過(guò)短的卷積核容易導(dǎo)致特征學(xué)習(xí)不到，降低檢測(cè)率。因此，應(yīng)當(dāng)充分實(shí)驗(yàn)，選取合適的卷積核長(zhǎng)度，提高模型檢測(cè)性能。

圖3 CNN中卷積核長(zhǎng)度對(duì)檢測(cè)結(jié)果的影響

2)實(shí)驗(yàn)2，過(guò)采樣的性能。

圖4 比較過(guò)采樣性能的精確率

采用少數(shù)類合成算法的CNNNSVM和沒有采用該算法的CNNNSVM進(jìn)行訓(xùn)練和測(cè)試，比較兩種結(jié)果的精確率和召回率，結(jié)果如圖4、圖5所示。采用少數(shù)類合成算法之后，U2R的精確率提升幅度最大，為17.2%。召回率方面，采用少數(shù)類合成算法之后的方法中Normal和Dos兩種類型的召回率變化較小，因?yàn)樗麄円呀?jīng)有了很高的召回率，數(shù)據(jù)集中的小類U2R和R2L的提升幅度較大，分別提升了40.4%和48.6%。結(jié)果證明采用少數(shù)類合成算法可以有效解決數(shù)據(jù)不平衡的問(wèn)題。

3)實(shí)驗(yàn)3，與其他模型的性能比較。

使用我們的模型與深度置信網(wǎng)絡(luò)算法[12]相比較，使用相同的隱藏層個(gè)數(shù)，深度置信網(wǎng)絡(luò)的訓(xùn)練時(shí)間為54660s，我們模型的訓(xùn)練時(shí)間是5023s，節(jié)約了90.81%的時(shí)間。

圖5 比較過(guò)采樣性能的召回率

與基于蟻群網(wǎng)絡(luò)和SVM的入侵檢測(cè)算法[13]相比，CNN-NSVM中每一步的召回率(Recall)都比CSVAC高，CNN- NSVM中假陽(yáng)性和假陰性率都低于CSVAC。與基于啟發(fā)式遺傳算法的SVM[14]相比，CNN-NSVM具有更高的召回率。與GF-SVM算法[15]相比，CNN-NSVM算法的假陰性率低于GF-SVM。與Chi-SVM[16]相比較，CNN-NSVM的假陽(yáng)性率假陰性率均比較低。表3所示，CNN-NSVM可以提高召回率，同時(shí)減低FNR和FPR。

4 結(jié)束語(yǔ)

文章對(duì)入侵檢測(cè)領(lǐng)域中的現(xiàn)狀進(jìn)行了全面調(diào)研，提出了一種新的深度學(xué)習(xí)方法來(lái)進(jìn)行入侵檢測(cè)。該模型改進(jìn)了少數(shù)類合成算法來(lái)處理不平衡數(shù)據(jù)集，并設(shè)計(jì)多層CNN來(lái)提取數(shù)據(jù)特征，進(jìn)一步使用多個(gè)SVM分類器完成入侵分類。實(shí)驗(yàn)顯示，本文提出模型的整體準(zhǔn)確率到達(dá)了96.60%，提高了數(shù)據(jù)集中小樣本的準(zhǔn)確率，同時(shí)減少了訓(xùn)練的時(shí)間，提高了召回率。后續(xù)我們將繼續(xù)豐富樣本，改進(jìn)特征提取算法，在降低訓(xùn)練時(shí)間的同時(shí)進(jìn)一步降低模型的假陰性率和假陽(yáng)性率。

表3 模型性能比較