基于RFE+SVM的卷積神經(jīng)網(wǎng)絡(luò)在入侵檢測方面的應(yīng)用

張峻豪 王懷彬

摘要：神經(jīng)網(wǎng)絡(luò)在入侵檢測方向的使用已經(jīng)是入侵檢測領(lǐng)域的熱門發(fā)展方向。傳統(tǒng)入侵檢測方法如機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等都具有一定局限性。通過引入基于RFE+SVM降維的卷積神經(jīng)網(wǎng)絡(luò)算法，從Python的深度學(xué)習(xí)庫（tensorflow）出發(fā)，搭建出一類基于卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測數(shù)據(jù)分類模型。通過數(shù)據(jù)集對比及實(shí)驗(yàn)證明，該模型有效且穩(wěn)定的提高了對異常數(shù)據(jù)的判別率，并可發(fā)現(xiàn)未知的攻擊類型。

關(guān)鍵詞：入侵檢測;RFE+SVM;tensorflow;卷積神經(jīng)網(wǎng)絡(luò);未知攻擊

中圖分類號：TP393? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）13-0191-03

Abstract：The use of neural network in intrusion detection has been a hot development direction in the field of intrusion detection. Traditional intrusion detection methods such as machine learning， data mining， statistical analysis have some limitations. By introducing convolutional neural network algorithm based on RFE + SVM dimension reduction and starting from Python's tensorFlow， a data classification model of Intrusion Detection Based on convolutional neural network is built. Through the comparison of data sets and experiments， it is proved that the model can effectively and stably improve the discrimination rate of abnormal data， and can find unknown attack types.

Key words：intrusion detection; RFE+SVM; tensorFlow; convolutional neural network; unknown attack

入侵檢測的發(fā)展歷史已經(jīng)有幾十年[1]，傳統(tǒng)方法的使用一般有以下幾種：

①早期的入侵檢測系統(tǒng)基于專家經(jīng)驗(yàn)，通過專家的知識，對已知網(wǎng)絡(luò)提取特征，建立數(shù)據(jù)庫，通過數(shù)據(jù)庫比對達(dá)到入侵檢測的目的，這是一種早期比較有效的手段，但工程量大，時(shí)間長，且僅憑人為的知識填充，IDS應(yīng)對攻擊類型種類不全，不能應(yīng)對未知攻擊。

②基于統(tǒng)計(jì)分析的方法也是一種常見方法，使用高斯模型進(jìn)行參數(shù)估計(jì)，從而達(dá)到降低假陰性率和假陽性率的目的，其缺點(diǎn)是閾值很難確定。

③基于模式匹配是第一種方法的升級，與現(xiàn)有多個(gè)龐大的數(shù)據(jù)庫進(jìn)行對比，降低誤報(bào)率，缺點(diǎn)是容易忽略沒有規(guī)則描述的攻擊。

④基于數(shù)據(jù)挖掘的入侵檢測是近年常用方法，通過聚類算法進(jìn)行劃分，以此解決由密度簇引起的邊緣錯(cuò)誤，但在參數(shù)選擇上較為困難。

⑤人工智能的興起帶來了基于機(jī)器學(xué)習(xí)的思路，機(jī)器學(xué)習(xí)算法通過分類器進(jìn)行分類，其優(yōu)點(diǎn)是可發(fā)現(xiàn)未知攻擊，但精確度不高。

深度學(xué)習(xí)的興起為入侵檢測數(shù)據(jù)分類處理提供了一個(gè)新的方向，隨著卷積神經(jīng)網(wǎng)絡(luò)在語音語義圖像識別中的突破性應(yīng)用，相較于使用其他深度學(xué)習(xí)算法輸入的常規(guī)思路，嘗試將數(shù)據(jù)變?yōu)閳D像形式后再使用圖像識別領(lǐng)域較為突出的模型訓(xùn)練是一種新穎的想法，結(jié)合RFE+SVM算法，能夠使模型輸入數(shù)據(jù)更加準(zhǔn)確。由于大量可調(diào)用函數(shù)庫在實(shí)際應(yīng)用中效果更好，使用python的開源深度學(xué)習(xí)庫來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的搭建，其在模型迭代及數(shù)據(jù)分類可視化應(yīng)用中操作更加簡單，并且容易產(chǎn)生更加友好的結(jié)果。綜上所述，本文的意義在于提出的方法能夠在入侵檢測領(lǐng)域提供一個(gè)可行性率較高的模型，以供參考。

1 卷積神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用

1.1 KDDCup-99數(shù)據(jù)集的使用

KDDCup-99數(shù)據(jù)集一直是入侵檢測領(lǐng)域的標(biāo)志性數(shù)據(jù)集，其內(nèi)容為美國某實(shí)驗(yàn)室將近兩個(gè)月的訓(xùn)練數(shù)據(jù)，上百萬條網(wǎng)絡(luò)連接包含在其中;其中測試數(shù)據(jù)截取了半個(gè)月的網(wǎng)絡(luò)連接。 對以上連接數(shù)據(jù)集進(jìn)行處理，形成了一個(gè)新的數(shù)據(jù)集。其中，一條網(wǎng)絡(luò)數(shù)據(jù)被定義為段落時(shí)間內(nèi)的TCP數(shù)據(jù)序列，數(shù)據(jù)為特定時(shí)間段內(nèi)應(yīng)對預(yù)訂協(xié)議（如UDP、TCP）從源IP地址到目的IP地址的傳遞。其中，每個(gè)網(wǎng)絡(luò)連接被標(biāo)記為正常（normal）或異常（attack），異常類型被細(xì)分為4大類共39種攻擊類型，其中22種攻擊類型出現(xiàn)在訓(xùn)練集中。同時(shí)，為了判斷模型應(yīng)對不可預(yù)見的攻擊的反應(yīng)，將在測試集中額外加入17類未知攻擊。其標(biāo)識類型如表1所示。

1.2 數(shù)據(jù)集預(yù)處理

1.2.1 符號數(shù)據(jù)數(shù)值化

預(yù)處理的第一步將符號型數(shù)值轉(zhuǎn)化為字符型數(shù)值。在大多數(shù)機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)任務(wù)中，特征的連續(xù)值和離散值交替出現(xiàn)，當(dāng)特征為離散值時(shí)，無法直接進(jìn)行分類任務(wù)，因?yàn)榉诸惼鲗B續(xù)且有序的數(shù)據(jù)更為友好。One-Hot處理過后，處理屬性數(shù)據(jù)不友好的問題不再困擾分類器，原始數(shù)據(jù)特征也將得到擴(kuò)充。

使用獨(dú)熱編碼（One-Hot）[2]將離散型數(shù)據(jù)數(shù)值化方法如下：

對于任意類特征，其可能取X種不同的值，此時(shí)進(jìn)行One-Hot處理，其形式將變?yōu)閄個(gè)二元特征。特征之間相互排斥，處于激活狀態(tài)的特征每次只有一個(gè)，因此稀疏的數(shù)據(jù)分布即為理想的結(jié)果。

1.2.2 數(shù)據(jù)歸一化

數(shù)據(jù)特征的量綱差異過大帶來的是神經(jīng)元輸出飽和與神經(jīng)網(wǎng)絡(luò)訓(xùn)練收斂時(shí)間較長等問題，將其轉(zhuǎn)化為無量綱的純數(shù)值是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的必要準(zhǔn)備[3]。此時(shí)將數(shù)據(jù)按比例縮放，使其落入一段規(guī)定的小區(qū)間。歸一化后的數(shù)據(jù)的單位限制被消除，易于多復(fù)雜性指標(biāo)的加權(quán)和對比。為了使結(jié)果落到[0，1]區(qū)間，必須要對原始數(shù)據(jù)進(jìn)行操作，即做線性變換，轉(zhuǎn)換函數(shù)如①所示。

[X*=X-XminXmax-Xmin]? ? ? ? ? ? ? ? ? ? ? ?①

上述公式中，[X]為經(jīng)過獨(dú)熱編碼后的原始數(shù)據(jù)，[Xmax]為當(dāng)前特征中最大的值，[Xmin]為當(dāng)前特征中的最小值，[X*]為數(shù)據(jù)歸一化操作后的數(shù)據(jù)。

1.2.3 符號數(shù)據(jù)數(shù)值化

經(jīng)過數(shù)值化、歸一化操作后我們獲得了一組被放縮于區(qū)間[0，1]的數(shù)值型數(shù)據(jù)，此時(shí)數(shù)據(jù)維度為122維。一方面，若使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，較大的數(shù)據(jù)維數(shù)會(huì)導(dǎo)致數(shù)據(jù)訓(xùn)練時(shí)間較長。因此本文將數(shù)據(jù)轉(zhuǎn)化為灰度圖輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練能夠加快訓(xùn)練時(shí)間，不受其高維度特征影響。首先對122維數(shù)據(jù)進(jìn)行降維處理，由于僅需求121維數(shù)據(jù)，隨意刪除特征數(shù)據(jù)會(huì)導(dǎo)致實(shí)驗(yàn)精度降低，因此本文提出使用多分類RFE+SVM算法對數(shù)據(jù)進(jìn)行降維操作，[4]首先使用RFE算法將數(shù)據(jù)在SVM模型中進(jìn)行訓(xùn)練，使用SBS方法計(jì)算出所有特征得分，同時(shí)向下截取N條（將要去除的特征數(shù)量），將N條特征刪除，由此數(shù)據(jù)維度被降到121維，之后同等類型數(shù)據(jù)被轉(zhuǎn)化為11*11的灰度圖。[5]RFE+SVM算法流程如下所示：

2 卷積神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用

2.1 卷積神經(jīng)網(wǎng)絡(luò)的概念

卷積神經(jīng)網(wǎng)絡(luò)的興起一般被認(rèn)為在20世紀(jì)90年代[6]，標(biāo)志性的LeNet-5模型被提出，此時(shí)神經(jīng)網(wǎng)絡(luò)的大體架構(gòu)完成，此后神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)的實(shí)現(xiàn)中提供了重要力量，此后AlexNet、VGG、GoogleNet等卷積神經(jīng)網(wǎng)絡(luò)的問世，在圖像及語音語義識別中獨(dú)占鰲頭，促進(jìn)了各領(lǐng)域的發(fā)展。

2.2 卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)

深度前饋神經(jīng)網(wǎng)絡(luò)是其特征。每層網(wǎng)絡(luò)的神經(jīng)元都是復(fù)數(shù)的，前一層的輸出作為下一層的輸入被接收，當(dāng)前層的輸出結(jié)果經(jīng)過計(jì)算后被傳遞給下一層。同層神經(jīng)元不會(huì)互相連接。

本文使用的卷積神經(jīng)網(wǎng)絡(luò)由8層結(jié)構(gòu)組成：數(shù)據(jù)輸入層在第一層，其中有兩個(gè)卷積層（第2層及第4層），緊跟在每個(gè)卷積層后的是池化層（第3層及第五層），兩層全連接層在池化層之后（第6層及第7層），輸出層被放在最后。

輸入層為網(wǎng)絡(luò)的第一層，我們在實(shí)驗(yàn)中將數(shù)據(jù)降維圖像化后為灰度圖，其維度為11*11，因此輸入層的輸入維度也為11*11。

卷積層為第二層和第四層，在這兩層中對圖像進(jìn)行卷積，其卷積核大小被設(shè)定為[5*5][7]，同時(shí)使用Relu函數(shù)作為非線性激活函數(shù)。在此過程中，噪聲對于原始信號特征的干擾被縮小。

下采樣是池化層的主要作用，他們分別緊跟在卷積層之后的第三層和第五層。池化層的最大值法和均值法被用于不同的情況。本文使用的方法為最大池化方法，并將采樣核的維度設(shè)置為[2*2]。

全連接層放置在池化層之后的第六層和第七層[8]。全連接層的神經(jīng)元都和池化層產(chǎn)生相對應(yīng)的特征圖的任意神經(jīng)元相連接，所有層網(wǎng)絡(luò)的激活函數(shù)也是Relu函數(shù)。同時(shí)本文引入Dropout方法來應(yīng)對訓(xùn)練樣本較少或者過度訓(xùn)練而導(dǎo)致的過擬合發(fā)生。

網(wǎng)絡(luò)輸出層放置在最后一層（第八層），該層使用softmax作為分類器，以實(shí)現(xiàn)多分類預(yù)測效果。

3 實(shí)驗(yàn)論證分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)軟硬件設(shè)備如表2、表3所示。

3.2 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)選取數(shù)據(jù)集中10%的訓(xùn)練集（50000條）作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本，另選取30000條數(shù)據(jù)作為測試樣本。

本實(shí)驗(yàn)選用（AC）準(zhǔn)確率、（FPR）誤報(bào)率作為實(shí)驗(yàn)效果評判標(biāo)準(zhǔn)。

兩者計(jì)算公式如②③所示：

[AC=TP+TNTP+TN+FP+FN]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ②

[FPR=FPFP+TN]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?③

TP為被有效識別的攻擊樣本;TN為被有效識別的正常樣本;FN為被錯(cuò)誤識別的攻擊樣本。FP為被錯(cuò)誤識別的正常樣本。

本文引入其他作者使用的機(jī)器學(xué)習(xí)模型進(jìn)行精確度對比[9]，其結(jié)果如表4所示。

在選取了其他入侵檢測方法進(jìn)行對比后，從表4可以分析出，本文采用的基于RFE+SVM的卷積神經(jīng)網(wǎng)絡(luò)方法與OBPNN、MFFS-OBPNN在對含有KDDCUP-99數(shù)據(jù)集進(jìn)行檢測分析時(shí)，可以發(fā)現(xiàn)本文使用的方法在訓(xùn)練集的準(zhǔn)確率達(dá)到了98.94%，分別比其余兩種算法高6.14%和5.11%。從測試集來看，本文使用的方法在測試集中的表現(xiàn)雖然較另外兩種方法有所提高，基本可以實(shí)現(xiàn)準(zhǔn)確的判斷與分析，但其準(zhǔn)確率下降比率較大。通過精確度對比可知，本文提出的RFE+SVM-CNN方法在準(zhǔn)確率分析中表現(xiàn)更好。

本文引入其他作者使用的機(jī)器學(xué)習(xí)模型進(jìn)行誤報(bào)率對比，其結(jié)果如表5所示：

由以上表5可知在相同訓(xùn)練集和測試集的表現(xiàn)情況下，本文所提出的方法誤報(bào)率更低，定量實(shí)驗(yàn)結(jié)果更加準(zhǔn)確，能夠更好地實(shí)現(xiàn)檢測樣本的分類。

4 結(jié)束語

本文提出了基于RFE+SVM的降維算法在神經(jīng)網(wǎng)絡(luò)上的應(yīng)用，在經(jīng)過論文對比后未發(fā)現(xiàn)有類似實(shí)驗(yàn)方式，在后續(xù)實(shí)驗(yàn)論證及對比中，可以發(fā)現(xiàn)其精確度和誤報(bào)率與其他傳統(tǒng)入侵檢測方法對比有所提高。在此同時(shí)也暴露了一些缺點(diǎn)：在實(shí)際測試中，遇到從未出現(xiàn)過的攻擊方式，其準(zhǔn)確度下降較多。若應(yīng)用于現(xiàn)實(shí)環(huán)境中，可能會(huì)有更高幅度的準(zhǔn)確率降低。因此，下一步需要完善的是模型應(yīng)對未知攻擊的分類能力，以求達(dá)到更優(yōu)異的檢測效果。

參考文獻(xiàn)：

[1] 張橋，卜佑軍，胡靜萍，等.入侵檢測技術(shù)研究綜述[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2020（8）：22-24.

[2] 趙晨光，周次明，龐彥東，等.基于獨(dú)熱碼有限狀態(tài)機(jī)的斐索干涉解調(diào)相位補(bǔ)償方法[J].光子學(xué)報(bào)，2020，49（5）：0506001.

[3] Tachicart R，Bouzoubaa K.Moroccan data-driven spelling normalization using character neural embedding[J].Vietnam Journal of Computer Science，2021，8（1）：113-131.

[4] 黃曉娟，張莉.改進(jìn)的多類支持向量機(jī)遞歸特征消除在癌癥多分類中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2015，35（10）：2798-2802.

[5] Choi H，Yeo D，Kwon S，et al.Gene selection and prediction for cancer classification using support vector machines with a reject option[J].Computational Statistics & Data Analysis，2011，55（5）：1897-1908.

[6] Bu S J，Cho S B.A convolutional neural-based learning classifier system for detecting database intrusion via insider attack[J].Information Sciences，2020，512：123-136.

[7] Cui W C，Lu Q，Qureshi A M，et al.An adaptive LeNet-5 model for anomaly detection[J].Information Security Journal：A Global Perspective，2021，30（1）：19-29.

[8] Wang X W，Yin S L，Li H，et al.A network intrusion detection method based on deep multi-scale convolutional neural network[J].International Journal of Wireless Information Networks，2020，27（4）：503-517.

[9] 陳高升.基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測方法研究[D].重慶：重慶郵電大學(xué)，2020.

【通聯(lián)編輯：代影】