基于CNN 與WRGRU 的網(wǎng)絡(luò)入侵檢測(cè)模型*

王運(yùn)兵，姬少培，查成超

（中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引言

隨著互聯(lián)網(wǎng)通信技術(shù)的進(jìn)步，每天都會(huì)產(chǎn)生大量的來(lái)自醫(yī)療保健、交通、社交媒體和生產(chǎn)制造等行業(yè)的數(shù)據(jù)。這些海量的數(shù)據(jù)具備被定義為大數(shù)據(jù)的4 個(gè)特征：海量性、多樣性、高速性和準(zhǔn)確性[1]。由于大數(shù)據(jù)的范圍極大地提高了可利用的攻擊點(diǎn)，因此很難在大數(shù)據(jù)環(huán)境中進(jìn)行入侵檢測(cè)。Denning等人[2]于1986 年首次引入了入侵檢測(cè)系統(tǒng)，建立了一個(gè)入侵檢測(cè)模型，以識(shí)別網(wǎng)絡(luò)系統(tǒng)中的異常行為。由于大數(shù)據(jù)結(jié)構(gòu)的不斷發(fā)展和變化，以及網(wǎng)絡(luò)數(shù)據(jù)系統(tǒng)速率的提高，入侵檢測(cè)系統(tǒng)（Intrusion Detection System，IDS）仍然是一個(gè)重要的研究主題[3,4]。

許多用于IDS 的傳統(tǒng)機(jī)器學(xué)習(xí)方法由于體系結(jié)構(gòu)較淺，不適合在大數(shù)據(jù)環(huán)境中處理入侵檢測(cè)，如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型和模糊邏輯等[5]，它們很難識(shí)別未知的攻擊，不能實(shí)時(shí)提供解決方案，也不能處理普遍存在于大數(shù)據(jù)中的噪聲。因此，需要更加強(qiáng)大、有效的機(jī)器學(xué)習(xí)（Machine Learning，ML）技術(shù)來(lái)進(jìn)行實(shí)時(shí)的入侵檢測(cè)。

近年來(lái)，不斷涌現(xiàn)出利用深度學(xué)習(xí)技術(shù)在各種應(yīng)用程序中處理大數(shù)據(jù)的案例，這些深度學(xué)習(xí)技術(shù)包括深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、長(zhǎng)短期記憶（Long-Short Term Memory，LSTM）網(wǎng)絡(luò)、門控循環(huán)單元神經(jīng)（Gated Recurrent Unit，GRU）網(wǎng)絡(luò)。DBN 主要用于模式分析，而且它們的訓(xùn)練速度比其他深度學(xué)習(xí)技術(shù)更快[6]。CNN 主要用于圖像處理應(yīng)用程序，它們比DBN 具有更好的鑒別能力[7]。LSTM 網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），它可以比其他類型的RNN 更好地學(xué)習(xí)提取特征之間的依賴關(guān)系[8]。LSTM 的另一種變體是權(quán)重丟棄長(zhǎng)短期記憶（Weight Decrement Long-term and Shortterm Memory，WDLSTM） 網(wǎng) 絡(luò)。WDLSTM 是 在LSTM 中的隱含層權(quán)值矩陣上使用連接權(quán)重丟棄技術(shù)（DropConnect），以保持提取特征之間的長(zhǎng)期依賴性，并防止循環(huán)連接的過(guò)擬合[9]。

然而，迄今為止，還沒有哪種方法能有效地使用上述深度學(xué)習(xí)算法在大數(shù)據(jù)環(huán)境中進(jìn)行入侵檢測(cè)。Vinaykumar 等人[10]提出了一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型，以檢測(cè)和分類IDS 中不可預(yù)見的和不可預(yù)測(cè)的網(wǎng)絡(luò)攻擊。Faker 等人[11]使用深度神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林和梯度增強(qiáng)樹3 個(gè)分類器對(duì)二進(jìn)制模式和多類模式的攻擊進(jìn)行分類。在文獻(xiàn)[12]中，作者提出了一個(gè)兩階段的深度學(xué)習(xí)模型以有效地檢測(cè)網(wǎng)絡(luò)入侵。為了在大數(shù)據(jù)環(huán)境中提高入侵檢測(cè)的性能，本文提出了一種基于CNN 和WRGRU 網(wǎng)絡(luò)的混合深度學(xué)習(xí)模型。本文的主要貢獻(xiàn)如下：

（1）基于CNN 可權(quán)重共享和可快速進(jìn)行數(shù)據(jù)處理的特點(diǎn)，進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)流量中的特征提?。?/p>

（2）使用GRU 神經(jīng)網(wǎng)絡(luò)來(lái)保留提取特征之間的長(zhǎng)期依賴關(guān)系，避免了梯度消失問(wèn)題；

（3）基于WDLSTM 模型，在GRU 中的隱含層單元權(quán)重權(quán)值矩陣上使用DropConnect 技術(shù)，避免過(guò)擬合問(wèn)題。

在實(shí)驗(yàn)中，本文使用公共的UNSW-NB15 數(shù)據(jù)集對(duì)CNN-WRGRU 模型進(jìn)行評(píng)估。

1 相關(guān)理論基礎(chǔ)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)元可以響應(yīng)周圍單元，可以進(jìn)行大型圖像處理，同時(shí)它可以應(yīng)用在文本分類中[13]。CNN 是在深度學(xué)習(xí)領(lǐng)域中取得最大成功的算法之一。CNN 包括1 維、2 維和3 維神經(jīng)網(wǎng)絡(luò)，序列類的數(shù)據(jù)處理是1 維的CNN主要應(yīng)用，2 維CNN 經(jīng)常用于對(duì)于文本的識(shí)別，3維神經(jīng)網(wǎng)絡(luò)主要應(yīng)用在處理醫(yī)學(xué)圖像以及一些視頻數(shù)據(jù)。

如圖1 所示，CNN 的整體結(jié)構(gòu)是由輸入層（Import Layer）、卷積層（Convolution Layer）、池化層（Pooling Layer）、全連接層（Fully Connected Layer）與輸出層（Output Layer）按順序連接構(gòu)成的，其中，卷積層和池化層可以在隱藏層出現(xiàn)多次。

圖1 CNN 結(jié)構(gòu)

圖1 的CNN 結(jié)構(gòu)與原始的LeNet[12]類似，將輸入的圖像根據(jù)對(duì)應(yīng)的類別進(jìn)行分類，輸出層中所有概率的總和應(yīng)為1。卷積層內(nèi)部包含多個(gè)卷積核，卷積核的各個(gè)元素對(duì)應(yīng)有一個(gè)權(quán)重系數(shù)和偏差量。卷積層內(nèi)每個(gè)神經(jīng)元都與前一層位置接近的神經(jīng)元相連。卷積層的功能是將輸入數(shù)據(jù)進(jìn)行處理，得到相關(guān)特征，在工作時(shí)會(huì)有規(guī)律地掃過(guò)輸入特征，在前一層位置接近的區(qū)域內(nèi)對(duì)輸入特征進(jìn)行矩陣元素乘法求和并疊加偏差量。

池化層的作用是將經(jīng)過(guò)卷積層處理后的特征進(jìn)行選擇并進(jìn)行信息過(guò)濾，再通過(guò)池化層預(yù)設(shè)的池化函數(shù)將單個(gè)點(diǎn)替換為相鄰區(qū)域的特征統(tǒng)計(jì)量。

CNN 中的全連接層等價(jià)于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)的隱含層，全連接層位于神經(jīng)網(wǎng)絡(luò)中的最后位置，信號(hào)只會(huì)傳遞給其他全連接層。全連接層的作用是將經(jīng)過(guò)卷積層與池化層后的特征進(jìn)行非線性組合得到輸出，將輸出結(jié)果傳遞給輸出層。

1.2 GRU 神經(jīng)網(wǎng)絡(luò)

LSTM 中引入了3 個(gè)門來(lái)控制網(wǎng)絡(luò)，輸出門控制輸入值，遺忘門控制記憶值，輸出門控制輸出值，而在LSTM 的變體GRU 中只需要更新門和重置門。由于LSTM 具有3 個(gè)功能各不相同的門，所以它的參數(shù)相對(duì)來(lái)說(shuō)會(huì)比較多，在訓(xùn)練時(shí)會(huì)比較困難。為解決這個(gè)問(wèn)題，本文采用GRU 的神經(jīng)網(wǎng)絡(luò)，正如上文所述它只有兩個(gè)門，在解決RNN 神經(jīng)網(wǎng)絡(luò)長(zhǎng)距離依賴問(wèn)題上也能夠達(dá)到和LSTM 一樣的效果，訓(xùn)練易于實(shí)現(xiàn)。GRU 神經(jīng)網(wǎng)絡(luò)的更新門可以看作將LSTM 的輸入門和遺忘門二者合一的結(jié)果，更新控制的是控制的前一時(shí)刻帶入的程度；重置門是控制前一時(shí)刻狀態(tài)代入候選集中的程度。GRU 的結(jié)構(gòu)[14]如圖2 所示。

圖2 GRU 結(jié)構(gòu)

圖2 中σ為sigmoid 激活函數(shù)，tanh 為另一個(gè)激活函數(shù)，ht為序列輸出的當(dāng)前狀態(tài)，xt為序列輸入數(shù)據(jù)。相關(guān)公式為：

式中：rt為重置門輸出；為候選狀態(tài)輸出；zt為更新門輸出；Wz為更新門與隱含單元之間的連接權(quán)重；ht-1為序列上一時(shí)刻的輸出狀態(tài)；Wr為重置門與隱含單元之間的連接權(quán)重；*代表兩個(gè)矩陣相乘。

2 權(quán)重縮減GRU 神經(jīng)網(wǎng)絡(luò)

權(quán)重縮減GRU 神經(jīng)網(wǎng)絡(luò)（Weight reduction gated recurrent unit，WRGRU）是GRU 神經(jīng)網(wǎng)絡(luò)的一個(gè)變形，其主要使用DropConnect 技術(shù)將動(dòng)態(tài)稀疏性引入到神經(jīng)網(wǎng)絡(luò)的連接權(quán)重上，使得每次迭代時(shí)神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)規(guī)模得以縮減。DropConnect技術(shù)與神經(jīng)元丟棄技術(shù)（Dropout）的不同之處在于，在每次迭代中神經(jīng)元間每個(gè)連接權(quán)重被丟棄的概率為p。在WRGRU 中，為了避免過(guò)擬合現(xiàn)象的出現(xiàn)，隱含層單元間的權(quán)重參數(shù)被隨機(jī)地丟棄，WRGRU神經(jīng)網(wǎng)絡(luò)的輸出yt可以被寫為：

式中：M為編碼連接信息的二進(jìn)制矩陣；U為神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)矩陣。在訓(xùn)練階段的每次迭代過(guò)程中，通過(guò)更改M中的元素可以實(shí)現(xiàn)對(duì)于神經(jīng)網(wǎng)絡(luò)不同連接權(quán)重的丟棄。

3 基于CNN 與WGRU 的網(wǎng)絡(luò)入侵檢測(cè)模型

使用混合深度學(xué)習(xí)模型進(jìn)行數(shù)據(jù)流量的入侵分類，并將CNN 與WRGRU 相結(jié)合，構(gòu)建了CNNWRGRU 模型。模型架構(gòu)如圖3 所示。與其他基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)模型相比，該混合模型由于結(jié)合了CNN 和WRGRU 的優(yōu)勢(shì)，因此可以更有效地進(jìn)行入侵檢測(cè)。CNN-WRGRU 模型包含兩個(gè)1 維卷積層，1 個(gè)1 維的最大池化層，1 個(gè)1 維的WRGRU層和1 個(gè)全連接層。ReLU 函數(shù)為兩個(gè)卷積層中的激活函數(shù)，其表達(dá)式為：

圖3 CNN-WRGRU 模型結(jié)構(gòu)

在CNN-WRGRU 模型中，兩個(gè)1 維的卷積層在進(jìn)行特征提取后，提取的特征被傳輸至最大池化層，最大池化層的輸出又會(huì)被傳遞到1 維WRGRU層中進(jìn)行提取的特征之間的依賴關(guān)系的提取，最后1 維WRGRU 層的輸出被傳遞到全連接層。全連接層的激活函數(shù)為softmax，利用該函數(shù)進(jìn)行入侵類別概率分布的計(jì)算公式為：

式中：xi和xj分別為類別i和j在經(jīng)過(guò)模型計(jì)算后的數(shù)值；pi為類別i的判別概率。

CNN-WRGRU 模型中的重要參數(shù)包括CNN中濾波器的數(shù)量、訓(xùn)練次數(shù)、學(xué)習(xí)速率，以及WRGRU 中隱含層單元的數(shù)量、連接權(quán)重丟失率drop-connect 的大小、批處理大小，所有這些參數(shù)在訓(xùn)練階段通過(guò)試錯(cuò)得到。

4 仿真實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

UNSW-NB15 是澳大利亞的新南威爾士大學(xué)于2015 年發(fā)布的用于網(wǎng)絡(luò)入侵檢測(cè)研究的開放數(shù)據(jù)集[15]。UNSW-NB15 中包括9 種攻擊類型和1 種正常類型，各種類型所占比例如表1 所示。UNSWNB15 數(shù)據(jù)集由3 個(gè)名義特征、2 個(gè)二進(jìn)制特征和37 個(gè)數(shù)值特征組成，UNSW-NB15 是按照時(shí)間順序進(jìn)行排序記錄的，能夠充分代表數(shù)據(jù)之間的時(shí)序相關(guān)性。在實(shí)驗(yàn)中，本文將UNSW-NB15 數(shù)據(jù)集中的70%用于訓(xùn)練，30%用于測(cè)試。表2 說(shuō)明了訓(xùn)練集和測(cè)試集的分布。

表1 各種類型數(shù)據(jù)所占比例

表2 訓(xùn)練集和測(cè)試集的分布

4.2 性能評(píng)估

為了評(píng)估CNN-WRGRU 模型的性能，利用python 進(jìn)行仿真實(shí)驗(yàn)分析，采用準(zhǔn)確率（Accuracy）、精度（Precision），召回率（Recall）和F1 值作為評(píng)估指標(biāo)。這些指標(biāo)的計(jì)算方法如下：

式中：TP為正樣本且分類正確的實(shí)例數(shù)量；TN為負(fù)樣本且分類器識(shí)別正確實(shí)例的數(shù)量；FP為負(fù)樣本且分類識(shí)別結(jié)果錯(cuò)誤的實(shí)例數(shù)量；FN為正樣本且分類識(shí)別結(jié)果錯(cuò)誤的實(shí)例數(shù)量。

4.3 實(shí)驗(yàn)對(duì)比分析

本文實(shí)驗(yàn)在CPU 為i7 4510U，運(yùn)行內(nèi)存為8 GB，操作系統(tǒng)為64 位Windows 10 的筆記本電腦上進(jìn)行。為了獲得CNN-WRGRU 模型超參數(shù)的最佳設(shè)置，本文在模型訓(xùn)練過(guò)程中為相關(guān)超參數(shù)選擇了初始值，然后對(duì)其進(jìn)行動(dòng)態(tài)調(diào)整，通過(guò)反復(fù)試驗(yàn)獲得最佳結(jié)果。最終，當(dāng)模型取得最佳檢測(cè)效果時(shí)，訓(xùn)練次數(shù)為50，學(xué)習(xí)率為0.005，drop-connect 的大小為0.1，第一層和第二層的卷積濾波器的數(shù)量分別為32 和64，最大池化長(zhǎng)度為2。

圖4 給出了訓(xùn)練中模型的準(zhǔn)確率和損失，其中測(cè)試集被用于進(jìn)行模型驗(yàn)證。從中可以看出，CNN-WRGRU 模型在訓(xùn)練中能夠穩(wěn)定收斂，很好地抑制了模型的過(guò)度擬合。

圖4 模型在訓(xùn)練階段的準(zhǔn)確率及損失

表3 和表4 分別為模型CNN-WRGRU 在UNSW-NB15 測(cè)試集上執(zhí)行二元分類任務(wù)得到的正常和異常樣本的混淆矩陣，執(zhí)行多元分類任務(wù)得到的所有分類的混淆矩陣。從表3 中可以看出，該模型在執(zhí)行二元分類任務(wù)時(shí)對(duì)測(cè)試集中的649 336 個(gè)樣本進(jìn)行了正確分類；表4 中可以看出，該模型在執(zhí)行多元分類任務(wù)時(shí)對(duì)657 612 個(gè)樣本進(jìn)行了正確分類。

表3 模型在二元分類任務(wù)下的混淆矩陣

表4 模型在執(zhí)行多元分類下的混淆矩陣

表5 和表6 分別給出了模型CNN-WRGRU 在執(zhí)行二元分類任務(wù)和多元分類任務(wù)時(shí)的性能指標(biāo)值。

表5 模型在二元分類任務(wù)下的性能指標(biāo)

表6 模型在二元分類任務(wù)下的性能指標(biāo)

如表5 和表6 所示，模型CNN-WRGRU 在二元分類和多元分類下的總體準(zhǔn)確率分別為97.17%和98.58%。對(duì)于指標(biāo)F1-score，模型在generic、reconnaissance、shellcode 和exploit 4種類別數(shù)據(jù)上的結(jié)果分別為0.99、0.83、0.80 和0.72；對(duì)于稀有的類別數(shù)據(jù)（Shellcode、Backdoors、Analysis），由于數(shù)據(jù)規(guī)模不足，模型CNN-WRGRU 的檢測(cè)效果較差?？傮w而言，隨著不同類別的數(shù)據(jù)分布存在不平衡現(xiàn)象，但是CNN-WRGRU 模型仍取得了非常好的檢測(cè)結(jié)果。

表7 給出了CNN-WRGRU模型與TSDL、KDDwinner[16]、CSVAC[17]、CPSO-SVM[18]、Dendron[19]模型在UNSW-NB15 數(shù)據(jù)集上分別執(zhí)行二元分類時(shí)的準(zhǔn)確率結(jié)果。由表7 中的對(duì)比結(jié)果可以看出，CNN-WRGRU 模型由于能夠從大量訓(xùn)練數(shù)據(jù)中提取到更為準(zhǔn)確的特征表示，相較于其他模型在進(jìn)行入侵檢測(cè)時(shí)更為有效。

表7 CNN-WRGRU 模型與其他模型的入侵檢測(cè)準(zhǔn)確率

表8 給出了CNN-WRGRU 模型與其他5 種模型在UNSW-NB15數(shù)據(jù)集上每條數(shù)據(jù)的平均執(zhí)行時(shí)間。

如表8 所示，CNN-WRGRU 模型的平均執(zhí)行時(shí)間非常低（略低于TSDL 模型），非常適合實(shí)時(shí)的入侵檢測(cè)。這主要是因?yàn)樵撃Ｐ湍軌蛟陔x線模式下定期訓(xùn)練最新的網(wǎng)絡(luò)流量特征，并且能夠檢測(cè)入侵攻擊在線模式。

表8 每條數(shù)據(jù)的平均檢測(cè)執(zhí)行時(shí)間

5 結(jié)語(yǔ)

本文將CNN 與權(quán)重縮減GRU 神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，提出了一種基于CNN 與WRGRU 的網(wǎng)絡(luò)入侵檢測(cè)模型（CNN-WRGRU）。該模型利用CNN 進(jìn)行入侵檢測(cè)數(shù)據(jù)集的特征提取，然后利用WRGRU來(lái)學(xué)習(xí)數(shù)據(jù)特征之間的依賴關(guān)系。WRGRU 由于在訓(xùn)練過(guò)程中使用dropout 技術(shù)隨機(jī)地忽略了一些神經(jīng)元，使得模型可以有效避免過(guò)擬合問(wèn)題的出現(xiàn)。在實(shí)驗(yàn)時(shí)，本文利用TSDL、KDDwinner、CSVAC、CPSO-SVM、Dendron、CNN-WRGRU 等模型在UNSW-NB15 數(shù)據(jù)集上進(jìn)行對(duì)比仿真實(shí)驗(yàn)，結(jié)果表明：CNN-WRGRU 模型具有最好的識(shí)別精度。

CNN-WRGRU 模型在UNSW-NB15 上雖具有較好的識(shí)別效果，但是在實(shí)際應(yīng)用中還有若干問(wèn)題有待解決，如入侵檢測(cè)的實(shí)時(shí)性，以及在具有更大規(guī)模的數(shù)據(jù)集上的有效性，這些問(wèn)題都有待進(jìn)一步研究。