基于深度學習的支持向量機的信息安全檢測和預警研究

王貴喜

(92493部隊 一分隊， 葫蘆島 125001)

0 引言

隨著互聯(lián)網(wǎng)技術和網(wǎng)絡規(guī)模的不斷增加，網(wǎng)絡入侵檢測成為互聯(lián)網(wǎng)安全研究的重要內容和熱點問題。所謂入侵檢測是指通過網(wǎng)絡數(shù)據(jù)的監(jiān)測，檢測出網(wǎng)絡安全的入侵行為和入侵類型，并在此基礎上發(fā)出警報和進行預警處理。傳統(tǒng)的網(wǎng)絡入侵檢測存在檢測正確率低、擴展性差和容易發(fā)生誤報的缺點，基于歷史數(shù)據(jù)的機器學習方法可以通過歷史數(shù)據(jù)建立網(wǎng)絡入侵檢測模型，并對未來所監(jiān)測出的網(wǎng)絡未知入侵攻擊進行高效識別，具有很強的擴展性和適應性。目前很多學者將機器學習方法引入網(wǎng)絡入侵檢測研究，方法主要集中在神經(jīng)網(wǎng)絡[1]、貝葉斯算法[2]、支持向量機[3]、極限學習機[4]等，這些方法的特征選擇過度依賴人工，存在表達能力有限以及模型訓練受制于類別標簽，對于復雜網(wǎng)絡環(huán)境下的網(wǎng)絡入侵數(shù)據(jù)檢測的穩(wěn)定性、可靠性和正確性均難以得到保證。

本文將深度學習[5-6]與支持向量機結合，提出一種基于深度信念網(wǎng)絡和支持向量機的網(wǎng)絡信息安全檢測算法。在復雜環(huán)境下，DBN-SVM可以自動提取網(wǎng)絡入侵特征屬性數(shù)據(jù)，通過不同算法在所用訓練集的比例為20%、30%和40%的準確率和誤報率對比可知，相同訓練集比例情況下，DBN-SVM較DBN和SVM模型具有更高檢測準確率和更低誤報率。

1 深度置信網(wǎng)絡

Hinton等[5]人于2006年提出深度置信網(wǎng)絡(Deep Belief Nets，DBN)算法，掀起了深度學習研究的熱潮，DBN模型是一種深層混合模型，它由多個受限玻爾茲曼機以串聯(lián)的方式堆疊而形成的一種深層網(wǎng)絡。本文采用無監(jiān)督方式的貪心算法對原始數(shù)據(jù)進行預訓練，進而采用有監(jiān)督方式的SVM算法對整個網(wǎng)絡的參數(shù)進行微調，最終獲得重構誤差最小的輸出數(shù)據(jù)。如圖1所示。

圖1 DBN模型

1.1 受限玻爾茲曼機

受限玻爾茲曼機[6](Restricted Boltzmann Machines，RBM)是一類具有對稱連接，層間全連接，層內無連接的無向隨機神經(jīng)網(wǎng)絡，其網(wǎng)絡結構分為兩層，一層為可視層v，表示觀測數(shù)據(jù)；另一層為隱層h，表示特征提取器；w為兩層之間的連接權重。如圖2所示。

圖2 RBM模型

設所有可見單元和隱單元均為二值變量，如式(1)。

?i,j,Vi∈{0,1},hj∈{0,1}

(1)

其中：vi表示第i可視單元的狀態(tài)，hi表示第j隱單元的狀態(tài)。則對于一組給定狀態(tài)(v,h)，RBM作為一個系統(tǒng)所具備的能量定義為式(2)。

(2)

其中：wij表示可視單元i與隱單元j之間的連接權重，ai和bi分別是可視單元和隱單元的偏置量。假定RBM參數(shù)為θ，θ={wij,ai,bj}。當參數(shù)確定時，可以得到(v,h)的聯(lián)合概率分布，為式(3)、式(4)。

(3)

(4)

對于真正的問題，由RBM所定義的v分布是非常重要的，即聯(lián)合概率的邊緣分布P(v|θ)，為式(5)。

(5)

另設中間變量F(v)為式(6)。

(6)

對(5)式求導后取負后，則為式(7)。

(7)

在上述推導中，如要使RBM系統(tǒng)穩(wěn)定，系統(tǒng)的能量需要最小化。即使公式(2)達到最小值，則需要令F(v)最小，或者令P(v|h)最大。

由RBM的結構具有對稱性，當給定隱單元狀態(tài)時，各可視單元的激活狀態(tài)條件獨立，即的激活概率為式(8)。

(8)

由于RBM層內無連接、層間全連接可知，當給定v時，各隱單元之間的狀態(tài)也條件獨立，即hj的激活概率為式(9)。

(9)

其中：σ(z)=1/(1+exp(-z))為激活函數(shù)?；谏鲜鏊惴?，RBM采用迭代法進行訓練，最終得到學習參數(shù)θ=(wij,ai,bi)的值，以適應給定的觀測數(shù)據(jù)?？梢酝ㄟ^最大化訓練集(T)上的RBM的最大對數(shù)似然函數(shù)來獲得參數(shù)[7]為式(10)

(10)

由式(10)我們發(fā)現(xiàn)梯度很難計算，因此，RBM采用吉布斯抽樣來取得其近似值。一般來說，只需要使用吉布斯抽樣來獲得足夠好的近似值。所以可以得到更新規(guī)則的參數(shù)為式(11)～式(13)。

-W←W+ε(p(h1|v1)v1-p(h2|v2)v2)

(11)

-a←b+ε(v1-v2)

(12)

-b←b+ε(h1-h2)

(13)

其中ε表示學習率(Learning Rate)。

1.2 DBN-SVM網(wǎng)絡

在正向傳播過程中，輸入層神經(jīng)元負責從外部接收輸入信息并將其傳遞給隱含層中的神經(jīng)元，將隱含層的信息傳遞到輸出層，在誤差的反向傳播過程中，由于實際輸出與預期輸出之間存在誤差，當輸出誤差超過期望誤差時，則會進行誤差的反向修正。在本文中，利用深度網(wǎng)絡預訓練過程優(yōu)化RBM參數(shù)，同時對整個DBN網(wǎng)絡結構進行SVM算法微調，如圖3所示。

圖3 DBN-SVM結構模型

2 支持向量機

(14)

其中，ω、C、ξi分別表示權重向量、誤差懲罰函數(shù)和松弛變量；φ(x)和b分別表示核空間映射函數(shù)和偏差。Lagrange函數(shù)L構造如[8]式(15)。

(15)

其中，ai表示Lagrange乘子。根據(jù)KKT條件，對公式(15)求偏導可得[9]，為式(16)。

(16)

消去ω和ξi，可得公式(17)，如式(17)。

(17)

其中，Q=(1，…,1)T，A=(a1,a2,…,am)T，Y=(y1,y2,…,ym)T，通過式(17)的求解，可得到SVM數(shù)學模型的估計[10-11]式(18)。

(18)

其中，K(x,xi)=exp(-||x-xi||2/2σ2)。

3 DBN_SVM訓練算法

本文深度置信網(wǎng)絡訓練時通過自低到高逐層訓練RBM將模型參數(shù)初始化為較優(yōu)值，再使用BP算法對網(wǎng)絡進行微調，使得模型收斂到接近最優(yōu)值的局部最優(yōu)點。由于RBM可以通過對比散度(contrastive divergence，CD)等算法快速訓練，這樣就可以避免了直接訓練DBN的高計算量，將模型化簡為對多個RBM的訓練問題，解決了模型訓練速度慢的問題，能夠產(chǎn)生較優(yōu)的初始參數(shù)，經(jīng)過這種方式訓練后，有效地提升了模型的建模以及推廣能力。具體的訓練學習過程如下：

1) 輸入網(wǎng)絡入侵特征屬性數(shù)據(jù)X，并用CD算法充分訓練第一層RBM；

2) 通過第一層訓練RBM獲得的權重和偏移量作為第二層的輸入量訓練RBM；

3) 重復1)和2)過程直到訓練完所有的RBM；

4) 最后一層RBM的輸出作為第一層的輸入，實現(xiàn)模型參數(shù)的初始化；

5) 確定模型參數(shù)后，在DBN自聯(lián)想記憶模塊利用有監(jiān)督的SVM算法自上而下的調整整個模型的參數(shù)。

算法流程如下：

Input：網(wǎng)絡入侵特征屬性數(shù)據(jù)X(訓練集和測試集)、網(wǎng)絡入侵類別。

Output：網(wǎng)絡入侵類別。

Initialize：W1：輸入層→隱含層的權值，B1：輸入層→隱含層的閾值

W2：隱含層→輸出層的權值，B2：隱含層→輸出層的閾值

η：步長

1 for 1:2 000//循環(huán)次數(shù)

2 輸入層→隱含層：

3z1=E·W1+B1，Z1=S(z1) //激活函數(shù)S

4 隱含層→輸出層：

5z2=E·W2+B2，Z2=S(z2)

7 反向傳播

8 輸出層→隱含層的梯度

9δ2=J′

10 隱含層→輸入層：

11δ1=J′·Z2

12 更新權值參數(shù)

15 取步驟b)中RBM的隱含層L2的輸出值矩陣Z1代表編譯后的數(shù)據(jù)，其中Z1是一個特征數(shù)為隱含層L2神經(jīng)元個數(shù)m的矩陣為Z=Z1,Z2,…,Zm，并且取步驟b)中訓練好的權值W2和閾值B2。

16 確定模型參數(shù)后，在DBN自聯(lián)想記憶模塊利用有監(jiān)督的SVM算法自上而下的調整整個模型的參數(shù)。

4 實驗仿真

4.1 數(shù)據(jù)來源

為了說明DBN_SVM算法進行網(wǎng)絡入侵檢測的效果，選擇KDD CUP99數(shù)據(jù)集為實驗對象[12-14]，該數(shù)據(jù)集包含41個特征，其中涉及字符和數(shù)值型，網(wǎng)絡入侵的標簽類型分別是正常、U2R、Probe、DOS和R2L，其編碼類型，如表1所示。

表1 KDD CUP99數(shù)據(jù)集標簽編碼

4.2 數(shù)據(jù)預處理

為了使得網(wǎng)絡入侵數(shù)據(jù)屬性特征位于同一數(shù)量級內，運用公式(19)對屬性數(shù)據(jù)進行歸一化處理，如式(19)。

(19)

4.3 DBN_SVM參數(shù)設置

DBN_SVM模型的參數(shù)如表2所示。

表2 DBN_SVM參數(shù)表

輸入特征數(shù)據(jù)維數(shù)為41，輸出類別為5類，因此輸入層和輸出層的神經(jīng)元個數(shù)分別為41和5，隱含層神經(jīng)元結構為100-70-30-61。

4.4 評價指標

為了說明不同方法的網(wǎng)絡入侵檢測方法的好壞，選擇準確率(Accuracy Rate，AR)和誤報率(False Alarm Rate，F(xiàn)R)作為評價指標，其式如[15-16]式(20)、式(21)。

(20)

(21)

式中，A表示總樣本數(shù)量；B表示正確分類的樣本數(shù)量；C表示被誤報為入侵的正常樣本數(shù)量；D表示正常樣本總數(shù)。

4.5 實驗結果與分析

4.5.1 不同訓練集比例

針對KDD CUP99數(shù)據(jù)集，DBN、SVM和DBN_SVM分別運用20%-40%的總樣本數(shù)量進行訓練，剩余的樣本進行測試，測試結果，如圖4所示。

圖4 DBN_SVM檢測精度圖

由圖4DBN_SVM檢測精度圖可知，當所用訓練集的比例為40%時，DBN_SVM的檢測準確率高達97.8%，當所用訓練集的比例為30%和20%時，DBN_SVM的檢測準確率分別為97.1%和95.1%，通過對比可知，隨著當所用訓練集的比例的增加，準確率的提升效率降低，從而說明DBN具有強大的抽象表示能力，在只有很少的數(shù)據(jù)量的情況下，就能訓練出表達能力很強的模型，同時體現(xiàn)出SVM良好的預測能力。

4.5.2 不同算法對比

為了說明DBN、SVM和DBN_SVM分別在所用訓練集的比例為20%、30%和40%的準確率和誤報率，DBN、SVM和DBN_SVM的檢測準確率和誤報率分別如表3、表4和圖5和圖6所示。

表3 不同算法檢測準確率

表4 不同算法檢測誤報率

圖5 準確率對比圖

圖6 誤報率對比圖

通過不同算法在所用訓練集的比例為20%、30%和40%的準確率和誤報率對比可知，相同訓練集比例情況下，DBN_SVM較DBN和SVM模型具有更高檢測準確率和更低誤報率；隨著訓練集比例的增加，DBN、SVM和DBN_SVM的檢測準確率和誤報率分別呈現(xiàn)增加和降低的趨勢，從而說明DBN_SVM進行網(wǎng)絡信息安全檢測具有更高檢測準確率和更低的誤報率，效果優(yōu)于DBN和SVM模型。

5 總結

傳統(tǒng)的網(wǎng)絡入侵檢測存在檢測正確率低、擴展性差和容易發(fā)生誤報的缺點，結合DBN模型的自學習能力、建模能力和較強的魯棒性的優(yōu)勢，將DBN與支持向量機結合，提出一種基于深度信念網(wǎng)絡和支持向量機的網(wǎng)絡信息安全檢測算法。研究結果表明，與DBN和SVM相比，DBN_SVM進行網(wǎng)絡入侵檢測具有更高的檢測準確率和更低的誤報率，為網(wǎng)絡入侵檢測和預警提供新的方法和途徑。

[1] 劉羿. 蝙蝠算法優(yōu)化神經(jīng)網(wǎng)絡的網(wǎng)絡入侵檢測[J]. 計算機仿真, 2015, 32(2):311-314.

[2] 王春東, 陳英輝, 常青,等. 基于特征相似度的貝葉斯網(wǎng)絡入侵檢測方法[J]. 計算機工程, 2011, 37(21):102-104.

[3] 謝偉增. 人工蜂群算法優(yōu)化支持向量機的網(wǎng)絡入侵檢測[J]. 微型電腦應用, 2017, 33(1):71-73.

[4] 李新磊. 改進布谷鳥算法優(yōu)化極限學習機的網(wǎng)絡入侵檢測[J]. 激光雜志, 2015(1):105-108.

[5] Lecun Y, Bengio Y ,Hinton G. Deep learning[J]. Nature,2015,521(7553)：436-444.

[6] Hinton G E, Osindero S, Y W. A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation, 1960, 18(7):1527-1554.

[7] 李春林, 黃月江, 王宏,等. 一種基于深度學習的網(wǎng)絡入侵檢測方法[J]. 信息安全與通信保密, 2014(10):68-71.

[8] 李佳. 混合雜草算法優(yōu)化支持向量機的網(wǎng)絡入侵檢測[J]. 計算機應用與軟件, 2015(2):311-314.

[9] 王雪松, 梁昔明. 改進蟻群算法優(yōu)化支持向量機的網(wǎng)絡入侵檢測[J]. 計算技術與自動化, 2015(2):95-99.

[10] 陶琳, 郭春璐. 改進粒子群算法和支持向量機的網(wǎng)絡入侵檢測[J]. 計算機系統(tǒng)應用, 2016, 25(6):269-273.

[11] 張小琴，賈郭軍.一種采用粗糙集和遺傳算法的支持向量機[J]. 山西師范大學學報(自然科學版)，2013(1)：35-38.

[12] 馬磊娟, 王林生. 改進最小二乘支持向量機的網(wǎng)絡入侵檢測[J]. 微型電腦應用, 2017, 33(7):76-79.

[13] 梁辰, 李成海, 周來恩. PCA-BP神經(jīng)網(wǎng)絡入侵檢測方法[J]. 空軍工程大學學報·自然科學版, 2016, 17(6):93-98.

[14] 華輝有, 陳啟買, 劉海,等. 一種融合Kmeans和KNN的網(wǎng)絡入侵檢測算法[J]. 計算機科學, 2016, 43(3):158-162.

[15] 夏棟梁, 劉玉坤, 魯書喜. 基于蟻群算法和改進SSO的混合網(wǎng)絡入侵檢測方法[J]. 重慶郵電大學學報(自然科學版), 2016, 28(3):406-413.

[16] 袁開銀, 費嵐. 混合粒子群優(yōu)化算法選擇特征的網(wǎng)絡入侵檢測[J]. 吉林大學學報:理學版, 2016, 54(2):309-314.

[17] 馬勇. 模糊推理結合Michigan型遺傳算法的網(wǎng)絡入侵檢測方案[J]. 電子設計工程, 2016, 24(11):108-111.

[18] 石云, 陳鐘, 孫兵. 基于均值聚類分析和多層核心集凝聚算法相融合的網(wǎng)絡入侵檢測[J]. 計算機應用研究, 2016, 32(2):518-520.