面向入侵檢測系統(tǒng)的DeepBeliefNets模型

高　妮, 高　嶺, 賀毅岳,3

(1. 西北大學信息科學與技術學院,陜西 西安 710127; 2. 西安財經學院 信息學院,陜西 西安 710100; 3. 西北大學經濟管理學院,陜西 西安 710127)

?

面向入侵檢測系統(tǒng)的DeepBeliefNets模型

高妮1,2, 高嶺1, 賀毅岳1,3

(1. 西北大學信息科學與技術學院,陜西 西安 710127; 2. 西安財經學院 信息學院,陜西 西安 710100; 3. 西北大學經濟管理學院,陜西 西安 710127)

連續(xù)的網(wǎng)絡流量會導致海量數(shù)據(jù)問題,這為入侵檢測提出了新的挑戰(zhàn)。為此,提出一種面向入侵檢測系統(tǒng)的深度信念網(wǎng)絡(deepbeliefnetsorientedtotheintrusiondetectionsystem,DBN-IDS)模型。首先,通過無監(jiān)督的、貪婪的算法自底向上逐層訓練每一個受限玻爾茲曼機(restrictedBoltzmannmachine,RBM)網(wǎng)絡,使得大量高維、非線性的無標簽數(shù)據(jù)映射為最優(yōu)的低維表示；然后利用帶標簽數(shù)據(jù)被附加到頂層,通過反向傳播(backpropagation,BP)算法自頂向下有監(jiān)督地對RBM網(wǎng)絡輸出的低維表示進行分類,并同時對RBM網(wǎng)絡進行微調；最后,利用NSL-KDD數(shù)據(jù)集對模型參數(shù)和性能進行了深入的分析。實驗結果表明,DBN-IDS分類效果優(yōu)于支持向量機(supportvectormachine,SVM)和神經網(wǎng)絡(neuralnetwork，NN),適用于高維、非線性的海量入侵數(shù)據(jù)的分類處理。

入侵檢測； 神經網(wǎng)絡； 深度信念網(wǎng)絡

0　引　言

隨著網(wǎng)絡技術的飛速發(fā)展和網(wǎng)絡規(guī)模的不斷擴大,如何識別各種網(wǎng)絡攻擊是一個不可回避的關鍵技術問題。入侵檢測系統(tǒng)(intrusiondetectionsystem,IDS)是對企圖入侵、正在進行的入侵或已經發(fā)生的入侵進行識別,其本質是對大量攻擊數(shù)據(jù)給出威脅分析。以往研究者在IDS研究中引入了各種機器學習方法,如神經網(wǎng)絡(neuralnetwork,NN)[1]、支持向量機(supportvectormachine,SVM)[2-3]、蟻群算法[4]等機器學習方法都在IDS中取得了突破性的進展。

傳統(tǒng)機器學習多數(shù)屬于淺層學習,在帶標簽的數(shù)據(jù)集中抽取有用信息。在面臨真實的網(wǎng)絡應用環(huán)境,大量連續(xù)的網(wǎng)絡連接數(shù)據(jù)會導致海量數(shù)據(jù)問題,這給入侵檢測提出了新的挑戰(zhàn),而如何建立穩(wěn)定、可靠且高效的入侵檢測模型是入侵檢測研究中的首要任務。傳統(tǒng)的淺層學習方法無法有效解決海量入侵數(shù)據(jù)分類問題：①隨著數(shù)據(jù)集動態(tài)增長,多類別的分類任務會導致準確率低下；②淺層學習是一種單線程任務,已經不適用于海量數(shù)據(jù)智能化分析和預測需求的多任務學習，在海量數(shù)據(jù)分類問題上,淺層學習在復雜函數(shù)運算方面有一定限制,對新樣本的適應能力也受到一定限制[5]。

因此,如何提出一個面向海量數(shù)據(jù)有效的入侵檢測模型是一個亟待解決的問題。深度學習在海量數(shù)據(jù)分析方面有著突出的表現(xiàn),可以用來解決入侵檢測領域的難題。通過構建具有多隱藏層的非線性網(wǎng)絡結構和海量的訓練數(shù)據(jù),學習更易于分類的低維特征,從而提升分類的準確性。因此,表達能力強的深度模型能夠挖掘海量數(shù)據(jù)中蘊含的豐富內在信息,是解決海量數(shù)據(jù)環(huán)境下入侵檢測問題的一種極具前景的方法。

2006年,文獻[6]提出了深度信念網(wǎng)絡(deepbeliefnets,DBN)的深度學習方法。DBN受到學術界的廣泛關注,已成為大數(shù)據(jù)和人工智能的一個熱潮。2009年,微軟研究院的專家們與Hinton開展了深度合作,將DBN引入語音識別領域,取得了錯誤率相對降低30%的突破性進展[7]。以模擬人腦的多層結構為原理的深度學習網(wǎng)絡可通過逐層特征抽取,將高維、非線性數(shù)據(jù)逐漸形成為更適合模式分類的抽象特征。因此,海量數(shù)據(jù)分類需要深度學習,它是解決入侵檢測速度低和分類性能低的一種極具前景的方法。

本文將DBN深度學習方法引入到入侵檢測領域中,提出一種面向入侵檢測系統(tǒng)的深度信念網(wǎng)絡(deepbeliefnetsorientedtointrusiondetectionsystem,DBN-IDS)模型。首先,通過無監(jiān)督的、貪婪的算法,自底向上逐層訓練每一個限制玻爾茲曼機(restrictedBoltzmannmachine,RBM)網(wǎng)絡,在該非監(jiān)督學習過程中獲得原始數(shù)據(jù)的低維表示,從而顯著降低數(shù)據(jù)的維數(shù),即保留數(shù)據(jù)的關鍵重要特征,同時去除冗余特征。然后，利用反向傳播(backpropagation,BP)算法對低維表示進行分類,并同時對RBM網(wǎng)絡進行微調。利用NSL-KDD數(shù)據(jù)集[8]進行驗證,將本文DBN-IDS與SVM和NN進行了比較,實驗結果表明DBN-IDS模型優(yōu)于這兩種機器學習方法,有效提高了分類準確率。

1　DBN模型

1.1RBM模型

RBM是DBN的核心組件之一,是一個兩層的神經網(wǎng)絡,其兩層單元分別是可視單元(v)和隱藏單元(h)。RBM模型是一個二分圖結構,同層單元之間互不相連,位于底層的可視層(v)描述了輸入數(shù)據(jù)特征,位于上層的隱藏層(h)數(shù)據(jù)由機器學習自動生成,通常沒有實際意義。

RBM可定義為：滿足二值變量的可視層單元和隱藏層單元的全概率分布p(v|h)服從Boltzmann分布。RBM可看作一種無向圖模型,如圖1所示。當輸入可視層單元v時,通過全概率分布p(h|v)得到隱藏層h；獲得隱藏層h后,通過p(v|h)又能得到可視層單元v。

圖1　RBM結構Fig.1　Structure of RBM

假設可視層單元v表示輸入數(shù)據(jù),h是隱藏層單元,W表示可視單元和隱藏單元之間的連接權重。令所有單元均為二值變量,即?i,j,vi∈{0,1},hj∈{0,1}。

由于RBM的對稱結構,其層間有連接,層內無連接,故在已知v情況下,所有的隱藏節(jié)點條件獨立,第j個單元h的后驗概率表示為

(1)

同理,在已知h條件下,所有的可視節(jié)點條件獨立,故第i個單元v的后驗概率表示為

(2)

σ是激活函數(shù)：

(3)

關于某一狀態(tài){v,h}的能量函數(shù)定義為

(4)

式中,θ={W,a,b}是模型參數(shù),W是RBM模型的權值參數(shù),a表示隱藏單元的偏置,b表示可視層的偏置。狀態(tài){v,h}基于能量函數(shù)的聯(lián)合概率分布滿足：

(5)

1.2貪婪的DBN

DBN是一個概率生成模型[6],是由多層無監(jiān)督的RBM網(wǎng)絡和一層有監(jiān)督的BP[9]網(wǎng)絡組成的一種深層神經網(wǎng)絡。這些網(wǎng)絡被“限制”為一個可視層和一個隱藏層,層間存在連接,而層內單元間不存在連接。

圖2展示了一個多層的生成模型結構,該模型最高兩層通過無向連接交互,其他層通過有向連接進行交互。向上的箭頭代表了認知模型,向下的箭頭代表了生成模型。在生成模型學習過程中,權重參數(shù)W一旦被學習,通過使用WT,原始數(shù)據(jù)v被映射為隱藏層h1的高層數(shù)據(jù)表示。WT可以用來推理隱藏層h1的近似后驗概率。因此,可視層的條件概率是網(wǎng)絡中每個隱藏層后驗概率的階乘表示：

(6)

圖2　DBN結構圖Fig.2　Graphical representation of a DBN

DBM在自底向上的傳遞中,認知連接被用來推斷出下面一層二進制表示。每一層RBM網(wǎng)絡的隱藏層單元被訓練去捕捉在可視層表現(xiàn)出來的高維數(shù)據(jù)的相關性,從具體的高維、非線性數(shù)據(jù)逐漸轉化為抽象數(shù)據(jù),即從復雜的高維、非線性輸入數(shù)據(jù)抽取維數(shù)較低的特征。在自頂向下的傳遞過程中,生成連接被用來將聯(lián)想記憶的狀態(tài)映射到原始數(shù)據(jù)。利用RBM訓練后的低維特征會大大減少模型訓練時間,在頂層的神經網(wǎng)絡形成易于分類的特征。

DBN在訓練模型的過程中分為兩步。

(1) 預訓練：通過一個非監(jiān)督的、貪婪的學習方法,自底而上逐層訓練每一個RBM網(wǎng)絡,將大量高維、非線性的無標簽數(shù)據(jù)(原始數(shù)據(jù))映射至低維表示,獲得一個較優(yōu)的初始模型參數(shù)。這種非監(jiān)督的、貪婪的且逐層的學習方法被稱為對比分歧(contrastive divergence, CD)算法[10],被Hinton證明是可以快速訓練RBM網(wǎng)絡的。

(2) 微調權值：在預訓練后,利用少數(shù)帶標簽數(shù)據(jù)被附加到頂層,通過BP網(wǎng)絡接收RBM輸出的低維表示作為它的輸入特征向量,自頂向下有監(jiān)督地訓練分類器。通過逐層、貪婪的訓練每一層RBM網(wǎng)絡以確保層內特征向量映射達到最優(yōu),但卻不能確保整個DBN的特征向量映射達到最優(yōu)。因此,BP網(wǎng)絡還擔負著對RBM網(wǎng)絡性能進行微調的功能,將錯誤信息自頂向下傳播至每一層RBM,以最大似然函數(shù)為目標函數(shù),使整個DBN網(wǎng)絡達到最優(yōu)。

1.3基于吉布斯采樣的馬爾可夫鏈模型

在生成RBM數(shù)據(jù)過程中,可視層和隱藏層從一個隨機狀態(tài)開始,然后執(zhí)行交替的吉布斯采樣。首先,原始可視單元v0映射到隱藏單元h0；其次,可視單元v0由隱藏單元h0重構為新的可視單元v1；再次,v1映射為新的隱藏單元h1。這種前后交替迭代的過程就是吉布斯采樣。

為了使得RBM的聯(lián)合概率分布p(v,h;θ)最大,依據(jù)可視層單元和隱藏層單元存在的相關性差異,更新RBM模型的參數(shù)θ。傳統(tǒng)的方法是使用交替的吉布斯采樣,利用馬爾可夫鏈蒙特卡羅方法使馬爾可夫鏈趨于平穩(wěn)分布[11]。在圖3可以看出,利用馬爾可夫鏈在迭代次數(shù)接近∞時,聯(lián)合概率分布接近平穩(wěn)分布。

圖3　基于吉布斯采樣的馬爾可夫鏈模型Fig.3　Markov chain based on alternating Gibbs sampling

對訓練樣本求解極大似然假設的梯度：

(7)

1.4CD算法

CD算法是由文獻[10]提出的快速訓練RBM的方法,最小化兩個KL分歧的差異性表示為

(8)

(9)

式中,n為迭代次數(shù)；ε為學習速度。

2　DBN-IDS模型

2.1模型設計

本文提出的DBN-IDS模型總體框架如圖4所示,包含5個步驟：

步驟 1數(shù)據(jù)預處理。將NSL-KDD數(shù)據(jù)集[8]中符號型數(shù)據(jù)轉化為數(shù)值型數(shù)據(jù),進而實施數(shù)據(jù)歸一化處理,將標準化數(shù)據(jù)分離為訓練數(shù)據(jù)和測試數(shù)據(jù)。詳見第2.2節(jié)內容。

步驟 2對訓練數(shù)據(jù)進行基于CD算法的預訓練過程。按照一定的非監(jiān)督、貪婪的CD算法預訓練每層RBM,使得大量高維、非線性的無標簽數(shù)據(jù)映射為最優(yōu)的低維表示,獲得數(shù)百萬的DBN模型參數(shù)。預訓練算法詳見第2.3節(jié)內容。

步驟 3微調權值過程。利用帶標簽數(shù)據(jù)被附加到頂層,通過BP算法自頂向下對RBM網(wǎng)絡輸出的低維表示進行有監(jiān)督的分類。同時,BP網(wǎng)絡還擔負著對整個DBN模型參數(shù)進行微調的功能。最終學習獲得最優(yōu)的深度學習訓練模型。微調權值算法詳見第2.4節(jié)內容。

步驟 4將測試數(shù)據(jù)輸入到已經建立好的深度學習訓練模型中,進而快速學習獲得每條測試數(shù)據(jù)的入侵類別。

步驟 5將入侵分類結果與規(guī)則庫進行判斷比較,對檢測到的入侵做出響應處理。

圖4　DBN-IDS學習過程Fig.4　Learning process of DBN-IDS

2.2數(shù)據(jù)預處理

NSL-KDD數(shù)據(jù)集[8]的每條連接記錄由41個屬性特征組成,其中包含38個數(shù)字型特征和3個符號型特征。數(shù)據(jù)集預處理包含兩個步驟：

步驟 1符號型特征數(shù)值化

本文采用屬性映射方法將符號型特征轉變成數(shù)值型數(shù)據(jù)。例如第2列屬性特征‘protocol_type’有3種取值：tcp,udp,icmp,將其字符分別編碼為二進制向量[1,0,0],[0,1,0]和[0,0,1]。同理,屬性特征‘service’的70種符號取值和‘flag’的11種符號取值可建立符號值與相應數(shù)值的映射關系。以此類推,41維特征經過變換之后有122維特征。

步驟 2歸一化處理

對步驟1獲得的數(shù)據(jù)進行最小-最大規(guī)范化處理后,各屬性特征位于同一數(shù)量級。根據(jù)式(13)將數(shù)據(jù)歸一化到[0,1]范圍：

(10)

式中,y是屬性值；MIN是該屬性的最小值；MAX是該屬性的最大值。

2.3預訓練過程

基于CD準則的預訓練步驟如算法1所示。

算法 1DBN預訓練算法

輸入輸入特征變量(v1,v2,…,vm),權重Wij,偏置ai,bj,學習率ε；

初始化Wij=ai=bj=0(i=1,2,…,m；j=1,2,…,n),并初始化迭代次數(shù)k；

輸出模型參數(shù)θ={W,a,b}；

步驟 1對于每一個輸入特征變量(v1,v2,…,vm),將vi賦值給v0；

步驟 4對于所有的可視單元和隱藏單元,根據(jù)式(7)獲得初始狀態(tài)和更新狀態(tài)下的聯(lián)合概率分布的梯度,代入式(9)更新參數(shù)θ,即：

(11)

步驟 5如果t=k,保存模型參數(shù),算法結束；

步驟 6如果t

2.4微調權值過程

在本文的DBN模型中,BP[9]算法起到微調整個網(wǎng)絡中模型參數(shù)的作用?；贐P算法的DBN微調權值訓練過程分為兩步：①先通過RBM模型訓練建立DBN的前向傳播,獲得一個較優(yōu)的初始模型參數(shù)；②利用BP算法計算訓練樣本網(wǎng)絡的輸出誤差信息并自頂向下傳播至每一層RBM,微調整個DBN模型的參數(shù)。

算法 2DBN微調權值算法

輸入訓練樣本為〈xi,ti〉(i=1,2,…,m),權重Wij,偏置ai,bj,學習率ε；

初始化從DBN預訓練算法中獲得模型參數(shù)并初始化θ={W,a,b},初始化迭代次數(shù)為k；

輸出微調整后的模型參數(shù)θ={W,a,b}；

步驟 1對于每一個實例xi輸入DBN網(wǎng)絡,計算xi的輸出oi,使誤差沿網(wǎng)絡反向傳播；

步驟 2對DBN的每個輸出單元k,計算它的誤差項δk：

(12)

步驟 3對于DBN的每個隱藏單元h,計算它的誤差項δh：

(13)

步驟 4更新每個網(wǎng)絡模型參數(shù)θji：

(14)

式中,θji=ηδjxj,η為學習速率；

步驟 5如果t=k,保存微調整后的模型參數(shù),算法結束；

步驟 6如果t

3　實驗與分析

3.1數(shù)據(jù)描述

本文采用NSL-KDD數(shù)據(jù)集[8]進行IDS系統(tǒng)測試,它是一種新的數(shù)據(jù)集。NSL-KDD數(shù)據(jù)集包含了KDD’ 99數(shù)據(jù)集的一些記錄,解決了KDD’ 99數(shù)據(jù)集中存在冗余記錄等問題。NSL-KDD數(shù)據(jù)集包含25 192個實例的訓練數(shù)據(jù)和11 850個測試數(shù)據(jù),包括4種類型的攻擊行為：拒絕服務攻擊(DoS),遠程用戶攻擊(R2L),提升權限攻擊(U2R)和端口掃描攻擊(Probing)。

3.2實驗評價標準

在本文的對比實驗中,采用準確率(accuracy,AC)、檢測率(detection rate,DR)和誤報率(false alarm,FA)等作為評價指標來衡量DBN模型的性能:

(15)

(16)

(17)

將每層網(wǎng)絡中重構后的數(shù)據(jù)與原有數(shù)據(jù)之間的重構誤差也作為性能評價標準,重構誤差的計算式為

(18)

3.3實驗分析

本文設計了2組實驗：①綜合DBN網(wǎng)絡深度、輸出層節(jié)點數(shù)和有無預訓練3類因素,探索了各種因素在入侵識別任務中的性能影響；②DBN模型與其他分類方法的性能比較。

3.3.1DBN模型參數(shù)設置

DBN模型表示為DBNi(i表示DBN包含的RBM的層數(shù))。DBN參數(shù)設置如表1所示。DBN網(wǎng)絡結構的輸入層節(jié)點數(shù)為122,第1隱藏層節(jié)點數(shù)選取接近輸入層節(jié)點數(shù)的維數(shù)110,之后依次選取80,50,30和10對輸入數(shù)據(jù)進行降維。將選取好的參數(shù)輸入到DBN網(wǎng)絡結構中,在建立好的網(wǎng)絡結構上對每一層RBM網(wǎng)絡進行預訓練,采用1次吉布斯采樣對模型參數(shù)進行更新,文獻[12]論證了k=1時,RBM模型趨于平穩(wěn)分布,能得到最好的實驗結果。在訓練每層RBM時,迭代次數(shù)為30次,基于BP算法的DBN微調權值算法的迭代次數(shù)為300次。

表1　DBNi模型參數(shù)列表

3.3.2DBN結構驗證分析

(1) 網(wǎng)絡深度的影響

DBN的深度對入侵識別效果起到非常重要的作用。本實驗設置5種不同的DBN網(wǎng)絡結構,性能對比分析結果如圖5所示。設置DBN2、DBN3、DBN4、DBN5和DBN6分別表示為122-60-10、122-80-40-10、122-110-70-40-10、122-110-80-50-30-10和122-110-80-60-40-20-10的RBM網(wǎng)絡結構。由圖5可知,DBN采用5層的RBM網(wǎng)絡結構的準確率、檢測率最大。

圖5　不同的DBN結構的性能比較Fig.5　Performance comparison of the different DBN structures

采用淺層122-60-10的DBN結構和深層122-110-80-50-30-10的DBN結構進行均方差性能對比分析。利用深層122-110-80-50-30-10和淺層122-60-10的DBN結構進行預訓練后,獲得網(wǎng)絡結構的模型參數(shù)。然后,對所獲得的網(wǎng)絡結構進行微調權值。如圖6所示,在微調權值100次迭代后,擁有相同參數(shù)的深層比淺層模型均方差小0.28,實驗表明深層模型能更有效地抽取特征。

圖6　淺層與深層結構的重構誤差對比Fig.6　Comparison of the squared reconstruction error of the shallow and deep network structure

(2) 輸出層節(jié)點數(shù)的影響

本文另外一個重要的研究是選擇最小的特征向量維數(shù)來提高入侵識別準確率。為了測試輸出層節(jié)點數(shù)是如何影響入侵檢測性能的,本文采用深層122-110-80-50-30-10的DBN5模型,其他參數(shù)不變,輸出層節(jié)點數(shù)從3變化至12,結果如圖7所示。由圖7可知,DBN5模型設置10個輸出層節(jié)點的準確率和檢測率最大。

圖7　不同輸出層節(jié)點數(shù)的性能比較Fig.7　Performance comparison of the different output layer nodes

(3) 有無預訓練過程的影響

DBN預訓練過程對入侵識別效果也起到非常重要的作用。本實驗設計了3種DBN網(wǎng)絡結構(DBN2、DBN3和DBN4)分別在有、無預訓練兩種情況下的性能對比。從表2可知,2層RBM的DBN網(wǎng)絡結構在有無預訓練情況下的準確率沒有顯著性差異。3層的DBN結構執(zhí)行預訓練過程后再進行微調訓練,準確率比隨機初始化權值再微調訓練略微高些。而4層的DBN結構已經表現(xiàn)出兩種情況下明顯的差異。從實驗結果不難看出,3層以上的RBM網(wǎng)絡結構執(zhí)行預訓練過程對于入侵識別準確率變得很重要。

表2　有無預訓練階段的性能比較

3.3.3與其他分類方法的性能對比分析

在NSL-KDD數(shù)據(jù)集中分別提取不同攻擊類型進行入侵分類實驗,將DBN模型與SVM和傳統(tǒng)NN分類方法做了性能對比。采用開源工具LIVSVM[13],其參數(shù)設置如下：類型為C-SVC,核函數(shù)采用徑向基函數(shù),懲罰因子C=100,核函數(shù)控制因子g=0.000 001,采用十折交叉驗證獲得較高的準確率。NN算法采用3層結構,輸入層、中間層和輸出層各一個,采用常用的BP優(yōu)化方式,其余參數(shù)和DBN類似。

表3給出了深層的DBN5模型與SVM、NN的性能對比。從結果不難看出,本文所述的DBN5模型在分類檢測率方面要略高于NN和SVM機器學習方法,且在誤報率方面,DBN5模型也低于它們。實驗結果表明，深層的DBN5模型有效提高了網(wǎng)絡入侵檢測正確率,降低檢測誤報率,更有利于提高入侵檢測模型的入侵識別能力。

表3　不同攻擊類型下3種算法性能比較

4　結　論

DBN的深度學習方法對于入侵檢測是一種全新的機器學習方法,該方法結合了無監(jiān)督學習和有監(jiān)督學習的學習優(yōu)點,不僅對高維特征向量具有很強的提取特征能力,而且具有高效的分類能力。本文探索了基于DBN的深度學習方法在入侵檢測中的應用。探索了DBN網(wǎng)絡深度、輸出層節(jié)點數(shù)和有無預訓練3類因素在入侵識別任務中的性能影響。實驗結果表明,本文提出的DBN-IDS模型非常適用于高維空間的信息抽取任務,提高了入侵檢測正確率,降低了檢測誤報率,為入侵檢測提供了一種新的研究方法。

[1]ShahB,TrivediBH.Artificialneuralnetworkbasedintrusiondetectionsystems:asurvey[J]. International Journal of Computer Applications, 2012, 39(6):13-18.

[2]KuangFJ,XuWH,ZhangSY.AnovelhybridKPCAandSVMwithGAmodelforintrusiondetection[J]. Applied Soft Computing, 2014, 18:178-184.

[3]JingXP,WangHX,NieK.NetworkintrusiondetectionbasedonmodifiedkernelfunctionSVM[J]. Systems Engineering and Electronics, 2012, 34(5):1036-1040. (井小沛, 汪厚祥, 聶凱. 基于修正核函數(shù)SVM的網(wǎng)絡入侵檢測[J]. 系統(tǒng)工程與電子技術, 2012, 34(5): 1036-1040.)

[4]AghdamMH,KabiriP.Featureselectionforintrusiondetectionsystemusingantcolonyoptimization[J]. International Journal of Network Security, 2016, 18(3): 420-432.

[5]BengioY.LearningdeeparchitecturesforAI[J]. Foundations and Trends in Machine Learning, 2009, 2(1): 1-127.

[6]HintonGE,OsinderoS,TehYW.Afastlearningalgorithmfordeepbeliefnets[J]. Neural Computation, 2006, 18(7):1527-1554.

[7]DahlGE,YuD,DengL,etal.Context-dependentpre-traineddeepneuralnetworksforlargevocabularyspeechrecognition[J].IEEE Trans.on Audio Speech & Language Processing,2012,20(1):30-42.

[8]TavallaeeM,BagheriE,LuW,etal.NSL-KDDdataset[EB/OL]. [2009-07-08].http:∥www.unb.ca/research/iscx/dataset/iscx-NSL-KDD-dataset.html.

[9]RumehartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J]. Nature, 1986, 323(6088):533-536.

[10]HintonGE.Trainingproductsofexpertsbyminimizingcontrastivedivergence[J]. Neural Computation, 2002, 14(8):1771-1800.

[11]NealRM.ProbabilisticinferenceusingMarkovchainMonteCarlomethods,CRG-TR-93-1[J]. Toronto:Department of Computer Science, University of Toronto, 1993.

[12]Carreira-PerpinanMA,HintonGE.Oncontrastivedivergencelearning[C]∥Proc. of the Artificial Intelligence and Statistics, 2005:33-41.

[13]ChangCC,LinCJ.LIBSVM:alibraryforsupportvectormachines[J]. ACM Trans. on Intelligent Systems & Technology, 2007, 2(3):389-396.

Deepbeliefnetsmodelorientedtointrusiondetectionsystem

GAONi1,2,GAOLing1,HEYi-yue1,3

(1. School of Information Science & Technology, Northwest University, Xi’an 710127, China;2. School of Information, Xi’an University of Finance and Economics, Xi’an 710100, China;3. School of Economics and Management, Northwest University, Xi’an 710127, China)

Itputsforwardanewchallengewithintrusiondetection,thecontinuouscollectionoftrafficdatabythenetworkleadstothemassivedataproblems.Therefore,adeepbeliefnetsmodelorientedtotheintrusiondetectionsystem(DBN-IDS)isproposed.First,anunsupervised,greedyalgorithmisemployedtotraineachrestrictedBoltzmannmachine(RBM)atatimebyabottom-upapproach,whichmakeslargeamountsofnonlinearhigh-dimensionalunlabeledinputdatacanbesampledasoptimallow-dimensionalfeaturerepresentations.Second,usingthelabeleddataatthetoplayer,thesupervisedbackpropagation(BP)algorithmisemployedinclassifyingthelearnedlow-dimensionalrepresentationsandfine-tuningtheRBMnetworksimultaneously.TheparametersandtheperformanceofthemodelaredeeplyanalyzedonNSL-KDDdataset.ExperimentalresultsdemonstratethattheDBN-IDSoutperformsthesupportvectormachine(SVM)andneuralnetwork(NN),andwhichisafeasibleapproachinintrusionclassificationforthehigh-dimensional,nonlinearandlarge-scaledata.

intrusiondetection;neuralnetwork(NN);deepbeliefnets

2015-09-21；

2016-06-19；網(wǎng)絡優(yōu)先出版日期：2016-07-06。

國家自然科學基金 (61373176,61572401) 資助課題

TP393

ADOI:10.3969/j.issn.1001-506X.2016.09.33

高妮(1982-),女,講師,博士,主要研究方向為網(wǎng)絡安全、機器學習。

E-mail:gaoni@nwu.edu.cn

高嶺(1964-),男,教授,博士,主要研究方向為網(wǎng)絡管理、信息安全。

E-mail:gaoling@nwu.edu.cn

賀毅岳(1982-),男,講師,博士,主要研究方向為數(shù)據(jù)挖掘、信息管理。

E-mail:heyiyue@nwu.edu.cn

網(wǎng)絡優(yōu)先出版地址：http:∥www.cnki.net/kcms/detail/11.2422.TN.20160706.1030.002.html