基于DT 及PCA 的DNN 入侵檢測模型

武曉棟，劉敬浩，金 杰，毛思平

天津大學(xué) 電氣自動化與信息工程學(xué)院，天津 300072

通信系統(tǒng)與網(wǎng)絡(luò)入口時時刻刻都面臨著來自于外部甚至于其系統(tǒng)內(nèi)部的網(wǎng)絡(luò)攻擊，且不似網(wǎng)絡(luò)未成熟時期的單一攻擊，如今的絕大多數(shù)入侵行為種類多樣并且呈混合態(tài)勢發(fā)展，防御起來愈發(fā)困難。據(jù)相關(guān)文獻(xiàn)，雅虎數(shù)據(jù)泄露造成了3.5 億美元的損失，比特幣泄露導(dǎo)致了大約7 000 萬美元的損失[1]?；谌肭中袨椋肭謾z測可分為基于網(wǎng)絡(luò)的入侵檢測系統(tǒng)（network based intrusion detection system，NIDS）和基于主機的入侵檢測系統(tǒng)（host based intrusion detection system，HIDS）[2]。HIDS 通過查看在本地主機上生成的各種日志文件、磁盤資源信息以及系統(tǒng)信息等來檢測入侵行為，而NIDS 通過檢測出入本地的網(wǎng)絡(luò)數(shù)據(jù)流中的數(shù)據(jù)包來判斷是否有入侵行為。機器學(xué)習(xí)作為近幾年非常熱門的一種算法工具，理所應(yīng)當(dāng)?shù)挠袑＜覍W(xué)者嘗試其在入侵檢測方面的應(yīng)用[3]。尤其是近幾年，機器學(xué)習(xí)在入侵檢測方面的應(yīng)用大范圍地出現(xiàn)在人們的視野中，從支持向量機（support vector machine，SVM）到神經(jīng)網(wǎng)絡(luò)（neural networks，NN）再到隨機森林（random forest，RF）都有其在入侵檢測中的應(yīng)用。

1 相關(guān)研究

機器學(xué)習(xí)在入侵檢測方面的應(yīng)用早有先例。2003 年Kruegel 等人[4]將決策樹（decision tree，DT）應(yīng)用到入侵檢測中去，相較于當(dāng)時的Snort 檢測引擎[5]能夠?qū)崿F(xiàn)更加迅速的檢測速度；2004 年陳光英等人提出了特征選擇與SVM 訓(xùn)練模型的聯(lián)合優(yōu)化方法，并用入侵檢測數(shù)據(jù)集進(jìn)行了實驗，結(jié)果證明聯(lián)合優(yōu)化方法能更好地提高SVM 性能,并且有更快的收斂速度，這是國內(nèi)比較早的一篇利用了機器學(xué)習(xí)方法的入侵檢測相關(guān)文獻(xiàn)[6]。饒鮮等人基于支持向量機進(jìn)行入侵檢測，對實時性問題進(jìn)行了研究，但準(zhǔn)確率較低[7]。2016 年，Ikram 等人提出利用主成分分析（principal component analysis，PCA）技術(shù)降維后用SVM 來檢測入侵，其新穎之處在于SVM 中應(yīng)用了參數(shù)自優(yōu)化技術(shù)，提高了分類器的準(zhǔn)確率并減少了訓(xùn)練以及測試的時間[8]。2019 年，國內(nèi)學(xué)者楊宏宇等人提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測模型[9]，具有較高的入侵檢測準(zhǔn)確率與真陽率，且誤報率較低。同年，F(xiàn)ernandez 等人提出利用前饋全連接深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）來訓(xùn)練入侵檢測系統(tǒng)（intrusion detection system，IDS），由于DNN在動態(tài)IP地址分配的情況下表現(xiàn)出魯棒性，他們所提出的這個模型在現(xiàn)實中有更加廣泛的應(yīng)用范圍[10]。仍然在2019 年，劉敬浩等人提出了一種基于ICA（independent component analysis）與DNN 的入侵檢測模型ICA-DNN[11]，相較于一些淺層機器學(xué)習(xí)模型具有更好的特征學(xué)習(xí)能力和更精確的分類能力,但是對于算法的預(yù)測時間并未進(jìn)行具體評估，模型實時性較差。綜合以上學(xué)者所提出的入侵檢測模型發(fā)現(xiàn)大多數(shù)研究對入侵檢測的實時性研究不夠重視，而少數(shù)對實時性有較深入研究的入侵檢測模型則存在檢測準(zhǔn)確率不高的問題。為了深入研究對于入侵檢測十分重要的實時性問題并保證入侵檢測的準(zhǔn)確率，本文提出DT-PCA-DNN 模型。訓(xùn)練后的DT 實際上為一系列的if-else 語句，處理大批量數(shù)據(jù)速度極高，但處理精細(xì)度不足；DNN 網(wǎng)絡(luò)在處理大量高維度數(shù)據(jù)時的實時性較差，但精細(xì)度高。將二者結(jié)合，首先用DT 對數(shù)據(jù)進(jìn)行一次預(yù)過濾再PCA 后送入DNN，實驗結(jié)果表明，該模型在保證了較高檢測率的同時大大提升了訓(xùn)練以及檢測速度。

2 基礎(chǔ)理論

2.1 主成分分析

PCA 是十分常用的一種線性降維算法，一般用于將高維度的數(shù)據(jù)的主要成分提取后簡化為低維度數(shù)據(jù)，但是數(shù)據(jù)的完整程度可以根據(jù)需求進(jìn)行調(diào)整。具體而言，PCA 希望將原始的特征空間映射到另外一個正交空間內(nèi)，而且希望可以使用一個滿足最近重構(gòu)性及最大可分性的超平面來對數(shù)據(jù)集內(nèi)所有的數(shù)據(jù)進(jìn)行適當(dāng)?shù)拿枋?。最近重?gòu)性：數(shù)據(jù)集內(nèi)的點到這個超平面的距離比較近。最大可分性：數(shù)據(jù)集上的不同點在這個超平面上的投影要盡量遠(yuǎn)。如圖1（a）所示，二維平面上存在若干數(shù)據(jù)，經(jīng)由適當(dāng)基變換（xy→ab），得到圖1（b）。在圖1（b）中，數(shù)據(jù)點在原基兩個維度的全部信息都包含于a軸，b軸的存在與否不影響數(shù)據(jù)完整性。由此，實現(xiàn)了二維數(shù)據(jù)到一維的降維。本次實驗所采用的數(shù)據(jù)集在預(yù)處理后維度值為122，經(jīng)由PCA 降維至11 維，大幅度降低了數(shù)據(jù)維度間的相關(guān)性，簡化了計算的復(fù)雜性，提供了神經(jīng)網(wǎng)絡(luò)所需要的低維數(shù)據(jù)源。

Fig.1 Diagram of data dimensionality reduction圖1 簡單數(shù)據(jù)降維示意圖

2.2 決策樹

決策樹模型是一種描述對實例進(jìn)行分類的樹形結(jié)構(gòu)，由節(jié)點（node）和有向邊（directed edge）組成，節(jié)點有兩種類型：表示一個特征或者屬性的內(nèi)部節(jié)點（internal node），表示一個類的葉節(jié)點[12]（leaf node）。決策樹由根節(jié)點開始不斷依據(jù)數(shù)據(jù)的特征進(jìn)行分裂，直至所有數(shù)據(jù)到達(dá)葉子節(jié)點。作為分裂依據(jù)的屬性必須是離散屬性，對于連續(xù)屬性，可以按照實驗需求將其離散化。某售樓處想要根據(jù)對象的身份信息、年齡與是否已婚來判斷被調(diào)查對象是否有購房需求，調(diào)查結(jié)果如表1 所示。

Table 1 Respondent information and willingness表1 被調(diào)查對象信息意愿表

由此可生成對應(yīng)決策樹如圖2，當(dāng)有對象F 身份為公司職員，已婚，29 歲，可根據(jù)決策樹得知其有購房需求。

Fig.2 Decision chart of respondent圖2 對象決策圖

上例中調(diào)查對象的特征選擇順序不同，就可以生成不同的決策樹。依據(jù)選取不同分裂特征有三種判決依據(jù)，分別為信息增益、增益率、基尼指數(shù)。ID3（iterative dichotomiser 3）算法的核心是在決策樹各個節(jié)點上應(yīng)用信息增益準(zhǔn)則選擇特征，C4.5算法用信息增益比來選擇特征，CART（classification and regression tree）則將基尼指數(shù)作為選擇特征的依據(jù)。關(guān)于決策樹剪枝以及具體特征選擇由于篇幅原因不予贅述，參考文獻(xiàn)[12]即可。

2.3 深度神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)[13]，此處所說的神經(jīng)網(wǎng)絡(luò)指的是機器學(xué)習(xí)與廣義上的神經(jīng)網(wǎng)絡(luò)的交叉領(lǐng)域。神經(jīng)網(wǎng)絡(luò)中最基礎(chǔ)的結(jié)構(gòu)是神經(jīng)元（neuron）模型，即定義中的簡單單元。生物神經(jīng)網(wǎng)絡(luò)中，每個神經(jīng)元與其他神經(jīng)元相連，當(dāng)其處于“興奮”狀態(tài)時，就會向相連的神經(jīng)元發(fā)送神經(jīng)遞質(zhì)，從而改變這些神經(jīng)元的電位。若某個神經(jīng)元的電位超過了一個“閾值”（threshold），該神經(jīng)元就會被激活，即處于“興奮”狀態(tài)，向其相連的神經(jīng)元發(fā)送神經(jīng)遞質(zhì)[14]。1943年，國外學(xué)者將上述情況抽象為圖3 所示的簡單模型，即一直沿用至今的“M-P 神經(jīng)元模型”[15]。

Fig.3 M-P neuron model圖3 M-P 神經(jīng)元模型

在此模型中，xi為來自第i個神經(jīng)元的輸入，ωi為第i個神經(jīng)元的連接權(quán)重，θ為閾值，神經(jīng)元接收到來自于n個其他神經(jīng)元傳遞來的輸入信號，這些輸入信號通過帶權(quán)重的連接進(jìn)行傳遞，神經(jīng)元將接收得到的總輸入與θ進(jìn)行比較，通過激活函數(shù)f(x)處理得到該神經(jīng)元的輸出y如式（1）：

常用的激活函數(shù)有sigmoid 函數(shù)、tanh 函數(shù)、ReLU 函數(shù)[16]。將多個神經(jīng)元組合在一起即構(gòu)成了神經(jīng)網(wǎng)絡(luò)，擁有超過兩層及兩層以上隱藏層的神經(jīng)網(wǎng)絡(luò)就是所提到的深度神經(jīng)網(wǎng)絡(luò)，單純由輸入輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)只能解決線性可分問題，隱藏層的引入是為了解決非線性可分問題。圖4 就是一個全連接的神經(jīng)網(wǎng)絡(luò)，即前一層的任一神經(jīng)元一定與其下一層的任一神經(jīng)元相連。輸入層神經(jīng)元僅僅是接受輸入，不進(jìn)行函數(shù)處理，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程實質(zhì)上就是不斷調(diào)整神經(jīng)元之間的連接權(quán)重與神經(jīng)元的閾值，從而不斷接近訓(xùn)練樣本的輸出結(jié)果，其中最杰出的算法就是誤差逆?zhèn)鞑ィ╞ack propagation，BP）算法，現(xiàn)今大多數(shù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練都采用BP 算法。

Fig.4 Double hidden layer fully connected DNN圖4 雙隱層全連接深度神經(jīng)網(wǎng)絡(luò)

3 系統(tǒng)設(shè)計

系統(tǒng)整體設(shè)計如圖5 所示，第一步對整體數(shù)據(jù)集預(yù)處理。數(shù)據(jù)預(yù)處理首先將連續(xù)數(shù)據(jù)歸一化，其次對離散取值的數(shù)據(jù)進(jìn)行one-hot 編碼。數(shù)據(jù)預(yù)處理后的數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集以及測試數(shù)據(jù)集，用預(yù)處理后的訓(xùn)練數(shù)據(jù)集建立DT 同時訓(xùn)練DNN。PCA 為無監(jiān)督學(xué)習(xí)，不需要進(jìn)行訓(xùn)練，在DT 以及DNN 訓(xùn)練完成后，DT-PCA-DNN 模型建立。此時用經(jīng)預(yù)處理的測試數(shù)據(jù)集對建立的入侵檢測模型進(jìn)行測試并調(diào)整完善相關(guān)參數(shù)。訓(xùn)練后的DT 實際上為一系列的if-else 語句，處理大批量數(shù)據(jù)速度極高，但處理精細(xì)度不足；DNN 網(wǎng)絡(luò)在處理大量高維度數(shù)據(jù)時的實時性較差，但精細(xì)度高；PCA 恰好可以解決數(shù)據(jù)維度過高帶來的問題。將三者結(jié)合，首先用DT 對數(shù)據(jù)進(jìn)行一次預(yù)過濾再PCA 后送入DNN 二次分類，用DT 篩選出易判斷的入侵?jǐn)?shù)據(jù)減輕DNN 工作量，PCA 解決DNN 網(wǎng)絡(luò)遇到高維數(shù)據(jù)訓(xùn)練慢的問題，三種方法彌補了彼此的不足之處，在實時性較好的同時保證了檢測的準(zhǔn)確率。

Fig.5 System flow chart圖5 系統(tǒng)流程圖

3.1 數(shù)據(jù)處理

對數(shù)據(jù)的處理應(yīng)為兩部分，首先將連續(xù)數(shù)據(jù)歸一化，其次對離散取值的數(shù)據(jù)進(jìn)行編碼。

3.1.1 數(shù)據(jù)歸一化

本文實驗歸一化處理采用min-max 標(biāo)準(zhǔn)化，該標(biāo)準(zhǔn)化方式是對原始數(shù)據(jù)進(jìn)行線性變換，變換后數(shù)據(jù)落入[0,1]區(qū)間之內(nèi)。所用變換函數(shù)如式（2）：

設(shè)數(shù)據(jù)集中有m條數(shù)據(jù)，每條數(shù)據(jù)都有n維特征，則式中x為歸一化前第i條數(shù)據(jù)的第j維特征值，min為歸一化前這m條數(shù)據(jù)第j維特征中的最小值，max為歸一化前這m條數(shù)據(jù)第j維特征中的最大值，x*為歸一化后第i條數(shù)據(jù)的第j維特征值。

3.1.2 one-hot編碼

獨熱編碼，又稱為一位有效編碼，用于離散數(shù)據(jù)編碼。采用N位狀態(tài)寄存器來對N個狀態(tài)進(jìn)行編碼，每個狀態(tài)都有其獨立的寄存器位，且任何時間皆為一位有效。存在樣本集合如表2 所示。

Table 2 Feature distribution of sample set表2 樣本集合特征分布表

表2 中的樣本特征維度為3，特征1 有兩種取值[0,1]，特征2 有四種取值[0,1,2,3]，特征3 有三種取值[0,1,2]。

特征1 有兩種取值，則編碼規(guī)則應(yīng)為：

0→10

1→01

相應(yīng)的特征2 有四種取值，則編碼規(guī)則應(yīng)為：

0→1000

1→0100

2→0010

3→0001

特征3 的編碼規(guī)則同上，則不予贅述。

樣本A、B、C經(jīng)過one-hot編碼后結(jié)果如表3所示。

Table 3 One-hot encoded result of sample set表3 樣本集合one-hot編碼后結(jié)果表

3.2 模型訓(xùn)練

3.2.1 建立DT

首先選擇所用決策樹類型，因ID3 算法所使用的信息增益對可取值數(shù)目較多的屬性有所偏好，且所用模型在實驗數(shù)據(jù)未降維之前就使用了DT，數(shù)據(jù)維度高，因此此處本文選用ID3 算法。其次是DT 的深度問題，由于DT 的作用并不是盡可能多地識別出入侵?jǐn)?shù)據(jù)，而是盡可能少地將正常數(shù)據(jù)誤判為入侵?jǐn)?shù)據(jù)，DT 的深度不宜過深。如果DT 的深度過深，第一次分類的準(zhǔn)確率會有所提升，但是已經(jīng)被判斷為入侵的但實際為正常的數(shù)據(jù)會影響最終的準(zhǔn)確率。

3.2.2 訓(xùn)練DNN

由于DNN 對高維數(shù)據(jù)進(jìn)行處理需要比較大的隱藏層層數(shù)，一旦隱藏層層數(shù)過低，欠擬合現(xiàn)象會十分嚴(yán)重。而隱藏層越多，訓(xùn)練DNN 所耗時間呈指數(shù)式增長，與本文的實時性要求不符。引入PCA 對數(shù)據(jù)進(jìn)行降維處理后降低了數(shù)據(jù)特征維度之間的相關(guān)性與數(shù)據(jù)冗余度，DNN 訓(xùn)練更加迅速的同時保證了DNN 的準(zhǔn)確率。

DNN 使用BP 算法進(jìn)行訓(xùn)練，使用ReLU 作為激活函數(shù)來簡化神經(jīng)網(wǎng)絡(luò)的計算過程，使用占用資源少、模型收斂更快的adam 優(yōu)化算法縮短訓(xùn)練時間。

3.3 DT-PCA-DNN 模型優(yōu)化

如圖6 所示，首先以訓(xùn)練過后的DT 對預(yù)處理后的測試數(shù)據(jù)集初次分類，分類結(jié)果為入侵的數(shù)據(jù)判定為入侵并存入臨時訓(xùn)練樣本，分類結(jié)果為正常的數(shù)據(jù)去除這次DT 分類所給的標(biāo)簽，準(zhǔn)備第二次判斷數(shù)據(jù)類型。DT 這一層相當(dāng)于過濾網(wǎng)，將易于篩選的入侵?jǐn)?shù)據(jù)篩選出來。由于訓(xùn)練后的DT 實際上為一系列的if-else 語句，處理大批量數(shù)據(jù)速度極高，由此大大減輕了DNN 的工作量，提高了算法的運行速度。

Fig.6 DT-PCA-DNN model optimization圖6 DT-PCA-DNN 模型優(yōu)化

第二步，對DT 判斷為正常但已去除標(biāo)簽的數(shù)據(jù)進(jìn)行PCA 降維處理。訓(xùn)練后的DNN 對PCA 處理后所輸出的低維數(shù)據(jù)進(jìn)行第二次分類，分類結(jié)果為入侵則添加入侵標(biāo)簽后存入臨時訓(xùn)練樣本，分類結(jié)果為正常則添加正常標(biāo)簽后存入臨時訓(xùn)練樣本。由于DT 與DNN 屬于監(jiān)督學(xué)習(xí)，在利用臨時訓(xùn)練樣本集再訓(xùn)練時需要用到所賦予數(shù)據(jù)的標(biāo)簽。由于入侵檢測過程是逐條數(shù)據(jù)進(jìn)行的，可在檢測過程中將測試數(shù)據(jù)集的原本數(shù)據(jù)類型與所對應(yīng)數(shù)據(jù)所添加標(biāo)簽的比對結(jié)果進(jìn)行量化，量化值累積到設(shè)定閾值后利用剛才積累的數(shù)據(jù)對DT 以及DNN 做一次再訓(xùn)練微調(diào)。經(jīng)過若干次的微調(diào)之后，所設(shè)計模型達(dá)到最優(yōu)。

4 實驗仿真

4.1 數(shù)據(jù)集

本次實驗所用數(shù)據(jù)集為NSL-KDD[17]數(shù)據(jù)集，它是KDD 99 數(shù)據(jù)集的改進(jìn)，相較于KDD 99 數(shù)據(jù)集，該數(shù)據(jù)集不包含冗余記錄，來自每個難度級別組的所選記錄的數(shù)量與原數(shù)據(jù)集內(nèi)記錄的百分比成反比，對所建立模型的評估會更加有效[18]。NSL-KDD 數(shù)據(jù)集訓(xùn)練集共有125 937條數(shù)據(jù)，測試集共有數(shù)據(jù)22 544條，具體的數(shù)據(jù)類型如表4。

Table 4 Data distribution of NSL-KDD data set表4 NSL-KDD 數(shù)據(jù)集數(shù)據(jù)分布表

NSL-KDD 數(shù)據(jù)集有41 種特征，分為TCP 連接基本特征、主機上的操作特征、基于時間的網(wǎng)絡(luò)流量統(tǒng)計特征、基于主機的網(wǎng)絡(luò)流量統(tǒng)計特征這四大特征類；41 種特征的前三種為離散特征，分別為protocol_type（協(xié)議類型，共有三種：TCP、UDP、ICMP）、service（服務(wù)類型，訓(xùn)練集有70個取值，測試集有64個取值，取二者大值）和flag（連接正?；蝈e誤的狀態(tài)，共11個取值）。

對數(shù)據(jù)進(jìn)行歸一化處理后進(jìn)行one-hot 編碼。對protocol_type 編碼后數(shù)據(jù)維度上升至43，對service 編碼后數(shù)據(jù)維度由43 上升至112，對flag 編碼后數(shù)據(jù)維度由112 上升至122，最終NSL-KDD 數(shù)據(jù)集經(jīng)過onehot編碼后的數(shù)據(jù)維度為122。

4.2 度量指標(biāo)

首先列出混淆矩陣如表5 所示，TP表示真實數(shù)據(jù)類型為正常且模型預(yù)測結(jié)果仍為正常的數(shù)據(jù)條數(shù)，TN表示真實數(shù)據(jù)類型為入侵且模型預(yù)測結(jié)果也為入侵的數(shù)據(jù)條數(shù)，F(xiàn)P表示真實數(shù)據(jù)類型為入侵但模型預(yù)測結(jié)果為正常的數(shù)據(jù)條數(shù)，F(xiàn)N表示真實數(shù)據(jù)類型為正常但模型預(yù)測結(jié)果為入侵的數(shù)據(jù)條數(shù)。當(dāng)然，僅僅不同數(shù)據(jù)條數(shù)的大小是不足以作為評估實驗結(jié)果的標(biāo)準(zhǔn)的，因此在以上參數(shù)的基礎(chǔ)上建立了相對合理的評估標(biāo)準(zhǔn)，即準(zhǔn)確率AC（accuracy）、檢測率DR（detection rate）、查準(zhǔn)率PR（precision）、虛警率FAR（false alarm rate），各自定義分別如下：

Table 5 Data confusion matrix表5 數(shù)據(jù)混淆矩陣

4.3 參數(shù)設(shè)置

對數(shù)據(jù)進(jìn)行預(yù)處理后，包括one-hot 編碼與歸一化，所有數(shù)據(jù)值都位于區(qū)間[0,1]，以0.5 為標(biāo)準(zhǔn)對數(shù)據(jù)各維度進(jìn)行離散化后用DT 對所有訓(xùn)練數(shù)據(jù)進(jìn)行第一次篩選，所用DT 主要參數(shù)設(shè)置如表6 所示，之后進(jìn)行PCA 降維，PCA 主要參數(shù)設(shè)置如表7 所示，降維后數(shù)據(jù)送入DNN，DNN 主要參數(shù)設(shè)置如表8 所示。因所設(shè)計系統(tǒng)為線性系統(tǒng)，所有參數(shù)均可以通過固定其他參數(shù)求得該最優(yōu)參數(shù)的方法逐個得出。

criterion（屬性切分準(zhǔn)則），值為字符串類型，有兩種標(biāo)準(zhǔn)可供選擇，分別為“gini”與“entropy”。splitter（切分點），值為字符串類型，有兩種標(biāo)準(zhǔn)可供選擇，分別為“best”與“random”，“best”意味著在所有特征中尋找最優(yōu)切分點，“random”意味著在隨機選擇的部分特征中尋找最優(yōu)切分點。max_depth（所構(gòu)建決策樹的最大深度），可以是整數(shù)型或None。max_features為尋找最佳切分時所考慮的特征數(shù)。random_state（用以產(chǎn)生隨機數(shù)的多種狀態(tài)），其取值可以為整數(shù)型、RandomState 實例或None。經(jīng)實驗證明，該值取392時達(dá)到最佳效果。

Table 7 PCA main parameters表7 PCA 主要參數(shù)

Table 8 DNN main parameters表8 DNN 主要參數(shù)

n_components（降維后的特征維度），可以為所降至維度數(shù)或者保留數(shù)據(jù)百分比；whiten（是否白化），使特征之間的相關(guān)性減低并且所有特征具有相同的方差；svd_solver（奇異值分解器），字符串，當(dāng)其值為“auto”，且滿足一定條件時，調(diào)用完整的奇異值分解函數(shù)。

hidden_layer_sizes（隱藏層大小），元組類型。通過調(diào)整該值來確定隱藏層層數(shù)與隱藏層內(nèi)的神經(jīng)元個數(shù)。此處引入兩個隱藏層，第一層內(nèi)有140 個神經(jīng)元，第二層內(nèi)有70 個神經(jīng)元；activation 為激活函數(shù)；solver（權(quán)重優(yōu)化函數(shù)），通過選擇不同字符串來選擇對應(yīng)權(quán)重優(yōu)化函數(shù)。

4.4 實驗結(jié)果

實驗采用Windows10 系統(tǒng)，64 位操作系統(tǒng)，處理器版本為Intel?CoreTMi7-9750H CPU@2.60 GHz,物理內(nèi)存總量16.0 GB，開發(fā)語言是Python3.5，所用軟件包為sklearn。

4.4.1 實驗1

本次實驗主要研究二分類檢測時間，即二分類下檢測的實時性問題。本次實驗主要對比了FC[19]、DT、PCA-DNN、EDF[20]、CNN[20]、DT-PCA-DNN 模型的二分類預(yù)測準(zhǔn)確率以及訓(xùn)練時間。為體現(xiàn)DTPCA-DNN 的特點，所用測試數(shù)據(jù)為NSL-KDD 測試數(shù)據(jù)集內(nèi)所有數(shù)據(jù)。

為便于觀察，由表9 得出圖7，圖中因FC 訓(xùn)練時間過長，對選取縱軸間隔影響過大，不予列出。

Table 9 Results of experiment 1表9 實驗1 結(jié)果

Fig.7 Results of experiment 1圖7 實驗1 結(jié)果

觀 察圖7 可 知：PCA-DNN 與FC 的準(zhǔn)確率AC 基本相當(dāng)，但是FC 訓(xùn)練時間遠(yuǎn)高于PCA-DNN，并且預(yù)測時間稍長，檢測實時性差。EDF 算法訓(xùn)練時間稍長于PCA-DNN，且準(zhǔn)確率AC 與PCA-DNN 基本持平；CNN 算法訓(xùn)練時間長達(dá)90 s，準(zhǔn)確率也稍低于EDF 以及PCA-DNN，劣于二者。DT 雖然訓(xùn)練速度極快，但是準(zhǔn)確率比EDF 以及PCA-DNN 都要低4 個百分點。

較不使用DT 的PCA-DNN，DT-PCA-DNN 訓(xùn)練125 973 條數(shù)據(jù)多耗時1.32 s，預(yù)測22 544 條數(shù)據(jù)多耗時10 ms 左右，但是準(zhǔn)確率AC 有將近10 個百分點的提升，效果十分顯著。DT 的引入對訓(xùn)練時間及預(yù)測時間的影響極小，但是大大提升了預(yù)測的準(zhǔn)確率。

4.4.2 實驗2

本次實驗主要研究DT-PCA-DNN 模型的五分類檢測時間，即五分類下的檢測實時性問題。將正常樣本標(biāo)記為0，DoS 樣本標(biāo)記為1，Probe 樣本標(biāo)記為2，U2R 樣本標(biāo)記為3，R2L 樣本標(biāo)記為4。

分析表10 可知，DT-PCA-DNN 在五分類上的速度優(yōu)勢是十分明顯的，但總準(zhǔn)確率稍遜色于EDF 以及CNN，而作為對比的DT 與PCA-DNN，雖然訓(xùn)練時間短，但是相對的總準(zhǔn)確率較低，性能不佳。在五分類實驗中將PCA-DNN 以及DT-PCA-DNN 進(jìn)行比較，訓(xùn)練時間長3 s，準(zhǔn)確率有6 個百分點的提升，證明DT的引入在保證準(zhǔn)確率的同時也并沒有造成多大的時間損失。

Table 10 Total results of experiment 2表10 實驗2 總結(jié)果

分析表11 可知，DT-PCA-DNN 在DT 預(yù)篩選時可能處理掉了一部分?jǐn)?shù)據(jù)導(dǎo)致U2R 無結(jié)果顯示（U2R 樣本量小）。DT-PCA-DNN 的優(yōu)勢主要體現(xiàn)在對R2L 的識別能力上，但因其數(shù)據(jù)集中占比小，所以導(dǎo)致整體準(zhǔn)確率低于EDF 以及CNN，同時該模型對Normal 數(shù)據(jù)在檢測率比較高的情況下虛警率也比較高，這是一個需要指出的問題。

Table 11 Five classification results of experiment 2表11 實驗2 五分類結(jié)果 %

5 結(jié)束語

本文所提出的基于深度學(xué)習(xí)方法的入侵檢測模型DT-PCA-DNN 在保證準(zhǔn)確率的基礎(chǔ)上大大提高了訓(xùn)練以及檢測的速度。模型利用DT 對預(yù)處理完畢待檢測數(shù)據(jù)初步篩選再PCA 降維后作為輸入由DNN進(jìn)行二次判決。引入DT 后訓(xùn)練時間增加幅度小，但準(zhǔn)確率有了很大提升，同時DT 預(yù)篩選減輕了后續(xù)DNN 的工作量，對整體訓(xùn)練速度有一定的提升作用。下一步的研究方向主要是解決DT-PCA-DNN 模型在五分類實驗中對Normal 數(shù)據(jù)虛警率高的問題，同時提高DT-PCA-DNN 的五分類能力。