基于改進(jìn)三元組網(wǎng)絡(luò)和K近鄰算法的入侵檢測(cè)

王 月，江逸茗，蘭巨龍

（戰(zhàn)略支援部隊(duì)信息工程大學(xué)，鄭州 450001）

0 引言

信息通信系統(tǒng)（包括服務(wù)器、網(wǎng)絡(luò)通信設(shè)備等）通常要處理大量敏感的用戶數(shù)據(jù)，而這些數(shù)據(jù)容易受攻擊。網(wǎng)絡(luò)威脅和攻擊帶來(lái)了嚴(yán)重的安全問(wèn)題由此激發(fā)了組織和個(gè)人對(duì)安全工具和系統(tǒng)越來(lái)越大的需求［1］。靈活、可靠、檢測(cè)準(zhǔn)確率高的實(shí)時(shí)入侵檢測(cè)系統(tǒng)隨著網(wǎng)絡(luò)攻擊技術(shù)的不斷更新而成為應(yīng)對(duì)安全問(wèn)題的基本需求。

入侵檢測(cè)系統(tǒng)根據(jù)網(wǎng)絡(luò)數(shù)據(jù)來(lái)源可以分為基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)和基于主機(jī)的入侵檢測(cè)系統(tǒng)?；诰W(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)通過(guò)從網(wǎng)絡(luò)設(shè)備如交換機(jī)、路由器等收集獲得的網(wǎng)絡(luò)流量分析和檢測(cè)攻擊行為；基于主機(jī)的入侵檢測(cè)系統(tǒng)可以從不同種類的日志文件、計(jì)算機(jī)資源利用率中提取系統(tǒng)活動(dòng)事件，進(jìn)而對(duì)異常進(jìn)行檢測(cè)?；诰W(wǎng)絡(luò)流量的入侵檢測(cè)是本文的主要關(guān)注點(diǎn)。近年來(lái)，深度學(xué)習(xí)技術(shù)在入侵檢測(cè)領(lǐng)域迅速發(fā)展并且出現(xiàn)了很多包括有監(jiān)督分類方法［1-5］和無(wú)監(jiān)督聚類方法［6-8］在內(nèi)的相關(guān)方法。在基于深度學(xué)習(xí)的入侵檢測(cè)方法中，基于深度神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)（Deep Neural Network in Intrusion Detection System，IDS-DNN）和基于卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶（Convolutional Neural Networks and Long Short Term Memory，CNN-LSTM）的檢測(cè)模型是其中的典型代表。IDS-DNN的特點(diǎn)是具有多層隱藏層并且相鄰隱藏層之間是全連接方式，使得該模型具有很強(qiáng)的表征能力；但I(xiàn)DS-DNN 的網(wǎng)絡(luò)規(guī)模會(huì)隨著輸入樣本的維度線性增加并且計(jì)算效率降低。在CNN-LSTM 模型中，CNN 的共享卷積核能夠縮小神經(jīng)網(wǎng)絡(luò)規(guī)模并提高計(jì)算效率，LSTM 能夠?qū)W習(xí)時(shí)序特征；但CNN中的池化層會(huì)丟失大量有價(jià)值的信息，而且LSTM 模型的計(jì)算復(fù)雜度較高。本文對(duì)目前的網(wǎng)絡(luò)入侵檢測(cè)方法進(jìn)行調(diào)研，重點(diǎn)關(guān)注基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測(cè)方法的研究，發(fā)現(xiàn)仍存在以下問(wèn)題：1）大部分方法所用數(shù)據(jù)集比較過(guò)時(shí)，年代久遠(yuǎn)的KDD99 數(shù)據(jù)集被大量用于驗(yàn)證，因此無(wú)法反映不斷更新變化的攻擊特征而缺乏實(shí)用性；2）現(xiàn)有的基于異常的入侵檢測(cè)統(tǒng)存在高誤報(bào)率并且在較新的數(shù)據(jù)集上由于復(fù)雜的網(wǎng)絡(luò)攻擊行為表現(xiàn)出較低的檢測(cè)準(zhǔn)確率；3）在分類任務(wù)中，盡管數(shù)據(jù)特征很重要，但有些表示形式和相應(yīng)的誘導(dǎo)度量可能對(duì)分類起副作用。以上述三個(gè)問(wèn)題為研究動(dòng)機(jī)，為進(jìn)一步提升分類模型的檢測(cè)準(zhǔn)確率和計(jì)算效率，利用三元組網(wǎng)絡(luò)模型學(xué)習(xí)高效的距離表示，并且學(xué)習(xí)對(duì)檢測(cè)結(jié)果更有用的特征，進(jìn)而基于距離特征進(jìn)行正常和異常攻擊行為的識(shí)別［9］。本文提出一種改進(jìn)三元組網(wǎng)絡(luò)（improved Ttriplet Nnetwork，imTN）結(jié)合K 近鄰（K-Nearest Neighbor，KNN）算法的網(wǎng)絡(luò)入侵檢測(cè)模型imTNKNN，以提升檢測(cè)準(zhǔn)確率和計(jì)算效率，并在最近公開(kāi)的入侵檢測(cè)數(shù)據(jù)集CSE-CIC-IDS2018（以下簡(jiǎn)稱IDS2018）進(jìn)行了驗(yàn)證。

本文的主要工作包括：

1）將經(jīng)典的深度度量學(xué)習(xí)模型三元組網(wǎng)絡(luò)引入網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域并對(duì)其進(jìn)行多方面改進(jìn)，而且通過(guò)實(shí)驗(yàn)驗(yàn)證了三元組網(wǎng)絡(luò)適用于入侵檢測(cè)領(lǐng)域。

2）結(jié)合KNN 進(jìn)一步提升檢測(cè)準(zhǔn)確率，將三元組模型輸出的待測(cè)樣本與各個(gè)正例樣本的距離向量，以及待測(cè)樣本與各個(gè)負(fù)例樣本的距離向量作為KNN分類器的輸入，由KNN分類器進(jìn)一步學(xué)習(xí)得到更加準(zhǔn)確的分類結(jié)果。

3）采用最近的公開(kāi)數(shù)據(jù)集IDS2018 進(jìn)行實(shí)驗(yàn)評(píng)估，并與多個(gè)表現(xiàn)良好的模型進(jìn)行比較。

1 相關(guān)研究

1.1 入侵檢測(cè)方法

網(wǎng)絡(luò)入侵檢測(cè)方法可以分為基于統(tǒng)計(jì)的檢測(cè)方法、基于信息論的檢測(cè)方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的檢測(cè)方法和基于深度學(xué)習(xí)的檢測(cè)方法。

1.1.1 基于統(tǒng)計(jì)和信息論的方法

基于統(tǒng)計(jì)的方法大多廣泛地應(yīng)用于信息技術(shù)發(fā)展初期，包括混合模型和主成分分析［10］等?；谛畔⒄摰姆椒?，主要使用信息熵、條件信息熵、信息增益、信息成本作為數(shù)據(jù)集的特征衡量指標(biāo)［11］。

1.1.2 基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法

傳統(tǒng)機(jī)器學(xué)習(xí)包括有監(jiān)督分類方法和無(wú)監(jiān)督聚類方法。Heller 等［12］將支持向量機(jī)（Support Vector Machine，SVM）用于網(wǎng)絡(luò)異常檢測(cè)，但假設(shè)訓(xùn)練集中不能存在噪聲，在實(shí)際中不可行。Yang 等［13］將基于規(guī)則的方法用于采用深度分析協(xié)議的IEC 60870-5-104 數(shù)據(jù)采集與監(jiān)視控制網(wǎng)絡(luò)。基于傳統(tǒng)機(jī)器學(xué)習(xí)的無(wú)監(jiān)督聚類包括K 均值聚類和層次聚類等方法。吳劍［14］提出了一種將遺傳算法和K均值聚類結(jié)合的入侵檢測(cè)方法以解決入侵檢測(cè)中的特征選擇問(wèn)題。Noorbehbahani 等［15］提出一種半監(jiān)督流分類算法，使用增量聚類算法和監(jiān)督方法創(chuàng)建初始分類模型，支持不平衡數(shù)據(jù)，并使用數(shù)量有限的帶標(biāo)簽實(shí)例和有限的存儲(chǔ)來(lái)實(shí)現(xiàn)高性能。傳統(tǒng)機(jī)器學(xué)習(xí)入侵檢測(cè)方法存在的主要問(wèn)題包括：缺乏一套協(xié)商一致的輸入特征以實(shí)現(xiàn)特定目標(biāo)，例如網(wǎng)絡(luò)安全、異常檢測(cè)和流量分類等；與深度學(xué)習(xí)模型相比，傳統(tǒng)機(jī)器學(xué)習(xí)方法的檢測(cè)準(zhǔn)確率不夠高。因此在需要智能分析和高維數(shù)據(jù)學(xué)習(xí)時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)通常不符合要求。

1.1.3 基于深度學(xué)習(xí)的方法

近年來(lái)，出現(xiàn)了很多基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測(cè)方法，在檢測(cè)性能上更具優(yōu)勢(shì)。Kim 等［2］采用長(zhǎng)短期記憶（Long Short Term Memory，LSTM）模型進(jìn)行網(wǎng)絡(luò)入侵檢測(cè)，可以很好地檢測(cè)到攻擊，但未能解決誤報(bào)率高的問(wèn)題。在此基礎(chǔ)上，Zhu等［16］在LSTM 中引入注意力模型，在多分類問(wèn)題上提高了準(zhǔn)確性。Li 等［3］在NSL-KDD 公開(kāi)數(shù)據(jù)集和邊界網(wǎng)關(guān)協(xié)議（Border Gateway Protocol，BGP）路由數(shù)據(jù)集上對(duì)比了多種LSTM 模型和門控循環(huán)單元（Gated Recurrent Unit，GRU）模型的檢測(cè)準(zhǔn)確率。Vinayakumar 等［1］設(shè)計(jì)了一種深度神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)模型，并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進(jìn)行優(yōu)化設(shè)計(jì)。另有一些研究提出的混合神經(jīng)網(wǎng)絡(luò)模型能取得良好檢測(cè)效果，如Yuan等［17］和Saaudi等［18］將卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶（CNNLSTM）模型用于內(nèi)部威脅檢測(cè)，對(duì)日志文本數(shù)據(jù)進(jìn)行用戶行為建模分析；Agarwal 等［19］同樣利用CNN 和LSTM 的組合優(yōu)勢(shì)實(shí)現(xiàn)流量數(shù)據(jù)的攻擊檢測(cè)。但是這些方法大部分仍然使用過(guò)時(shí)的網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行驗(yàn)證，對(duì)當(dāng)前現(xiàn)實(shí)世界的網(wǎng)絡(luò)流量變化缺乏考慮。深度學(xué)習(xí)模型的計(jì)算效率遠(yuǎn)低于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，需要進(jìn)一步提升深度學(xué)習(xí)模型計(jì)算效率以滿足入侵檢測(cè)的實(shí)時(shí)性要求。

1.2 三元組網(wǎng)絡(luò)

深度度量學(xué)習(xí)已經(jīng)廣泛應(yīng)用于圖像識(shí)別和人臉檢測(cè)等領(lǐng)域，利用不同對(duì)象的相似度分析來(lái)完成任務(wù)。三元組網(wǎng)絡(luò)是由Hoffer等［9］提出的一種典型深度度量學(xué)習(xí)模型，核心思想是通過(guò)學(xué)習(xí)使相似樣本之間的距離盡可能小而不相似樣本之間的距離盡可能大。實(shí)驗(yàn)表明在多個(gè)圖像數(shù)據(jù)集上三元組網(wǎng)絡(luò)的分類準(zhǔn)確率比CNN 等模型更突出，為進(jìn)一步利用三元組網(wǎng)絡(luò)的性能優(yōu)勢(shì)，很多改進(jìn)算法被提出。如Ustinova 等［20］提出了基于直方圖損失函數(shù)的三元組網(wǎng)絡(luò)。在直方圖損失函數(shù)中，相似樣本對(duì)和不相似樣本對(duì)排列組成概率分布，將相似樣本對(duì)和不相似樣本對(duì)的累計(jì)密度分布相乘，再進(jìn)行積分得到直方圖損失函數(shù)。通過(guò)直方圖損失函數(shù)可以縮小相似樣本和不相似樣本之間的重疊。實(shí)驗(yàn)表明，在行人重識(shí)別數(shù)據(jù)集上基于直方圖損失函數(shù)的方法擁有較好的識(shí)別率；但該方法的局限是相似性評(píng)估仍采用單一方式，即樣本對(duì)的自相似性。Song等［21］認(rèn)為采用傳統(tǒng)的方法可能會(huì)使同類別相似性差異較大，并且提出了一種基于簇的相似度度量方法；但該方法需要采用大量貪婪搜索操作尋找簇中心以獲得局部最優(yōu)值，計(jì)算效率較低。Wang 等［22］認(rèn)為現(xiàn)有深度度量學(xué)習(xí)模型的不足之處是普遍采用單一的相似度度量，因此提出了一種多重相似度損失函數(shù)，結(jié)合了樣本對(duì)之間的自相似性、負(fù)樣本對(duì)之間的相對(duì)相似性以及正樣本對(duì)之間的相對(duì)相似性等多種相似度衡量方式。實(shí)驗(yàn)表明該方法在多個(gè)圖像檢索數(shù)據(jù)集上的性能優(yōu)于其他方法。

不少相關(guān)研究證明了三元組網(wǎng)絡(luò)的表現(xiàn)優(yōu)于傳統(tǒng)的深度學(xué)習(xí)模型，目前主要應(yīng)用于圖像處理領(lǐng)域。本文探索了如何將三元組網(wǎng)絡(luò)用于入侵檢測(cè)領(lǐng)域，并通過(guò)優(yōu)化設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)以進(jìn)一步提升入侵檢測(cè)方法的檢測(cè)準(zhǔn)確率、計(jì)算效率等性能指標(biāo)。

2 算法設(shè)計(jì)

深度度量學(xué)習(xí)過(guò)程中產(chǎn)生了相似度距離特征，可用于分類。在此首次將一種典型的名為三元組網(wǎng)絡(luò)的深度度量模型應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)，并改進(jìn)了傳統(tǒng)三元組網(wǎng)絡(luò)以在網(wǎng)絡(luò)入侵檢測(cè)中發(fā)揮優(yōu)勢(shì)，而且結(jié)合KNN 分類器進(jìn)一步學(xué)習(xí)得到二分類結(jié)果，實(shí)現(xiàn)高精度網(wǎng)絡(luò)入侵檢測(cè)。

2.1 傳統(tǒng)三元組網(wǎng)絡(luò)

三元組網(wǎng)絡(luò)中，三個(gè)樣本a、b和c作為輸入。其中，樣本a和b屬于同一類別，樣本c屬于不同類別。假設(shè)樣本a和樣本b間的距離為d1，樣本a和樣本c間的距離為d2。學(xué)習(xí)目標(biāo)是最小化同類樣本之間的距離而最大化不同類樣本之間的距離。

其中距離di用歐氏距離計(jì)算，公式如下：

距離特征d1和d2歸一化后，距離向量中各元素和等于1，產(chǎn)生輸出向量：

每個(gè)（a，b，c）三元組所對(duì)應(yīng)的輸出向量的取值范圍是［0，1］。傳統(tǒng)三元組網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 三元組網(wǎng)絡(luò)架構(gòu)Fig.1 Architecture of triplet network

在2.3 節(jié)中詳細(xì)描述了對(duì)傳統(tǒng)三元組網(wǎng)絡(luò)的改進(jìn)，包括卷積層結(jié)構(gòu)和參數(shù)、批量歸一化（Batch Normalization，BN）層和損失函數(shù)以最大化入侵檢測(cè)準(zhǔn)確率和計(jì)算效率。

2.2 KNN

KNN 因?yàn)楹?jiǎn)單有效且容易實(shí)現(xiàn)而廣泛應(yīng)用［23］。KNN 算法的基本思想：首先，把訓(xùn)練樣本作為歐氏空間的點(diǎn)存放，所有樣本對(duì)應(yīng)于n維空間的點(diǎn)，根據(jù)客觀事實(shí)或?qū)＜医?jīng)驗(yàn)，給訓(xùn)練數(shù)據(jù)設(shè)定分組；然后，挑選訓(xùn)練樣本集中與待分類樣本距離最近的k個(gè)樣本；最后，根據(jù)這距離最近的k個(gè)樣本的類別標(biāo)簽對(duì)待預(yù)測(cè)樣本進(jìn)行分類。

近鄰數(shù)k是KNN 的參數(shù)，對(duì)模型訓(xùn)練精度起決定性作用，本文主要通過(guò)實(shí)驗(yàn)確定最優(yōu)k值。

2.3 改進(jìn)三元組網(wǎng)絡(luò)和KNN組合模型

三元組網(wǎng)絡(luò)預(yù)測(cè)模型輸出樣本間的距離向量，將待測(cè)樣本與正例樣本距離求和得到d1，待測(cè)樣本與負(fù)例樣本距離求和得到d2。理想情況下，當(dāng)d1≤T，認(rèn)為待測(cè)樣本是正例；當(dāng)d1＞T，認(rèn)為待測(cè)樣本是負(fù)例。用于網(wǎng)絡(luò)入侵檢測(cè)時(shí)，由于正例樣本間也存在較大差異，難以確定合適的閾值T。為解決這個(gè)問(wèn)題，將三元組模型輸出的距離向量作為KNN 分類器的輸入，由KNN分類器進(jìn)一步學(xué)習(xí)得到二分類結(jié)果。

為提升KNN 的計(jì)算效率和檢測(cè)精度，將得到的距離向量按照先后次序分成s組，對(duì)每組向量求平均值，將這s個(gè)平均距離向量作為KNN 的輸入。imTN-KNN 模型架構(gòu)如圖2所示。

圖2 imTN-KNN架構(gòu)Fig.2 imTN-KNN architecture

適用于網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域的改進(jìn)三元組網(wǎng)絡(luò)模型中CNN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如表1所示。

表1 改進(jìn)三元組網(wǎng)絡(luò)采用的CNN結(jié)構(gòu)Tab.1 CNN structure employed by improved triplet network

在改進(jìn)三元組網(wǎng)絡(luò)中移除了BN層。BN層在圖像處理領(lǐng)域主要應(yīng)用于輸入圖像的數(shù)據(jù)分布和輸出數(shù)據(jù)的分布不一致或有很大變動(dòng)的情況，它在該應(yīng)用領(lǐng)域具有良好的表現(xiàn)；但在網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域，輸入與輸出的數(shù)據(jù)分布一般一致，因此去掉它影響不大。相反，加入了BN層導(dǎo)致輸入輸出的數(shù)據(jù)分布發(fā)生了不必要的變化從而造成了信息損失，進(jìn)而給檢測(cè)準(zhǔn)確率的提升帶來(lái)了負(fù)面影響。此外，移除BN層可以減小內(nèi)存消耗并提升計(jì)算效率［24］。

損失函數(shù)一般用于機(jī)器學(xué)習(xí)中預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確率衡量。損失函數(shù)的選擇需要考慮很多問(wèn)題，并且發(fā)現(xiàn)一個(gè)適合于大部分?jǐn)?shù)據(jù)集的損失函數(shù)比較困難。

在三元組網(wǎng)絡(luò)中，損失函數(shù)的設(shè)計(jì)對(duì)于提升模型性能指標(biāo)比較關(guān)鍵，近年來(lái)出現(xiàn)了不少有關(guān)三元組損失函數(shù)的研究。Hoffer 等［9］提出了主要關(guān)注同類樣本和不同類樣本的相似性的經(jīng)典三元組損失函數(shù)，通過(guò)訓(xùn)練減小同類樣本的相似距離而增大不同類樣本之間的相似距離。這種方法生成的大量成對(duì)樣本是高度冗余的且包含很多無(wú)信息樣本。后來(lái)又出現(xiàn)了很多其他類型的用于度量學(xué)習(xí)的損失函數(shù)，包括提升結(jié)構(gòu)損失函數(shù)［25］、直方圖損失函數(shù)［20］、層次三元組損失函數(shù)［26］等。經(jīng)典三元組損失函數(shù)在批量訓(xùn)練大小較小時(shí)很難利用所有的樣本對(duì)之間的關(guān)系，為了應(yīng)對(duì)這個(gè)問(wèn)題，研究者提出了提升結(jié)構(gòu)損失函數(shù)；但結(jié)構(gòu)損失函數(shù)僅隨機(jī)采樣相等數(shù)量的正例樣本對(duì)和負(fù)例樣本對(duì)，依然損失了大量信息。直方圖損失函數(shù)將同類樣本對(duì)和不同類樣本對(duì)進(jìn)行排列組成概率分布，通過(guò)概率分布使得不同類樣本的相似性遠(yuǎn)小于同類樣本的相似性。直方圖損失函數(shù)的優(yōu)點(diǎn)是不需要額外參數(shù)，并且不需要困難樣本挖掘，但缺點(diǎn)是計(jì)算復(fù)雜度較高。在層次三元組損失函數(shù)中，建立了所有類的層次樹(shù)，樣本對(duì)的選擇依據(jù)一個(gè)動(dòng)態(tài)的邊界閾值。層次三元組損失函數(shù)雖然提升了檢測(cè)準(zhǔn)確率等性能但實(shí)現(xiàn)比較復(fù)雜。Wang 等［22］對(duì)度量學(xué)習(xí)中的損失函數(shù)進(jìn)行了全面深入分析，研究了這些損失函數(shù)的共性，發(fā)現(xiàn)關(guān)鍵的影響因素是數(shù)據(jù)樣本的包含自相似度和相對(duì)相似度在內(nèi)的多種相似度，其中相對(duì)相似度主要取決于其他樣本對(duì)。但大多數(shù)現(xiàn)有方法僅探索了自相似度和相對(duì)相似度其中的一個(gè)因素，于是提出了多重相似性損失函數(shù)。本文最終采用Wang等［22］提出的多重相似性損失函數(shù)，它從多個(gè)角度對(duì)相似性進(jìn)行衡量，克服了以往對(duì)相似度衡量的片面性。具體地，多重相似性損失函數(shù)能夠從自相似性、負(fù)例相對(duì)相似性和正例相對(duì)相似性三方面評(píng)估損失值，該損失函數(shù)表達(dá)式為：

其中：m為訓(xùn)練樣本數(shù)，Sij表示兩個(gè)樣本i和j的相似度。在改進(jìn)三元組網(wǎng)絡(luò)模型中采用多重相似函數(shù)獲得了兩方面的收益：一是通過(guò)對(duì)嵌入大小embedding_size進(jìn)行調(diào)參的方式明顯提升實(shí)驗(yàn)部分的檢測(cè)準(zhǔn)確率；二是提升了模型訓(xùn)練的收斂速度，訓(xùn)練過(guò)程中經(jīng)過(guò)第一次迭代就獲得了最好的檢測(cè)準(zhǔn)確率，大幅節(jié)省了訓(xùn)練時(shí)間、提升了計(jì)算效率。

此外，使用高效的自適應(yīng)學(xué)習(xí)率優(yōu)化器Adam［27］，為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率。學(xué)習(xí)率值設(shè)定為0.000 1，β1=0.9，β2=0.999。

2.4 imTN-KNN算法流程

算法主要包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練和模型測(cè)試等主要步驟，模型訓(xùn)練和模型測(cè)試階段通過(guò)不斷迭代來(lái)得到最優(yōu)的網(wǎng)絡(luò)參數(shù)（如圖3所示）。

圖3 imTN-KNN流程Fig.3 Flowchart of imTN-KNN

公開(kāi)基準(zhǔn)數(shù)據(jù)集IDS2018 包含了提取的80 多個(gè)特征數(shù)據(jù)，這些數(shù)據(jù)需要預(yù)處理，包含兩個(gè)操作：一是將無(wú)窮大或者空值異常數(shù)據(jù)進(jìn)行修正和補(bǔ)齊；二是進(jìn)行歸一化處理。為保證數(shù)據(jù)盡量不損失信息并且確保數(shù)據(jù)均映射到［0，1］區(qū)間內(nèi)，采用最小值-最大值函數(shù)（Min-Max）進(jìn)行歸一化以實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的等比縮放。函數(shù)Min-Max定義為：

經(jīng)過(guò)預(yù)處理的數(shù)據(jù)集被分成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集分別用于訓(xùn)練和測(cè)試階段。以上所有樣本子集都從總樣本集中隨機(jī)選取，不作人為篩選。

3 實(shí)驗(yàn)評(píng)估

實(shí)驗(yàn)硬件環(huán)境包括：Intel Xeon（Cascade Lake）Platinum 82692.5 GHz/3.2 GHz 的4 核心中央處理單元（Central Processing Unit，CPU），8 GB 內(nèi)存。在基準(zhǔn)數(shù)據(jù)集IDS2018 上進(jìn)行實(shí)驗(yàn)評(píng)估，與現(xiàn)有性能良好的深度學(xué)習(xí)算法進(jìn)行對(duì)比，驗(yàn)證imTN-KNN的有效性。此外，imTN-KNN還與淺層學(xué)習(xí)方法主成分分析（Principal Component Analysis，PCA）和KNN 相結(jié)合的PCA+KNN、SVM［28］、PCA+SVM［28］和樸素貝葉斯（Naive Bayes，NB）［29］進(jìn)行了對(duì)比，驗(yàn)證了改進(jìn)三元組網(wǎng)絡(luò)模型進(jìn)行特征提取的高效性。

3.1 數(shù)據(jù)集

IDS2018 是一個(gè)包含大量網(wǎng)絡(luò)流量和系統(tǒng)日志的數(shù)據(jù)集，通過(guò)10 天的數(shù)據(jù)采集獲得，每天的數(shù)據(jù)形成一個(gè)數(shù)據(jù)子集，總大小超過(guò)400 GB。該數(shù)據(jù)集包括7 種攻擊類型和16 種子類型攻擊的有場(chǎng)景標(biāo)記的數(shù)據(jù)，包括暴力破解、拒絕服務(wù)（Denial of Service，DoS）攻擊、監(jiān)視網(wǎng)絡(luò)攻擊和滲透攻擊等。通過(guò)特征生成工具CICFlowMeter-V3［30］分析IDS2018 數(shù)據(jù)集，生成約80 種特征數(shù)據(jù)，表征了網(wǎng)絡(luò)流量和數(shù)據(jù)包的活動(dòng)行為。在相關(guān)研究基礎(chǔ)上，本文選取兩個(gè)檢測(cè)精度比較高的數(shù)據(jù)子集（分別簡(jiǎn)寫為Sub_DS1 和Sub_DS2）和一個(gè)檢測(cè)精度比較低的數(shù)據(jù)子集（簡(jiǎn)寫為Sub_DS3）作為實(shí)驗(yàn)的測(cè)試集。這三個(gè)數(shù)據(jù)子集在已有模型中的檢測(cè)準(zhǔn)確率差異較大，對(duì)驗(yàn)證模型具有代表意義，數(shù)據(jù)子集的說(shuō)明如表2所示。

表2 IDS2018三個(gè)數(shù)據(jù)子集概要Tab.2 Summary of three data subsets of IDS2018

3.2 對(duì)比算法

基于深度學(xué)習(xí)的入侵檢測(cè)算法近年來(lái)得到廣泛研究，相關(guān)研究表明：IDS-DNN 和CNN-LSTM 在性能指標(biāo)上達(dá)到了良好的效果，前者能夠自動(dòng)提取高級(jí)特征，后者在捕捉時(shí)間和空間特征上具有優(yōu)勢(shì)?；谏鲜鲈?，本文選擇IDS-DNN 和CNN-LSTM兩種深度學(xué)習(xí)模型作為對(duì)比模型。

IDS-DNN 結(jié)構(gòu)包含6 個(gè)Dense 層和1 個(gè)激活層。為防止過(guò)擬合，Dense 層之間加入Dropout 層。每個(gè)Dense 層的維數(shù)如表3 所示。激活層采用Sigmoid 函數(shù)，Dense 層激活函數(shù)采用線性整流單元（Rectified Linear Unit，ReLU）函數(shù)。損失函數(shù)為二元交叉熵函數(shù)，優(yōu)化函數(shù)為Adam［27］。

表3 IDS-DNN結(jié)構(gòu)Tab.3 Structure of IDS-DNN

CNN-LSTM［19］混合網(wǎng)絡(luò)結(jié)構(gòu)如表4所示，其損失函數(shù)為稀疏分類交叉熵函數(shù)，優(yōu)化函數(shù)為Adam。

表4 CNN-LSTM結(jié)構(gòu)Tab.4 Structure of CNN-LSTM

3.3 衡量指標(biāo)

采用全局準(zhǔn)確率Acc（Accuracy）、正例準(zhǔn)確率AccP（Accuracy of Positives）、負(fù)例準(zhǔn)確率AccN（Accuracy of Negtives）、假正率FPR（False Positive Rate）、真正率TPR（True Positive Rate）和模型訓(xùn)練時(shí)間Training_Time等指標(biāo)對(duì)模型進(jìn)行對(duì)比分析［1］。

本文將訓(xùn)練時(shí)間用作易于衡量的計(jì)算效率的指標(biāo)。減少模型的訓(xùn)練時(shí)間不是提高計(jì)算效率的唯一目標(biāo)，但訓(xùn)練時(shí)間通常與其他計(jì)算效率指標(biāo)呈正相關(guān)關(guān)系，例如模型測(cè)試時(shí)間或在線響應(yīng)時(shí)間。He 等［31］詳細(xì)分析了CNN 模型的在訓(xùn)練階段的時(shí)間復(fù)雜度。該文獻(xiàn)中涉及到的相同的理論公式同樣適用于分析訓(xùn)練時(shí)間和測(cè)試時(shí)間。基于以上考慮，本文采用訓(xùn)練時(shí)間作為檢測(cè)計(jì)算效率的衡量指標(biāo)。

3.4 實(shí)驗(yàn)對(duì)比分析

首先，與檢測(cè)準(zhǔn)確率較高的淺層機(jī)器學(xué)習(xí)方法SVM、PCA-SVM 以及NB 進(jìn)行對(duì)比，imTN-KNN 只采用一層包含32個(gè)單元的卷積層就能夠獲得最高準(zhǔn)確率，而且對(duì)比時(shí)已將SVM［28］、PCA-SVM［28］、NB［29］方法中的參數(shù)調(diào)整到最優(yōu)值。在這種情形下，盡管因?yàn)樯疃葘W(xué)習(xí)模型本身的復(fù)雜性導(dǎo)致imTN-KNN 的歸一化訓(xùn)練時(shí)間大于其他淺層機(jī)器學(xué)習(xí)方法，但在調(diào)整檢測(cè)計(jì)算效率與檢測(cè)準(zhǔn)確率性能的平衡方面，imTNKNN 具有更強(qiáng)的自由度（如表5所示）。關(guān)注檢測(cè)準(zhǔn)確率的網(wǎng)絡(luò)入侵檢測(cè)應(yīng)用場(chǎng)合更適合采用imTN-KNN 等深度學(xué)習(xí)模型。此外，對(duì)于某些動(dòng)態(tài)復(fù)雜場(chǎng)景可以將imTN-KNN 深度學(xué)習(xí)模型和PCA+SVM等淺層學(xué)習(xí)模型結(jié)合起來(lái)使用。

表5 imTN-KNN與淺層機(jī)器學(xué)習(xí)模型性能對(duì)比Tab.5 Performance comparison between imTN-KNN and shallow machine learning models

圖4 呈現(xiàn)了imTN-KNN、IDS-DNN、CNN-LSTM 和PCAKNN 在數(shù)據(jù)子集上的Acc對(duì)比，圖5 和圖6 分別為不同數(shù)據(jù)集上四個(gè)算法的AccP和AccN分析?？梢钥闯?，在Sub_DS1、Sub_DS2和Sub_DS3三個(gè)數(shù)據(jù)子集上，imTN-KNN 的性能都優(yōu)于其他方法。其中在Sub_DS3 數(shù)據(jù)子集上，相比IDS-DNN、CNN-LSTM 和PCA-KNN，imTN-KNN 的Acc分別提升2.76%、4.68%和6.53%。值得注意，在Sub_DS3 數(shù)據(jù)子集上所有模型的表現(xiàn)都不夠理想，說(shuō)明滲透攻擊和正常流量的區(qū)分度不高，現(xiàn)有模型對(duì)這種攻擊類型的檢測(cè)率依然偏低。

圖4 識(shí)別準(zhǔn)確率對(duì)比圖Fig.4 Comparison of Acc

圖5 負(fù)例識(shí)別準(zhǔn)確率對(duì)比Fig.5 Comparison of AccN

圖6 正例識(shí)別準(zhǔn)確率對(duì)比Fig.6 Comparison of AccP

在數(shù)據(jù)集Sub_DS3上，檢測(cè)模型的Acc隨訓(xùn)練樣本個(gè)數(shù)的變化如圖7所示?？梢钥闯?，imTN-KNN和IDS-DNN在小樣本訓(xùn)練時(shí)比CNN-LSTM 更具優(yōu)勢(shì)，但隨著訓(xùn)練樣本數(shù)增多，imTN-KNN 和IDS-DNN 的Acc逐漸緩慢降低，而CNN-LSTM 的Acc開(kāi)始緩慢上升至逐漸超過(guò)DNN 并接近imTN-KNN。訓(xùn)練樣本數(shù)在從2 000 到140 000 變化的過(guò)程中，imTN-KNN 的Acc總是高于其余三個(gè)方法，尤其在訓(xùn)練樣本數(shù)為2 000時(shí)，imTNKNN 的Acc明顯高于IDS-DN、CNN-LSTM 和PCA-KNN，說(shuō)明imTN-KNN 更適合小樣本場(chǎng)景，這與在圖像檢測(cè)領(lǐng)域的性能表現(xiàn)一致。

圖7 訓(xùn)練樣本數(shù)對(duì)檢測(cè)準(zhǔn)確率的影響Fig.7 Influence of training sample number on detection accuracy

圖8展示了其他參數(shù)保持不變的情況下，KNN中參數(shù)k值在10 到170 變換過(guò)程中，imTN-KNN 和PCA-KNN 檢測(cè)準(zhǔn)確率的變化。從圖中可以看出兩個(gè)方法的檢測(cè)準(zhǔn)確率都隨著k值的變大先變大再變小并且變化較大，最優(yōu)k值都是50。雖然imTN-KNN 的檢測(cè)準(zhǔn)確率受k值的影響更大，但imTN-KNN 的檢測(cè)準(zhǔn)確率總是明顯高于PCA-KNN。

圖8 KNN中參數(shù)k對(duì)檢測(cè)準(zhǔn)確率的影響Fig.8 Influence of parameter k in KNN on Acc

在數(shù)據(jù)子集Sub_DS3 上，四個(gè)方法的受試者工作特征（Receiver Operating Characteristic，ROC）曲線由圖9 所示，可以看出imTN-KNN 的總是優(yōu)于其余方法。相比IDS-DNN、CNN-LSTM 和PCA-KNN，imTN-KNN 的ROC 曲線下面的面積（Area Under ROC Curve，AUC）分別提升了6.53%、7.03%、8.10%。

圖9 ROC對(duì)比Fig.9 Comparison of ROCs

圖10 呈現(xiàn)了在訓(xùn)練迭代次數(shù)e從1 到10 變化過(guò)程中，imTN-KNN、IDS-DNN 和CNN-LSTM 三個(gè)模型Acc的變化。這三個(gè)模型取得最優(yōu)Acc值時(shí)，對(duì)應(yīng)e的值分別為1、7、9，說(shuō)明在模型訓(xùn)練時(shí)imTN-KNN 的收斂速度遠(yuǎn)快于IDS-DNN 和CNNLSTM；這三個(gè)模型在達(dá)到最優(yōu)Acc時(shí)所用的歸一化訓(xùn)練時(shí)間分別為0.256 9，0.843 9 和1。imTN-KNN 的歸一化訓(xùn)練時(shí)間遠(yuǎn)小于其余兩個(gè)模型，相較于IDS-DNN 和CNN-LSTM，imTNKNN縮短訓(xùn)練時(shí)間分別高達(dá)69.56%和74.31%。

圖10 迭代次數(shù)對(duì)模型準(zhǔn)確率的影響Fig.10 Influence of iteration number on accuracy

4 結(jié)語(yǔ)

針對(duì)用深度學(xué)習(xí)解決網(wǎng)絡(luò)入侵檢測(cè)問(wèn)題時(shí)計(jì)算效率普遍低下的問(wèn)題，本文借鑒深度度量學(xué)習(xí)思想，以距離特征作為分類標(biāo)準(zhǔn)，提出了imTN-KNN 模型。從CNN 結(jié)構(gòu)和參數(shù)角度改進(jìn)了傳統(tǒng)三元組網(wǎng)絡(luò)，用Dropout 層和Sigmoid 激活函數(shù)層替換了BN 層。此外，利用高效的KNN 分類算法學(xué)習(xí)距離特征，解決了依據(jù)特定閾值進(jìn)行簡(jiǎn)單分類導(dǎo)致檢測(cè)精度不高的問(wèn)題。在公開(kāi)數(shù)據(jù)集IDS2018 上的實(shí)驗(yàn)結(jié)果表明，與其他算法相比，imTN-KNN 能更好地兼顧檢測(cè)準(zhǔn)確率和計(jì)算效率。在后續(xù)研究中，為提高對(duì)滲透攻擊的識(shí)別率，需要在保證檢測(cè)率的計(jì)算效率的同時(shí)盡可能多地學(xué)習(xí)原始流量中包含的信息以進(jìn)一步提高入侵檢測(cè)模型的檢測(cè)準(zhǔn)確率和檢測(cè)計(jì)算效率等多種性能。