半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合的網(wǎng)絡(luò)入侵檢測方法

曾宏志, 史洪松

(江西工程學(xué)院 智能制造工程學(xué)院, 江西 新余 338000)

目前, 網(wǎng)絡(luò)已成為人們進(jìn)行信息交流和共享的一種重要方法[1]. 但由于網(wǎng)絡(luò)的開放性和人們網(wǎng)絡(luò)安全意識的薄弱, 導(dǎo)致網(wǎng)絡(luò)入侵頻率不斷增加, 從而嚴(yán)重影響了用戶的信息和隱私安全[2]. 網(wǎng)絡(luò)安全防范技術(shù)主要分為兩種： 一種是被動的防范技術(shù), 如數(shù)據(jù)加密、 身份認(rèn)證、 軟硬相結(jié)合的防火墻等, 其主要對外來入侵行為進(jìn)行攔截, 但不能檢測到內(nèi)部一些網(wǎng)絡(luò)的攻擊行為, 因此無法有效保證網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)陌踩裕?另一種為主動的防范技術(shù), 主要是入侵行為檢測, 其可發(fā)現(xiàn)一些網(wǎng)絡(luò)異常行為. 因此, 網(wǎng)絡(luò)入侵檢測已成為網(wǎng)絡(luò)安全領(lǐng)域的重要問題[3-4].

針對網(wǎng)絡(luò)入侵檢測問題目前已有許多有效的網(wǎng)絡(luò)入侵檢測技術(shù)[5-6]. 網(wǎng)絡(luò)入侵檢測方法主要分為兩種： 一種是基于誤用技術(shù)的檢測方法, 該類方法需要網(wǎng)絡(luò)入侵行為的大量歷史數(shù)據(jù), 從歷史數(shù)據(jù)分析網(wǎng)絡(luò)入侵的變化特點(diǎn), 網(wǎng)絡(luò)入侵檢測正確率較高, 但其無法對一些變異的網(wǎng)絡(luò)入侵行為或新的網(wǎng)絡(luò)入侵行為進(jìn)行有效檢測, 網(wǎng)絡(luò)入侵檢測的通用性較差, 因此該類方法目前已不能滿足網(wǎng)絡(luò)入侵檢測的需求[7-9]； 另一種為基于異常技術(shù)的檢測方法, 該類方法可發(fā)現(xiàn)和檢測變異的、 新的網(wǎng)絡(luò)入侵行為, 是當(dāng)前網(wǎng)絡(luò)入侵檢測的主要方法[10-12], 目前主要有： 基于最近鄰算法的網(wǎng)絡(luò)入侵檢測方法、 基于各種神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測方法、 基于聚類分析算法的網(wǎng)絡(luò)入侵檢測方法、 基于Bayes網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測方法以及基于支持向量機(jī)的網(wǎng)絡(luò)入侵檢測方法等, 這些方法在實(shí)際應(yīng)用中各有優(yōu)勢, 同時也存在一定的缺陷, 如基于聚類分析算法、 最近鄰算法的網(wǎng)絡(luò)入侵檢測效率高, 但網(wǎng)絡(luò)入侵的誤檢率較高； 基于Bayes網(wǎng)絡(luò)、 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測要求樣本數(shù)量大, 且易獲得過擬合的網(wǎng)絡(luò)入侵檢測結(jié)果； 基于支持向量機(jī)的網(wǎng)絡(luò)檢測正確率高, 但網(wǎng)絡(luò)入侵檢測耗時較長, 網(wǎng)絡(luò)入侵檢測的實(shí)時性較差[12-15].

為獲得更理想的網(wǎng)絡(luò)入侵檢測結(jié)果, 減少網(wǎng)絡(luò)入侵檢測的誤檢率, 縮短網(wǎng)絡(luò)入侵檢測時間, 本文提出一種基于半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合的網(wǎng)絡(luò)入侵檢測方法, 并在相同仿真實(shí)驗(yàn)條件下, 采用標(biāo)準(zhǔn)數(shù)據(jù)集與當(dāng)前經(jīng)典方法進(jìn)行對比, 對比結(jié)果驗(yàn)證了本文網(wǎng)絡(luò)入侵檢測方法的優(yōu)越性.

1 方法描述

1.1 半監(jiān)督技術(shù)

聚類分析算法是一種半監(jiān)督技術(shù), 其以聚類中心為基礎(chǔ), 將不同數(shù)據(jù)劃分為相應(yīng)的類別. 設(shè)一個數(shù)據(jù)聚類問題可描述一個非線性優(yōu)化目標(biāo)問題, 表示為

(1)

建立一個Lagrange函數(shù):

(2)

(3)

(4)

(5)

綜合式(3)和式(5)可得

(6)

不斷對聚類中心位置進(jìn)行調(diào)整, 最終可實(shí)現(xiàn)對所有數(shù)據(jù)的合理分類.

1.2 主動學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)是一種主動學(xué)習(xí)算法, 其由許多人工神經(jīng)元構(gòu)成, 這些人工神經(jīng)元組成一個拓?fù)浣Y(jié)構(gòu), 通常采用分層結(jié)構(gòu), 屬于前饋型神經(jīng)網(wǎng)絡(luò), 具有誤差反向傳播功能, 其拓?fù)浣Y(jié)構(gòu)如圖1所示.

圖1 BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)Fig.1 Topological structure of BP neural network

BP神經(jīng)網(wǎng)絡(luò)工作步驟如下:

1) 設(shè)Iij和Oij分別表示第i層、 第j個神經(jīng)元的輸入和輸出, 則

(7)

Oij=f(Iij),

(8)

其中W(i-1)jk為不同層神經(jīng)元之間的權(quán)值；

2) 設(shè)第j個樣本的期望輸出和實(shí)際輸出分別為dj和yj, 則輸出誤差為

(9)

3) 梯度方向的誤差曲面下降最快, 根據(jù)誤差對梯度方向的權(quán)值進(jìn)行修正[12], 表示為

(10)

(11)

(12)

(13)

(14)

6) 當(dāng)O(i+1)k為輸出層的神經(jīng)元節(jié)點(diǎn)時, 則有

(15)

δik=(dk-yk)yk(1-yk);

(16)

7) 當(dāng)O(i+1)k為隱含層的神經(jīng)元節(jié)點(diǎn)時, 則有

(17)

(18)

8) 神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整公式為

(19)

9) 根據(jù)相同原理得到神經(jīng)網(wǎng)絡(luò)的閾值調(diào)整公式為

(20)

10) 通過不斷調(diào)整權(quán)值和閾值進(jìn)行誤差反饋, 直到誤差滿足實(shí)際要求為止.

1.3 蟻群算法

蟻群算法具有參數(shù)少、 尋優(yōu)效率高等優(yōu)點(diǎn), 且易與其他算法結(jié)合, 其工作步驟如下：

1) 初始化蟻群算法的相關(guān)參數(shù);

2) 螞蟻節(jié)點(diǎn)i到j(luò)的狀態(tài)轉(zhuǎn)移概率計算公式為

(21)

其中τij表示節(jié)點(diǎn)i到j(luò)之間路徑上的信息素,τij表示節(jié)點(diǎn)i到j(luò)的期望程度, allowedk表示允許訪問該節(jié)點(diǎn)的集合；

3) 信息素更新規(guī)則為

τij(t+1)=(1-ρ)τij(t)+Δτij(1)；

(22)

4) 當(dāng)?shù)螖?shù)到達(dá)最大迭代次數(shù)時, 終止運(yùn)行, 否則返回步驟2)繼續(xù)執(zhí)行.

1.4 半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合的網(wǎng)絡(luò)入侵檢測流程

為克服單一技術(shù)的不足, 利用半監(jiān)督技術(shù)和主動學(xué)習(xí)算法的優(yōu)點(diǎn), 本文提出一種將二者相結(jié)合的網(wǎng)絡(luò)入侵檢測方法, 工作步驟如下:

1) 采用網(wǎng)絡(luò)行為探測器采集網(wǎng)絡(luò)一段時間內(nèi)的數(shù)據(jù), 并對這些數(shù)據(jù)進(jìn)行預(yù)處理, 如格式標(biāo)準(zhǔn)化、 去掉一些無用數(shù)據(jù)等.

2) 從預(yù)處理后的網(wǎng)絡(luò)數(shù)據(jù)中提取可描述各種網(wǎng)絡(luò)入侵行為的特征, 并用

(23)

對特征值進(jìn)行縮放處理, 使其位于[0,1]內(nèi), 以便后續(xù)網(wǎng)絡(luò)入侵檢測建模.其中fi表示第i個網(wǎng)絡(luò)入侵檢測特征的原始值,fmax和fmin分別表示網(wǎng)絡(luò)入侵檢測特征的最大值和最小值.

3) 對于待檢測的網(wǎng)絡(luò)入侵檢測樣本集合, 采用半監(jiān)督技術(shù)根據(jù)特征對網(wǎng)絡(luò)樣本數(shù)據(jù)進(jìn)行聚類分析, 建立網(wǎng)絡(luò)入侵檢測的訓(xùn)練樣本集合.

4) 采用最小二乘支持向量機(jī)對網(wǎng)絡(luò)入侵檢測的訓(xùn)練樣本集合進(jìn)行學(xué)習(xí), 并引入蟻群算法搜索最優(yōu)的最小二乘支持向量機(jī)參數(shù)值, 根據(jù)最優(yōu)參數(shù)值建立網(wǎng)絡(luò)入侵檢測分類器.

5) 根據(jù)網(wǎng)絡(luò)入侵檢測分類器對待檢測網(wǎng)絡(luò)入侵檢測樣本進(jìn)行檢測, 輸出網(wǎng)絡(luò)入侵檢測結(jié)果.

2 仿真測試

2.1 仿真測試數(shù)據(jù)集及測試環(huán)境

為分析半監(jiān)督技術(shù)和主動學(xué)習(xí)算法相結(jié)合的網(wǎng)絡(luò)入侵檢測效果, 選擇網(wǎng)絡(luò)入侵檢測標(biāo)準(zhǔn)數(shù)據(jù)集----KDD CUP99數(shù)據(jù)集進(jìn)行仿真測試實(shí)驗(yàn). KDD CUP99數(shù)據(jù)集共包含500萬個樣本, 樣本以連接記錄表示, 每條記錄的最后一個標(biāo)簽信息表示網(wǎng)絡(luò)入侵類型, 共包含4種入侵行為, 分別為Probing,DoS,U2R和R2L. 由于KDD CUP99數(shù)據(jù)集樣本規(guī)模較大, 為方便操作, 隨機(jī)選擇部分樣本進(jìn)行仿真測試實(shí)驗(yàn), 樣本數(shù)量分布列于表1.

表1 實(shí)驗(yàn)選擇4種入侵行為的樣本數(shù)量分布

為驗(yàn)證半監(jiān)督技術(shù)和主動學(xué)習(xí)算法相結(jié)合的網(wǎng)絡(luò)入侵檢測方法的優(yōu)越性, 選擇文獻(xiàn)[11]和文獻(xiàn)[12]的網(wǎng)絡(luò)入侵檢測方法進(jìn)行對比測試. 兩種方法測試環(huán)境相同： CPU為4核2.80 GHz, 內(nèi)存為32 GB, 硬盤為800 GB, 操作系統(tǒng)為Windows 7, 仿真工具為MATLAB 2019.

2.2 評價指標(biāo)

當(dāng)前網(wǎng)絡(luò)入侵檢測結(jié)果的評價指標(biāo)較多, 本文選擇網(wǎng)絡(luò)入侵檢測的正確率、 漏檢率和誤檢率作為評價指標(biāo), 分別定義為

(24)

(25)

(26)

其中TN,TP,FP,FN定義見表2.

表2 混淆矩陣

2.3 結(jié)果與分析

文獻(xiàn)[11]、 文獻(xiàn)[12]的網(wǎng)絡(luò)入侵檢測方法與半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合的網(wǎng)絡(luò)入侵檢測方法性能對比實(shí)驗(yàn)結(jié)果如圖2～圖4所示. 由圖2～圖4可見:

圖2 不同方法的網(wǎng)絡(luò)入侵檢測正確率Fig.2 Detection accuracy of network intrusion by different methods

圖3 不同方法的網(wǎng)絡(luò)入侵檢測誤檢率Fig.3 Missed detection rate of network intrusion detection by different methods

圖4 不同方法的網(wǎng)絡(luò)入侵檢測漏檢率Fig.4 False detection rate of network intrusion detection by different methods

1) 文獻(xiàn)[11]、 文獻(xiàn)[12]的網(wǎng)絡(luò)入侵檢測均低于90%, 無法滿足網(wǎng)絡(luò)安全保障的實(shí)際正確率要求, 這是因?yàn)榫W(wǎng)絡(luò)入侵十分復(fù)雜, 對比方法難以準(zhǔn)確刻畫網(wǎng)絡(luò)入侵的變化特點(diǎn), 使網(wǎng)絡(luò)入侵檢測的漏檢率、 誤檢率較高；

2) 半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合方法的網(wǎng)絡(luò)入侵檢測高于95%, 可以滿足網(wǎng)絡(luò)安全保障的實(shí)際正確率要求, 這是因?yàn)楸疚姆椒ńY(jié)合了半監(jiān)督技術(shù)和主動學(xué)習(xí)的優(yōu)點(diǎn), 可以很好地區(qū)別各種網(wǎng)絡(luò)入侵行為, 減少了網(wǎng)絡(luò)入侵檢測的漏檢率、 誤檢率, 具有明顯優(yōu)勢.

文獻(xiàn)[11]、 文獻(xiàn)[12]的網(wǎng)絡(luò)入侵檢測方法與半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合的網(wǎng)絡(luò)入侵檢測方法的運(yùn)行時間如圖5所示. 由圖5可見, 相對于文獻(xiàn)[11]和文獻(xiàn)[12]的網(wǎng)絡(luò)入侵檢測方法, 半監(jiān)督技術(shù)和主動學(xué)習(xí)相結(jié)合的網(wǎng)絡(luò)入侵檢測方法的運(yùn)行時間較短. 這是因?yàn)樵摲椒ú捎冒氡O(jiān)督技術(shù)對網(wǎng)絡(luò)入侵檢測樣本進(jìn)行了預(yù)處理, 縮小了網(wǎng)絡(luò)入侵檢測的訓(xùn)練樣本規(guī)模, 使訓(xùn)練時間明顯縮短, 從而大幅度縮短了網(wǎng)絡(luò)入侵檢測時間, 可滿足網(wǎng)絡(luò)入侵檢測的實(shí)時性和在線檢測要求, 實(shí)際應(yīng)用范圍更廣.

圖5 不同方法的網(wǎng)絡(luò)入侵檢測時間Fig.5 Detection time of network intrusion by different methods

綜上所述, 為減少網(wǎng)絡(luò)入侵帶來的網(wǎng)絡(luò)通信和數(shù)據(jù)傳輸風(fēng)險, 本文首先針對網(wǎng)絡(luò)入侵檢測過程中存在的問題, 提出了一種基于主動學(xué)習(xí)與半監(jiān)督技術(shù)相結(jié)合的網(wǎng)絡(luò)入侵檢測方法, 該方法充分利用了半監(jiān)督技術(shù)和主動學(xué)習(xí)的優(yōu)勢. 其次, 采用KDDCUP99數(shù)據(jù)集對網(wǎng)絡(luò)入侵檢測效果進(jìn)行了測試, 測試結(jié)果表明, 本文方法不僅獲得了較高的網(wǎng)絡(luò)入侵檢測正確率, 同時網(wǎng)絡(luò)入侵檢測效率也較高, 應(yīng)用前景廣闊.