基于優(yōu)化極限學(xué)習(xí)機的工業(yè)控制系統(tǒng)入侵檢測

趙國新，陳志煉,2，魏戰(zhàn)紅+，劉 昱，宋非凡，郭家偉

(1.北京石油化工學(xué)院 信息工程學(xué)院，北京 102617；2.北京化工大學(xué) 信息科學(xué)與技術(shù)學(xué)院， 北京 100029；3.航天光華電子技術(shù)有限公司，北京 100070；4.福瑞博達(北京) 自動化設(shè)備有限公司，北京 100176)

0 引 言

近年來，工業(yè)控制系統(tǒng)(industry control system，ICS)[1]的信息安全問題越來越嚴峻，而入侵檢測對網(wǎng)絡(luò)入侵能進行主動防御，是一種有效的防護手段，因此，用于ICS的入侵檢測成為了信息安全研究的一個方向[2]。在文獻[3]中，把入侵檢測看作為一個分類過程，就是將異常數(shù)據(jù)和正常數(shù)據(jù)進行分類[3]，常用的分類算法有決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯、支持向量機(support vector machine，SVM)等。極限學(xué)習(xí)機(extreme learning machine，ELM)[4]是黃廣斌教授根據(jù)廣義逆矩陣理論提出的新型的單隱層前饋神經(jīng)網(wǎng)絡(luò)算法，該算法只需一步就可計算出網(wǎng)絡(luò)的輸出權(quán)值，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)(如BP)和SVM相比，極限學(xué)習(xí)機的學(xué)習(xí)速度更快、精度更高。然而，極限學(xué)習(xí)機因為隨機給定輸入層權(quán)值和隱含層閾值，導(dǎo)致分類模型容易產(chǎn)生泛化能力和精度不理想等問題。文獻[5-7]中分別采用差分進化和粒子群優(yōu)化的混合智能算法、蝙蝠算法、生物地理學(xué)優(yōu)化算法對輸入層權(quán)值和隱含層閾值進行參數(shù)尋優(yōu)，都取得了較好的效果。

本文對量子粒子群優(yōu)化(quantum particle swarm optimization，QPSO)算法進行改進提出一種混合自適應(yīng)量子粒子群優(yōu)化算法(hybrid adaptive quantum particle swarm optimization，HAQPSO)用于對極限學(xué)習(xí)機進行優(yōu)化，用優(yōu)化后的極限學(xué)習(xí)機構(gòu)建工業(yè)控制系統(tǒng)入侵檢測模型。使用密西西比州立大學(xué)采集的天然氣管道ICS網(wǎng)絡(luò)層的工業(yè)控制系統(tǒng)標(biāo)準(zhǔn)數(shù)據(jù)集[8]進行實驗研究，將本文算法與其它算法進行對比分析，驗證了改進的有效性。

1 QPSO算法的改進

1.1 QPSO算法

QPSO算法具有量子的行為，由孫俊等[9]提出。算法將每個個體用量子空間的一個粒子來表示，在一個量子空間中，采用波函數(shù)ψ來描述粒子的狀態(tài)，粒子的速度和位置同時確定不了，使用薛定諤方程確定粒子的位置概率分布。粒子的運動軌跡由蒙特卡洛隨機模擬的方式可以得到，公式如下

(1)

式中：xid(t+1) 是粒子i在t+1次迭代時第d維的位置；當(dāng)u>0.5時，±變?yōu)榧犹?，小于或等于為減號；粒子隨機位置用pi(t) 表示，計算公式如下

pi(t)=φd(t)pid(t)+[1-φd(t)]pgd(t)

(2)

式中：pgd表示種群的最優(yōu)位置，pid是個體的最優(yōu)位置，而φd是隨機數(shù)，且在(0,1)之間均勻分布。

在QPSO算法中，勢阱長度決定了粒子搜索的能力，用Lid(t) 表示，計算公式如下

Lid(t)=2α(t)|Cd(t)-xid(t)|

(3)

在Lid(t) 中引入平均最優(yōu)位置，記為C(t)， 即

(4)

將式(3)代入式(1)就可以得到新的粒子進化方程

xid(t+1)=pi(t)±α(t)|Cd(t)-xid(t)|×ln[1/uid(t)]

(5)

在QPSO算法中，除去群體規(guī)模和迭代次數(shù)，式(3)和式(5)中的α是唯一的一個控制參數(shù)，被稱為收縮—擴張系數(shù)。

1.2 QPSO算法的改進

1.2.1 改進參數(shù)α的控制方法

粒子的行為會隨著收縮—擴張系數(shù)α的變化而變化。文獻[10]中使用權(quán)重自適應(yīng)改變的方法來改進PSO算法，取得較好的效果，受到啟發(fā)，本文對于收縮—擴張系數(shù)α的控制，使用參數(shù)α自適應(yīng)的方法，公式如下

(6)

根據(jù)文獻[5]，式(6)中的αmax和αmin代表α的最大值和最小值，分別選取為1和0.5。f、favg和fmin分別為粒子當(dāng)前的最佳個體適應(yīng)度值、粒子的平均適應(yīng)度值和最小適應(yīng)度值。

當(dāng)粒子的適應(yīng)度值發(fā)生變化時，參數(shù)α?xí)S著自適應(yīng)變化。當(dāng)各粒子的適應(yīng)度值趨于一致時，參數(shù)α?xí)赃m應(yīng)變大；反之，分散時參數(shù)α?xí)赃m應(yīng)變小。

1.2.2 改進粒子隨機位置的更新

差分策略是DE算法[11]的主要特性，本文結(jié)合DE/rand/1/bin差分策略對粒子隨機位置的更新進行改進，改進公式如下

Pi(t+1)=P(r0)gd(t)+F(P(r1)gd(t)-P(r2)gd(t))

(7)

式中：F為縮放因子，根據(jù)文獻[6]，F(xiàn)的較優(yōu)取值范圍為[0.4,0.9]。

本文同樣采用參數(shù)自適應(yīng)改變的方法來對F進行控制，公式如下

(8)

1.2.3 改進粒子位置的更新

Levy飛行策略是模擬鳥類搜尋食物過程的一種理想策略[12]，它是一種頻繁的短距離蹦蹦跳跳和偶爾的長距離跳躍相結(jié)合的非高斯隨機過程。短距離的蹦蹦跳跳保障了粒子在當(dāng)前最好解周圍內(nèi)進行仔細的搜索以達到提高局部搜索的能力，長距離的跳躍則有利于保證粒子能跳出一個范圍到另一個范圍進行搜索，擴大了搜索空間，也就是增加了跳出局部最優(yōu)的能力。許多學(xué)者利用Levy飛行策略的特性，在仿生學(xué)智能算法的進化方程中加入Levy飛行策略[13,14]，提高了算法的性能，優(yōu)化效果也有一定的提高。本文對于粒子位置更新的改進是在方程中加入Levy飛行策略。

Levy飛行的步長與時間t服從Levy分布，冪指數(shù)形式的概率密度函數(shù)通過簡化和傅里葉變換后就可以得到

Levy～μ=t-λ;1<λ<3

(9)

式中：λ為冪指數(shù)。因為用編程語言實現(xiàn)式(9)較為困難，所以經(jīng)常使用的Levy飛行路徑表達式如下

Levy(λ)=μ/|v|1/β

(10)

(11)

最終的Levy飛行路徑Levy(λ) 將式(11)代入式(10)就能獲得。加入Levy飛行策略后的QPSO算法粒子進化方程最終更新為

(12)

以下是HAQPSO算法的執(zhí)行步驟：

步驟1 初始化粒子的位置，并將粒子個體最優(yōu)位置初始化為當(dāng)前位置；

步驟2 使用式(4)計算粒子群的平均最優(yōu)位置；

步驟3 本文采取適應(yīng)度最小原則計算出粒子當(dāng)前的適應(yīng)度值；

步驟4 同樣采取適應(yīng)度最小原則計算出種群當(dāng)前的全局最優(yōu)位置；

步驟5 使用式(7)計算出隨機點的位置；

步驟6 使用式(12)計算出粒子新的位置；

步驟7 重復(fù)執(zhí)行步驟2～步驟6，當(dāng)滿足設(shè)定的結(jié)束條件或達到最大迭代次數(shù)時停止。

1.3 HAQPSO算法的典型函數(shù)測試

為了驗證改進算法的性能，本文使用兩個典型函數(shù)作為算法的測試函數(shù)，使用MATLAB編寫了相關(guān)程序，分析比較了HAQPSO算法與QPSO算法、PSO算法和遺傳(genetic algorithms，GA)算法的仿真實驗結(jié)果。設(shè)定上述幾種算法的群體規(guī)模為20，最大迭代次數(shù)為2000，HAQPSO算法與QPSO算法的收縮—擴張系數(shù)α為[0.5，1]，縮放因子F的取值范圍為[0.4，0.9]，根據(jù)各個測試函數(shù)的搜索邊界確定粒子群體的初始位置，本文所用到的測試函數(shù)見表1，仿真實驗結(jié)果如圖1和圖2所示(原圖局部放大顯示)?？梢钥闯觯琀AQPSO算法的尋優(yōu)性能要優(yōu)于QPSO算法、PSO算法和GA算法。

表1 典型的測試函數(shù)

圖1 Sphere函數(shù)迭代曲線

圖2 Ackey函數(shù)迭代曲線

2 基于HAQPSO-ELM的工業(yè)控制系統(tǒng)入侵檢測算法

2.1 極限學(xué)習(xí)機

極限學(xué)習(xí)機是新型的單隱層前饋神經(jīng)網(wǎng)絡(luò)。設(shè)定n、L和m分別為網(wǎng)絡(luò)輸入層、隱含層和輸出層的結(jié)點數(shù)，有N個不同的訓(xùn)練樣本 (xi,yi),1≤i≤N， 其中xi=[xi1,xi2,…,xin]T∈Rn，yi=[yi1,yi2,…,yim]T∈Rm， ELM的數(shù)學(xué)表達式可以表示為

(13)

式中：g(x) 為激活函數(shù)，ωi=[ωi1,ωi2,…,ωin]T為連接輸入層到隱含層的輸入權(quán)值向量，βi=[βi1,βi2,…,βim]T為連接隱含層到輸出層的輸出權(quán)值向量，bi為隱含層結(jié)點的閾值，Oj為網(wǎng)絡(luò)輸出值。

如果前饋神經(jīng)網(wǎng)絡(luò)能以零誤差逼近這個N個樣本，則有

(14)

此時存在βi、ωi和bi使得

(15)

用矩陣形式表示為

Hβ=Y

(16)

(17)

式中：H+為隱層輸出矩陣的Moore-penrose的廣義逆。

2.2 極限學(xué)習(xí)機的優(yōu)化

由于ELM隱含層輸出矩陣是由隱含層結(jié)點的閾值和隨機給定的輸入權(quán)值計算得出的，一些非最好的輸入權(quán)值和隱含層結(jié)點的閾值的存在會導(dǎo)致極限學(xué)習(xí)機的分類容易產(chǎn)生泛化能力和精度不理想等問題。針對這個問題，本文采用混合自適應(yīng)量子粒子群優(yōu)化算法優(yōu)化極限學(xué)習(xí)機的入侵檢測模型，即通過混合自適應(yīng)量子粒子群優(yōu)化算法尋找到最好的輸入權(quán)值和隱含層結(jié)點的閾值，進而計算出輸出權(quán)值。HAQPSO-ELM入侵檢測模型構(gòu)建具體步驟如下：

步驟1 將數(shù)據(jù)集分為訓(xùn)練集和測試集，并進行歸一化處理；

步驟2 初始化粒子群中的每個粒子的位置，并將粒子個體最優(yōu)位置初始化為當(dāng)前位置；

步驟3 使用式(4)計算粒子群的平均最優(yōu)位置；

步驟4 將ELM的輸入權(quán)值和隱含層結(jié)點的閾值作為優(yōu)化的對象，適應(yīng)度為分類準(zhǔn)確率的相反數(shù)；

步驟5 根據(jù)適應(yīng)度最小準(zhǔn)則，使用HAQPSO算法進行迭代尋優(yōu)，搜索出個體最好解和全局最好解；

步驟6 計算出隨機點的位置；

步驟7 計算出粒子新的位置；

步驟8 重復(fù)執(zhí)行步驟2～步驟7，當(dāng)滿足設(shè)定的結(jié)束條件或達到最大迭代次數(shù)時停止；

步驟9 選取搜尋到的最好的輸入權(quán)值和隱含層結(jié)點的閾值構(gòu)建ELM分類器模型，最終得到基于HAQPSO-ELM的工控入侵檢測模型。

HAQPSO-ELM入侵檢測模型構(gòu)建流程如圖3所示。

圖3 HAQPSO-ELM的工控入侵檢測流程

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用到的工控入侵檢測標(biāo)準(zhǔn)數(shù)據(jù)集是密西西比州立大學(xué)關(guān)鍵基礎(chǔ)設(shè)施保護中心于2014年提出的數(shù)據(jù)集，該數(shù)據(jù)集是對天然氣管道仿真環(huán)境進行攻擊而提取的網(wǎng)絡(luò)層數(shù)據(jù)，且經(jīng)過了數(shù)值化處理。該數(shù)據(jù)集中的每條數(shù)據(jù)都包含26個特征屬性和一個攻擊類別標(biāo)簽(包括正常數(shù)據(jù)標(biāo)簽)。

3.2 預(yù)處理

歸一化處理：為了消除指標(biāo)之間量綱的限制，將數(shù)據(jù)映射到[0，1]范圍之間，轉(zhuǎn)化為無量綱的純數(shù)值之后就能進行比較。歸一化公式如下

(18)

屬性約簡：使用Rosetta軟件集成的粗糙集對數(shù)據(jù)集進行約簡，約簡后得到的屬性共10項 {1,2,3,7,9,11,19,20,25,26}。

3.3 仿真參數(shù)的設(shè)定

為了驗證HAQPSO-ELM在工控網(wǎng)絡(luò)入侵檢測中的性能，進行了仿真測試實驗，所采用的實驗平臺：Inter Core i5 2.9 GHz，8 GB 內(nèi)存，Windows 7，MATLAB R2016a。從原始數(shù)據(jù)集均勻且隨機的抽取6000組數(shù)據(jù)，并將6000組數(shù)據(jù)分為訓(xùn)練集和測試集，數(shù)目分別為：4000和2000。HAQPSO算法需要設(shè)置的參數(shù)有：收縮—擴張系數(shù)α為[0.5，1]，縮放因子F的取值范圍為[0.4，0.9]，Levy飛行的參數(shù)β為1.5。本文中HAQPSO算法和其它算法共同設(shè)置的參數(shù)有：最大迭代次數(shù)為50，群體規(guī)模為20，隱含層結(jié)點數(shù)為200，搜索范圍為[-1，1]搜索維數(shù)d由隱含層結(jié)點數(shù)和輸入層結(jié)點數(shù)決定，計算公式如下

d=NumberofHiddenNeurons* (NumberofInputNeurons+1)

(19)

3.4 仿真結(jié)果與分析

3.4.1 訓(xùn)練結(jié)果分析

為了驗證算法的優(yōu)化效果，本文將HAQPSO與QPSO、PSO、GA算法對ELM輸入權(quán)值和隱含層結(jié)點的閾值進行尋優(yōu)的結(jié)果進行比較。各個優(yōu)化算法對ELM優(yōu)化的運行時間和最終的優(yōu)化精度見表2，在迭代尋優(yōu)過程中，各代的訓(xùn)練分類準(zhǔn)確率的迭代曲線如圖4所示。

表2 訓(xùn)練時間和訓(xùn)練精度

圖4 不同算法優(yōu)化ELM訓(xùn)練準(zhǔn)確率曲線

從表2和圖4可以得到，HAQPSO算法對ELM的尋優(yōu)精度最高，達到了98.34%，而GA算法的精度最低，只有96.67%。QPSO在第15代左右就能夠收斂到最好，收斂速度最快，HAQPSO在第18代左右能收斂到最好，僅次于QPSO。

從表2可以看出，HAQPSO訓(xùn)練時間比QPSO只增加了1.47%(3.2 s)，也就是說在QPSO算法的基礎(chǔ)上加入Levy飛行策略、對粒子最優(yōu)位置的更新采用差分策略和采用自適應(yīng)改變的收縮—擴張系數(shù)控制方法對算法的整體運行時間增加的不多，只有3.2 s，也就是說對算法產(chǎn)生的影響并不大，并不會影響到算法的正常應(yīng)用。

3.4.2 測試結(jié)果分析

(1)總體的檢測效果分析。本文使用2000組測試集數(shù)據(jù)來測試訓(xùn)練所得到的ELM模型，因為實驗數(shù)據(jù)集為不平衡數(shù)據(jù)集，對于不平衡數(shù)據(jù)的評價，使用準(zhǔn)確率、精確率和召回率指標(biāo)能更準(zhǔn)確地評價算法的分類性能。實驗的總體結(jié)果見表3。

表3 總體檢測結(jié)果

HAQPSO-ELM的準(zhǔn)確率為98.60%，在所有的算法中準(zhǔn)確率最高，而GA-ELM的準(zhǔn)確率只有96.32%。同時，HAQPSO-ELM的精確率為98.92%，召回率為97.86%，在4種算法里都是最高的。綜合各個指標(biāo)可以發(fā)現(xiàn)，基于HAQPSO-ELM在構(gòu)建的入侵檢測系統(tǒng)具有良好的檢測效果，具有較好的泛化能力，而GA-ELM的泛化能力最差。且外，本文也對標(biāo)準(zhǔn)ELM算法、SVM算法和BP神經(jīng)網(wǎng)絡(luò)算法在該數(shù)據(jù)集的分類結(jié)果進行了比較，結(jié)果見表4。

表4 其它算法檢測結(jié)果

(2)各攻擊類型數(shù)據(jù)檢測效果分析。MSU工控入侵檢測標(biāo)準(zhǔn)數(shù)據(jù)集包括4大攻擊類，細分為8種攻擊形式(包括正常數(shù)據(jù))，各算法對8種攻擊形式進行分類識別，分類準(zhǔn)確率如圖5所示。

圖5 各攻擊形式分類準(zhǔn)確率曲線

從圖5可以看出，HAQPSO-ELM對每種攻擊形式的都具有較高的分類準(zhǔn)確率，尤其是在分類識別NMRI、MPCI、Dos上。HAQPSO與其它幾種優(yōu)化算法相比，HAQPSO-ELM入侵檢測模型的分類準(zhǔn)確率提升較高。且外，ELM入侵檢測模型整體對Normal、CMRI、MSCI、RECO類別的數(shù)據(jù)分類準(zhǔn)確率都較高，都在90%以上，特別是在對RECO攻擊的分類識別上，各算法的分類準(zhǔn)確率都接近100%，但是在對NMRI的識別上，識別準(zhǔn)確率最好的都在80%以下。

4 結(jié)束語

本文對于QPSO算法的3點改進增加了種群多樣性，較好解決了該算法易陷入局部最優(yōu)的問題。通過HAQPSO算法對ELM的輸入權(quán)值和隱含層結(jié)點的閾值進行尋優(yōu)，構(gòu)建基于HAQPSO-ELM的入侵檢測模型。仿真實驗使用的數(shù)據(jù)集為密西西比州立大學(xué)的工控入侵標(biāo)準(zhǔn)數(shù)據(jù)集，實驗結(jié)果表明：HAQPSO-ELM的各項性能指標(biāo)基本優(yōu)于其它算法優(yōu)化的ELM模型，驗證了HAQPSO算法實際工程應(yīng)用場景中的有效性。