小生境粒子群支持向量機的網(wǎng)絡故障診斷*

張亞梅，張正本

（河南機電高等?？茖W校，河南　新鄉(xiāng)　453003）

?

小生境粒子群支持向量機的網(wǎng)絡故障診斷*

張亞梅，張正本

（河南機電高等?？茖W校，河南新鄉(xiāng)453003）

摘要：針對支持向量機（SVM）在網(wǎng)絡故障診斷中應用存在的參數(shù)設置和診斷模型復雜的問題，提出一種基于小生境粒子群優(yōu)化的SVM解決方案。算法在進行參數(shù)尋優(yōu)的同時考慮支持向量個數(shù)，實現(xiàn)對診斷模型復雜度的優(yōu)化，并采用小生境粒子群算法進行求解，提高算法跳出局部最優(yōu)的能力。在DARPA數(shù)據(jù)集上的實驗表明本文提出的方法能夠有效提高診斷模型的泛化性和診斷速度。

關鍵詞：網(wǎng)絡故障診斷，支持向量機，小生境粒子群，支持向量數(shù)目

0　引言

網(wǎng)絡故障診斷［1］實質(zhì)上是一個模式識別問題，以核技術和結構風險最小化原則為核心的機器學習方法-支持向量機（Support Vector Machine，SVM），在解決小樣本、非線性及高維問題中的優(yōu)勢，已被初步應用于網(wǎng)絡故障診斷［2-4］。然而，網(wǎng)絡開放互聯(lián)的組織形式使得獨立的網(wǎng)元具備了相關性，同一個網(wǎng)絡故障事件可能引起多個網(wǎng)絡監(jiān)控設備的告警；此外網(wǎng)絡作為一個分層管理系統(tǒng)，故障事件的影響從底層的接口、網(wǎng)絡協(xié)議等到高層更加抽象的應用服務，由于高層網(wǎng)絡實體對低層網(wǎng)絡實體的依賴性，低層次的事件必定引起高層次的告警。這些特點使得對于同一事件，往往會引起數(shù)目巨大的告警信息，以百兆網(wǎng)絡為例，僅IDS系統(tǒng)一小時就可產(chǎn)生上百萬條的告警記錄，給網(wǎng)絡故障診斷系統(tǒng)帶來非常大的壓力。這就要求網(wǎng)絡故障診斷模型盡可能地簡單，而采用SVM方法建立的診斷模型復雜程度是由支持向量的個數(shù)決定的，支持向量個數(shù)越少，模型越簡單。但是，當訓練樣本集規(guī)模較大時，獲得的支持向量集往往比較大，模型比較復雜。在進行SVM訓練時，當前的研究一般只關注診斷的精度，忽視了模型的復雜程度。為了解決這一問題，在建立診斷模型的時候既注重診斷模型精度的同時考慮模型的復雜程度。通過智能搜索的方法找出最佳訓練參數(shù)，以達到在保證診斷精度的情況下降低模型的復雜度。粒子群算法相較其他智能搜索算法具有實現(xiàn)簡單、收斂速度快等優(yōu)點，因此，被大量應用于SVM的參數(shù)選擇上，但是它也容易陷入局部最優(yōu)［5-6］。Brits等人將小生境這一概念引入到粒子群算法中，提出了小生境粒子群算法（niche particle swarm optimization，NPSO）［7］，有效地解決了傳統(tǒng)粒子群算法易陷入局部最優(yōu)的問題。

基于以上分析，本文提出一種基于小生境粒子群SVM的網(wǎng)絡故障診斷方法。在NPSO對SVM訓練參數(shù)進行尋優(yōu)同時考慮所建立模型的復雜度，實現(xiàn)對所構建模型的簡化，提高診斷模型泛化性。

1　基本理論

1.1 SVM原理及分析

則，式（1）的對偶問題如式（2）所示

式中K（xi，xj）=φ（xi），φ（xj）為核函數(shù)，求解該二次規(guī)劃問題得到問題的最優(yōu)判決函數(shù)為：

SVM是一個二分類問題，它的分類模型經(jīng)驗風險和實際風險之間滿足下面的關系：

R≤Remp+Φ（l/h）（4）

Φ為置信范圍，l為樣本個數(shù)，h為分類模型的VC維。從式（4）可以看出置信范圍越小，經(jīng)驗風險最小化的最優(yōu)解就會接近實際的最優(yōu)解。而置信范圍Φ是（l/h）的單調(diào)遞減函數(shù)，對于一個特定的問題，其樣本數(shù)l是固定的，此時學習機器的VC維越高（復雜度越高），則置信范圍越大，導致真實風險與經(jīng)驗風險之間可能的差就越大。這就是為什么在一般情況下選用過于復雜的分類器或神經(jīng)網(wǎng)絡往往得不到好的效果的原因。因此，機器學習過程中不但要使經(jīng)驗風險盡可能小，還要使VC維盡可能小，以縮小置信范圍，才能使實際風險最小，從而對未來的樣本有較好的推廣性，而SVM中VC維與支持向量的個數(shù)有關，支持向量個數(shù)越多VC維越高。

下面，進一步分析SVM參數(shù)與分類精度的關系。本文中使用徑向基（RBF）核函數(shù)，SVM的分類精度與懲罰因子C和核參數(shù)g有關。圖1給出了Wine數(shù)據(jù)集的C、g與SVM分類精度的對應關系：

圖1 Wine數(shù)據(jù)集SVM參數(shù)與精度關系曲線

從圖1中可以看出SVM的尋優(yōu)曲線是比較長的，以分類精度為92.5%的等高線為例，可以發(fā)現(xiàn)g的范圍大概從2-8~ 23，而C的范圍大概是2-3~ 28，也就是在這個等高線上的所有點分類精度均為92.5%。但是不同參數(shù)值對應的分類模型是不同的，它們的支持向量個數(shù)也是不同的，同樣分類精度為92.5%，有的模型支持向量個數(shù)非常多，VC維比較高，模型就很復雜，而有的支持向量就比較少，對應的模型也就相較簡單，泛化性更好一些。我們的目標是在相同的分類精度條件下找出支持向量個數(shù)最少的模型。

1.2小生境粒子群算法

粒子群算法是Kennedy和Eberhart模仿鳥類群體行為的智能優(yōu)化算法，可解決連續(xù)函數(shù)的優(yōu)化問題［5］。在算法中，群體中的每個粒子都是一個潛在的解，通過學習歷史中自身的最優(yōu)位置pb和群體最優(yōu)位置pg來更新位置和速度，并根據(jù)粒子的位置計算適應度函數(shù)來判斷解的優(yōu)劣，不斷迭代找到最優(yōu)解。

若粒子群的搜索空間為D維，粒子的位置和速度分別為Pi=（pi1，pi2，…，piM）和Vi=（vi1，vi2，…，viM），則其迭代公式為：

其中，w為慣性常數(shù)，t為迭代次數(shù)，c1和c2為學習因子，r1和r2為［0，1］之間的隨機數(shù)。相較遺傳算法，PSO的搜索過程具有方向性，因此，收斂速度更快，但同時也容易陷入局部最優(yōu)解。小生境是來自生物學的一個概念，是指特定環(huán)境下的一種生態(tài)環(huán)境，若干物種在一定區(qū)域內(nèi)形成小生境，小生境之間的基因由于自然隔離缺乏交流使得物種之間的差異得以保留。將這種概念運用到優(yōu)化上來說就是將每一代的個體劃分為若干個類，依據(jù)某種規(guī)則從每個類中選擇出適應度較大的個體作為類的代表，在類內(nèi)和類間進行雜交、變異產(chǎn)生新一代個體。這樣就有助于算法跳出局部最優(yōu)，而從SVM的分類介紹可以看出它參數(shù)選擇問題的局部最優(yōu)解非常多，因此，這里才有NPSO方法進行尋優(yōu)，它與PSO最大的不同是在搜索過程中選出若干個適應值變化較小的粒子，以這些粒子為中心，據(jù)此粒子最近的粒子之間距離為半徑構造圓形小生境，定義小生境半徑為：

其中，pNj，g，pNj，i分別為子粒子群中最優(yōu)粒子和任意非優(yōu)粒子，通過小生境的構造來保證粒子的差異，也就更容易達到全局最優(yōu)。

2　 NPSO-SVM算法

2.1算法描述

NPSO-SVM算法通過NPSO對SVM的參數(shù)進行尋優(yōu)，與其他方法不同的是本文的目標函數(shù)中考慮了得到分類模型的復雜度。前面提到，分類模型的復雜度與支持向量的個數(shù)有關，這里設計目標函數(shù)為：

其中，acc為分類模型的精度，這里采用交叉驗證的方式獲得，Nsv為支持向量個數(shù)，k為常數(shù)，這里取0.5。

NPSO-SVM算法的具體步驟如下：

STEP1：設置算法參數(shù)，初始化主粒子群；

STEP2：使用PSO對主粒子群進行搜索，選出若干個適應值變化較小的粒子，以這些粒子為中心，據(jù)依據(jù)式（6）構造圓形小生境；

STEP3：對每個子粒子群進行如下操作：

①使用PSO更新粒子：

其中η為搜索范圍最大值；

②計算每個子粒子群的適應值；

③更新子粒子群小生境半徑；

④若兩個子群Nj和Nk范圍相交，即，則合并兩個子群；

⑤若粒子pi進入子群Nj范圍，即，則該粒子將被此小生境粒子群吸收；

STEP4：重復步驟STEP3直到達到最大迭代次數(shù)或結果滿足要求，算法結束。

2.2算法驗證

為了驗證所提算法的有效性，用人工數(shù)據(jù)集進行分類實驗，人工數(shù)據(jù)集包括正負類樣本各100個，可以完全分開。這里分別采用不考慮分類模型復雜程度的PSO-SVM［6］以及本文的方法進行實驗，觀察分類面和支持向量個數(shù)。實驗環(huán)境為Pentium（R）Dual-Core2.7 G CPU，4 G內(nèi)存，Windows XP系統(tǒng)，Matlab 8.2。實驗結果如圖2所示。

圖2人工數(shù)據(jù)集實驗結果

從實驗結果可以看到無論是否考慮模型復雜度的PSO-SVM［］還是本文的NPSO-SVM，訓練得到的分類面均可以將兩類樣本完全分開，這是由于SVM作為一種先進的機器學習方法，本身具有較強的泛化性。再觀察支持向量個數(shù)，可以發(fā)現(xiàn)PSO-SVM的支持向量個數(shù)為14個，而本文方法僅為兩個，這主要是因為傳統(tǒng)的PSO-SVM方法僅考慮分類精度，這樣算法馬上收斂于一個分類精度達到100%的點，沒有進一步地考慮模型的復雜度和分類模型的泛化性，而本文方法同時考慮了模型的復雜度，對得到的分類模型進一步優(yōu)化。從最終分類面也可以明顯看出本文方法獲得的最優(yōu)分類面泛化性優(yōu)于傳統(tǒng)的方法。

以下分析算法的收斂性，這里分別采用粒子群算法（PSO）和本文的小生境粒子群算法（NPSO）對參數(shù)進行搜索尋優(yōu)，以Benchmarks中的Splice數(shù)據(jù)集為例，正類樣本個數(shù)600個，負類樣本400個，優(yōu)化目標函數(shù)均為式（7），仿真結果如圖3所示。

圖3參數(shù)尋優(yōu)結果比較

從圖3可以看出，PSO-SVM快速收斂于0.8964，而NPSO-SVM收斂速度雖然慢于PSO-SVM，但是它能達到更好的收斂結果，達到了0.898 6，這說明PSO-SVM最終收斂于局部最優(yōu)解，而NPSO-SVM由于加入了小生境思想，使得優(yōu)化過程更容易跳出局部最優(yōu)。從收斂過程也可以看出，雖然NPSO-SVM在36代時也達到了局部最優(yōu)0.896 4，但是它很快于45代時跳出這一局部最優(yōu)解，直觀地體現(xiàn)了本文方法的優(yōu)勢。

為了充分說明本文提出方法的有效性，對Benchmarks的其他樣本集分別做分類實驗。分別比較不考慮模型復雜度的PSO-SVM和本文方法的分類精度和支持向量個數(shù)，獲得的實驗結果如表1所示。

從實驗結果可以看出本文方法在分類精度上沒有任何下降，在Diabetis、Image和Thyoid數(shù)據(jù)集上還有一些提高，從這里可以看出NPSO算法相較PSO算法的尋優(yōu)能力更強，更容易達到最優(yōu)解。除此之外，本文方法在支持向量（SV）個數(shù)上均有明顯減少，降低了分類模型的復雜性，提高了模型的泛化性。

表1 Benchmarks實驗結果

3　基于NPSO-SVM的網(wǎng)絡故障診斷

由于目前網(wǎng)絡中各種攻擊事件和病毒越來越多，導致網(wǎng)絡中產(chǎn)生大量的“軟故障”。本文選擇了DARPA99入侵數(shù)據(jù)集，以攻擊下的網(wǎng)絡狀態(tài)模擬網(wǎng)絡故障。該數(shù)據(jù)集包含4類網(wǎng)絡攻擊，分別是DOS、Probe、R2L和U2R，用一套標準格式的數(shù)據(jù)來記錄各種網(wǎng)絡狀態(tài)下的特征，每條記錄均有41個特征值。為了確保數(shù)據(jù)的普適性，從原始數(shù)據(jù)集中以等間隔采集法選取訓練集樣本和測試樣本，具體的樣本選擇情況如表2所示。

表2實驗樣本集

分別采用PSO-SVM，NPSO-SVM進行特征選擇，粒子群算法種群規(guī)模均為20，最大迭代次數(shù)100，比較兩種算法的診斷精度和支持向量個數(shù)以及診斷時間，實驗結果如表3所示。

從實驗結果可以看出相較傳統(tǒng)的僅以診斷精度為優(yōu)化目標的PSO-SVM算法，本文提出的NPSO-SVM在診斷精度和診斷時間上均有提高，說明本文提出的診斷算法能夠在保證診斷精度的同時簡化得到的診斷模型，有效解決參數(shù)尋優(yōu)和模型復雜的問題。

表3故障診斷結果

4　結論

SVM作為一種優(yōu)秀的分類方法被引入到網(wǎng)絡故障診斷問題中，但是SVM的參數(shù)尋優(yōu)以及診斷模

型復雜問題影響它的應用效果。本文采用NPSO算法對SVM參數(shù)進行尋優(yōu)，解決尋優(yōu)過程中容易陷入局部最優(yōu)的問題，同時用支持向量個數(shù)表示模型的復雜度，加入尋優(yōu)過程中，提高獲得的診斷模型的泛化性。在DARPA數(shù)據(jù)集上的網(wǎng)絡故障診斷實驗表明本文提出的方法能夠快速達到在保證診斷精度的同時降低模型的復雜度，提高診斷速度，為SVM在網(wǎng)絡故障診斷提供一種新的思路。

參考文獻：

［1］GR尷NB覸K J，SCHWEFEL H P，CECCARELLI A，et al. Improving robustness of network fault diagnosis to uncertainty in observations［C］// IEEE International Symposium on Network Computing and Applications，2010.

［2］溫祥西，孟相如，馬志強.基于雙重支持向量機的網(wǎng)絡故障診斷［J］.控制與決策.2013，28（4）：506-510.

［3］朱長成.支持向量機在網(wǎng)絡故障診斷中的應用［J］.計算機仿真，2011，28（10）：03-107.

［4］GUO J W，WU X P，YE Q. Network fault diagnosis based on rough set-support vector machine［C］// ICCASM 2010，2010.

［5］向昌盛，張林峰. PSO-SVM在網(wǎng)絡入侵檢測中的應用［J］.計算機工程與設計，2013，31（4）：1222-1225.

［6］左磊，侯立剛，張旺，等.基于粒子群-支持向量機的模擬電路故障診斷［J］.系統(tǒng)工程與電子技術，2010，32（7）：1553-1556.

［7］BRITS R，ENGELBRCHTA P，BERGH Fn. A niching particle swarm optimizer［C］// Proceedings Conf. on Simulated Evolution and Learning，Singapore，2002.

［8］VAPNIK V. Statistical learning theory［M］. New York：Wiley，1998.

Network Fault Diagnosis Based on Niche Particle Swarm Optimization SVM

ZHANG Ya-mei，ZHANG Zheng-ben
（Henan Mechanical and Electrical Engineering College，Xinxiang 453003，China）

Abstract：The parameters setting and diagnosis model complexity caused by dataset’s huge size affect the SVM’s application in network fault diagnosis. A new method based on niche particle swarm optimization SVM is proposed to solve these problems. The algorithm optimizes SVM training parameters，and the support vectors number is proposed to simplify the diagnosis model complexity as well. The niche particle swarm optimization method was introduced to this optimization problem while it’s excellent ability of escape locally optimal solution. The experiments on DARPA dataset shows that the method can improve the diagnosis model’s generalization and can get faster diagnosis speed.

Key words：network fault diagnosis，SVM，niche particle swarm optimization，support vector number

作者簡介：張亞梅（1963-），女，河北唐山人，副教授。研究方向：計算機網(wǎng)絡、軟件應用。

*基金項目：河南省教育廳自然科學研究計劃基金資助項目（2011B520013）

收稿日期：2014-12-22

文章編號：1002-0640（2016）02-0158-04

中圖分類號：TP393

文獻標識碼：A

修回日期：2015-02-23