粒子群算法優(yōu)化雙核支持向量機及應(yīng)用＊

聶立新， 張?zhí)靷b， 趙 波

（1.東北大學(xué)機械工程與自動化學(xué)院 沈陽，110819） （2.河南理工大學(xué)機械與動力工程學(xué)院 焦作，454000）

引 言

支持向量機［1］（support vector machine，簡稱SVM）是一種基于統(tǒng)計學(xué)的VC維理論和結(jié)構(gòu)風(fēng)險最小化原理的小樣本學(xué)習(xí)方法，在模式分類上具有良好的泛化性能。支持向量機的理論基礎(chǔ)已經(jīng)較為完善，但在具體應(yīng)用中，必須慎重處理如何選擇核函數(shù)和控制參數(shù)的問題。常用的核函數(shù)有多項式核函數(shù)、徑向基核函數(shù)以及多層感知器核函數(shù)等三種［2］，針對不同的數(shù)據(jù)集，核函數(shù)的表現(xiàn)也不盡相同。以支持向量機的交叉驗證正分率為目標(biāo)函數(shù)，使用常用的優(yōu)化方法均可搜索到支持向量機控制參數(shù)的較優(yōu)值，但未必是全局最優(yōu)解。

筆者提出了一種用并行定向變異粒子群優(yōu)化算法去優(yōu)選雙尺度徑向基核支持向量機的控制參數(shù)的方法，用標(biāo)準(zhǔn)數(shù)據(jù)集驗證了該方法的效果，并應(yīng)用于發(fā)動機的故障診斷。

1 核方法與支持向量機

1.1 核方法

核方法［3］是解決非線性模式識別問題的有效途徑，它利用較為簡單的核函數(shù)運算，既避免了在特征空間的復(fù)雜內(nèi)積運算，又避免了特征空間（學(xué)習(xí)機器）本身的設(shè)計。設(shè)原空間數(shù)據(jù)集S＝，其中：xi屬于輸入空間X?Rn；yi屬于輸出空間Y?Rm。通過一個非線性映射

將原空間輸入數(shù)據(jù)映射到新的特征空間F＝｛Φ（x）｜x∈X｝，其中：F?Rn。該映射將原空間數(shù)據(jù)集轉(zhuǎn)化為特征空間的數(shù)據(jù)集

核方法利用上述映射將原空間非線性可分的問題轉(zhuǎn)化為特征空間線性可分或近似線性可分的問題，并且可分性的優(yōu)劣取決于核函數(shù)的選取是否合適。目前，核函數(shù)選取的研究主要有3個方面。

1）構(gòu)造特定的單核函數(shù)。文獻［4］則將小波核函數(shù)用于支持向量機的決策和分類，對于某具體問題，總有一種核函數(shù)對其有良好的表達能力。

3）多尺度核方法。該方法是多核合成方法的特例，所采用的原始核km（x，z）均為同一核函數(shù)，但核參數(shù)各不相同。這種方法靈活性很強，能夠提供更完備的尺度選擇。多尺度核方法的關(guān)鍵是找到一組具有多尺度表達能力的核函數(shù)，并且核函數(shù)組合能夠最大限度地區(qū)分不同類別的樣本。常用的多尺度核函數(shù)有徑向基核函數(shù)和小波核函數(shù)等。

1.2 支持向量機

支持向量機是一種典型的核學(xué)習(xí)方法，有力地推動了核方法的應(yīng)用，其求解模型為

其中：C≥0為懲罰參數(shù)，起平衡區(qū)間距離最大化和分類誤差最小化的作用。

式（4）可轉(zhuǎn)化為以下對偶問題

（s.t.yTα＝0；0≤αi≤C；i＝1，2，…，l）其中：e＝［1，1，…，1］T；Q為l×l半正定矩陣，其中Qi，j＝y(tǒng)iyjK（xi，xj），K（xi，xj）＝φ（xi）Tφ（xj）為核函數(shù)。

理論上，支持向量機只能解決“非此即彼”的二分類問題。工程應(yīng)用中的多分類問題，可以通過多個二分類支持向量機的組合判決來實現(xiàn)［4］。

在確定多分類支持向量機的組合方式以及核函數(shù)后，懲罰參數(shù)C以及核函數(shù)的核參數(shù)的選取是否合理成為支持向量機分類性能優(yōu)劣的決定因素。最常用的算法性能的評價標(biāo)準(zhǔn)是K－折交叉驗證（K－fold cross－validation，簡稱K－CV）［6］，以懲罰參數(shù)C以及核函數(shù)的核參數(shù)為決策變量，交叉驗證正分率為目標(biāo)函數(shù)的優(yōu)化模型經(jīng)求解后得到最優(yōu)參數(shù)，從而形成有較高魯棒性的支持向量機分類器。上述優(yōu)化模型通常具有多個局部最優(yōu)解，一般的優(yōu)化算法極易陷入局部最優(yōu)，喪失了搜索到全局最優(yōu)解的機會。對于上述多峰目標(biāo)函數(shù)優(yōu)化問題，群智能優(yōu)化較常規(guī)優(yōu)化算法有更大優(yōu)勢。

張同波：從十年九虧的軍工企業(yè)到現(xiàn)在總產(chǎn)能為800萬t的鋼鐵制品綜合加工上市企業(yè)，新興鑄管走過了一段艱難的歷程。新興鑄管股份有限公司的前身是2672工廠，這是20世紀(jì)70年代為了解決鐵道兵鋼材短缺經(jīng)中央軍委批準(zhǔn)興建的，隸屬于鐵道兵，鐵道兵撤編后劃歸總后勤部。1996年，隨著我國國有企業(yè)轉(zhuǎn)制，工廠改制為新興鑄管（集團）有限責(zé)任公司，也就是現(xiàn)在新興際華集團的前身。1997年6月，由集團公司獨家發(fā)起募集設(shè)立新興鑄管股份有限公司，其股票在深交所上市。

2 粒子群優(yōu)化算法

粒子群優(yōu)化（particle swarm optimization，簡稱PSO）算法是Kennedy等［7］提出的一種基于群智能的優(yōu)化算法，其速度更新和位置更新公式為

其中：xij和vij分別為粒子i第j維的位置和速度；pbestij為第i個粒子第j維的歷史最優(yōu)位置；gbestj為群體第j維歷史最優(yōu)位置；c1，c2分別為粒子自身加速系數(shù)和群體加速系數(shù)，均為非負實數(shù)；r1，r2～U［0 ，1 ］ ；ω 稱為慣性權(quán)重；t為粒子的經(jīng)歷時間或迭代次數(shù)。

盡管與傳統(tǒng)的基于梯度法的優(yōu)化方法相比，PSO算法能夠有良好的表現(xiàn)，但其也有一個致命缺陷，即在迭代過程中極易出現(xiàn)早熟收斂，導(dǎo)致其陷入局部最優(yōu)［8］。為抑制早熟收斂，文獻［9］提出了遺傳算法與粒子群算法相融合的GAPSO混合算法。文獻［10］提出了一種在最優(yōu)解周圍的區(qū)域內(nèi)進行混沌搜索的混沌PSO算法，取得了較好的效果。但現(xiàn)有的改進算法通常同時對所有優(yōu)化決策變量進行擾動變異，存在文獻［8］所述的“進2退1”（two steps forward，one step back）現(xiàn)象。

3 HPSO－PDT算法優(yōu)化雙核支持向量機

3.1 雙尺度徑向基核函數(shù)

徑向基核函數(shù)可以表示為

其中：γ∈［2－15，215］為核參數(shù)。

當(dāng)γ較大時，可以分辨劇烈變化的樣本；當(dāng)γ較小時，可對平緩變化的樣本進行分類［3］。根據(jù)上文所述的合成核方法和多尺度核方法，文中擬采用如下核函數(shù)

可以證明，式（8）所示核函數(shù)滿足 Mercer條件要求，可以用于核方法運算。該核函數(shù)主動將核參數(shù)區(qū)間分為兩部分，通過調(diào)整權(quán)參數(shù)α大小去平衡兩個尺度的子核函數(shù)的效能。

3.2 基于不平衡數(shù)據(jù)的支持向量機

在支持向量機的具體應(yīng)用中，參與訓(xùn)練和測試的數(shù)據(jù)集通常是不均衡的，如在設(shè)備的故障診斷中，正常數(shù)據(jù)一般要比故障數(shù)據(jù)多一些。在數(shù)據(jù)不均衡場合，為每類數(shù)據(jù)設(shè)置不同懲罰參數(shù)C，有可能使支持向量機模型有更強的分類能力［11］。設(shè)數(shù)據(jù)有c類，則不平衡支持向量機模型表達如下

3.3 HPSO－PDT算法

筆者采用一種并行定向擾動的混合粒子群優(yōu)化（hybrid particle swarm optimization based on parallel directional turbulence，簡稱 HPSO－PDT）算法［12］。其算法核心及特點是當(dāng)算法出現(xiàn)早熟收斂時，群體中產(chǎn)生變異的每個粒子僅發(fā)生單坐標(biāo)方向擾動，從而避免了“進2退1”現(xiàn)象的出現(xiàn)，避免了優(yōu)化決策變量之間的干擾。若優(yōu)化目標(biāo)為最小化問題，則HPSO－PDT的算法流程見圖1。

圖1 HPSO－PDT算法的流程圖Fig.1 Flow chart of HPSO－PDT algorithm

HPSO－PDT算法由標(biāo)準(zhǔn)PSO算法迭代、序列二次規(guī)劃（sequential quadratic programming，簡稱SQP）算法局部搜索和粒子單決策變量擾動變異三部分構(gòu)成。標(biāo)準(zhǔn)PSO算法使粒子在按規(guī)則運動過程中不斷更新個體和群體最優(yōu)值；SQP算法具有優(yōu)秀的局部搜索能力，能夠快速地到達當(dāng)前所在區(qū)域的“谷底”；粒子的并行定向變異可使每個參與變異的粒子分別沿選定的單個坐標(biāo)方向（即單優(yōu)化決策變量）進行搜索，繼承了現(xiàn)有的群體最優(yōu)位置信息。

3.4 HPSO－PDT算法優(yōu)化雙核SVM的數(shù)據(jù)驗證

取支持向量機模型性能的評價函數(shù)為10－折交叉驗證（即K＝10）正分率，并將其作為PSO算法的適應(yīng)度函數(shù)，即優(yōu)化目標(biāo)函數(shù)，便可通過PSO算法得到使交叉驗證正分率最高（或錯分率最低）的決策變量，即徑向基核函數(shù)參數(shù)γ1，γ2、雙核權(quán)參數(shù)α以及各數(shù)據(jù)類別的懲罰參數(shù)Ck。

為驗證上述方法性能，取臺灣大學(xué)林智仁所列的UCI數(shù)據(jù)庫中的Iris，Wine和Glass 3個標(biāo)準(zhǔn)數(shù)據(jù)集進行測試。上述標(biāo)準(zhǔn)數(shù)據(jù)集的屬性見表1，每個數(shù)據(jù)集均隨機地劃分成訓(xùn)練集和測試集，并且按類近似平均分配。

表1 數(shù)據(jù)集屬性及劃分Tab.1 Properties and partition of data sets

訓(xùn)練集數(shù)據(jù)用于訓(xùn)練支持向量機，以便計算10－折交叉驗證正分率，測試集用于驗證訓(xùn)練得到的SVM的性能。粒子群優(yōu)化算法的慣性權(quán)重ω、加速系數(shù)c1，c2以及粒子群規(guī)模ps、最大迭代次數(shù)tmax見表2。

為比較標(biāo)準(zhǔn)PSO和HPSO－PDT兩種優(yōu)化算法的優(yōu)劣，以及評價徑向基核SVM、雙尺度徑向基核SVM以及雙尺度徑向基核加多類懲罰參數(shù)SVM 3種支持向量機模型的分類效果，現(xiàn)采用表3列出的6種方法進行比較。支持向量機平均正分率的每個數(shù)據(jù)是按同一方法進行10次獨立重復(fù)試驗所得的數(shù)據(jù)的均值和標(biāo)準(zhǔn)差。

表2 粒子群優(yōu)化算法的控制參數(shù)Tab.2 Controlling parameters of PSO algorithm

從表3的數(shù)據(jù)可以看出：

1）HPSO－PDT算法在多數(shù)情況下，能夠比標(biāo)準(zhǔn)PSO算法得到更高的交叉驗證正分率，HPSOPDT算法優(yōu)于標(biāo)準(zhǔn)PSO算法；

2）與徑向基核支持向量機相比，雙尺度核支持向量機能夠取得更高的交叉驗證正分率，且測試集的正分率也有明顯提高；

3）按類懲罰的不平衡數(shù)據(jù)支持向量機模型由于其控制參數(shù)數(shù)量的增加，標(biāo)準(zhǔn)PSO算法的優(yōu)化效果欠穩(wěn)定，Iris和Wine數(shù)據(jù)集的交叉驗證正分率低于單懲罰參數(shù)的標(biāo)準(zhǔn)支持向量機，但采用HPSOPDT算法后效果有較大提高。

總之，從試驗數(shù)據(jù)的比對可以看出：HPSOPDT算法能夠取得比標(biāo)準(zhǔn)PSO算法更好的優(yōu)化效果；雙尺度徑向基核支持向量機比單徑向基核支持向量機有更高的適應(yīng)性和魯棒性；按類懲罰不平衡數(shù)據(jù)支持向量機在某些特定場合能夠獲得更好的評價性能。

表3 粒子群優(yōu)化算法優(yōu)化支持向量機的平均正分率Tab.3 Average correct classification rates of SVMs optimized by PSO algorithms %

4 基于HPSO－PDT算法優(yōu)化雙核SVM的發(fā)動機故障診斷

為辨別發(fā)動機正常工作狀態(tài)S1以及排氣門開裂S2、活塞環(huán)斷裂S3、失火故障S4和水泵穴蝕S5等4種故障狀態(tài)，分別測量了上述各狀態(tài)的發(fā)動機機油溫度Toil、催化器溫度Tc、輸出軸扭矩Ts、曲柄軸箱壓力P和主軸轉(zhuǎn)速Ns等5種信號共300組數(shù)據(jù)。根據(jù)文中所述方法，將采集到的數(shù)據(jù)隨機均勻分割成訓(xùn)練集和測試集兩部分（各150組），訓(xùn)練集數(shù)據(jù)歸一化后用于粒子群優(yōu)化支持向量機的訓(xùn)練，測試集數(shù)據(jù)用于驗證粒子群優(yōu)化支持向量機模型的效果。故障診斷的流程如圖2所示。

圖2 發(fā)動機故障診斷流程Fig.2 Flow chart of engine fault diagnosis

表4列出了訓(xùn)練集歸一化后的部分數(shù)據(jù)。為保證試驗的可靠性，發(fā)動機故障診斷中，每種方案均進行10次獨立重復(fù)試驗，并根據(jù)試驗值計算測試結(jié)果（測試集正分率）的均值、標(biāo)準(zhǔn)差、最大值和最小值等4個統(tǒng)計量，具體數(shù)據(jù)見表5。

表4 發(fā)動機狀態(tài)歸一化數(shù)據(jù)Tab.4 Normalization data of engine status

從表5中的測試結(jié)果可看出，雙尺度徑向基核支持向量機的測試結(jié)果與單徑向基核支持向量機相比有明顯提高，同時，其標(biāo)準(zhǔn)差有較大減小，說明雙尺度徑向基核SVM具有更高的穩(wěn)定性。按類懲罰的不平衡SVM方法與單懲罰參數(shù)SVM相比，分類效果略有提高，但差別不大。HPSO－PDT算法優(yōu)化SVM比標(biāo)準(zhǔn)PSO算法優(yōu)化SVM的效果有較大提高，能夠更加逼近全局最優(yōu)解。通過核函數(shù)構(gòu)造以及優(yōu)化算法的改進，故障診斷的正確率提高了6.49%。最終，可以選取HPSO－PDT算法優(yōu)化雙尺度徑向基核支持向量機模型用于故障診斷，支持向量機單懲罰參數(shù)或按類懲罰均可，但按類懲罰會有更好的性能。

表5 發(fā)動機故障診斷正分率Tab.5 Correct classification rates of engine fault diagnosis%

5 結(jié)束語

筆者建立了主動劃分核參數(shù)區(qū)間的雙尺度徑向基核支持向量機，考慮了類間數(shù)據(jù)不平衡對支持向量機的影響，用并行定向變異的混合粒子群優(yōu)化算法優(yōu)選支持向量機的控制參數(shù)，用標(biāo)準(zhǔn)數(shù)據(jù)集驗證了其性能，在發(fā)動機故障診斷中取得了良好的應(yīng)用。

［1］ Vapnik V N.The nature of statistical learning theory［M］.2nd.Berlin：Springer－Verlag，1999：138－170.

［2］ 申秀敏，左曙光，韓樂，等.基于支持向量機的車內(nèi)噪聲聲品質(zhì)預(yù)測［J］.振動、測試與診斷，2011，31（1）：55－58.

Shen Xiumin，Zuo Shuguang，Han Le，et al.Interior vehicle noise quality prediction using support vector machines［J］.Journal of Vibration，Measurement ＆Diagnosis，2011，31（1）：55－58.（in Chinese）

［3］ 汪洪橋，孫富春，蔡艷寧，等.多核學(xué)習(xí)方法［J］.自動化學(xué)報，2010，36（8）：1037－1050.

Wang Hongqiao，Sun Fuchun，Cai Yanning，et al.On multiple kernel learning methods［J］.Acta Automatica Sinica，2010，36（8）：1037－1050.（in Chinese）

［4］ 董紹江，湯寶平，宋濤.改進投票策略的Morlet小波核支持向量機及應(yīng)用［J］.振動、測試與診斷，2011，31（3）：314－317.

Dong Shaojiang，Tang Baoping，Song Tao.Morlet wavelet kernel SVM improved by voting strategy and its application［J］.Journal of Vibration，Measurement＆ Diagnosis，2011，31（3）：314－317.（in Chinese）

［5］ Smits G F，Jordaan E M.Improved SVM regression using mixtures of kernels［C］∥ Proceedings of the 2002International Joint Conference on Neural Networks.Honolulu：IEEE，2002：2785－2790.

［6］ 鄧乃揚，田英杰.支持向量機－理論、算法與拓展［M］.北京：科學(xué)出版社，2009：134－155.

［7］ Kennedy J，Eberhart R C.Particle swarm optimization［C］∥IEEE International Conference on Neural Networks.Piscataway：IEEE，1995：1942－1948.

［8］ Van Den B.An analysis of particle swarm optimizers［D］.South Africa：University of Pretoria，2002.

［9］ Nie Ru，Yue Jianhua.A GA and particle swarm optimization based hybrid algorithm ［C］∥ Proceeding of IEEE Congress on Evolutionary Computation 2008.Hongkong：IEEE，2008：1047－1050.

［10］劉玲，鐘偉民，錢鋒.改進的混沌粒子群優(yōu)化算法［J］.華東理工大學(xué)學(xué)報：自然科學(xué)版，2010，36（2）：267－272.

Liu Ling，Zhong Weimin，Qian Feng.An improved chaos－particle swarm optimization algorithm［J］.Journal of East China University of Science and Technology：Natural Science Edition，2010，36（2）：267－272.（in Chinese）

［11］Chang C C，Lin C J.LIBSVM ：a library for support vector machines［EB／OL］.［2014－01－10］.http：∥www.csie.ntu.edu.tw／～cjlin／libsvm .

［12］聶立新，張?zhí)靷b，郭立新.并行定向擾動的混合粒子群優(yōu)化算法［J］.計算機應(yīng)用研究，2013，30（6）：1633－1635.

Nie Lixin，Zhang Tianxia，Guo Lixin.Hybrid particle swarm optimization algorithm based on parallel directional turbulence［J］.Application Research of Computers，2013，30（6）：1633－1635.（in Chinese）