基于 Fisher判別準則和改進遺傳算法的核函數(shù)參數(shù)優(yōu)化研究

摘 要核函數(shù)選擇及其參數(shù)優(yōu)化對提高支持向量機分類性能是極其重要的。本文針對支持向量機的故障分類器的核函數(shù)優(yōu)化問題，提出了基于 Fisher判別準則和改進遺傳算法相結(jié)合的核函數(shù)參數(shù)優(yōu)化算法來求解核函數(shù)參數(shù)最優(yōu)值的全局解。實驗結(jié)果表明，該算法能提高分類器的分類性能，具有算法簡單、優(yōu)化效率高等優(yōu)點。

關(guān)鍵詞支持向量機;核函數(shù);故障分類器;遺傳算法

中圖分類號TP18文獻標識碼A文章編號1673-9671-(2009)111-0030-02

0前言

支持向量機能夠較好地解決小樣本的學(xué)習(xí)問題，可使在小樣本情況下建立的分類器具有較好的推廣能力。但故障分類器的性能與支持向量機核函數(shù)的類型、核函數(shù)的參數(shù)以及約束常數(shù) 有很大關(guān)系。在建立故障分類器時，這些參數(shù)常需要大量的試驗確定，不但費時、費力、效率低，且這樣確定的參數(shù)不一定是最優(yōu)的。支持向量機的核函數(shù) 直接影響故障分類器的分類結(jié)果，求取核參數(shù)最優(yōu)值的優(yōu)化算法，主要考慮優(yōu)化精度、優(yōu)化效率和容易實現(xiàn)等問題。

遺傳算法(Genetic Algorithm，簡稱GA)起源于對生物系統(tǒng)所進行的計算機模擬研究。美國Michigan大學(xué)的Holland教授及其學(xué)生受生物模擬技術(shù)的啟發(fā)，創(chuàng)造出了一種基于生物遺傳和進化機制的適合于復(fù)雜系統(tǒng)優(yōu)化的自適應(yīng)概率優(yōu)化技術(shù)。該算法很適合用于參數(shù)的選擇和優(yōu)化，發(fā)展極為迅速，已成為求解全局優(yōu)化問題的有力工具之一。故障分類器的核函數(shù)優(yōu)化問題，采用較多的是多項式核函數(shù)和徑向基核函數(shù)，這兩種核函數(shù)只涉及一個參數(shù)的優(yōu)化，因此本文采用基于Fisher判別準則和改進遺傳算法來求解核函數(shù)參數(shù)最優(yōu)值的全局解。

1基于FISHER判別準則的核函數(shù)參數(shù)優(yōu)化模型建立

支持向量機的主要思想是把訓(xùn)練樣本數(shù)據(jù)映射到高維特征空間，然后在特征空間中建立最優(yōu)分類超平面，使兩類數(shù)據(jù)點到超平面的距離最大。而Fisher判別準則的基本思想是要找到一條最優(yōu)的投影方向，把原始數(shù)據(jù)沿該方向進行投影得到一條直線，使投影后的數(shù)據(jù)能較好地區(qū)分開，即不同模式之間數(shù)據(jù)的距離盡可能大，而同一模式之間數(shù)據(jù)的離散度要盡可能小。因此，可借鑒Fisher判別準則來尋求優(yōu)化核參數(shù)的方法:首先建立基于Fisher判別準則的核參數(shù)優(yōu)化模型，然后對核參數(shù)采用改進遺傳算法進行優(yōu)化。

以兩類分類器為例，設(shè)訓(xùn)練樣本集中有n個d維樣本， ， ，其中，個屬于“+1”類的樣本記為 ，個屬于“-1 ”類的樣本記為 ，即

則這兩類樣本數(shù)據(jù)在特征空間的均值向量分別為

兩類投影均值間距離的平方為

兩類樣本投影的類內(nèi)離散度的平方為

同理，可求得

定義Fisher判別準則(8)

如使式(8)最小，則可使投影后類內(nèi)的距離盡可能小，而兩類間的距離盡可能大?，F(xiàn)常用多值分類算法的基礎(chǔ)是二分類算法，因此可以推廣到多值分類器的參數(shù)優(yōu)化中。

將需要優(yōu)化的核參數(shù)用表示，則核函數(shù)是的函數(shù)，于是核函數(shù)可表示為 。優(yōu)化目標是求一個值*使式(8)的J() 最小，則* 就是核函數(shù)的最優(yōu)參數(shù)。

2改進遺傳算法對核函數(shù)模型的優(yōu)化

建立好核參數(shù)優(yōu)化模型后，采用改進遺傳算法求取核函數(shù)參數(shù)最優(yōu)值*。在優(yōu)化過程中，對遺傳算法的選擇算子進行改進，改進的目的是可以確保適應(yīng)度比平均適應(yīng)度大的一些個體能被遺傳到下一代群體中。改進后選擇算子的操作過程是:

(1)計算群體中各個個體在下一代群體中的期望生存數(shù)目 :( =1，2，…，M) (9)

(2)取的整數(shù)部分為，以確定各個對應(yīng)個體在下一代群體中的生存數(shù)目。其中表示取不大于的最大的整數(shù)。由該步可確定出下一代群體中的個個體。

(3)按照的小數(shù)部分對個體進行降序排序，順序取前個個體加入到下一代群體中。至此可完全確定出下一代群體中的個個體。

3 優(yōu)化算法的實現(xiàn)

根據(jù)以上優(yōu)化原理和方法，實現(xiàn)流程如下:

Step1:通過式(5)算出兩類投影均值間的距離的平方 ，由式(6)、(7)分別算出兩類樣本投影的類內(nèi)離散度的平方和。

Step2:通過式(8)構(gòu)造 Fisher判別準則，并把作為遺傳算法優(yōu)化的目標函數(shù)。

Step3:給定參數(shù)的優(yōu)化取值范圍以及遺傳算法的染色體長度L、種群規(guī)模M、交叉概率、變異概率、迭代次數(shù)T 。

Step4:隨機產(chǎn)生初始群體，計算個體的適應(yīng)度值和種群的整體適應(yīng)度值

Step5:判斷迭代次數(shù)t是否達到終止條件。如果滿足t

Step6:產(chǎn)生新個體。按交叉概率采用多點交叉產(chǎn)生新的個體，并將交叉后所產(chǎn)生的新個體及父代中的個體按變異概率進行某基因位的突變，又得到一些新個體。

Step7:評價新個體。計算個體適應(yīng)度和新種群的整體適應(yīng)度F1，進的選擇算子選擇新的種群P1。

Step8:令，，，直到獲得一個足夠好的適應(yīng)值或達到預(yù)先設(shè)定的最大迭代次數(shù)，則迭代終止。

則循環(huán)終止后，保留的J值就是最小值J*，其對應(yīng)的即是最優(yōu)的* 。

4仿真實驗與結(jié)果分析

本實驗以模式識別中典型的測試數(shù)據(jù)--雙螺旋數(shù)據(jù)Bently轉(zhuǎn)子試驗臺測得的樣本數(shù)據(jù)對新算法進行實驗。優(yōu)化過程中，錯分懲罰因子C的值的允許取值范圍較寬，取C=100.實驗硬件環(huán)境為Genuine Intel(R) CPU T1600 1.66GHz、內(nèi)存為1GB的計算機，軟件環(huán)境為Matlab7.1。雙螺旋數(shù)據(jù)是完全非線性的，是由極坐標系下方程和兩條曲線相互纏繞而成，模式識別中常作為測試數(shù)據(jù)集。在每條曲線上隨機取288個樣本點(共576點)，其中各取96個點(共192點)構(gòu)成訓(xùn)練樣本，剩余作為測試樣本，每個樣本點的數(shù)據(jù)包括其在笛卡爾坐標系中的x，y坐標和它屬于的曲線(用±表示)，如圖1所示。

遺傳算法優(yōu)化時下列參數(shù)的初始值為:交叉概率 =0.85、變異概率 =0.001、種群規(guī)模 =80、迭代次數(shù) =500、染色體長度 =10，對徑向基RBF核函數(shù)的參數(shù) 的優(yōu)化范圍選為 。由圖2看出，優(yōu)化參數(shù) 的取值達到一定的迭代步數(shù)后，趨于平穩(wěn)，從而最終搜索到優(yōu)化參數(shù) 的最優(yōu)解。迭代結(jié)果為:最優(yōu)解 ，即對徑向基RBF核函數(shù)的參數(shù) 可取 。

為驗證參數(shù)優(yōu)化結(jié)果，取測試數(shù)據(jù)集對不同參數(shù)下分類器的性能進行測試，測試結(jié)果顯示，對徑向基RBF核函數(shù)的參數(shù)在=0.3時具有最高的分類精度，其分類性能最好，這與前面優(yōu)化的結(jié)果相吻合，從而證明了該方法是有效的。

5結(jié)論

考慮到故障分類器核參數(shù)的特點，針對常規(guī)優(yōu)化方法效率低，且梯度下降算法存在計算復(fù)雜、梯度無法求出時不能實現(xiàn)優(yōu)化、不能保證選定的核參數(shù)是全局最優(yōu)等不足，提出本文的核參數(shù)優(yōu)化全局方法。仿真結(jié)果表明，運用基于Fisher判別準則和改進遺傳算法相結(jié)合的方法優(yōu)化分類器的核參數(shù)能提高分類器的分類精度，且具有算法簡單、優(yōu)化效率高等優(yōu)點。

參考文獻

[1] Chapelle O，Vapnik V，Bousquet O，et al. Choosing multiple parameters for support vector machines. Machine Learning，2002，46:131～159

[2] 趙玲玲，楊奎河，任曉鵬等.支持向量機在機械故障診斷中的應(yīng)用.河北工業(yè)科技，2007，24(1):37～42

[3] Keerthi S S. Efficient tuning of SVM hyper parameters using radius/margin bound and iterative algorithms. IEEE Trans on Neural Networks，2002，13(5):1225～1229

[4] 董國君，哈力木拉提●買買提，余輝.基于RBF核的SVM核參數(shù)優(yōu)化算法.新疆大學(xué)學(xué)報(自然科學(xué)版)，2009，26(3):355～363

[5] 劉勇，康立山，陳毓屏.非數(shù)值并行算法—遺傳算法[M].北京:科學(xué)出版社，2000:5～8.

[6] 陳世杰，連可，王厚軍.遺傳算法優(yōu)化的SVM模擬電路故障診斷方法.電子科技大學(xué)學(xué)報，2009.38(4):553～558.

[7] Zhang L，Jack L B，Nandi A K.Fault detection using genetic program-ming[J].Mechanical System and signal Processing，2005，19:271～289.

[8] 楊光正，吳岷，張曉莉.模式識別.合肥:中國科學(xué)技術(shù)大學(xué)出版社，2001.