利用智能算法優(yōu)化支持向量機(jī)參數(shù)

崔君榮，苑薇薇

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，遼寧 沈陽(yáng)，110168)

利用智能算法優(yōu)化支持向量機(jī)參數(shù)

崔君榮，苑薇薇*

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，遼寧 沈陽(yáng)，110168)

為了提高算法在實(shí)際問(wèn)題中的應(yīng)用能力，基于MATLAB仿真實(shí)驗(yàn)平臺(tái)，研究了網(wǎng)格搜索算法、遺傳算法和粒子群算法的參數(shù)優(yōu)化方法，對(duì)支持向量機(jī)的懲罰因子和核函數(shù)參數(shù)進(jìn)行優(yōu)化處理，并利用標(biāo)準(zhǔn)的乳腺癌診斷數(shù)據(jù)集設(shè)計(jì)仿真實(shí)驗(yàn)。結(jié)果表明，利用智能算法優(yōu)化支持向量機(jī)參數(shù)得到的分類(lèi)精度比傳統(tǒng)的根據(jù)經(jīng)驗(yàn)選擇參數(shù)的分類(lèi)精度有了大幅度提高。

支持向量機(jī)；網(wǎng)格搜索算法；遺傳算法；粒子群算法；參數(shù)優(yōu)化

隨著人工智能的發(fā)展，機(jī)器學(xué)習(xí)得到了越來(lái)越多的應(yīng)用，機(jī)器學(xué)習(xí)主要研究計(jì)算機(jī)如何獲取、發(fā)現(xiàn)所需要的知識(shí)，模擬和學(xué)習(xí)人類(lèi)的行為，校正自我行為并利用已有經(jīng)驗(yàn)優(yōu)化自身性能。支持向量機(jī)(Support Vector Machine，SVM)是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)[1]。支持向量機(jī)可以應(yīng)用于入侵檢測(cè)、故障診斷、模式識(shí)別、圖像處理、數(shù)據(jù)挖掘等領(lǐng)域，因此建立一個(gè)泛化能力強(qiáng)的支持向量機(jī)模型尤為重要。

然而，SVM參數(shù)選取的好壞直接決定著支持向量機(jī)模型的優(yōu)劣，傳統(tǒng)支持向量機(jī)參數(shù)的選取一般是根據(jù)已有經(jīng)驗(yàn)在一個(gè)區(qū)間內(nèi)隨機(jī)選取，容易引起過(guò)學(xué)習(xí)和欠學(xué)習(xí)問(wèn)題，隨機(jī)選取的參數(shù)偶然性比較大，對(duì)測(cè)試集合的準(zhǔn)確率有很大的影響。關(guān)于SVM參數(shù)的選取優(yōu)化，國(guó)際上也沒(méi)有公認(rèn)的最好的方法，因此對(duì)支持向量機(jī)參數(shù)優(yōu)化的研究具有重要意義。

1 支持向量機(jī)參數(shù)的分析

支持向量機(jī)主要包括兩大類(lèi)：一類(lèi)是支持向量分類(lèi)機(jī)，另一類(lèi)是支持向量回歸機(jī)。對(duì)于支持向量機(jī)參數(shù)的選取對(duì)于這兩大類(lèi)具有相似的影響，因此可以平行應(yīng)用[2]。本次主要基于支持向量機(jī)的分類(lèi)機(jī)進(jìn)行參數(shù)研究，支持向量機(jī)能否得到快速的發(fā)展，很大程度上取決于支持向量機(jī)參數(shù)的選取，對(duì)SVM影響比較大的參數(shù)主要是懲罰因子C和核函數(shù)參數(shù)g。

1.1 懲罰因子C

支持向量分類(lèi)機(jī)的思想主要是通過(guò)輸入向量從低維空間映射到高維空間，然后在高維空間構(gòu)造最優(yōu)分類(lèi)面[3,4]。最優(yōu)分類(lèi)面問(wèn)題又可以轉(zhuǎn)化為如下的約束問(wèn)題：

(1)

s.t.yi(wxi+b)-1≥0(i=1,2，…,l)

(2)

當(dāng)訓(xùn)練集的數(shù)據(jù)集為線性不可分時(shí)，即兩類(lèi)數(shù)據(jù)有少量的交叉、融合，引入懲罰因子C和松弛變量ζ，松弛變量ζ表示舍棄距離最優(yōu)分類(lèi)面較近的線性不可分的數(shù)據(jù)所帶來(lái)的損失，懲罰因子C表示對(duì)松弛變量引起的損失的重視程度。引入后最優(yōu)分類(lèi)面問(wèn)題轉(zhuǎn)化為如下約束問(wèn)題[5,6]：

(3)

(4)

懲罰因子C值越大，表示越重視離群點(diǎn)。但是并不是C值越大越好，如果C值無(wú)窮大，需要滿(mǎn)足的約束條件就越多，容易出現(xiàn)過(guò)擬合并且分類(lèi)模型更復(fù)雜。如果C值越小，分類(lèi)模型越簡(jiǎn)單但會(huì)出現(xiàn)欠擬合現(xiàn)象。懲罰因子C值過(guò)大過(guò)小都會(huì)導(dǎo)致模型泛化能力變差。因此，懲罰因子C的選擇需要結(jié)合實(shí)際情況，在保證分類(lèi)準(zhǔn)確性的基礎(chǔ)上盡量選取較小的C值得到簡(jiǎn)單的分類(lèi)模型。

1.2 核函數(shù)參數(shù)g

現(xiàn)實(shí)生活中有大量數(shù)據(jù)之間的關(guān)系為非線性的，從低維空間映射到高維空間時(shí)映射關(guān)系及其復(fù)雜，針對(duì)此問(wèn)題引入核函數(shù)。支持向量機(jī)使用核函數(shù)實(shí)現(xiàn)了在低維空間不可分的數(shù)據(jù)在高維空間線性可分[7]，通過(guò)非線性變換將樣本數(shù)據(jù)x映射到高維空間x‘，在高維空間設(shè)計(jì)線性可分算法，只需要知道樣本數(shù)據(jù)x映射到高維空間后的x‘，將數(shù)據(jù)x和x‘做內(nèi)積運(yùn)算就可以實(shí)現(xiàn)低維空間中的非線性算法，甚至不需要知道映射關(guān)系，大大降低模型的復(fù)雜度。

選擇不同的核函數(shù)就形成了不同的支持向量機(jī)算法[8]，常用的核函數(shù)主要包括下面3類(lèi)：

(1) 多項(xiàng)式核函數(shù)：

'

k(x,xi)=[(x,xi)+1]q

(5)

q為自由度，得到的是q維多項(xiàng)式分類(lèi)器。

(2) 徑向基函數(shù)(又稱(chēng)高斯核函數(shù)，RBF)：

(6)

(3)Sigmoid函數(shù)：

k(x,xi)=tanh(v(x,xu)+c)

(7)

當(dāng)高維空間維數(shù)很高時(shí)，多項(xiàng)式核函數(shù)q值很大，不僅計(jì)算量復(fù)雜而且也會(huì)影響分類(lèi)的準(zhǔn)確率。Sigmoid函數(shù)的應(yīng)用也存在著一定的弊端，Sigmoid函數(shù)的參數(shù)只有部分值滿(mǎn)足Mercer定理。徑向基函數(shù)是應(yīng)用最廣的核函數(shù)，不僅適用于小樣本和大樣本，而且低維和高維也均適用，因此主要研究徑向基函數(shù)的參數(shù)。

訓(xùn)練模型和測(cè)試模型的訓(xùn)練速度直接由支持向量的個(gè)數(shù)影響，核函數(shù)參數(shù)g越大，支持向量就越少，g值越小，支持向量就越多，但并不是g值越小越好，g值越小，測(cè)試模型的速度就會(huì)相對(duì)降低。

2 傳統(tǒng)的參數(shù)選擇方法

支持向量機(jī)的參數(shù)選擇在國(guó)際上一直都沒(méi)有公認(rèn)最好的方法，傳統(tǒng)的參數(shù)一般是根據(jù)經(jīng)驗(yàn)進(jìn)行選擇。在[0,100]范圍內(nèi)進(jìn)行參數(shù)C的選擇，[-100,100]范圍內(nèi)進(jìn)行參數(shù)g的選擇，產(chǎn)生的C和g參數(shù)訓(xùn)練SVM，然后進(jìn)行檢測(cè)。結(jié)果表明，傳統(tǒng)的根據(jù)經(jīng)驗(yàn)隨機(jī)選取參數(shù)的方法很難保證檢測(cè)精度的理想效果(表1)，雖然有時(shí)取到的參數(shù)也能得到較高的檢測(cè)精度，但是隨機(jī)性較大，也不能保證此時(shí)的參數(shù)是最優(yōu)的。

表1 隨機(jī)選取參數(shù)的檢測(cè)結(jié)果

3 參數(shù)的優(yōu)化方法

3.1 網(wǎng)格搜索算法

支持向量機(jī)網(wǎng)格搜索(Grid-Search，GS)的思想主要是針對(duì)懲罰因子C和核函數(shù)參數(shù)g設(shè)置搜索范圍和步長(zhǎng)[9]，搜索范圍確定了一個(gè)二維網(wǎng)格，假設(shè)M代表C的個(gè)數(shù)，N代表g的個(gè)數(shù)，以固定的步長(zhǎng)在二維網(wǎng)格中搜索確定M*N個(gè)參數(shù)，將這些參數(shù)依次構(gòu)建支持向量機(jī)訓(xùn)練模型，根據(jù)訓(xùn)練準(zhǔn)確率確定最優(yōu)參數(shù)C和g。若沒(méi)有滿(mǎn)意的參數(shù)則根據(jù)訓(xùn)練精度重新確定搜索范圍和步長(zhǎng)，直到確定最優(yōu)參數(shù)[10]。

網(wǎng)格搜索算法是評(píng)估支持向量機(jī)分類(lèi)準(zhǔn)確率的方法之一。網(wǎng)格搜索算法可以并行搜索參數(shù)，并且搜索到M*N個(gè)參數(shù)是相互獨(dú)立的，當(dāng)參數(shù)較少時(shí)運(yùn)算時(shí)間相對(duì)較低，但當(dāng)參數(shù)較多時(shí)，例如D，E，F(xiàn)，G等4個(gè)參數(shù)，網(wǎng)格搜索后要處理D*E*F*G個(gè)參數(shù)，計(jì)算及其復(fù)雜。

3.2 基于遺傳算法的參數(shù)優(yōu)化

遺傳算法(GeneticAlgorithm，GA)是模擬生物進(jìn)化發(fā)展而來(lái)的優(yōu)化算法，尋找支持向量機(jī)參數(shù)的最優(yōu)值就是優(yōu)化問(wèn)題，并且遺傳算法具有較強(qiáng)的實(shí)用性、高效性和魯棒性，因此基于遺傳算法對(duì)支持向量機(jī)進(jìn)行參數(shù)優(yōu)化是切實(shí)可行的[11,12]。遺傳算法的基本思想主要如下：

Step1:將參數(shù)進(jìn)行編碼，得到種群染色體。

Step2:選擇能表示個(gè)體優(yōu)劣性的適應(yīng)度。

Step3:對(duì)種群進(jìn)行選擇、交叉、變異，得到新種群。

Step4:對(duì)得到的新種群進(jìn)行適應(yīng)度評(píng)估，適應(yīng)性強(qiáng)的個(gè)體保留，適應(yīng)性差的個(gè)體淘汰。

Step5:重復(fù)進(jìn)行step3和step4，直到滿(mǎn)足預(yù)設(shè)的條件。

3.3 基于粒子群算法的參數(shù)優(yōu)化

粒子群算法(ParticleSwarmOptimization，PSO)最早是從鳥(niǎo)類(lèi)覓食得到啟發(fā)形成的優(yōu)化算法，鳥(niǎo)類(lèi)捕獲食物的最優(yōu)路線就類(lèi)似于粒子群算法所要求得的最優(yōu)解[13,14]。粒子群算法中的每一個(gè)粒子都代表最優(yōu)解集中的一個(gè)，主要由位置、速度和適應(yīng)度來(lái)決定。

Vk+1=ωVK+c1r1(Pk-Xk)+c2r2(GK-XK)

(8)

Xk+1=XK+VK+1

(9)

其中, ω表示慣性權(quán)重；VK表示第k次迭代時(shí)的速度；c1和c2表示非負(fù)的加速度因子；PK是一個(gè)高維的列向量，表示個(gè)體極值；XK表示第K次迭代后的位置; GK表示所有粒子范圍內(nèi)全局極值點(diǎn)的位置。

利用公式(8)更新粒子的速度，利用公式(9)更新粒子的位置，選擇合適的適應(yīng)度公式計(jì)算粒子的適應(yīng)度并提取粒子極值，重復(fù)更新粒子位置和速度，直到得到滿(mǎn)足要求的極值。

3.4 智能算法對(duì)SVM的優(yōu)化

通過(guò)以上3種算法分別對(duì)支持向量機(jī)參數(shù)進(jìn)行優(yōu)化，實(shí)驗(yàn)大體流程如下：

Step1:選取支持向量機(jī)的訓(xùn)練集和測(cè)試集。

Step2:對(duì)選取的數(shù)據(jù)進(jìn)行預(yù)處理，去除噪聲和冗余數(shù)據(jù)。

Step3:利用參數(shù)優(yōu)化方法對(duì)參數(shù)進(jìn)行優(yōu)化，選取最優(yōu)參數(shù)C和g。

Step4:對(duì)支持向量機(jī)進(jìn)行訓(xùn)練，得到訓(xùn)練模型。

Step5:用測(cè)試集對(duì)訓(xùn)練模型進(jìn)行驗(yàn)證，得到測(cè)試模型。

4 參數(shù)的優(yōu)化實(shí)驗(yàn)分析

近年來(lái)，乳腺癌已成為危害女性健康的惡性腫瘤之一，發(fā)病率也呈明顯上升趨勢(shì)。因此，依據(jù)科學(xué)手段，對(duì)乳腺腫瘤良性和惡性的診斷具有重要的意義。本次優(yōu)化實(shí)驗(yàn)分析的數(shù)據(jù)來(lái)源于威斯康辛大學(xué)醫(yī)學(xué)院的乳腺癌數(shù)據(jù)集，共有569個(gè)病例，357個(gè)良性病例，212個(gè)惡性病例，標(biāo)簽“1”代表良性腫瘤，標(biāo)簽“2”代表惡性腫瘤，隨機(jī)從中抽取500個(gè)病例作為訓(xùn)練數(shù)據(jù)，其余69個(gè)病例作為測(cè)試數(shù)據(jù)，選取不同的方法對(duì)支持向量機(jī)分類(lèi)構(gòu)造訓(xùn)練模型和測(cè)試模型，實(shí)驗(yàn)結(jié)果見(jiàn)圖1～圖6。

以上仿真實(shí)驗(yàn)對(duì)比表明，基于網(wǎng)格搜索算法的SVM分類(lèi)得到的最優(yōu)參數(shù)c=0.20，g=1.90，優(yōu)化測(cè)試模型時(shí)間為0.700 607s，訓(xùn)練模型時(shí)間為6.608 805s(表2)。基于GA的SVM分類(lèi)得到的最優(yōu)參數(shù)c=0.81，g=0.86，優(yōu)化測(cè)試模型時(shí)間為0.709 723s，訓(xùn)練模型時(shí)間為3.974 219s?；赑SO的SVM分類(lèi)得到的最優(yōu)參數(shù)c=1.69，g=0.39，優(yōu)化測(cè)試模型時(shí)間為0.135 633s，訓(xùn)練模型時(shí)間為3.352 519s。

對(duì)表2分析，基于網(wǎng)格搜索算法的SVM分類(lèi)對(duì)訓(xùn)練數(shù)據(jù)的檢測(cè)精度較高，對(duì)測(cè)試數(shù)據(jù)分類(lèi)稍差，當(dāng)參數(shù)較多時(shí)利用網(wǎng)格搜索的運(yùn)算量巨大，檢測(cè)時(shí)間較長(zhǎng)?；谶z傳算法的SVM分類(lèi)對(duì)測(cè)試數(shù)據(jù)具有較強(qiáng)的檢測(cè)能力，對(duì)檢測(cè)函數(shù)要求不是很高，但是實(shí)時(shí)操作較復(fù)雜，需要針對(duì)不同問(wèn)題調(diào)整交叉變異等算子?；诹Ｗ尤核惴ǖ腟VM分類(lèi)對(duì)測(cè)試數(shù)據(jù)檢測(cè)精度稍差，粒子群算法主要的缺點(diǎn)是容易陷入局部最優(yōu)，但對(duì)訓(xùn)練數(shù)據(jù)檢測(cè)精度較高，且檢測(cè)時(shí)間大大縮短。

圖1 網(wǎng)格搜索得到的最優(yōu)參數(shù) 圖2 基于網(wǎng)格搜索的SVM分類(lèi)

圖3 GA得到的最優(yōu)參數(shù) 圖4 基于GA的SVM分類(lèi)

圖5 PSO得到的最優(yōu)參數(shù) 圖6 基于PSO的SVM分類(lèi)

表2 智能算法優(yōu)化支持向量機(jī)參數(shù)實(shí)驗(yàn)結(jié)果

5 結(jié) 論

通過(guò)網(wǎng)格搜索算法、遺傳算法、粒子群算法分別對(duì)支持向量機(jī)的參數(shù)進(jìn)行了優(yōu)化，建立了3種訓(xùn)練模型，對(duì)matlab實(shí)驗(yàn)仿真結(jié)果的檢測(cè)精度和訓(xùn)練時(shí)間比較分析，總結(jié)了3種智能算法優(yōu)化支持向量機(jī)參數(shù)的優(yōu)缺點(diǎn)，利用智能算法優(yōu)化支持向量機(jī)參數(shù)的檢測(cè)精度更高，比傳統(tǒng)的根據(jù)經(jīng)驗(yàn)選擇的參數(shù)得到的結(jié)果更穩(wěn)定，智能算法優(yōu)化參數(shù)后的SVM在故障診斷、入侵檢測(cè)等領(lǐng)域具有更好的應(yīng)用效果。

[1] 李嬌.支持向量機(jī)參數(shù)優(yōu)化研究[D].武漢：華中師范大學(xué),2011.

[2] 張楠.關(guān)于支持向量機(jī)中的參數(shù)優(yōu)化的研究[D].西安：西北大學(xué),2008.

[3] 魏峻.一種有效的支持向量機(jī)參數(shù)優(yōu)化算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(12):97-104.

[4] 肖永良,朱韶平,劉文彬,等.基于優(yōu)化支持向量機(jī)的高校教師績(jī)效評(píng)價(jià)研究[J].赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版),2014,24:25-27.

[5] 尚丹.基于參數(shù)優(yōu)化的SVM分類(lèi)器在肺癌早期診斷中的應(yīng)用[D].鄭州：鄭州大學(xué),2014.

[6] 徐曉明.SVM參數(shù)尋優(yōu)及其在分類(lèi)中的應(yīng)用[D].大連：大連海事大學(xué),2014.

[7] 馮新剛.支持向量機(jī)核函數(shù)選擇方法探討[D].贛州：江西理工大學(xué),2012.

[8] 梁禮明,鐘震,陳召陽(yáng).支持向量機(jī)核函數(shù)選擇研究與仿真[J].計(jì)算機(jī)工程與科學(xué),2015,37(6):1 135-1 141.

[9] 亢生彩.網(wǎng)格搜索法SVM參數(shù)優(yōu)化在主扇風(fēng)機(jī)故障診斷中的應(yīng)用[J].煤炭技術(shù),2015,34(1):295-297.

[10] 萬(wàn)飛.基于網(wǎng)格搜索的支持向量機(jī)在入侵檢測(cè)中的應(yīng)用[D].合肥：合肥工業(yè)大學(xué),2015.

[11] Kuang F J,Xu W H,Zhang S Y.A novel hybrid KPCA and SVM with GA model for intrusion detection[J].Applied Soft Computing,2014,18(5):178-184.

[12] 劉東平,單甘霖,張岐龍，等.基于改進(jìn)遺傳算法的支持向量機(jī)參數(shù)優(yōu)化[J].微計(jì)算機(jī)應(yīng)用,2010,31(5):11-15.

[13] Subasi A.Classification of EMG signals using PSO optimized SVM for diagnosis of neuromuscular disorders[J].Computers in Biology and Medicine,2013,43(5):576-586.

[14] 張俊才,張靜.使用粒子群算法進(jìn)行特征選擇及對(duì)支持向量機(jī)參數(shù)的優(yōu)化[J].微電子學(xué)與計(jì)算機(jī),2012,29(7):138-141.

(責(zé)任編輯：朱寶昌)

Optimization of Support Vector Machine Parameters Based on Intelligent Algorithm

CUI Junrong，YUAN Weiwei

(School of Automation and Electrical Engineering, Shenyang Ligong University,Shenyang Liaoning, 110168, China)

Parameter selection plays an important role in the algorithm of support vector machine (SVM) data processing performance. In order to improve the application ability of the algorithm in practical problems, the parameter optimization methods of grid search algorithm, genetic algorithm and particle swarm optimization algorithm were compared based on MATLAB simulation experiment platform. The penalty factor and kernel function parameters of SVM were optimized, and a simulation experiment using the standard breast cancer diagnosis data set was designed. The results showed that the classification accuracy of SVM parameters based on intelligent algorithm was better than that of the traditional method.

support vector machine; grid search algorithm; genetic algorithm; particle swarm optimization; parameter optimization

10.3969/J.ISSN.1672-7983.2017.01.007

2016-12-08; 修改稿收到日期: 2017-01-10

TP301.6

A

1672-7983(2017)01-0034-05

崔君榮(1991-)，女，碩士研究生。主要研究方向：機(jī)器學(xué)習(xí)、工業(yè)控制入侵檢測(cè)。

*通訊作者，女，副教授，碩士研究生導(dǎo)師。主要研究方向：機(jī)器學(xué)習(xí)、復(fù)雜系統(tǒng)故障診斷與監(jiān)控技術(shù)。E-mail:yww131@126.com。