改進(jìn)粒子群算法優(yōu)化的支持向量機(jī)及其應(yīng)用

王振武，孫佳駿，尹成峰

（中國(guó)礦業(yè)大學(xué)機(jī)電與信息工程學(xué)院，北京100083）

改進(jìn)粒子群算法優(yōu)化的支持向量機(jī)及其應(yīng)用

王振武，孫佳駿，尹成峰

（中國(guó)礦業(yè)大學(xué)機(jī)電與信息工程學(xué)院，北京100083）

傳統(tǒng)粒子群優(yōu)化（particle swarm optimization，PSO）算法主要包含兩方面問題，即易陷入局部極小和后期震蕩嚴(yán)重，為此引入混沌序列來(lái)初始化粒子群的位置，并在簡(jiǎn)化的粒子群數(shù)學(xué)模型上從兩個(gè)方面對(duì)其進(jìn)行了改進(jìn)。本文利用改進(jìn)的PSO算法對(duì)支持向量機(jī)（support vector machine，SVM）的參數(shù)進(jìn)行優(yōu)化，仿真實(shí)驗(yàn)結(jié)果表明：與SVM、PSO-SVM以及遺傳算法（genetic algorithm，GA）優(yōu)化的SVM（GA-SVM）相比，改進(jìn)PSO優(yōu)化的SVM（IPSOSVM）算法具有較高的分類準(zhǔn)確率，并且與PSO-SVM算法相比，準(zhǔn)確率提高了3％～5％，與PSO-SVM算法以及GASVM算法相比，IPSO-SVM的訓(xùn)練和泛化速度都明顯提高。本文將IPSO-SVM算法應(yīng)用到遙感影像的分類中，分類結(jié)果表明，與PSO-SVM算法相比，IPSO-SVM算法具有更好的分類結(jié)果。

粒子群優(yōu)化算法；混沌序列；支持向量機(jī)；遙感影像

支持向量機(jī)（support vector machine，SVM）是應(yīng)用最廣泛的分類算法之一，該方法的核心思想是在特征空間尋找最優(yōu)超平面將兩類樣本無(wú)誤地分開，且分類間隔最大。該方法能夠平衡模型的復(fù)雜性和學(xué)習(xí)能力，較好地避免了“過學(xué)習(xí)”和“維數(shù)災(zāi)難”等問題，保證得到的極值解是全局最優(yōu)解，這也決定了該算法具有較好的泛化能力，近年來(lái)被廣泛應(yīng)用于遙感圖像的分類中并取得了良好的效果。在SVM的應(yīng)用中，模型參數(shù)選擇的恰當(dāng)與否會(huì)對(duì)遙感圖像的分類效果帶來(lái)較大影響。傳統(tǒng)的SVM采用網(wǎng)格搜索交叉驗(yàn)證方法優(yōu)化其參數(shù)，但此方法主觀因素影響較大，同時(shí)搜索和驗(yàn)證過程耗時(shí)較長(zhǎng)，且浪費(fèi)相當(dāng)數(shù)量的訓(xùn)練樣本用于驗(yàn)證，在訓(xùn)練樣本有限的情況下，其缺陷體現(xiàn)得更加明顯?；诖?，國(guó)內(nèi)外學(xué)者開始將智能優(yōu)化算法引入到SVM的參數(shù)優(yōu)化中，其中最為廣泛的是遺傳算法（genetic algorithm，GA）和粒子群優(yōu)化（particle swarm optimization，PSO）算法。遺傳算法雖然具有較強(qiáng)的魯棒性，但對(duì)所求問題的目標(biāo)函數(shù)敏感性不高，且收斂速度慢，算法實(shí)時(shí)性差，而PSO算法具有導(dǎo)向性強(qiáng)、收斂速度快以及求解精度高［1］的特點(diǎn)，本文采用PSO算法優(yōu)化SVM。

1 PSO算法和SVM原理簡(jiǎn)介

1．1 PSO算法原理及研究現(xiàn)狀

PSO算法將優(yōu)化問題的候選解抽象為一群無(wú)質(zhì)量、零體積的粒子，這些粒子在d維空間中依靠自身的經(jīng)驗(yàn)和群體中適應(yīng)度最高的粒子的經(jīng)驗(yàn)來(lái)不斷的優(yōu)化自身的位置。設(shè)一個(gè)由n個(gè)粒子構(gòu)成的粒子群，其中第i個(gè)粒子在d維空間中的速度記為把位置記作可以將xi代入相應(yīng)公式計(jì)算其適應(yīng)度值并據(jù)此評(píng)價(jià)粒子i位置的優(yōu)劣。粒子i的當(dāng)前個(gè)體最優(yōu)位置記為pbestid，整個(gè)粒子群的當(dāng)前最優(yōu)位置記為gbestd，粒子i通過式（1）來(lái)迭代更新自身的速度與位置。

國(guó)內(nèi)外眾多學(xué)者都對(duì)PSO算法的改進(jìn)展開了研究。有些學(xué)者對(duì)式（1）中的慣性權(quán)重w進(jìn)行了研究。文獻(xiàn)［2］在迭代過程中線性遞減w的值，因?yàn)檫m當(dāng)增大w的值可以使算法在迭代初期具有較強(qiáng)的全局搜索能力，盡可能保證搜索到整個(gè)解空間，而適當(dāng)縮小w的值能夠保證群體后期趨向于進(jìn)行局部搜索，即在有可能產(chǎn)生最優(yōu)解的區(qū)域進(jìn)行精細(xì)尋優(yōu)，最終收斂到最優(yōu)位置。但是由于PSO算法的尋優(yōu)過程本身是非線性的，所以如果想要真實(shí)的反映算法的搜索過程，采取w線性遞減的方案顯然是不合理的，因此文獻(xiàn)［3］采用模糊規(guī)則來(lái)動(dòng)態(tài)調(diào)整w。文獻(xiàn)［4］對(duì)w應(yīng)該取某一固定常數(shù)還是隨時(shí)間線性減小的問題進(jìn)行了分析研究，討論了兩種方案對(duì)算法性能的影響并提出w的設(shè)置原則。有些學(xué)者改進(jìn)了式（1）中的學(xué)習(xí)因子c1和c2，它們分別代表每個(gè)粒子趨向pbestid和gbestd的加速系數(shù)，反映了粒子的“個(gè)體認(rèn)知”能力和群體的“社會(huì)引導(dǎo)”能力。文獻(xiàn)［5］使c1和c2以時(shí)間為自變量線性遞減，得出了為得到更好的效果需要根據(jù)特定的問題選取特定加速系數(shù)的結(jié)論，但很遺憾的是沒有總結(jié)出普遍適用的規(guī)律，文獻(xiàn)［6］提出了異步時(shí)變的加速系數(shù)，即在粒子尋優(yōu)過程中以時(shí)間為變量，c1和c2分別進(jìn)行相應(yīng)的不同改變，但取得的優(yōu)化效果并不理想，文獻(xiàn)［7］在改進(jìn)PSO算法的時(shí)變加速度系數(shù)的同時(shí)，也將其應(yīng)用到綜合減搖控制系統(tǒng)解耦控制器的設(shè)計(jì)中。有些文獻(xiàn)對(duì)粒子群的拓?fù)浣Y(jié)構(gòu)進(jìn)行改進(jìn)，如文獻(xiàn)［8］指出粒子群的拓?fù)浣Y(jié)構(gòu)會(huì)影響其搜索性能，對(duì)于簡(jiǎn)單問題應(yīng)采用大規(guī)模的拓?fù)浣Y(jié)構(gòu)進(jìn)行解決，而小規(guī)模的拓?fù)浣Y(jié)構(gòu)適用于求解復(fù)雜問題。文獻(xiàn)［9］采用了多種連接方式不同的拓?fù)浣Y(jié)構(gòu)對(duì)PSO算法進(jìn)行實(shí)驗(yàn)，得出了一般性結(jié)論，即任何一種PSO拓?fù)浣Y(jié)構(gòu)都不能適用于所有的基準(zhǔn)函數(shù)，具體問題要具體分析。這是因?yàn)殡m然連接方式不同，但這些拓?fù)浣Y(jié)構(gòu)都是固定不變的，因此文獻(xiàn)［10］提出了一種動(dòng)態(tài)的拓?fù)浣Y(jié)構(gòu)解決方案。另一些學(xué)者將PSO算法與其他算法結(jié)合使用。文獻(xiàn)［11］提出了一種協(xié)同粒子群算法，它根據(jù)粒子的維數(shù)將粒子分為d個(gè)部分，然后對(duì)每一部分（d維中的其中一維）分別進(jìn)行優(yōu)化，通過計(jì)算適應(yīng)度來(lái)評(píng)價(jià)每一部分的每一步搜索到的位置優(yōu)劣，最后選取每一部分中歷史的最優(yōu)位置組成一個(gè)完整的粒子。文獻(xiàn)［12］將PSO與GA的自然選擇機(jī)制相結(jié)合，當(dāng)算法更新完所有的粒子后，計(jì)算種群中所有粒子的適應(yīng)度并進(jìn)行優(yōu)劣排序，然后根據(jù)結(jié)果，將適應(yīng)度最差的一半粒子用適應(yīng)度最好的一半粒子替換，但保留原粒子的個(gè)體歷史最優(yōu)位置信息。而文獻(xiàn)［13］則將GA的其他兩種機(jī)制借鑒到PSO中，即交叉機(jī)制和高斯變異機(jī)制，并在此基礎(chǔ)上引入了模擬退火算法，以便更好的優(yōu)化粒子群體。

在上述對(duì)PSO算法的改進(jìn)中，大多數(shù)文獻(xiàn)只針對(duì)PSO易陷入局部極小的問題提出了改進(jìn)方案，并沒有考慮PSO后期震蕩嚴(yán)重的缺陷；在改進(jìn)易陷入局部極小的缺點(diǎn)時(shí)，有的文獻(xiàn)只是單純的進(jìn)行參數(shù)的修改，并不是從PSO算法收斂于局部極小的根本原因上采取改進(jìn)策略；有的文獻(xiàn)引入了一些新的參數(shù)或者將一些新的算法與傳統(tǒng)的PSO相結(jié)合，雖在一定程度上得到了較好的尋優(yōu)效果，但增加了復(fù)雜度，對(duì)收斂速度產(chǎn)生了較大影響。本文提出的對(duì)PSO算法進(jìn)行改進(jìn)的方案，不但提高了算法收斂速度，又同時(shí)解決了算法易陷入局部極小和后期震蕩嚴(yán)重的缺陷，并將其用于優(yōu)化支持向量機(jī)的模型參數(shù)以便更好的對(duì)遙感圖像進(jìn)行分類。

1．2 SVM算法原理

SVM的基本原理是建立一個(gè)最優(yōu)超平面使得正負(fù)兩類被正確地分開，并且保證分類間隔的最大化。1）線性可分情況:在原空間中求得能準(zhǔn)確將正負(fù)樣本完全分離的最優(yōu)分類超平面；2）線性不可分情況:引入松弛變量ξi和懲罰參數(shù)C，容許錯(cuò)分樣本的存在，并在最大分類間隔與最小分類誤差之間尋求平衡。超平面的約束調(diào)節(jié)變?yōu)?/p>

廣義的最優(yōu)分類面變?yōu)?/p>

相應(yīng)的分類決策函數(shù)表示為

式中:ai為支持向量，b是分類的閾值。研究表明，C調(diào)節(jié)經(jīng)驗(yàn)風(fēng)險(xiǎn)和VC維的平衡，可通過減少誤差以實(shí)現(xiàn)對(duì)樣本的較好分類，σ的大小決定著SVM是否對(duì)輸入量的變化敏感，σ值過大會(huì)使SVM對(duì)輸入反應(yīng)遲鈍，過小則會(huì)使SVM對(duì)輸入過于敏感，所以要想對(duì)樣本進(jìn)行準(zhǔn)確的分類就必須對(duì)參數(shù)進(jìn)行優(yōu)化，本文采用改進(jìn)的PSO算法對(duì)SVM的上述參數(shù)進(jìn)行優(yōu)化。

2 IPSO算法原理

傳統(tǒng)的粒子群優(yōu)化算法其粒子群的初始位置是隨機(jī)分布的。但是粒子群的初始位置會(huì)在一定程度上影響后續(xù)的尋優(yōu)效果。因此本文利用混沌搜索的隨機(jī)性和遍歷性初始化粒子群使其能夠均勻的分布于整個(gè)解空間，從而加快粒子群算法的收斂速度，有利于更快的得到全局最優(yōu)解。

設(shè)問題解的維數(shù)為d維，利用混沌序列初始化粒子群初始位置的具體操作是:先產(chǎn)生一個(gè)d維、每個(gè)分量數(shù)值在（0，1）的隨機(jī)向量然后根據(jù)Logistic方程對(duì)z1進(jìn)行迭代，代到N個(gè)隨機(jī)向量z1，z2，…，zN，將z1的各個(gè)分量按照式（7）映射到問題解的取值范圍:

文獻(xiàn)［15］中的定理1證明PSO算法可以不考慮粒子的速度，因?yàn)榱Ｗ拥乃俣炔⒉荒芊从吵鲆粋€(gè)粒子趨近于最優(yōu)位置的能力，反而可能會(huì)引導(dǎo)粒子向錯(cuò)誤的方向進(jìn)行搜索，影響了粒子的收斂速度與精度，據(jù)此本文對(duì)式（1）進(jìn)行簡(jiǎn)化，簡(jiǎn)化后的粒子群優(yōu)化公式為

本文采用式（8）作為PSO算法的基礎(chǔ)數(shù)學(xué)模型，剔除速度項(xiàng)簡(jiǎn)化了公式，從而減少了計(jì)算量，提高了搜索效率。傳統(tǒng)PSO算法主要存在兩點(diǎn)不足: 1）由于算法收斂速度快，粒子尋優(yōu)存在趨同性，導(dǎo)致算法極易陷入局部極??；2）算法在尋優(yōu)后期出現(xiàn)嚴(yán)重的震蕩現(xiàn)象，從而對(duì)算法后期的收斂速度產(chǎn)生較大影響。

式（9）中引入新的學(xué)習(xí)因子c3和隨機(jī)數(shù)是從所有個(gè)體粒子中選出的適應(yīng)度優(yōu)于且劣于所有其余粒子個(gè)體位置的平均值。在粒子的尋優(yōu)過程中和三者共同向種群中的每個(gè)粒子傳遞信息，使每個(gè)粒子能獲得更多的信息。由于的權(quán)值c3r3很小，相當(dāng)于在式（8）的基礎(chǔ)上增加一個(gè)小的擾動(dòng)項(xiàng)以提高粒子的多樣性，從而避免PSO的“過早熟”現(xiàn)象。對(duì)于問題（2），本文引入動(dòng)量項(xiàng)來(lái)解決。令:

3 IPSO-SVM原理及實(shí)驗(yàn)結(jié)果分析

本文采用IPSO算法優(yōu)化SVM分類模型中的兩個(gè)參數(shù)，即式（3）中的參數(shù)C和式（5）中的參數(shù)σ，此SVM方法簡(jiǎn)記為IPSO-SVM，分類實(shí)驗(yàn)的算法步驟如下。

Input:已標(biāo)記樣本、測(cè)試樣本。

Output:C和σ2、分類結(jié)果。

1）為PSO各個(gè)參數(shù)c1、c2、c3、w和β分別賦一個(gè)實(shí)數(shù)值，設(shè)置誤差閾值和最大迭代次數(shù)itermax；

5）根據(jù)式（11）更新粒子的位置信息，利用適應(yīng)度函數(shù)計(jì)算其適應(yīng)度，更新個(gè)體的最優(yōu)和全局最優(yōu)gbestt；

6）檢查結(jié)束條件，若滿足則結(jié)束尋優(yōu)，返回最優(yōu)的參數(shù)組合(C，σ2)；否則轉(zhuǎn)至4）。結(jié)束條件為尋優(yōu)次數(shù)達(dá)到itermax或適應(yīng)度值大于給定閾值；

7）利用最優(yōu)的參數(shù)組合(C，σ2)建立的SVM分類模型進(jìn)行分類。

為了驗(yàn)證IPSO-SVM算法的分類效果，選擇流行的UCI（University of California Irvine）數(shù)據(jù)庫(kù)中的4種數(shù)據(jù)集Wine、Iris、Ionosphere、Yeast進(jìn)行算法驗(yàn)證，其中Yeast數(shù)據(jù)集選用MIT、NUC、CYT三類數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。對(duì)應(yīng)的詳細(xì)數(shù)據(jù)信息表格如表1所示。實(shí)驗(yàn)硬件和軟件環(huán)境信息如下:CPU為Intel（R）Xeon（R）E3-1226 v3 3．30 GHz，內(nèi)存為RAM 4．00GB，操作系統(tǒng)為Windows 7 64位，實(shí)驗(yàn)平臺(tái)為VS．NET 2012，開發(fā)語(yǔ)言為C#。

表1 實(shí)驗(yàn)數(shù)據(jù)信息Table 1 Experiment data information

用表1所示訓(xùn)練樣本和測(cè)試樣本驗(yàn)證SVM、GA-SVM、PSO-SVM和IPSO-SVM 4種算法，得到相應(yīng)的訓(xùn)練時(shí)間和泛化時(shí)間如圖1和圖2所示。GA-SVM、PSO-SVM和IPSO-SVM算法的最大迭代次數(shù)均為50次，粒子群或種群的數(shù)量均為40，遺傳算法的交叉率0．8，變異率0．2，SVM算法采用徑向基核函數(shù)，誤差閾值10-3。如圖所示，GA和PSO對(duì)支持向量機(jī)的優(yōu)化（GA-SVM和PSOSVM算法）會(huì)減慢其訓(xùn)練速度，而IPSO-SVM則有效地加快了訓(xùn)練速度，同時(shí)，也一定程度上加快了泛化速度。理論上的原因在于，相比于傳統(tǒng)的PSO優(yōu)化算法，IPSO算法去除了粒子速度的概念，避免了人為確定參數(shù)對(duì)粒子訓(xùn)練的收斂速度的影響。同時(shí)，通過引入動(dòng)量項(xiàng)的方法，明顯減緩了粒子后期進(jìn)化過程中產(chǎn)生的震蕩，同時(shí)加快了粒子進(jìn)化的速度，最終使得IPSO算法訓(xùn)練速度較傳統(tǒng)的PSO算法，能更加快速地完成收斂，減少訓(xùn)練時(shí)間。

圖1 4種算法的訓(xùn)練時(shí)間Fig．1 Training time of four algorithms

圖2 4種算法的泛化時(shí)間Fig．2 Testing time of four algorithms

如圖3所示，本文利用表1所示訓(xùn)練樣本和測(cè)試樣本，對(duì)比驗(yàn)證4種算法的分類準(zhǔn)確率。誤差率計(jì)算公式為

如圖所示，IPSO-SVM的準(zhǔn)確率都比另外3種算法高，而且與PSO-SVM相比，IPSO-SVM準(zhǔn)確率提高了3％～5％。因此，從模型的訓(xùn)練時(shí)間和分類的準(zhǔn)確率來(lái)看，IPSO-SVM都有一定的優(yōu)勢(shì)。

圖3 4種算法的準(zhǔn)確率對(duì)比圖Fig．3 The precisions of four algorithms

4 IPSO-SVM在礦產(chǎn)資源預(yù)測(cè)中的應(yīng)用

遙感圖像分類是實(shí)現(xiàn)礦產(chǎn)資源預(yù)測(cè)的關(guān)鍵技術(shù)，本文以秘魯南部的實(shí)驗(yàn)區(qū)為例進(jìn)行礦產(chǎn)資源評(píng)價(jià)預(yù)測(cè)的研究。選擇遙感圖像的大小為8 832× 6 988像素，圖像中有部分已知的大型銅礦和小型銅礦區(qū)。通過對(duì)遙感圖像多波段影像的分析，以及地質(zhì)專家對(duì)此處成礦因素的地質(zhì)解譯，選擇6組成礦要素（鐵染蝕變、羥基蝕變、主線性構(gòu)造、次線性構(gòu)造、環(huán)形構(gòu)造和地層信息）作為分類的特征變量，如圖4中所示，部分示礦信息已在圖中標(biāo)出。采用C#語(yǔ)言開發(fā)了礦產(chǎn)資源評(píng)價(jià)預(yù)測(cè)系統(tǒng)，并將IPSOSVM算法應(yīng)用到該系統(tǒng)中。

圖4 地質(zhì)解譯圖Fig．4 Geological interpretation graph

如圖5～7所示，分別應(yīng)用PSO-SVM和IPSOSVM算法對(duì)實(shí)驗(yàn)靶區(qū)進(jìn)行了礦產(chǎn)資源的預(yù)測(cè)與評(píng)價(jià)，實(shí)驗(yàn)靶區(qū)的已知礦點(diǎn)都顯示準(zhǔn)確，而且通過對(duì)兩種礦產(chǎn)資源預(yù)測(cè)圖進(jìn)行對(duì)比，基于IPSOSVM算法的礦產(chǎn)評(píng)價(jià)圖所顯示的信息量更少，表示其預(yù)測(cè)出礦產(chǎn)資源的可能分部區(qū)域更少，結(jié)果更加精確，因此與PSO-SVM算法相比，IPSO-SVM算法提高了資源預(yù)測(cè)的準(zhǔn)確度，從實(shí)踐中驗(yàn)證了該算法的有效性。

圖5 已知礦點(diǎn)分布圖Fig．5 Distribution of known mineralization points

圖6 基于PSO-SVM算法的礦產(chǎn)資源預(yù)測(cè)圖Fig．6 Distribution of mineral resources based on PSO-SVM

圖7 基于IPSO-SVM算法的礦產(chǎn)資源預(yù)測(cè)圖Fig．7 Distribution of mineral resources based on IPSO-SVM

5 結(jié)論

SVM模型參數(shù)的選擇是影響其分類效果的重要因素，采用PSO算法優(yōu)化SVM模型參數(shù)是常用的方法之一。但PSO算法存在容易陷入局部極小值、后期震蕩嚴(yán)重的問題。

1）首先利用混沌序列初始化例子初始位置，然后在簡(jiǎn)化的PSO公式的基礎(chǔ)上，通過借鑒多個(gè)粒子的經(jīng)驗(yàn)使得每個(gè)粒子獲得更多的信息，通過增加擾動(dòng)項(xiàng)來(lái)提高粒子的多樣性以避免“過早熟”現(xiàn)象；同時(shí)也通過引入動(dòng)量項(xiàng)來(lái)緩解尋優(yōu)過程中的震蕩問題。

2）采用改進(jìn)的PSO算法（IPSO算法）來(lái)改進(jìn)SVM模型的參數(shù)，與SVM、PSO-SVM和GA-SVM相比，本文所提出的IPSO-SVM在分類時(shí)間和分類準(zhǔn)確率上均有一定優(yōu)勢(shì)。

3）將IPSO-SVM算法應(yīng)用到基于遙感影像的礦產(chǎn)資源預(yù)測(cè)中，與PSO-SVM相比，IPSO-SVM算法提高了資源預(yù)測(cè)的準(zhǔn)確度，在實(shí)踐中驗(yàn)證了算法的有效性。

在具體的應(yīng)用中，IPSO算法參數(shù)（如c1、c2和c3等）往往需要依靠經(jīng)驗(yàn)來(lái)設(shè)置，針對(duì)具體應(yīng)用問題，如何自適應(yīng)地調(diào)整參數(shù)值是需要繼續(xù)研究的另一個(gè)問題。

［1］張?chǎng)卧?，胡曉敏，林盈．遺傳算法和粒子群優(yōu)化算法的性能對(duì)比分析［J］．計(jì)算機(jī)科學(xué)與探索，2014，8（1）:91-102．ZHANG Xinyuan，HU Xiaomin，LIN Ying．Comparisons of genetic algorithm and particle swarm optimization［J］．Journal of frontiers of computer science and technology，2014，8（1）:91-102．

［2］SHI Yuhui，EBERHART R C．A modified particle swarm optimizer［C］／／Proceedings of The 1998 IEEE International Conference on Evolutionary Computation．Anchorage，AK，USA:IEEE，1998:69-73．

［3］SHI Yuhui，EBERHART R C．Fuzzy adaptive particle swarm optimization［C］／／Proceedings of the 2001 Congress on Evolutionary Computation．Seoul，South Korea:IEEE，2001: 101-106．

［4］王俊偉，汪定偉．粒子群算法中慣性權(quán)重的實(shí)驗(yàn)與分析［J］．系統(tǒng)工程學(xué)報(bào)，2005，20（2）:194-198．WANG Junwei，WANG Dingwei．Experiments and analysis on inertia weight in particle swarm optimization［J］．Journal of systems engineering，2005，20（2）:194-198．

［5］SUGANTHAN P N．Particle swarm optimizer with neighborhood operator［C］／／Proceedings of the Congress on Evolutionary Computation．Washington，DC，USA，1999:1958-1962．

［6］RATNAWEERA A，HALGAMUGE S K，WATSON H C．Self-organizing hierarchical particle swarm optimizer with time-varying acceleration coefficients［J］．IEEE transactions on evolutionary computation，2004，8（3）:240-255．

［7］于立君，陳佳，劉繁明，等．改進(jìn)粒子群算法的PID神經(jīng)網(wǎng)絡(luò)解耦控制［J］．智能系統(tǒng)學(xué)報(bào)，2015，10（5）:699-704．YU Lijun，CHEN Jia，LIU Fanming，et al．An improved particle swarm optimization for PID neural network decoupling control［J］．CAAI transactions on intelligent systems，2015，10（5）:699-704．

［8］KENNEDY J，MENDES R．Population structure and particle swarm performance［C］／／Proceedings of Congress on Evolutionary Computation．Honolulu，HI，USA:IEEE，2002: 1671-1676．

［9］潘峰，陳杰，甘明剛，等．粒子群優(yōu)化算法模型分析［J］．自動(dòng)化學(xué)報(bào)，2006，32（3）:368-377．PAN Feng，CHEN Jie，GAN Minggang，et al．Model analysis of particle swarm optimizer［J］．Acta automatica sinica，2006，32（3）:368-377．

［10］HU Xiaohui，EBERHART R C．Multiobjective optimization using dynamic neighborhood particle swarm optimization［C］／／Proceedings of the 2002 IEEE International Congress on Evolutionary Computation．Honolulu，HI，USA: IEEE，2002:1677-1681．

［11］VAN DEN BERGH F，ENGELBRECHT A P．Training product unit networks using cooperative particle swarm optimisers［C］／／Proceedings of IEEE International Joint Conference on Neural Networks．USA:IEEE，2001:1-9．

［12］ANGELINE P J．Evolutionary optimization versus particle swarm optimization:philosophy and performance differences［M］／／PORTO V W，SARAVANAN N，WAAGEN D，et al．Evolutionary Programming VII．Berlin Heidelberg:Springer，1998:601-610．

［13］高鷹，謝勝利．基于模擬退火的粒子群優(yōu)化算法［J］．計(jì)算機(jī)工程與應(yīng)用，2004（1）:47-50．GAO Ying，XIE Shengli．Particle swarm optimization algorithms based on simulated annealing［J］．Computer engineering and applications，2004（1）:47-50．

［14］肖燕彩，陳秀海，朱衡君．遺傳支持向量機(jī)在電力變壓器故障診斷中的應(yīng)用［J］．上海交通大學(xué)學(xué)報(bào)，2007，41（11）:1878-1881，1886．XIAO Yancai，CHEN Xiuhai，ZHU Hengjun．The application of genetic support vector machine in power transformer fault diagnosis［J］．Journal of Shanghai Jiaotong University，2007，41（11）:1878-1881，1886．

［15］胡旺，李志蜀．一種更簡(jiǎn)化而高效的粒子群優(yōu)化算法［J］．軟件學(xué)報(bào)，2007，18（4）:861-868．HU Wang，LI Zhishu．A simpler and more effective particle swarm optimization algorithm［J］．Journal of software，2007，18（4）:861-868．

［16］郭廣寒，王志剛．一種改進(jìn)的粒子群算法［J］．哈爾濱理工大學(xué)學(xué)報(bào)，2010，15（2）:31-34．GUO Guanghan，WANG Zhigang．A modified particle swarm optimization［J］．Journal of Harbin university of science and technology，2010，15（2）:31-34．

A support vector machine based on an improved particle swarm optimization algorithm and its application

WANG Zhenwu，SUN Jiajun，YIN Chengfeng
（School of Mechanical Electronic＆Information Engineering，China University of Mining and Technology，Beijing 100083，China）

The traditional particle swarm optimization（PSO）algorithm has two types of defects，i．e．，easily falling into the local minima and severe shock in the later stages．To address these problems，this paper proposes an improved PSO（IPSO）algorithm，which introduces a chaotic sequence to initialize the positions of the particle swarm，and optimizes it from two aspects based on a simplified PSO mathematical model．This paper used IPSO to optimize the model parameters of a support vector machine（SVM）．The simulation experiment results proved that compared with SVM，PSO-SVM，and genetic algorithm optimized SVM（GA-SVM），the improved PSO optimized SVM（IPSO-SVM）has higher classification accuracy．Compared with PSO-SVM，IPSO-SVM increased the accuracy by 3％～5％，and compared with PSO-SVM and GA-SVM，the training and testing time was obviously reduced．Finally，the IPSO-SVM algorithm was applied to the classification of remote sensing images；the results proved that IPSO-SVM offers better classification solutions than PSO-SVM．

particle swarm optimization algorithm；chaotic sequence；support vector machine；remote sensing images

10．11990／jheu．201601005

http：／／www．cnki．net／kcms／detail／23．1390．u．20160928．0936．036．html

TP301．6

A

1006-7043（2016）12-1728-06

王振武，孫佳駿，尹成峰．改進(jìn)粒子群算法優(yōu)化的支持向量機(jī)及其應(yīng)用［J］．哈爾濱工程大學(xué)學(xué)報(bào)，2016，37（12）:1728-1733．

2016-01-05．

2016-09-28．

國(guó)家自然科學(xué)基金項(xiàng)目（61302157）；國(guó)家高技術(shù)研究發(fā)展計(jì)劃重大專項(xiàng)（2012AA12A308）；核設(shè)施退役及放射性廢物治理科研項(xiàng)目（FZ1402-08）；北京市高等學(xué)校青年英才計(jì)劃（YETP0939）；中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目（2009QJ-11）．

王振武（1978-），男，副教授．

王振武，E-mail:wangzhenwu＠126．com．

WANG Zhenwu，SUN Jiajun，YIN Chengfeng．A support vector machine based on an improved particle swarm optimization algorithm and its application［J］．Journal of Harbin Engineering University，2016，37（12）:1728-1733．