基于人工蜂群算法的支持向量機優(yōu)化

劉 路，王太勇

(1. 天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072；2. 天津大學(xué)機械工程學(xué)院，天津 300072)

支持向量機(support vector machine，SVM)是一種建立在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上，適用于有限樣本情況的模式分類方法．它在很大程度上解決了模型選擇與過學(xué)習(xí)問題、非線性和維數(shù)災(zāi)難問題、局部極小點問題等傳統(tǒng)分類器難以克服的難題，因而在故障診斷、圖像處理、安全檢測等領(lǐng)域得到了越來越廣泛的應(yīng)用[1-4]．

在利用支持向量機進行分類的過程中，模型參數(shù)(懲罰因子 C、核函數(shù)類型、核函數(shù)參數(shù))的選擇對分類的最終結(jié)果具有至關(guān)重要的影響．如何通過選擇模型參數(shù)以獲取最優(yōu)分類結(jié)果，是目前支持向量機研究領(lǐng)域的熱點問題．目前常用的模型參數(shù)優(yōu)化方法包括梯度下降法[5]、模擬退火算法[6-7]、遺傳算法[8-9]、蟻群優(yōu)化算法[10-11]和粒子群優(yōu)化算法[12-13]等．實踐證明，支持向量機的分類正確率與懲罰因子以及核函數(shù)參數(shù)之間存在多峰值函數(shù)關(guān)系[14]，而上述優(yōu)化算法在尋優(yōu)過程中會不同程度地陷入局部最優(yōu)解，無法達到最優(yōu)分類效果．人工蜂群(artificial bee colony，ABC)算法是 Karaboga[15]于 2005 年提出的一種新的群集智能優(yōu)化算法．該算法模擬蜂群采蜜過程，蜜蜂根據(jù)分工不同完成采蜜過程的各階段任務(wù)，通過食物源信息的收集與共享，尋找問題的最優(yōu)解．Karaboga等[16-17]通過大量 Benchmark函數(shù)測試實驗證明，該算法通過不同工種蜜蜂之間的合作，解決了擴展新解域與在已知解域進行精細搜索之間的矛盾，在很大程度上避免了陷入局部最優(yōu)解問題，具備比傳統(tǒng)優(yōu)化方法更好的優(yōu)化性能．筆者以采用RBF核函數(shù)的支持向量機為對象，利用人工蜂群算法建立支持向量機模型參數(shù)優(yōu)化方法．通過標(biāo)準(zhǔn)數(shù)據(jù)集和實測軸承故障數(shù)據(jù)的實驗證明，與遺傳算法、蟻群優(yōu)化算法和標(biāo)準(zhǔn)粒子群算法優(yōu)化的支持向量機相比，該算法可克服局部最優(yōu)解，獲得更高的分類正確率，并在一定程度上降低搜索時間，從而驗證了該方法的可行性與有效性．

1 支持向量機參數(shù)選擇

在給定訓(xùn)練樣本條件下，支持向量機利用核函數(shù)通過非線性變換將輸入空間變換到一個高維空間，將原始輸入空間的線性不可分的分類問題轉(zhuǎn)化為高維空間中的線性可分的分類問題，通過引入Lagrange乘子求解不等式約束下的二次函數(shù)極值問題，在高維空間中求取最優(yōu)線性分類面．在使用支持向量機進行模式分類之前，需要對核函數(shù)類型、核函數(shù)參數(shù)以及懲罰因子 C進行選擇．Vapnik等[18]的研究表明，不同核函數(shù)對 SVM 性能的影響并不明顯，因此筆者采用RBF徑向基函數(shù)為核函數(shù)，以懲罰因子C和徑向基函數(shù)寬度參數(shù)σ為對象，建立 SVM 模型參數(shù)優(yōu)化方法．對于其他類型的核函數(shù)，本文的參數(shù)優(yōu)化方法同樣適用．

為直觀說明懲罰因子 C和寬度參數(shù)σ對 SVM分類性能的影響，表1和表2給出了不同模型參數(shù)下對正常、內(nèi)圈故障、外圈故障 3種狀態(tài)下的軸承振動信號的分類結(jié)果．其中，懲罰因子C的作用在于對確定的數(shù)據(jù)空間中的模型復(fù)雜度與推廣能力進行折中．當(dāng) C的取值較小時，SVM 對訓(xùn)練誤差的懲罰力度較小，模型擬合精度降低，經(jīng)驗風(fēng)險增加，但是其推廣能力得到增強；當(dāng) C的取值較大時，其模型擬合精度得到提高，但由于模型復(fù)雜性增加，使其推廣能力被降低．前者稱為“欠學(xué)習(xí)”問題，而后者稱為“過學(xué)習(xí)”問題．對懲罰因子 C進行適當(dāng)?shù)膮?shù)選擇，使 SVM 在對已知訓(xùn)練樣本的擬合能力以及對未知測試樣本的推廣能力之間得到最佳權(quán)衡，以獲得性能最優(yōu)的支持向量機．

表1 C＝2時的分類結(jié)果Tab.1 Classification results when C＝2

表2 σ=2時的分類結(jié)果Tab.2 Classification results when σ=2

核函數(shù)與非線性映射函數(shù)以及數(shù)據(jù)樣本被映射后的特征空間存在一一對應(yīng)的映射關(guān)系．徑向基核函數(shù)的寬度參數(shù)σ反映了數(shù)據(jù)樣本在高維特征空間中分布的復(fù)雜程度，即空間維數(shù)．特征空間的維數(shù)決定了能在此空間構(gòu)造的線性分類面的最大 VC維(Vapnik Cherronenkis dimension)，從而決定了線性分類面的復(fù)雜度．維數(shù)越高，則線性分類面越復(fù)雜，經(jīng)驗風(fēng)險小而置信范圍大；反之亦然．因此，為獲得具有良好推廣能力的 SVM，首先要選擇合適的寬度參數(shù)σ，將數(shù)據(jù)樣本映射到合適的高維特征空間，然后在確定的特征空間中尋找合適的懲罰因子 C使得SVM的擬合能力和推廣能力得到最佳平衡．

2 基于人工蜂群算法的支持向量機參數(shù)優(yōu)化模型

2.1 人工蜂群算法優(yōu)化原理

人工蜂群(ABC)算法模擬自然界蜜蜂采蜜的過程，將蜜蜂分為 3種不同的工種：采蜜蜂、觀察蜂和偵查蜂．采蜜蜂和觀察蜂的數(shù)量各占蜜蜂全體數(shù)量的一半．一處食物源對應(yīng)一個采蜜蜂，即食物源的數(shù)量等于采蜜蜂的數(shù)量．如果某個食物源被采蜜蜂和觀察蜂放棄，則該食物源對應(yīng)的采蜜蜂變?yōu)閭刹榉洌斯し淙旱乃阉骰顒涌筛爬ㄈ缦拢翰擅鄯涓鶕?jù)記憶中的食物源位置在其鄰域內(nèi)確定一個新的食物源；采蜜蜂在回到蜂巢后將它們的食物源信息通過舞蹈與觀察蜂共享，觀察蜂根據(jù)采蜜蜂傳回的信息對食物源進行優(yōu)選；觀察蜂根據(jù)選擇的食物源在其鄰域內(nèi)搜索一個新的食物源；放棄食物源的采蜜蜂變?yōu)閭刹榉洳㈤_始搜索一個新的隨機食物源．

在ABC算法中，每個食物源的位置代表優(yōu)化問題的一個可能的解，每個食物源的花蜜量對應(yīng)每個解的適應(yīng)度．首先，ABC算法隨機產(chǎn)生SN個初始解，即SN個采蜜蜂和食物源．每個解 xi(i＝1，2，…，SN)是一個 D維向量，D為優(yōu)化參數(shù)的個數(shù)．完成初始化后，蜜蜂開始對所有初始解進行循環(huán)搜索．采蜜蜂會以一定概率對記憶中的食物源(解)位置產(chǎn)生改變從而找到一個新的食物源(解)，并確認新的食物源的花蜜量，即計算新解的適應(yīng)度．如果新解的適應(yīng)度高于原來解的適應(yīng)度，則采蜜蜂將記憶中的原始食物源位置替換為新的食物源位置，即將原始解替換為新解．所有采蜜蜂完成搜索后回到蜂巢，將食物源信息(解的位置和適應(yīng)度)與觀察蜂共享．觀察蜂根據(jù)搜集到的信息，按照與花蜜量(適應(yīng)度)相關(guān)的概率選擇一個食物源位置，并像采蜜蜂一樣對記憶中的位置進行改變并確認新的候選食物源的花蜜量．如果候選食物源對應(yīng)的解的適應(yīng)度高于記憶中的解，則用新的解替代原來的解．

觀察蜂選擇食物源的概率計算式為

式中Fi為第i個解的適應(yīng)度．

采蜜蜂和觀察蜂對記憶中原始解的鄰域進行搜索，其公式為

式中：k ∈ {1,2,… ,SN}，j∈ { 1,2,… ,D }是隨機選擇的下標(biāo)，并滿足k≠i；φij為[-1，1]之間的隨機數(shù)，它控制了 xij鄰域內(nèi)新解的產(chǎn)生并代表蜜蜂對 2個可視范圍內(nèi)食物源位置的比較．從式(2)中可以看出，隨著參數(shù) xij和 xkj距離的減小，位置 xij受到的擾動也隨之減?。虼耍鄯渌阉鞯牟介L會自適應(yīng)地減小，直至收斂于最優(yōu)解．

如果食物源ix經(jīng)過指定的 N次循環(huán)后，不能被改進，則該位置對應(yīng)的解將被放棄．該位置的采蜜蜂轉(zhuǎn)變?yōu)閭刹榉洌瑢ふ倚碌氖澄镌矗涔綖?/p>

2.2 人工蜂群算法優(yōu)化的支持向量機參數(shù)選擇

利用ABC算法對SVM的懲罰因子C和寬度參數(shù)σ進行優(yōu)化，對相關(guān)參數(shù)和適應(yīng)度函數(shù)進行設(shè)置如下．

(1)初始化 ABC算法中的控制參數(shù)．主要包括：食物源的數(shù)量 SN，即采蜜蜂的數(shù)量；食物源最大循環(huán)次數(shù)N；終止循環(huán)次數(shù)Nmc．

(2)設(shè)置 ABC算法中的適應(yīng)度函數(shù)．由于優(yōu)化支持向量機的主要目的在于獲得更高的分類正確率，因此采用的適應(yīng)度函數(shù)為

式中Vacc為SVM的分類正確率．

(3)初始化模型參數(shù)的搜索范圍．由上述分析可知，懲罰因子C和寬度參數(shù)σ的變化會對SVM的分類性能產(chǎn)生巨大的影響，提前確定搜索范圍，將有助于得到更好的分類結(jié)果．

完成相關(guān)參數(shù)及適應(yīng)度函數(shù)的設(shè)置后，可利用ABC算法對 SVM 的模型參數(shù)進行優(yōu)化．文獻[16-17]已通過大量函數(shù)測試實驗證明，ABC算法具備跳出局部最優(yōu)解的能力，與遺傳算法、粒子群算法等常用優(yōu)化算法相比，具有更好的優(yōu)化性能．為驗證本文算法的有效性，采用 UCI標(biāo)準(zhǔn)數(shù)據(jù)集中的 3個代表性數(shù)據(jù)集進行訓(xùn)練和測試驗證，如表 3所示．將本文算法(ABC-SVM)的測試結(jié)果與遺傳算法優(yōu)化的SVM(GA-SVM)算法，蟻群優(yōu)化算法優(yōu)化的SVM(ACO-SVM)算法，標(biāo)準(zhǔn)粒子群算法優(yōu)化的SVM(PSO-SVM)算法進行比較，如表 4所示．表中給出了不同數(shù)據(jù)集的 4種算法的分類正確率以及本文算法對應(yīng)的懲罰因子C和寬度參數(shù)σ．經(jīng)過多次實驗，ABC算法的食物源數(shù)量SN設(shè)為20，食物源最大循環(huán)次數(shù)設(shè)為50，終止循環(huán)次數(shù)Nmc設(shè)為 1,000．SVM 參數(shù)的搜索范圍[0.1，1 000]．在本文算法的搜索過程中，偵查蜂用于擴展新的解域，而采蜜蜂和觀察蜂用于在已知的解域內(nèi)進行精細搜索，三者在蜂巢共享食物源信息并利用適應(yīng)度函數(shù)對所有可能的解進行優(yōu)選．由表 4的實驗結(jié)果可以看出，利用 ABC算法對 SVM 參數(shù)進行優(yōu)化，兼顧了對局部最優(yōu)解和全局最優(yōu)解的搜索，因而獲得了更高的分類正確率．表 5是對每種算法進行 3次實驗得到的運行時間平均值．從表 4中可以看出，4種算法的運行時間均隨著數(shù)據(jù)集類別數(shù)目和數(shù)據(jù)維數(shù)的增加而增加，在類別數(shù)目較大的分類問題上，ABC-SVM 算法的運行時間多于其他算法，但對于類別數(shù)目較小的分類問題，無論數(shù)據(jù)維數(shù)較多或較少，ABC-SVM 算法均表現(xiàn)出較好的收斂性，有效地降低了搜索運行時間．

表3 UCI測試數(shù)據(jù)集說明Tab.3 Instruction of UCI datasets

表4 ABC-SVM算法測試結(jié)果Tab.4 Test results of ABC-SVM algorithm

3 人工蜂群算法優(yōu)化的支持向量機軸承故障診斷

3.1 實驗方案設(shè)計

利用上述方法對實測的軸承振動信號進行故障診斷，以測試本文算法的有效性．實驗在故障診斷模擬平臺(見圖 1)上進行，該平臺主要由驅(qū)動電機、軸承座、扭矩加載器和采集設(shè)備組成．測試軸承為6205-2RS型深溝球軸承，其內(nèi)圈直徑25,mm，外圈直徑 52,mm，滾子直徑 7.94,mm．軸承故障采用電火花加工而成，模擬軸承的內(nèi)圈故障和外圈故障．故障直徑分別為 0.356,mm 和0.533,mm，深度都為0.28,mm．采用加速度傳感器采集正常、內(nèi)圈故障、外圈故障 3種狀態(tài)下的軸承振動數(shù)據(jù)，采樣頻率12,kHz．提取每種狀態(tài)下原始樣本各 80組，每組樣本采樣點數(shù)為4,096．

3.2 信號分析及特征提取

信號采集后需對各個狀態(tài)下的振動信號進行頻譜分析，選擇能夠準(zhǔn)確反映不同故障的相關(guān)特征構(gòu)造特征向量．圖 2為同一電機轉(zhuǎn)速下 3種狀態(tài)的軸承振動信號頻譜．從頻譜中可以看出，不同狀態(tài)下的振動信號的頻率成分各不相同，其能量集中分布的頻段也各不相同．因此，本文采用各頻段能量值作為故障特征進行提?。紫炔捎?db3小波基對每組原始樣本信號進行8層小波變換，得到1組近似小波系數(shù)和8組細節(jié)小波系數(shù)．計算不同頻段對應(yīng)的小波系數(shù)能量公式為

式中fi(t)為小波變換獲得的第i組N點小波系數(shù)．

為在應(yīng)用上通用化，采用歸一化的相對能量，即將各組系數(shù)能量占信號總能量的百分比作為反映不同狀態(tài)軸承振動信號的特征，并組成特征向量．歸一化計算公式為

表6給出了部分不同狀態(tài)振動信號的特征向量．

圖2 不同狀態(tài)下軸承信號頻譜Fig.2 Spectra of bearing signal in different states

表6 3種狀態(tài)下振動信號特征向量Tab.6 Vibration signal feature vectors in three states%

3.3 軸承故障診斷對比實驗

為測試本文算法的有效性，將每種狀態(tài)下 40組原始樣本作為訓(xùn)練樣本，另外 40組作為測試樣本．按照上述方法對訓(xùn)練樣本進行特征提取并組成特征向量，將歸一化的特征向量輸入支持向量機進行訓(xùn)練．利用ABC算法對懲罰因子C和寬度參數(shù)σ進行優(yōu)化．經(jīng)多次反復(fù)實驗，ABC算法的食物源數(shù)量設(shè)為 20，食物源最大循環(huán)次數(shù) N設(shè)為 50，終止循環(huán)次數(shù) Nmc設(shè)為 50．SVM 參數(shù)的搜索范圍[0.1，1 000].最后，利用訓(xùn)練好的支持向量機對測試樣本進行分類測試．將本文算法的測試結(jié)果與遺傳算法、蟻群優(yōu)化算法和標(biāo)準(zhǔn)粒子群算法優(yōu)化的支持向量機進行比較，分類結(jié)果列于表7～表10．如表7～表10所示，經(jīng)過人工蜂群算法優(yōu)化的支持向量機獲得了很好的分類性能，分類正確率達到了 99.1%，其對應(yīng)的懲罰因子C和寬度參數(shù)σ分別為 18.1和 0.9．而遺傳算法、蟻群優(yōu)化算法和標(biāo)準(zhǔn)粒子群算法的優(yōu)化結(jié)果分別為95.9%、97.5%和97.5%．實驗結(jié)果證明，利用人工蜂群算法優(yōu)化的支持向量機可以成功地診斷旋轉(zhuǎn)機械的軸承故障，識別率高，可靠性好．

表7 GA-SVM算法分類測試結(jié)果Tab.7 Classification test results of GA-SVM algorithm

表8 ACO-SVM算法分類測試結(jié)果Tab.8 Classification test results of ACO-SVM algorithm

表9 PSO-SVM算法分類測試結(jié)果Tab.9 Classification test results of PSO-SVM algorithm

表10 ABC-SVM算法分類測試結(jié)果Tab.10 Classification test results of ABC-SVM algorithm

4 結(jié) 語

支持向量機的模型參數(shù)是影響支持向量機分類正確率的重要因素，為克服模型參數(shù)選擇隨意性對支持向量機性能的不利影響，提出了基于人工蜂群算法的支持向量機參數(shù)優(yōu)化方法．該方法以分類錯誤率的倒數(shù)作為適應(yīng)度函數(shù)，利用人工蜂群算法對 RBF核函數(shù)支持向量機的懲罰因子 C和寬度參數(shù)σ進行優(yōu)化．通過UCI標(biāo)準(zhǔn)數(shù)據(jù)集實驗證明，人工蜂群算法具有強大的全局和局部搜索能力，與遺傳算法、蟻群優(yōu)化算法和標(biāo)準(zhǔn)粒子群算法相比，人工蜂群算法優(yōu)化的支持向量機能夠在很大程度上克服局部極值點，獲得更高的分類正確率．并且對于類別數(shù)目較低的分類問題，該方法能有效地降低搜索時間．將該方法應(yīng)用于實測軸承數(shù)據(jù)的故障診斷，同樣獲得了較高的分類正確率，證明該算法具有重要的工程應(yīng)用價值．在本文的研究過程中發(fā)現(xiàn)，尋找更加有效的方法確定人工蜂群算法中的參數(shù)，將會進一步提高算法效率和實用價值．

［1］ 曲志剛，封 皓，靳世久. 基于支持向量機的油氣管道安全監(jiān)測信號識別方法[J]. 天津大學(xué)學(xué)報，2009，42(5)：465-470.

Qu Zhigang，F(xiàn)eng Hao，Jin Shijiu. An SVM-based recognition method for safety monitoring signal of oil and gas pipeline[J]. Journal of Tianjin University，2009，42(5)：465-470(in Chinese).

［2］ 萬書亭，佟海俠，董炳輝. 基于最小二乘支持向量機的滾動軸承故障診斷[J]. 振動、測試與診斷，2010，30(4)：149-152.

Wan Shuting，Tong Haixia，Dong Binghui. Bearing fault diagnosis using wavelet packet transform and least square support vector machines[J]. Journal of Vibration，Measurement and Diagnosis，2010，30(4)：149-152(in Chinese).

［3］ 陶新民，徐 晶，楊立標(biāo)，等. 基于 GARCH 模型MSVM 的軸承故障診斷方法[J]. 振動與沖擊，2010，29(5)：11-15.

Tao Xinmin，Xu Jing，Yang Libiao，et al. Bearing fault diagnosis with a MSVM based on a GARCH model[J]. Journal of Vibration and Shock，2010，29(5)：11-15(in Chinese).

［4］ 薛召軍，李 佳，明 東. 基于支持向量機的步態(tài)識別新方法[J]. 天津大學(xué)學(xué)報，2007，40(1)：78-82.

Xue Zhaojun，Li Jia，Ming Dong. SVM-based gait recognition[J]. Journal of Tianjin University，2007，40(1)：78-82(in Chinese).

［5］ 張周鎖，李凌均，何正嘉. 基于支持向量機故障分類器的參數(shù)優(yōu)化研究[J]. 西安交通大學(xué)學(xué)報，2003，37(11)：1101-1104.

Zhang Zhousuo，Li Lingjun，He Zhengjia. Research on parameter optimization of fault classifier based on support vector machine[J]. Journal of Xi’an Jiaotong University，2003，37(11)：1101-1104(in Chinese).

［6］ 胡玉霞，張洪濤. 基于模擬退火算法-支持向量機的儲糧害蟲識別分類[J]. 農(nóng)業(yè)機械學(xué)報，2008，39(9)：108-111.

Hu Yuxia，Zhang Hongtao. Recognition of the storedgrain pests based on simulated annealing algorithm and support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery，2008，39(9)：108-111(in Chinese).

［7］ 燕 飛，秦世引. 一種基于模擬退火的支持向量機超參數(shù)優(yōu)化算法[J]. 航天控制，2008，26(5)：7-11.

Yan Fei，Qin Shiyin. An optimizing algorithm of superparameters for SVM based on simulation annealing[J].Aerospace Control，2008，26(5)：7-11(in Chinese).

［8］ 吳景龍，楊淑霞，劉承水. 基于遺傳算法優(yōu)化參數(shù)的支持向量機短期負荷預(yù)測方法[J]. 中南大學(xué)學(xué)報：自然科學(xué)版，2009，40(1)：180-184.

Wu Jinglong，Yang Shuxia，Liu Chengshui. Parameter selection for support vectormachines based on genetic algorithms to short-term power load forecasting[J]. Journal of Central South University：Science and Technology，2009，40(1)：180-184(in Chinese).

［9］ 朱 寧，馮志剛，王 祁. 基于小生境遺傳算法的支持向量機分類器參數(shù)優(yōu)化[J]. 南京理工大學(xué)學(xué)報：自然科學(xué)版，2009，33(1)：16-20.

Zhu Ning，F(xiàn)eng Zhigang，Wang Qi. Parameter optimization of support vector machine for classification using niche genetic algorithm[J]. Journal of Nanjing University of Science and Technology：Natural Science，2009，33(1)：16-20(in Chinese).

［10］ 徐 飛，徐衛(wèi)亞，王 珂. 基于蟻群優(yōu)化最小二乘支持向量機模型的邊坡穩(wěn)定性分析[J]. 工程地質(zhì)學(xué)報，2009，17(2)：253-257.

Xu Fei，Xu Weiya，Wang Ke. Slope stability analysis using least square support vector machine optimized with ant colony algorithm[J]. Journal of Engineering Geology，2009，17(2)：253-257(in Chinese).

［11］ 吳震宇，袁惠群. 蟻群支持向量機在內(nèi)燃機故障診斷中的應(yīng)用研究[J]. 振動與沖擊，2009，28(3)：83-86.

Wu Zhenyu，Yuan Huiqun. Fault diagnosis of an engine with an ant colony support vector machine[J]. Journal of Vibration and Shock，2009，28(3)：83-86(in Chinese).

［12］ 路志英，李艷英，陸 潔，等. 粒子群算法優(yōu)化RBFSVM 沙塵暴預(yù)報模型參數(shù)[J]. 天津大學(xué)學(xué)報，2008，41(4)：413-418.

Lu Zhiying，Li Yanying，Lu Jie，et al. Parameters optimization of RBF-SVM sand-dust storm forecasting model based on PSO[J]. Journal of Tianjin University，2008，41(4)：413-418(in Chinese).

［13］ 李 煒，石連生，梁成龍. 基于粒子群優(yōu)化的 VBLSSVM 算法研究辛烷值預(yù)測建模[J]. 儀器儀表學(xué)報，2009，30(2)：335-339.

Li Wei，Shi Liansheng，Liang Chenglong. Forecasting model of research octane number based on PSO-VBLSSVM[J]. Chinese Journal of Scientific Instrument，2009，30(2)：335-339(in Chinese).

［14］ 劉春波，王鮮芳，潘 豐. 基于蟻群優(yōu)化算法的支持向量機參數(shù)選擇及仿真[J]. 中南大學(xué)學(xué)報：自然科學(xué)版，2008，39(6)：1309-1313.

Liu Chunbo，Wang Xianfang，Pan Feng. Parameters selection and stimulation of support vector machines based on ant colony optimization algorithm[J]. Journal of Central South University：Science and Technology，2008，39(6)：1309-1313(in Chinese).

［15］ Karaboga D. An Idea Based on Honey Bee Swarm for Numerical Optimization[R]. TECHNICAL REPORTTR06，Erciyes University，Engineering Faculty，Computer Engineering Department，2005.

［16］ Karaboga D，Basturk B. A powerful and efficient algorithm for numerical function optimization：Artificial bee colony(ABC)algorithm[J]. Journal of Global Optimization，2007，39(3)：459-471.

［17］ Karaboga D，Basturk B. A comparative study of artificial bee colony algorithm[J]. Applied Mathematics and Computation，2009，214(1)：108-132.

［18］ Chappele O，Vapnik V，Bousquet O，et al. Choosing multiple parameters for support vector machine [J]. Machine Learning，2002，46(1)：131-160.