支持向量機(jī)參數(shù)優(yōu)化研究

湖北工業(yè)大學(xué) 楊小欽

支持向量機(jī)參數(shù)優(yōu)化研究

湖北工業(yè)大學(xué) 楊小欽

基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)作為數(shù)據(jù)挖掘中的新技術(shù)，開發(fā)了一個(gè)極好的機(jī)器學(xué)習(xí)方法。它被認(rèn)為是機(jī)器學(xué)習(xí)領(lǐng)域非常受歡迎的和成功的例子。支持向量機(jī)應(yīng)用到實(shí)際問(wèn)題時(shí)，首先面臨的模型參數(shù)，包括支持向量機(jī)和核參數(shù)的選擇。參數(shù)的選擇直接決定了訓(xùn)練支持向量機(jī)的效率和效果，如何選擇參數(shù)是支持向量機(jī)的主要問(wèn)題。本文介紹的支持向量機(jī)參數(shù)優(yōu)化和粒子群優(yōu)化算法的關(guān)鍵知識(shí)，支持向量機(jī)的性能是很大程度上取決于參數(shù)設(shè)置，包括的懲罰參數(shù)和核函數(shù)參數(shù)，如何選擇支持向量機(jī)的關(guān)鍵參數(shù)問(wèn)題。

向量機(jī)參數(shù)；優(yōu)化；研究

21世紀(jì)是一個(gè)“信息爆炸”，大量的信息和數(shù)據(jù)的增長(zhǎng)，機(jī)器學(xué)習(xí)困難急劇增加的時(shí)代。機(jī)器學(xué)習(xí)（學(xué)習(xí)機(jī)，ML）是人工智能（人工智能，AI）最聰明的功能，最尖端的研究領(lǐng)域之一。是機(jī)器學(xué)習(xí)的主要障礙和人工智能研究的發(fā)展方向之一。包括計(jì)算的理論學(xué)習(xí)和學(xué)習(xí)系統(tǒng)的建設(shè)。AI系統(tǒng)有沒(méi)有或只有非常有限的學(xué)習(xí)能力。在進(jìn)入系統(tǒng)手工編程系統(tǒng)的知識(shí)，知識(shí)的錯(cuò)誤不能自動(dòng)得到糾正。換句話說(shuō)，大多數(shù)現(xiàn)有的人工智能，演繹，歸納推理，因此不能自動(dòng)獲取和創(chuàng)造知識(shí)。未來(lái)的計(jì)算機(jī)將自動(dòng)獲得直接從書本學(xué)習(xí)，通過(guò)與人交談，學(xué)習(xí)，通過(guò)觀察學(xué)習(xí)知識(shí)的能力。自我完善，通過(guò)實(shí)踐來(lái)克服人們更少的存儲(chǔ)效率低，注意力分散，這是很難傳輸所獲得的知識(shí)，和其他限制。

支持向量機(jī)，Support Vector Machine[3]，簡(jiǎn)稱為SV機(jī)（本文一般是指SVM）。這是一個(gè)監(jiān)督的學(xué)習(xí)方法，廣泛應(yīng)用于統(tǒng)計(jì)分類和回歸分析。支持向量機(jī)的廣義線性分類。他們也可以認(rèn)為是卡爾納蒂克愛(ài)標(biāo)準(zhǔn)化（吉洪諾夫，正規(guī)化）方法的一個(gè)特例。他們可以最大限度地減少經(jīng)驗(yàn)的錯(cuò)誤，并最大限度地提高該地區(qū)的幾何邊緣。因此，支持向量機(jī)，又稱作為世界上最大的邊緣區(qū)分類。支持向量機(jī)將向量映射到高維空間，以及建立在此空間的最大間隔超平面。有2個(gè)相互平行的超平面分開的超平面兩側(cè)的數(shù)據(jù)。由超平面分開的2個(gè)平行的超平面的距離最大化?？傉`差越小假設(shè)的距離或平行的超平面分類之間的差距更大。范德沃爾特和巴納德，支持向量機(jī)分類器進(jìn)行了比較。我們通常希望分類的過(guò)程是一個(gè)機(jī)器學(xué)習(xí)的過(guò)程。這些數(shù)據(jù)點(diǎn)不需要點(diǎn)是一個(gè)任意點(diǎn)（統(tǒng)計(jì)學(xué)符號(hào)），或在計(jì)算機(jī)科學(xué)（符號(hào)）。

支持向量機(jī)是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上，基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，一個(gè)新的機(jī)器學(xué)習(xí)算法，它將最大限度地提高基于核相結(jié)合的思路和方法的時(shí)間間隔，顯示出良好的反老化性能。SVM在應(yīng)用程序中，仍存在一些問(wèn)題，典型的問(wèn)題是模型參數(shù)的選擇。Vapnik等人的研究，不同的內(nèi)核函數(shù)的SVM性能，但核函數(shù)核參數(shù)和懲罰參數(shù)是影響SVM性能的一個(gè)關(guān)鍵因素。本文認(rèn)為對(duì)SVM分類性能參數(shù)不同性質(zhì)的影響，即建立核參數(shù)和懲罰參數(shù)變量的優(yōu)化問(wèn)題，利用遺傳算法的優(yōu)化問(wèn)題，最后確定SVM參數(shù)的最佳值，數(shù)值實(shí)驗(yàn)驗(yàn)證改進(jìn)方法的有效性。

鳥類捕食過(guò)程中，每只鳥找到食物最簡(jiǎn)單和最有效的方法是搜索周邊地區(qū)的距離食物的鳥。Kennedy和Eberhart通過(guò)對(duì)鳥類捕食過(guò)程中的分析和模擬，在1995年最先提出了原始的PSO算法。與遺傳算法相比，PSO算法概念簡(jiǎn)單，計(jì)算快速，易于實(shí)現(xiàn)，并沒(méi)有太多的參數(shù)需要調(diào)整的優(yōu)勢(shì)。因?yàn)檫@些諸多優(yōu)點(diǎn)的算法之一，已引起了廣大學(xué)者的關(guān)注，不斷涌現(xiàn)出的各種信息的PSO算法的應(yīng)用研究，有力地推動(dòng)了PSO算法的研究成果。許多研究者的參數(shù)集，收斂，拓?fù)浣Y(jié)構(gòu)，傳統(tǒng)的PSO算法和其他算法，集成的角度來(lái)看，各種改善其不足之處，為了提高算法的性能。

本文介紹的支持向量機(jī)參數(shù)優(yōu)化和粒子群優(yōu)化算法的關(guān)鍵知識(shí)，支持向量機(jī)的性能是很大程度上取決于參數(shù)設(shè)置，包括的懲罰參數(shù)和核函數(shù)參數(shù)，如何選擇支持向量機(jī)的關(guān)鍵參數(shù)問(wèn)題。支持向量機(jī)參數(shù)優(yōu)化問(wèn)題，主要是提出了一種基于遺傳算法的參數(shù)優(yōu)化方法，其主要內(nèi)容概括如下：

首先，為支持向量機(jī)模型，用來(lái)形容加上或減去2個(gè)樣品給定的數(shù)據(jù)類型設(shè)置，以便建立一個(gè)變量約束的優(yōu)化問(wèn)題的核參數(shù)之間的分離，分離指標(biāo)定義。

然后將參數(shù)代入到支持向量機(jī)、分揀機(jī)，建立與懲罰參數(shù)變量的約束優(yōu)化問(wèn)題的泛化性能起將被替換成核參數(shù)的最佳值。

最后得到粒子群優(yōu)化算法搜索優(yōu)化問(wèn)題的最佳解決方案。驗(yàn)證的方法和網(wǎng)格方法的比較實(shí)驗(yàn)的有效性。支持向量機(jī)參數(shù)優(yōu)化方法的實(shí)驗(yàn)分析。

[1]Peter J.Angeline.Using selection to improve particle swarm optimization.In Proceedings of the 1998 IEEE Congress on Evolutionary Computation,pages 84–89,Piscataway,NJ,USA,1998.IEEE Press.

[2]Tim M.Blackwell and Peter J.Bentley.Don′t push me collision-avoiding swarms.In Proceedings of the 2002 IEEE Congress on Evolutionary Computation,pages 1691–1696,Piscataway,NJ,USA,2002.IEEEPress.

[3]Maurice Clerc and James Kennedy.The particle swarm–explosion,stability,and convergence in a multidimensional complex space.IEEE Transactions on Evolutionary Computation,6(1):58–73,2002.

[4]HolgerH.Hoos and Thomas Stützle.Stochastic Local Search:Foundations and Applications.Morgan Kaufmann,San Francisco,CA,USA,2004.

2017-09-10）