淺談RVM核函數(shù)優(yōu)化算法比較

張丹丹

（中國民航大學(xué)電子信息與自動化學(xué)院 天津 300300）

淺談RVM核函數(shù)優(yōu)化算法比較

張丹丹

（中國民航大學(xué)電子信息與自動化學(xué)院 天津 300300）

相關(guān)向量機（RVM）預(yù)測模型是在2000年Tipped博士首次提出的基于貝葉斯框架構(gòu)建學(xué)習(xí)機的一種概率稀疏模型，而且RVM還能處理回歸以及分類問題。本文總結(jié)了相關(guān)向量機的基本原理及主要應(yīng)用領(lǐng)域，并詳細(xì)闡述了三種相關(guān)向量機核函數(shù)的優(yōu)化模型，而且說明了每一種RVM核函數(shù)優(yōu)化算法的優(yōu)點以及缺點，并作出比較。希望對研究者今后的研究有所啟發(fā)，以促進(jìn)該領(lǐng)域的發(fā)展。

相關(guān)向量機；核函數(shù)；優(yōu)化算法

1 前言

RVM的訓(xùn)練是在貝葉斯框架下進(jìn)行的，可以用它進(jìn)行回歸及分類模式分析。RVM克服SVM缺點：RVM的關(guān)聯(lián)向量數(shù)要低于SVM，擁有更優(yōu)的泛化性能；能夠獲取點估計以及區(qū)間估計；不需要經(jīng)過多次的驗算獲得最優(yōu)的和C或ε類似的主觀設(shè)置值。與SVM類似的是RVM也利用核方法，把自變量映射到一個高維空間里面，獲得因變量和自變量線性回歸的稀疏解，然而核函數(shù)參數(shù)對RVM的性能會有很大的影響，怎樣方便快速地找到綜合性能最優(yōu)的核函數(shù)參數(shù)到現(xiàn)在依舊沒有解析解理論指導(dǎo)，因為RVM的分類功能建立在回歸的基礎(chǔ)之上，本文嘗試使用了幾種算法獲取回歸綜合性能比較好的核參數(shù)數(shù)值解。

2 三種RVM核函數(shù)優(yōu)化算法

2.1 RVM核參數(shù)優(yōu)化的遺傳算法

遺傳算法是一類隨機優(yōu)化算法，模擬了自然選擇和遺傳中發(fā)生的復(fù)制、交叉和變異等現(xiàn)象，從任一初始種群出發(fā)，通過隨機選擇、交叉和變異操作，得到一群更適應(yīng)環(huán)境的個體，使群體進(jìn)化到搜索空間中越來越好的區(qū)域，這樣不斷繁衍進(jìn)化，最后收斂到一群最適應(yīng)環(huán)境的個體，求得問題的最優(yōu)解。

以實驗Sinc的訓(xùn)練及測試數(shù)據(jù)為基礎(chǔ)，使用Gauss核函數(shù)，改進(jìn)Tipping的RVM實驗程序，以σ為自變量，test RMS作為因變量構(gòu)造適應(yīng)度函數(shù)，利用Matlab7遺傳算法工具箱，通過實驗可以得到σ以較高的概率收斂在最優(yōu)值附近，采用多次計算或依據(jù)較優(yōu)解確定初始范圍的辦法，可以更準(zhǔn)確地獲取最優(yōu)解。

2.2 QPSO核函數(shù)優(yōu)化算法

受粒子群算法和量子力學(xué)的啟發(fā)，Sun博士等人在2004年提出基于量子δ勢阱的粒子群模型的QPSO算法，該算法把量子行為引入到PSO算法里面，擁有全局收斂性，控制參數(shù)少，收斂速度快和尋優(yōu)能力強這些優(yōu)點。

采用高斯徑向基函數(shù)核函數(shù)作為RVM預(yù)測模型的核函數(shù)，該核函數(shù)具有較強的非線性處理能力，定義為K（x，y）=exp（-（x-y）2/2γ2），γ為核寬度，其對預(yù)測模型具有很大的影響，QPSO優(yōu)化RVM預(yù)測模型核函數(shù)的大致步驟為：第一步初始化粒子初始位置、速度、粒子數(shù)量、尋優(yōu)范圍、迭代次數(shù)、學(xué)習(xí)因子；接下來根據(jù)公式計算每個粒子的fitness，得出每個粒子的最優(yōu)位置以及全局最優(yōu)位置；在得出mbest；對粒子位置進(jìn)行更新；然后判斷終止條件是否滿足條件，若不滿足，則繼續(xù)計算粒子的最優(yōu)位置以及全局最優(yōu)位置；若滿足條件則輸出尋優(yōu)得到的RVM核函數(shù)最佳核寬度因子γ。

通過實驗可以得出不同的核寬度因子對組合模型的預(yù)測影響。通過與真實值的比較可以發(fā)現(xiàn)，不同的γ對數(shù)據(jù)預(yù)測的準(zhǔn)確性有很大的差異，當(dāng)是最佳值時，預(yù)測值非常逼近真實值，而隨著γ增大，預(yù)測曲線與真實曲線產(chǎn)生了更大的偏差，從而說明核參數(shù)優(yōu)化的重要性。

2.3 基于QGA優(yōu)化RVM核函數(shù)

選用高斯徑向基核函數(shù)作為RVM的基函數(shù)。QGA是在傳統(tǒng)GA中引入量子計算的概率以及機制形成的新型算法，充分使用量子計算具有天然的并行性，極大地加快了處理信息的速度。與傳統(tǒng)GA不同的是，QGA中的染色體用量子比特取代GA中的二進(jìn)制串，采用量子比特編碼，使得一個染色體可以同時表達(dá)多個量子態(tài)的疊加，即僅通過一個小數(shù)量種群的量子個體來代替?zhèn)鹘y(tǒng)數(shù)量較大的個體。此外，量子門操作這一獨特的處理步驟，使得QGA擁有良好的全局尋優(yōu)能力。QGA擁有更好的多樣性特征以及更佳的收斂性。因此，采用GA的改進(jìn)算法QGA自適應(yīng)地選取最優(yōu)核參數(shù)。

基于QGA優(yōu)化RVM核函數(shù)的步驟為：第一步初始化參數(shù)（種群數(shù)量、代數(shù)等）；第二步核函數(shù)參數(shù)的量子比特編碼形成初始種群P（t）；第三步：測量種群P（t）的各個個體形成二進(jìn)制種群Q（t）；第四步：交叉驗證訓(xùn)練RVM；第五步：計算各個個體（待選參數(shù)值）的適應(yīng)度；第六步：保留最優(yōu)個體及對應(yīng)的適應(yīng)度為進(jìn)化目標(biāo)；接下來判斷是否滿足終止條件，若不滿足則返回到第四步，若滿足則輸出RVM最優(yōu)核參數(shù)。

利用QGA優(yōu)化RVM的好處是為了能夠得到最好的分類準(zhǔn)確率。通過實驗可以表明QGA算法在測試過程中每次都能自動的選取到最好的核函數(shù)參數(shù)，說明了QGA算法在優(yōu)化RVM過程中并行計算的優(yōu)勢。

3 結(jié)束語

RVM是貝葉斯框架下的新興統(tǒng)計學(xué)習(xí)方法，擁有一部分SVM所沒有的優(yōu)點。RVM使用核函數(shù)將回歸線性化，求得稀疏解，在現(xiàn)有核函數(shù)下避免過擬合，實驗表明核函數(shù)的參數(shù)對RVM回歸的綜合性能造成很大影響。介紹的三種優(yōu)化核函數(shù)的算法中，遺傳算法是一類隨機優(yōu)化算法，模擬了自然選擇和遺傳中發(fā)生的復(fù)制、交叉和變異等現(xiàn)象，經(jīng)過迭代進(jìn)化，最后收斂到一群最適應(yīng)環(huán)境的個體，自動但不茫然，高效率地求得問題的最優(yōu)解；QPSO算法將量子行為引入到PSO算法中，具有全局收斂性，控制參數(shù)少，收斂速度快以及尋優(yōu)能力強這些特點；QGA具有很好的全局尋優(yōu)能力、多樣性特征以及更好的收斂性。

[1]范庚，馬登武，張繼軍，等.基于自適應(yīng)RVM的電子系統(tǒng)緩變故障預(yù)測方法[J].北京航空航天大學(xué)學(xué)報，2013，39（10）：1319～1324.

[2]Michael E.Tipping.The Relevance Vector Machine[J].Advances in Neural Information Processing Systems 12，652～658.Cambridge，Mass:MIT Press.

[3]白霜.基于PSO優(yōu)化混合RVM模型的進(jìn)出口貿(mào)易預(yù)測算法[J].計算機與自動化，2014，24（8）：1006～2475.

[4]王波，劉樹林，蔣超，張宏利.基于量子遺傳算法優(yōu)化RVM的滾動軸承智能故障診斷振動與沖擊學(xué)報，2015，34（17）：923～928.

[5]Wu Z，Guang N E.Ensemble empirical mode decomposition:A noise-assisted data analysis method[J].Advances inAdaptive Data Analysis，20091(1): 1～41．

P332.8

A

1004-7344（2016）20-0306-01

2016-7-1

張丹丹（1991－），女，河南人，碩士研究生，研究方向為故障檢測與診斷。