相關(guān)向量機分類方法的研究進展與分析

趙春暉，張燚

(哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱150001)

機器學習在人工智能的研究中具有十分重要的地位.其應用已遍及人工智能的各個分支，如專家系統(tǒng)、自動推理、自然語言理解、模式識別、計算機視覺、智能機器人等領(lǐng)域.其中尤為典型的是專家系統(tǒng)中的知識獲取瓶頸問題，人們一直試圖采用機器學習的方法加以解決.

支持向量機(support vector machine，SVM)［1］是由Vappnik于1995年提出的，建立在統(tǒng)計學理論和結(jié)構(gòu)風險最小原理的基礎(chǔ)上，在模型復雜性與學習能力之間尋求最佳折衷，是監(jiān)督分類的典型代表，已經(jīng)成為模式識別以及機器學習研究領(lǐng)域比較領(lǐng)先的方法之一.但SVM仍存在著一定的局限性:1)支持向量的數(shù)量會隨著訓練樣本數(shù)量的增加而線性增加，這樣會導致分類效率降低，訓練時間過長;2)預測結(jié)果沒有后驗概率，無法通過結(jié)果觀測到分類的準確度;3)對于給定的誤差參數(shù)，主觀性過強，容易造成主觀誤差;4)核函數(shù)必須滿足Mercer條件［2-3］.

相關(guān)向量機(relevance vectormachine，RVM)［1，4］是 Tipping 于 2001 年提出的一種與 SVM類似的稀疏概率模型.它可以在保證分類精度與SVM相同的情況下，提供一個后驗概率分布.與SVM相比，相關(guān)向量的個數(shù)遠遠小于支持向量的個數(shù)，并且其核函數(shù)也不需要滿足Mercer條件.但是RVM在解決以上SVM問題的同時也引入了新的問題.當RVM應用于高光譜圖像分類時，由于高光譜圖像數(shù)據(jù)樣本大、維數(shù)高［5］，會使分類過程中的訓練時間隨著樣本復雜度的增加而直線上升，嚴重影響了分類的效率.因此Bishop等提出一種改進型相關(guān)向量機方法［6］，該方法主要是通過引入一個新的概率分布，降低訓練過程中的運算復雜度，提高分類效率，在小樣本情況下有較好的分類精度.

1 相關(guān)向量機理論

1.1 相關(guān)向量機模型

如果輸入數(shù)據(jù)組為{xn，tn}Nn=1，并且考慮到目標函數(shù)只是一個標量，根據(jù)標準概率方程式，假設(shè)目標函數(shù)是模型的樣本并且附加著噪聲:

式中:εn是零均值的高斯噪聲，并且相互獨立，其方差為 σ2.因此表達式 p(tn|x)=N(tn|y(xn)，σ2)是服從高斯分布的表達式，其分布由tn和y(xn)的值以及方差σ2決定.而其中y(x)是一個由核函數(shù)決定的值，并且核函數(shù)由訓練樣本φi(x)≡K(x，xi)決定.假設(shè)tn是相互獨立的，則樣本數(shù)據(jù)的完整概率表達式可以寫為

式中:t=［t1t2… tN］T，w=［w0w1… wN］T和 Φ 都是預先設(shè)計好的大小為N×(N+1)的矩陣，并且Φ=［φ(x1)φ(x2)… φ(xN)］T的值為 φ(xn)=［1 K(xn，x1)K(xn，x2)… K(xn，xN)］T.為了使表達式更加簡單化，在式(2)中忽略一些隱含的輸入數(shù)據(jù){xn}.

隨著訓練樣本中參數(shù)被大量地使用，在進行w和σ2的最大似然估計時會產(chǎn)生過適應現(xiàn)象.為了避免這種現(xiàn)象的發(fā)生，可以對一些參數(shù)加入一定附加強制條件.這種作法已經(jīng)在SVM中大量使用，并且非常有效.

在RVM中采用貝葉斯透視方法作為強制條件.定義一個w的比較簡單的函數(shù)，這個函數(shù)是一個應用廣泛的零均值的高斯概率分布:

對于每一個權(quán)重來說，式(3)中都存在獨立分布的參數(shù)，可以極大地緩解之前分布的復雜度［6］.

定義一個超參數(shù)α，同樣地為了匹配最后的函數(shù)，也需要加入噪聲函數(shù)σ2.這個函數(shù)屬于一種刻度函數(shù)，其分布滿足伽瑪分布:

式中:β =σ2，并且

1.2 相關(guān)向量機回歸方法

在超參數(shù)估計的收斂過程中，預測部分是基于后驗概率模型的加權(quán)，并且找到最大化的αMP與.然后根據(jù)

計算分布的預測.對于一個新的參數(shù)xi，利用

可以得到

可簡化為

所以預測的含義就是直觀地得到y(tǒng)(xi;μ)，或者通過后驗權(quán)均值預測基礎(chǔ)函數(shù)的權(quán)值，其中很多基礎(chǔ)函數(shù)的權(quán)值都是0.數(shù)據(jù)中的噪聲估計決定了預測權(quán)值的不確定性［7］.

1.3 相關(guān)向量機分類方法

相關(guān)向量機分類方法就是一種拉普拉斯逼近的回歸算法［8］.

若需要預測輸入x的部分后驗概率，可根據(jù)統(tǒng)計學原理，利用函數(shù)σ(y)=1/(1+e-y)對線性模型y(x)進行歸一化，其中p(t|x)是一個貝努利分布，其分布表達式為

式中:根據(jù)概率定義，目標函數(shù)tn∈{0，1}，需要注意式(4)中并沒有附加的噪聲函數(shù).

分類過程中，不能利用卷積方式計算權(quán)重，所以并不能給出 p(w|t，α)或邊緣分布 p(t|α)的解析解.因此，需要利用拉普拉斯逼近的近似解求得，具體過程如下:

1)首先固定α的值，給出模型的后驗概率分布位置，得到權(quán)重wMP的最可能值.因為 p(w|t，α)∝p(t|w)p(w|α)，所以這一過程等價于找到式(5)的最小值

式中:yn=σ{y(xn;w)}.應用最小平方反復迭代方法得到wMP的值.

2)拉普拉斯方法是利用一個簡單的二次方程逼近Log分布的方法.其值是通過二次變形給出:

式中:B=diag(β1，β2，…，βN)是一個對角線矩陣，其中 βn=σ(y(xn))［1-σ(y(xn))］.對于高斯逼近來說權(quán)重主要集中在wMP，并且通過式(6)可以得到協(xié)方差矩陣Σ.

在模型 p(w|t，α)中，利用式(6)以及▽Wlg p(w|t，α)|wMP=0，可以得到

式(7)和(8)可用于解決最小二乘問題.可以看出拉普拉斯逼近方法能夠有效地將分類問題映射為回歸問題.

2 相關(guān)向量機的應用

因為相關(guān)向量機可用于回歸以及分類問題，所以其應用非常廣泛.目前國內(nèi)外主要應用領(lǐng)域有以下幾方面.

2.1 醫(yī)學影像處理

相關(guān)向量機在醫(yī)學領(lǐng)域中的主要應用是對數(shù)字醫(yī)學圖片的分析.首先Lukic等在2007年將RVM應用在分析神經(jīng)成像之中，所采用的RVM方法與處理一般圖像的現(xiàn)有方法有著相近的效果，然而RVM的復雜度比其他方法要低很多，并且可以準確地找到感興趣的目標［7］.

之后Gholami等于2010年將RVM應用在新生兒痛苦評價上，成功地對新生兒痛苦表情進行分類，正確區(qū)分了痛苦與非痛苦的嬰兒，并且對痛苦程度進行區(qū)分［8］.需要注意的是，該方法也是基于新生兒表情的數(shù)字圖像處理，大多歸結(jié)為回歸或者分類的問題，因此相關(guān)向量機在該領(lǐng)域的應用是很有前景的.

2.2 數(shù)字圖像處理

對于一般數(shù)字圖像處理，相關(guān)向量機的應用也主要分為處理回歸和處理分類問題兩大方面.

在處理回歸問題中，Agarwal等［9］在2006年、Guo等［10］在 2007 年、Sedai 等［11］在 2009 年、Guo 等［12］在2009年，將RVM應用于人類3-D圖像從單眼圖像恢復過程中，該算法主要應用了RVM的回歸理論，通過真實數(shù)據(jù)的訓練，RVM回歸機可以正確捕捉人體行動，算法可以將正確率提高到90%左右.Ouyang等在2009年，將RVM應用于網(wǎng)絡視頻監(jiān)控技術(shù)，結(jié)果表明，采用了RVM回歸算法的網(wǎng)絡視頻監(jiān)視系統(tǒng)可以較快速地找到人體框架，并且RVM的尋找速度要比其他方法更快，尤其在測試進行一段時間之后，其分辨的正確率也很高，可達到80%以上［13］.Oliveri等在2011年將RVM應用于圖像恢復中.研究表明，將快速RVM算法與其他算法相結(jié)合，其圖像恢復效果更好，運算速度也較快［14］.

在分類處理方法中 X.Li等［15］和 X.Wang等［16］在2009年將RVM應用于圖像分類比較中，實驗結(jié)果表明RVM分類方法對于線性數(shù)據(jù)以及非線性的高維數(shù)據(jù)都具有較好的分類效果.

2.3 高光譜圖像分類

由于高光譜圖像樣本數(shù)量大、維數(shù)較高等特點，相關(guān)向量機分類方法非常適合應用于高光譜圖像分類.Demir等于2007年在高光譜圖像分類中應用了RVM方法，詳細闡述了RVM方法與SVM方法的不同，并且比較了分類結(jié)果，利用分類精度、相關(guān)向量和支持向量的個數(shù)等標準，評價了各自優(yōu)缺點［17］.隨后Mianji等在2011年又進一步比較了RVM方法與SVM方法在高光譜圖像分類中的性能，比較的標準增加了訓練時間以及測試時間［18］.通過實驗發(fā)現(xiàn)RVM方法與SVM方法在訓練樣本相同時，其分類精度基本一致，但相關(guān)向量的數(shù)量明顯少于支持向量的數(shù)量.在測試時間方面，RVM的測試時間非常短，幾乎可以做到實時測試，而SVM的測試時間相對較長.然而RVM的缺點在于隨著訓練樣本的增加，其訓練時間也會直線上升.分析比較結(jié)果如表1、2.

表1 分類精度比較Table 1 The accuracy of classification

表2 分類時間Table 2 The time of classification s

為了克服RVM在高光譜圖像分類中存在的缺點，根據(jù)RVM自身特點，下面給出了多種改進方案.

3 相關(guān)向量機分類方法的改進

3.1 改進型相關(guān)向量機

3.1 .1 改進型相關(guān)向量機模型

傳統(tǒng)的概率模型可以將隨機變量分為觀測數(shù)據(jù)D和非觀測變量θ［6，19］.觀測數(shù)據(jù)D的邊緣概率密度為

對于式(9)的積分計算，通常來說較為復雜.因此改進思想是通過引入近似的分布Q(θ)，其中對于任意選擇的非觀測變量θ，可以將邊緣概率密度的積分形式分解為2個對數(shù)之和，即將式(9)近似分解為

引入的分布 Q(θ)是 P(D，θ)和后驗分布KL(Q|P)之間的Kullback-Leibler距離差，表達式如式(12)

式中:KL(Q|P)≥0.式(10)的右半部分是Q的獨立分布，因此最大化L(Q)等同于最小化KL(Q|P).綜合式(11)和式(12)，則 Q(θ)就是P(θ|D)的近似邊緣概率分布.通過該近似的方法，只要選擇一個合適的分布Q，L(Q)的值即便在傳統(tǒng)證據(jù)模型函數(shù)未知的情況下也可以通過簡單的計算得到.因此改進型RVM的方法就是選擇一個形式較為簡單的Q(θ)，使得L(Q)的計算較為簡單，并且同時保證L(Q)的形式足夠靈活.

根據(jù)式(9)且考慮到參數(shù)θ的變形形式{θi}，則Q(θ)可以定義為

式中:〈·〉k≠i定義為對于 Qk(θk)分布(其中 k≠i)的期望.可以證明，如果概率模型中的每個因素Qi(θi)可以用一種帶有節(jié)點的有向循環(huán)圖來表示，那么Qi(θi)的解就僅僅取決于 Q分布的變量形

式［20］.

式(13)的右半部分取決于Qk≠i的任意時刻，所以式(13)是Qi(θi)的一種特殊的求解表達式.又因為Qi(θi)是共軛的條件分布，因此可以通過計算得到在所需時刻的標準條件分布.然后通過初始化，循環(huán)使用式(13)，迭代更新變量，最終得到Q的所有分布.

3.1 .2 改進型相關(guān)向量機分類算法

輸入數(shù)據(jù)邊緣概率的對數(shù)形式為

利用之前處理結(jié)論和近似的分解變量形式Qw(w)Qα(α)，并結(jié)合式(11)，將上式近似為

式(14)的積分計算會增加運算的復雜度，因此根據(jù)Jaakkola 等［21］的分析方法，引入

式中:z=(2t-1)y，λ(ξ)=(1/4ξ)tanh(ξ/2).ξ是一個可變的參數(shù)，當?shù)忍柍闪r，可以得到ξ=z.將式(15)代入相關(guān)向量機模型中，可以得到

式中:zn=(2tn-1)Tφn，且 P(T|X，w)/F(T，X，w，ξ)≥1 等同于 lnP(T|X，w)/F(T，X，w，ξ)≥0.將式(16)代入式(14)中，可得

優(yōu)化式(17)右邊的函數(shù)Qw(w)和Qα(α)以及參數(shù)ξ=ξn.優(yōu)化的結(jié)果為Qw(w)產(chǎn)生了一個一般的正態(tài)分布形式:

式中:A=diag(am).相對而言，優(yōu)化的結(jié)果使得Qα(α)是服從伽瑪分布的.

同樣，通過式(17)的右半部分，對L的值可以通過下式計算而得

對于新的輸入的預測，可以通過現(xiàn)有的訓練好的權(quán)重模型計算求得P(t|x，〈w〉)，即可進行分類.

3.1 .3 實驗數(shù)據(jù)

這是一種對于RVM算法本身的改進，將改進RVM算法應用于高光譜圖像分類中，當訓練樣本較小時，其分類精度可以高于RVM以及SVM分類.當訓練樣本較大時，其訓練時間以及測試時間會有所減低，結(jié)果如表3、4.

表3 各類別分類精度Table 3 The accuracy of classification %

表4 分類效率Table 4 The efficiency of classification s

從表3、4中可以看出對于5種地物的分類精度和總體分類精度，VRVM最高，RVM次之，而SVM相對較低;VRVM和RVM的測試時間短，訓練時間較長，而SVM測試時間長，訓練時間相對較短.

3.2 相關(guān)向量機的多類分類技術(shù)

類似于SVM，RVM最初的設(shè)計也是針對1-a-1分類問題，然而高光譜圖像地物類別較多，品種復雜，因此需要發(fā)展多類分類技術(shù).Wu等在2009年提出的RVM多類分類技術(shù)，有效地改善了RVM在多類分類中的效果［22］.算法流程如圖1所示.

圖1 算法流程Fig.1 The algorithm flow chart

該算法主要是利用逐層分級的思想進行，首先判斷所有的數(shù)據(jù)是否屬于第1類，其次判斷是否屬于第2類，以此類推，最后得出結(jié)果.利用高光譜數(shù)據(jù)進行多類地物分類，分析比較下列分類方法:Oneagainst-rest(OAR)、One-against-one(OAO)、directed acyclic graph method(DAG)、binary tree based on class distance(CDBT)、binary tree based on class distance and class distribution(CDDBT)等在分類精度和計算效率方面的性能［23-24］，實驗結(jié)果如表5和表6所示.

表5 多類分類效果Table 5 The effect of multi-classification

表6 分類效果比較Table 6 The comparison of effect of multi-classification

從表5中可以看出，隨著地物訓練樣本的增加，RVM的分類精度會有所提高，但相關(guān)向量個數(shù)明顯增多，訓練時間也變長.表6說明采用5種方法對3類地物進行分類，CDDBT方法在訓練時間和測試時間相當情況下，分類精度最高.

3.3 應用改進型核函數(shù)

RVM也是一種基于核方法的機器學習理論，因此核函數(shù)的效果好壞也在一定程度上影響了RVM分類效果，尤其對于數(shù)據(jù)混疊較為嚴重的高光譜數(shù)據(jù)，如果核函數(shù)能將混疊數(shù)據(jù)較為合理地投影出來，那么對于分類精度以及分類效率都有著至關(guān)重要的作用，因此應用改進型核函數(shù)也是提高RVM分類效果的一種途徑.

Camps等在2007年提出了利用 Mahalanobis核函數(shù)代替RBF核函數(shù)，應用于高光譜圖像分類［25］.Mahalanobis核函數(shù)表達式如下:

Mahalanobis核函數(shù)的優(yōu)點在于對于輸入空間的每一個軸空間都有其獨特的特征參數(shù)，這樣在分類時，其邊界更加合理.在高光譜圖像分類中，圖像數(shù)據(jù)為DAIS7915 PAVIA IMAGE，RBF-RVM分類精度為80.33%，而MK-RVM的分類精度為81.67%.可以看出Mahalanobis核函數(shù)的分類精度更高，是一種較為理想的改進方案.

詹環(huán)等在2008年提出利用一種小波核函數(shù)的相關(guān)向量機分類方法［26］.該方法選取墨西哥草帽小波函數(shù)來構(gòu)造平移不變小波核函數(shù)，即

并且滿足平移不變核函數(shù)的墨西哥草帽小波核函數(shù)為

將小波核函數(shù)應用于SINC(X)函數(shù)回歸問題中，實驗結(jié)果表明，其準確率高于RBF-RVM回歸方法，訓練時間也相對較短.

本文作者于2011年將小波核函數(shù)相關(guān)向量機應用于高光譜圖像分類［27］，該方法應用的小波核函數(shù)與文獻［26］中的略有不同，其表達式如下:

實驗結(jié)果表明其分類精度比RVM高2.73%，獲得了較好的效果.

4 結(jié)論

本文對國內(nèi)外相關(guān)向量機研究現(xiàn)狀進行了全面的綜述.通過研究相關(guān)向量機的模型、回歸算法以及分類算法，有效地將相關(guān)向量機應用到多個領(lǐng)域當中.尤其著重介紹了相關(guān)向量機分類方法在高光譜圖像分類中的應用.

高光譜數(shù)據(jù)的特點決定了相關(guān)向量機非常適合其應用，無論是檢測還是分類問題，相關(guān)向量機都有著較好的表現(xiàn).高光譜圖像分類的評價標準有許多種，但是最主要的還是分類精度和分類效率.分類精度主要是體現(xiàn)了該方法對高光譜數(shù)據(jù)的分類準確度，在這方面，相關(guān)向量機可以達到較高的分類精度，滿足分類的要求;分類效率主要是體現(xiàn)該方法在分類過程中的空間復雜度以及時間復雜度，相關(guān)向量機的空間復雜度非常低，是支持向量機的15%左右，但其時間復雜度卻比較高，尤其體現(xiàn)在大訓練樣本的訓練時間上.因此對于如何減少訓練時間，提高訓練效率也是今后進一步研究相關(guān)向量機的重點方向之一.

在現(xiàn)有的改進方法中，主要分為兩大類，一是對算法本身的改進，也叫改進型相關(guān)向量機;另外一類是對算法中應用到的核函數(shù)進行改進.2種改進方法都可以提高相關(guān)向量機分類的效率，并且保證了較高的分類精度.對于整個高光譜圖像分類研究領(lǐng)域，如何進一步挖掘各種方法間的優(yōu)點，拓展其應用范圍是該領(lǐng)域未來發(fā)展的重點.

目前相關(guān)向量機的研究已經(jīng)取得了一定進展，但其方法還是存在著一些不足，如何改進這些算法，突破制約技術(shù)發(fā)展瓶頸，是未來其理論研究的目標.本文僅對其進行綜合分析與論述，以達到拋磚引玉之功效.

［1］TIPPING M.Sparse Bayesian learning and the relevance vector machine［J］.Machine Learning Research，2001，6(1):211-244.

［2］DUAN Qing，ZHAO Jianguo，MA Yan.RVM and SVM for classification in transient stability assessment［C］//2010 A-sia-Pacific Power and Energy Engineering Conference(APPEEC).Chengdu，China，2010:1-4.

［3］BILGIN G，ERTURK S，YILDIRIM T.Segmentation of hyperspectral images via subtractive clustering and cluster validation using one-class support vector machines［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49(8):2936-2944.

［4］CAMPS V G，MARTINEZ R M.Nonlinear system identification with composite relevance vector machines［J］.IEEE Signal Processing Letters，2007，14(4):279-282.

［5］DEMIR B，ERTURK S.Hyperspectral data classification using RVM with pre-segmentation and RANSAC［C］//2007 IEEE International Geoscience and Remote Sensing Symposium(IGARSS).Barcelona，Spain，2007:1763-1766.

［6］BISHOP C M，TIPPING M E.Variational relevance vector machines［C］//Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.Catalina Island，USA，2010:46-53.

［7］LUKIC A S，WERNICK M N，TZIKAS D G，et al.Bayesian kernel methods for analysis of functional neuroimages［J］.Medical Imaging，2007，26(12):1613-1624.

［8］GHOLAMI B，HADDAD W M，TANNENBAUM A R.Relevance vector machine learning for neonate pain intensity assessment using digital imaging［J］.Biomedical Engineering，2010，57(6):1457-1466.

［9］AGARWAL A，TRIGGS B.Recovering 3D human pose from monocular images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(1):44-58.

［10］GUO Feng，QIAN Gang.3D human motion tracking using manifold learning［C］//2007 IEEE International Conference on Image Processing.San Antonio，USA，2007:357-360.

［11］SEDAI S，BENNAMOUN M，HUYNH D.Context-based appearance descriptor for 3D human pose estimation from monocular images［C］//Proceedings of the 2009 Digital Image Computing:Techniques and Applications.Melbourne，Australia，2009:484-491.

［12］GUO Weiwei，PATRAS I.Discriminative 3D human pose estimation from monocular images via topological preserving hierarchical affinity clustering［C］//2009 IEEE 12th International Conference on Computer Vision Workshops(ICCV Workshops).Kyoto，Japan，2009:9-15.

［13］OUYANG Yi，ZHANG Sanyuan.RVM-based classification of the network video surveillance system［C］//WASE International Conference on Information Engineering.Taiyuan，China，2009:144-148.

［14］OLIVERI G，ROCCA P，MASSA A.A Bayesian compressive sampling based inversion for imaging sparse scatters［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49(10):3993-4006.

［15］LI Xiangru，LI Xiaoming，CHENG Xuezhen.Rejecting mismatches between fish-eye camera images by RVM［C］//5th International Conference on Natural Computation.Tianjin，China，2009:293-295.

［16］WANG Xiaofei，ZHANG Junping，ZHANG Ye.Registration of remote sensing images based on the relevance vector machine［C］//5th International Conference on Natural Computation.Tianjin，China，2009:547-551.

［17］DEMIR B，ERTURK S.Hyperspectral image classification using relevance vector machines［J］.IEEE Geoscience and Remote Sensing Letters，2007，4(4):586-590.

［18］MIANJI F A，ZHANG Y.Robust hyperspectral classification using relevance vector machine［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49(6):2100-2112.

［19］CHYKEYUK K，CLIFTON D A，NOBLE J A.Feature extraction and wall motion classification of 2D stress echocardiography with relevance vector machines［C］//2011 IEEE International Symposium on Biomedical Imaging.Chicago，USA，2011:677-680.

［20］RAM R，CHETTY M.A Markov-blanket-based model for gene regulatory network inference［J］.IEEE Transactions on Computational Biology and Bioinformatics，2011，8(2):353-367.

［21］JAAKKOLA T S，JORDAN M I.Bayesian parameter estimation through variational methods［J］.Statistics and Computing，2000，10(1):25-37.

［22］WU Huilan，LIU Guodong，PU Zhaobang.Multi-class image recognition based on relevance vector machine［C］//2009 International Workshop on Intelligent Systems and Applications.Wuhan，China，2009:1-4.

［23］陳世哲.微電子產(chǎn)品視覺檢測中關(guān)鍵技術(shù)研究［D］.哈爾濱:哈爾濱工業(yè)大學，2006:5-24.

CHENG Shizhe.Research on the key techniques of microelectronic products vision inspection［D］.Harbin:Harbin Institute of Technology，2006:5-24.

［24］唐發(fā)明.基于統(tǒng)計學習理論的支持向量機算法研究［D］.武漢:華中科技大學，2005:67-81.

TANG Faming.Study of support vector machines algorithm based on statistical learning theory［D］.Wuhuan:Huazhong University of Science and Technology，2005:67-81.

［25］CAMPS V G，RODRIGOG A，MUOZ M J.Hyperspectral image classification with Mahalanobis relevance vector machines［C］//2007 IEEE Geoscience and Remote Sensing Symposium.Barcelona，Spain，2007:3802-3805.

［26］詹環(huán)，王雪亭.小波相關(guān)向量機［J］.五邑大學學報:自然科學版，2008，22(1):58-62.

ZHAN Huan，WANG Xueting.The wavelet relevance vector machine［J］.Journal of Wuyi University:Natural Science Edition，2008，22(1):58-62.

［27］ZHAO Chunhui，ZHANG Yi，WANG Ying.RVM classification of hyperspectral image based on wavelet kernel function［C］//2011 International Conference on Multimedia Technology.Hangzhou，China，2011:3647-3650.