基于相關(guān)向量機的高光譜影像分類研究

楊國鵬,余旭初,周 欣,張鵬強

1.信息工程大學(xué)測繪學(xué)院,河南鄭州450052;2;空軍裝備研究院,北京100850;3.信息工程大學(xué)信息工程學(xué)院,河南鄭州450052

基于相關(guān)向量機的高光譜影像分類研究

楊國鵬1,2,余旭初1,周 欣3,張鵬強1

1.信息工程大學(xué)測繪學(xué)院,河南鄭州450052;2;空軍裝備研究院,北京100850;3.信息工程大學(xué)信息工程學(xué)院,河南鄭州450052

從分析支持向量機用于高光譜影像分類時存在的不足出發(fā),提出一種基于相關(guān)向量機的高光譜影像分類方法。在介紹稀疏貝葉斯分類模型的基礎(chǔ)上,將相關(guān)向量機學(xué)習(xí)轉(zhuǎn)化為最大化邊緣似然函數(shù)參數(shù)估計問題,并采用快速序列稀疏貝葉斯學(xué)習(xí)算法。通過PHI和OMIS影像分類試驗分析表明基于相關(guān)向量機的高光譜影像分類方法的優(yōu)勢。

高光譜影像;稀疏貝葉斯模型;相關(guān)向量機;支持向量機

1 引 言

高光譜影像具有豐富的地物光譜信息,較之全色、多光譜影像在地物識別方面具有巨大的優(yōu)勢。它記錄的波長范圍更寬,從可見光延伸到短波紅外,甚至到中紅外和熱紅外。它的光譜分辨率高、能夠獲取地物精細(xì)的光譜曲線,可以根據(jù)需要選擇或提取特定的波段來突出目標(biāo)特征。利用高光譜遙感技術(shù),還能夠很好地提取目標(biāo)的輻射特性參量,使地表目標(biāo)的定量分析成為可能。高光譜遙感已經(jīng)成為植被調(diào)查、海洋遙感、農(nóng)業(yè)遙感、環(huán)境監(jiān)測、軍事情報獲取等領(lǐng)域新的重要技術(shù)手段[1]。

高光譜遙感成像機理復(fù)雜,成像光譜儀定標(biāo)、大氣輻射校正、地物光譜重建等預(yù)處理技術(shù)尚未完善。地物光譜曲線的近乎連續(xù),也導(dǎo)致高光譜影像數(shù)據(jù)量大、波段相關(guān)性強、數(shù)據(jù)冗余嚴(yán)重。在不同季節(jié)、不同時刻、不同環(huán)境下,同類地物的光譜曲線也會有所不同。高光譜影像分類識別要解決是高維特征空間海量數(shù)據(jù)的非線性可分問題。因此,高光譜影像給地物精細(xì)分類識別帶來了巨大機遇,也給傳統(tǒng)影像分類方法帶來了挑戰(zhàn)。

高光譜影像地物識別有一類研究方法是基于對光譜曲線的分析。基于地物光譜庫的光譜匹配分類方法原理直觀、計算簡單,但前提是必須對高光譜影像進行準(zhǔn)確的地物光譜重建,否則將會嚴(yán)重影響地物分類的精度。由于高光譜影像的空間分辨率較低,混合像元大量存在,混合像元分解中端元光譜的選擇、解混模型的建立和求解都是有待解決的問題。

高光譜影像地物識別另一類研究方法是進行模式分類。傳統(tǒng)統(tǒng)計模式識別方法,例如貝葉斯分類、神經(jīng)網(wǎng)絡(luò)等,大多是基于經(jīng)典統(tǒng)計理論的大數(shù)定理,泛化能力需要以樣本數(shù)量趨近無窮大來描述,對于有限訓(xùn)練樣本集的高光譜影像分類時,會遇到“維數(shù)災(zāi)難”現(xiàn)象。目前,高光譜影像降維通常采用線性特征提取方法,這也可能會降低樣本的可分性。

目前,許多學(xué)者對基于支持向量機(support vector machine,SVM)的高光譜影像分類進行了研究。Gualtieri在1998年首次將SVM用于高光譜影像分類試驗后指出,這種方法能有效地避免Hughes現(xiàn)象。夏建濤[2]對SVM的高光譜影像分類性能做了詳細(xì)試驗,指出核函數(shù)參數(shù)和樣本數(shù)量對SVM的分類性能影響較大。

SVM基于統(tǒng)計學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險最小化原則,通過最小化經(jīng)驗風(fēng)險和置信范圍提高算法的泛化能力[3]。SVM的數(shù)學(xué)模型表示為

核函數(shù) K(x,xi)是定義在訓(xùn)練樣本點的基函數(shù)。

SVM能夠有效避免過學(xué)習(xí)現(xiàn)象,具有良好的泛化能力,但它存在著明顯的不足,主要表現(xiàn)在:①基函數(shù)個數(shù)基本上隨訓(xùn)練樣本集規(guī)模成線性增長,模型稀疏性有限;②預(yù)測結(jié)果不具有統(tǒng)計意義,無法獲取預(yù)測結(jié)果的不確定性;③核函數(shù)參數(shù)和規(guī)則化系數(shù)需要通過交叉驗證等方法確定,增加了模型訓(xùn)練的計算量;④核函數(shù)必須滿足Mercer條件。

核方法在SVM中得到成功應(yīng)用以后,人們開始利用核函數(shù)將經(jīng)典的線性分析方法推廣到一般情況的研究,成為繼經(jīng)典統(tǒng)計線性分析、神經(jīng)網(wǎng)絡(luò)與決策樹非線性分析之后的第三次模式分析方法的變革[4]。支持向量機、稀疏核主成份分析等也引起了人們研究“稀疏”學(xué)習(xí)模型的興趣。

稀疏學(xué)習(xí)模型具有的一般形式為

它是相對于權(quán)值向量w=(w1,…,wM)T的線性模型,y(x)能夠逼近實變量函數(shù)或判別函數(shù)。假定存在訓(xùn)練樣本集{xn,tn},稀疏模型是通過將權(quán)值向量w的多數(shù)元素設(shè)置為零,來控制模型復(fù)雜度,從而避免過學(xué)習(xí)現(xiàn)象,減小模型預(yù)測的計算量。

2000年,Tipping提出一種與 SVM相似的稀疏概率模型來彌補SVM的不足,被稱為相關(guān)向量機(relevance vector machines,RVM)[5]。 2003年,Tipping設(shè)計了快速序列稀疏貝葉斯學(xué)習(xí)算法,提高了模型訓(xùn)練速度[6];2005年,Thayananthan將該模型推廣,解決了多元輸出回歸和多類分類的訓(xùn)練問題[7]。RVM最初用以處理回歸問題,通過Laplace逼近可以將分類問題轉(zhuǎn)化為回歸問題。目前,已經(jīng)開展了RVM在文本識別、影像分類、時序分析等應(yīng)用領(lǐng)域的研究[8-10]。

本文在介紹稀疏貝葉斯分類模型的基礎(chǔ)上,通過參數(shù)推斷將RVM學(xué)習(xí)可以轉(zhuǎn)化為最大化邊緣似然函數(shù)估計問題,并選用快速序列稀疏貝葉斯學(xué)習(xí)算法實現(xiàn)。本文通過一系列的兩類RVM分類器組合解決多類RVM分類問題,將其應(yīng)用于高光譜影像分類。通過PHI和OMIS影像分類試驗,表明了基于RVM的高光譜影像分類方法的優(yōu)勢。

2 稀疏貝葉斯分類模型

2.1 模型描述

對于兩類稀疏貝葉斯分類問題[11],假定訓(xùn)練樣本集為{xn,tn}Nn=1,其中 xn∈d為訓(xùn)練樣本向量,tn∈{0,1}為訓(xùn)練樣本標(biāo)號,分類預(yù)測模型要將非線性基函數(shù)的線性組合通過 S形函數(shù)映射到區(qū)間(0,1)內(nèi)進行類別判定,即

其中,φ(x)=[φ(x1),φ(x2),…,φ(xΜ)]T為樣本基函數(shù)映射組成的列向量;φi(x)(i=1,…,N)是定義在訓(xùn)練樣本點上的核函數(shù),即φi(x)=K(x, xi)。由于這里不要求 φi(x)為正定的,因此沒有必要滿足 Mercer條件。這里的 w=(w0,…, wN)T為所有基函數(shù)的權(quán)值組成的列向量,采用 S形函數(shù)的數(shù)學(xué)表達(dá)式為

對于兩類分類問題,如果假設(shè)樣本獨立同分布的,那么訓(xùn)練樣本集的似然函數(shù)可以表示為[5]

這里,t=(t1,…,tN)T為訓(xùn)練樣本的目標(biāo)向量。

根據(jù)概率統(tǒng)計原理,假設(shè)參數(shù)wi服從均值為0、方差為的高斯條件概率分布,因此

其中,α是決定權(quán)值w的先驗分布的超參數(shù)。

這樣為每一個權(quán)值(或基函數(shù))配置獨立的超參數(shù)是稀疏貝葉斯模型的最顯著的特點,這也是導(dǎo)致模型具有稀疏性的根本原因[12]。由于這種先驗概率分布是一種自動相關(guān)判定先驗分布,模型訓(xùn)練結(jié)束后,非零權(quán)值的基函數(shù)所對應(yīng)的樣本向量被稱為相關(guān)向量,因此稱這種學(xué)習(xí)機為相關(guān)向量機。

根據(jù)貝葉斯理論,如果已知模型參數(shù)的先驗概率分布 p(w,α),那么模型參數(shù)的后驗概率為

若獲取了模型參數(shù)的后驗分布 p(w,α|t),那么對于待測樣本為x＊,稀疏貝葉斯模型的預(yù)測值z＊的分布為

因為無法直接積分獲取 p(z＊|t),需要通過參數(shù)推斷獲取預(yù)測值z＊。RVM判別準(zhǔn)則為:如果 y＊=σ(z＊)<0.5,則 t＊=0;如果 y＊=σ(z＊)> 0.5,則t＊=1。

2.2 參數(shù)推斷

由于模型參數(shù)的后驗分布 p(w,α|t)不能通過積分直接獲取,故將其分解為

根據(jù)貝葉斯公式,p(α|t)∝p(t|α)p(α)。由于模型參數(shù)的后驗概率分布 p(w|t,α)和邊緣似然函數(shù) p(t|α)都無法積分求解,需要采用Mac-Kay提出的Laplace逼近方法近似[13],具體步驟描述如下:首先初始化超參數(shù)向量α;對于給定的向量α,建立后驗概率分布的高斯近似,從而獲取邊緣似然函數(shù)的近似分布;通過最大化邊緣似然函數(shù)來重新估計向量α;重復(fù)這個過程直到收斂[12]。

利用高斯正態(tài)分布來逼近后驗概率分布的Laplace方法,是對后驗概率分布的眾數(shù)位置處函數(shù)的二次逼近。對于給定的向量α,由于

那么,關(guān)于w的高斯后驗分布的眾數(shù)通過最大化公式(3)得到

其中,yn=σ{y(xn;w)},A=diag(ai)。

通過迭代再加權(quán)最小二乘法求解,迭代收斂后,得到以眾數(shù)位置為中心的后驗概率分布的近似高斯分布,其均值為wMP=A-1ΦT(t-y),方差為Σ=(ΦTBΦ+A)-1。這里B=diag(β1,β2,…, βn),βn由式(4)計算得到

得到近似后驗概率分布后,同樣使用Laplace逼近方法可以將邊緣似然函數(shù) p(t|α)近似表示為

如果令^t=ΦwMP+B-1(t-y),則近似高斯后驗分布的均值wMP=Σ ΦTB^t、方差Σ=(ΦTBΦ+ A)-1。近似的邊緣似然函數(shù)對數(shù)為

其中,C=B+ΦA(chǔ)-1ΦT。

通過比較稀疏貝葉斯的分類和回歸模型的參數(shù)推斷過程可知,利用Laplace逼近方法可以將分類問題轉(zhuǎn)化為回歸問題[6],相應(yīng)回歸問題的目標(biāo)向量^t=ΦwMP+B-1(t-y)。稀疏貝葉斯分類模型學(xué)習(xí),最終都?xì)w結(jié)為第Ⅱ類型最大似然參數(shù)估計問題。

2.3 多類分類器

上面研究的是二值分類問題的稀疏貝葉斯分類模型。在多類別分類情況下,假設(shè)共存在 K個類別(K>2),隨機樣本服從獨立同分布的多項式分布,此時最大似然函數(shù)可以表示為[14]

這里采用 K目標(biāo)編碼方法,分類器共有 K個輸出yk(xn;w),每個輸出都有獨自的參數(shù)向量wk和超參數(shù)αk。

由于這種多類問題整體求解時,計算量非常大。與SVM多類分類相似,可以將多類分類問題分解成一系列二類問題進行求解,例如一對余法 (one against rest,OAR)、一對一法 (one against one,OAO)等多類分類器構(gòu)造方式[1]。

3 相關(guān)向量機學(xué)習(xí)算法

通過以上分析,RVM學(xué)習(xí)最終歸結(jié)為第Ⅱ類型最大似然參數(shù)估計問題。通過最大化邊緣似然函數(shù) p(t|α)來估計α,通常采用以下三種方法[7]:MacKay迭代估計、期望最大化迭代估計、自下而上的基函數(shù)選擇算法。

最大邊緣似然估計超參數(shù)過程中,超參數(shù)更新需要計算后驗權(quán)值的協(xié)方差矩陣,矩陣求逆需要計算復(fù)雜度為O(M3)和存儲空間為O(M2)[11],M為基函數(shù)的個數(shù)。本論文采用自下而上的基函數(shù)選擇方法中,基函數(shù)個數(shù)從1開始不斷增加直至獲取相關(guān)向量,而且Φ與Σ只包含當(dāng)前模型中存在的基函數(shù)。

2.4 算法原理

自下而上的基函數(shù)選擇是 Tipping于2003年提出的快速序列稀疏貝葉斯學(xué)習(xí)算法[6]。由于邊緣似然函數(shù)的對數(shù)L(α)與單個超參數(shù)αi的相關(guān)性,i∈{1,…,M},將式(5)中的C分解為

其中,C-i是C去除第i個基函數(shù)影響后的矩陣,滿足

邊緣似然函數(shù)的對數(shù)L(α)可以表示為

其中,

目標(biāo)函數(shù)L(α)可分解為去除基函數(shù)φi后的邊緣似然函數(shù)L(α-i)與關(guān)于αi的獨立表達(dá)式l(αi)。這里的 si=Cφi,qi=Ct。稀疏因子si用于度量基函數(shù)φi與模型中剩余所有基函數(shù)的重疊程度;質(zhì)量因子qi用于度量去除基函數(shù)φi后對模型誤差的校正。

通過分析l(αi)表明,L(α)關(guān)于αi存在唯一最大值。當(dāng)>si時,αi=/(-si);當(dāng)

如果假設(shè) Si=C-1φi和Qi=C-1t,則有si=αiSi/(αi-Si),qi=αiQi/(αi-Si)。當(dāng)αi=∞時,si=Si且qi=Qi。

實際學(xué)習(xí)過程中,利用Woodbury恒等式獲取 Si和Qi非常方便[6],有

針對稀疏貝葉斯分類,B=diag(β1,β2,…, βn),^t=ΦwMP+B-1(t-y)。

2.5 快速序列稀疏貝葉斯學(xué)習(xí)算法

序列稀疏貝葉斯學(xué)習(xí)算法流程可以描述為[12]

1.初始化選擇1個基函數(shù)φ1,并估計相應(yīng)權(quán)值w1。

2.設(shè)置基函數(shù)φ1的超參數(shù)α1為合理數(shù)值,使其他所有超參數(shù)αj為無窮大,即模型中只有基函數(shù)φ1。

3.利用式(4)計算B。

4.計算均值μ和方差Σ,同時計算出所有基函數(shù)對應(yīng)的qi和si。

5.選擇候選的基函數(shù)φi。

9.如果收斂,算法結(jié)束;否則,執(zhí)行步驟3—9。

4 高光譜影像分類試驗

已有文獻表明,基于SVM的高光譜影像分類具有良好的泛化能力,其分類精度較高。論文進行了基于RVM和SVM的高光譜影像分類試驗,并對分類結(jié)果進行了比較分析。

由于SVM要求核函數(shù)滿足Mercer條件,為便于比較,RVM與SVM都采用高斯徑向基核函數(shù),其表達(dá)式為 k(x,x′)=exp(-‖x-x′‖2/ σ2),其中σ2為核函數(shù)參數(shù),它控制了核函數(shù)寬度。為了便于設(shè)置σ2數(shù)值,試驗中將高光譜影像的每個波段特征DN值規(guī)范化到[0,1]范圍內(nèi)。

由于SVM模型含有規(guī)則化系數(shù),在分類時需要設(shè)置,在試驗中通過交叉驗證網(wǎng)格搜索法來獲取[1]。SVM學(xué)習(xí)過程采用序列最小優(yōu)化算法,利用統(tǒng)計模式識別工具箱STPRtool實現(xiàn)[15]。

本試驗采用的計算機硬件環(huán)境為Intel Core2 CPU 3.0 GHz、2.99 GHz內(nèi)存3.25 GB,軟件環(huán)境為Microsoft Windows XP、MATLAB 7.5。

4.1 試驗一

試驗數(shù)據(jù):由中科院上海技術(shù)物理研究所研制的PHI成像光譜儀1999年9月獲取的江蘇省常州市影像,光譜覆蓋范圍為0.42～0.85μm,共80波段,圖像大小為346×512,數(shù)據(jù)經(jīng)過反射率轉(zhuǎn)換。訓(xùn)練樣本分布如圖1所示,樣本信息情況如表1所示。

圖1 試驗區(qū)PHI影像樣本分布Fig.1 Samples distribution of PHI imagery

表1 試驗區(qū)PHI影像樣本信息Tab.1 Samples information of the PHI imagery

將各類樣本按數(shù)量隨機等分成兩部分作為訓(xùn)練樣本和測試樣本。選擇不同 Gauss核函數(shù)參數(shù)σ,該PHI影像RVM分類結(jié)果比較如表2所示,基函數(shù)數(shù)量為該多類分類器中所有二值分類器使用基函數(shù)個數(shù)之和。

表2 試驗區(qū)PHI影像RVM分類比較T ab.2 RVM classification comparison of the PHI imagery

通過SVM進行分類時,規(guī)則化系數(shù)C需要通過交叉驗證獲取,該影像OAO-SVM分類的交叉驗證精度如圖2所示,選取規(guī)則化系數(shù) C= 2.0。不同Gauss核函數(shù)參數(shù)σ時,該影像SVM分類結(jié)果比較如表3所示。

圖2 試驗區(qū)PHI影像OAO-SVM分類交叉驗證精度/(%)Fig.2 Cross-validation error rate of the PHI imagery OAO-SVM classification/(%)

表3 試驗區(qū)PHI影像SVM分類比較T ab.3 SVM classification comparison of the PHI imagery

4.2 試驗二

試驗數(shù)據(jù),采用中科院上海技術(shù)物理研究所研制的OMIS成像光譜儀獲取的江蘇太湖沿岸的影像,光譜覆蓋范圍0.46～12.85μm共128波段,影像大小347×513,試驗中使用受噪聲影響比較小的6～64、113～128共75個波段。通過對影像目視判讀,訓(xùn)練樣本分布如圖3所示,樣本信息情況如表4所示。

表4 試驗區(qū)OMIS數(shù)據(jù)樣本信息Tab.4 Samples information of the OMIS imagery

將各類樣本按數(shù)量隨機等分成兩部分作為訓(xùn)練樣本和測試樣本。選擇不同Gauss核函數(shù)參數(shù)σ,該OMIS影像RVM分類結(jié)果比較如表5所示。

圖3 試驗區(qū)OMIS影像樣本分布Fig.3 Samples distribution of the PHI imagery

表5 試驗區(qū)OMIS影像RVM分類比較T ab.5 RVM classification comparison of the OMIS imagery

通過SVM進行分類時,通過交叉驗證獲取選擇規(guī)則化系數(shù)C=2.0時。選擇不同 Gauss核函數(shù)參數(shù)σ,該OMIS影像SVM分類結(jié)果比較如表6所示。

表6 試驗區(qū)OMIS影像SVM分類比較T ab.6 SVM classification comparison of the OMIS imagery

4.3 試驗分析

通過PHI和OMIS影像的RVM、SVM分類試驗,論文得出以下結(jié)論:

1.在RVM模型中不存在規(guī)則化系數(shù)C,不需要交叉驗證獲取規(guī)則化系數(shù)的步驟,因此RVM與SVM相比受分類器參數(shù)選擇的影響要小。

2.對于不同的多類分類器構(gòu)造方法,包括一對一法和一對余法,RVM分類精度與SVM分類精度都相當(dāng),RVM的訓(xùn)練速度更快。

3.由于RVM模型更加稀疏,RVM分類器所用核函數(shù)個數(shù)是SVM所用核函數(shù)個數(shù)的1/10～1/5。因為RVM與SVM都是通過核函數(shù)的線性組合來進行分類預(yù)測的,所以RVM分類速度比SVM分類速度快得多。

4.無論是RVM,還是SVM,在訓(xùn)練過程中,一對一多類構(gòu)造方法的訓(xùn)練速度都要比一對余法訓(xùn)練速度要更快。

5 總 結(jié)

RVM是按照SVM模型的形式,在貝葉斯框架下提出的具有稀疏概率模型的學(xué)習(xí)機。在RVM求解過程中,核函數(shù)不必要滿足Mercer條件。在RVM模型中,不需要通過交叉驗證獲取規(guī)則化系數(shù)。

通過PHI和OMIS影像分類試驗表明,RVM具有良好的泛化能力,受分類器參數(shù)選擇的影響較小。當(dāng)SVM選擇合適的規(guī)則化系數(shù)時,SVM與RVM的分類精度相當(dāng)。

RVM采用快速序列學(xué)習(xí)算法時,訓(xùn)練過程要比序列最小優(yōu)化的SVM速度要快。在RVM訓(xùn)練完成后,只有少數(shù)基函數(shù)的權(quán)值非零,比SVM更加稀疏,分類預(yù)測過程所用時間更短。

由于RVM的核函數(shù)不必要滿足Mercer條件,本文為方便與SVM進行比較,只進行了RBF核函數(shù)的試驗研究。不同核函數(shù)的高光譜影像RVM分類性能將是下一步研究的重點。

[1] YANG Guopeng.Hyperspectral Image Classification and Feature Extraction Based on Kernel Methods[D].Zhengzhou: Information Engineering University.2007.(楊國鵬.基于核方法的高光譜影像分類與特征提取[D].鄭州:信息工程大學(xué),2007.)

[2] XIA Jiantao.High Dimensional Multispectral Data Classification Based on Machine Learning[D].Xi’an:Northwestern Polytechnical University,2002.(夏建濤.基于機器學(xué)習(xí)的高維多光譜數(shù)據(jù)分類[D].西安:西北工業(yè)大學(xué),2002.)

[3] VAPNIK V N.The Nature of Statistical Learning Theory[M]. New York:Springer,1995.

[4] SHAWE-TSYLOR J,CRISTIANINI N.Kernel Methods for Pattern Analysis[M].London:Cambridge University Press, 2004:47-82.

[5] BISHOP C M,TIPPING M E.Variational Relevance Vector Machines[C]∥Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.San Francisco:Morgan Kaufmann,2000:46-53.

[6] TIPPINGM E,FAUL A.Fast Marginal Likelihood Maximization for Sparse Bayesian Models[C]∥Proceedings of Ninth International Workshop on Artificial Intelligence and Statistics. Key West:[s.n.],2003.

[7] THAYANANTHAN A.Template-based Pose Estimation and Tracking of 3D Hand Motion[D].Cambridge:University of Cambridge,2005.

[8] SILVA C,RIBEIRO B.Scaling Text Classification with Relevance Vector Machines[C]∥IEEE International Conference on Systems,Man and Cybernetics. Taipei: IEEE,2006: 4186-4191.

[9] DEMIR B,ERTURK S.Hyperspectral Image Classification Using Relevance Vector Machines[J].IEEE Geoscience and Remote Sensing Letters,2007,4(4):586-590.

[10] NIKOLAEV N,TINO P.Sequential Relevance Vector Machine Learning from Time Series[C]∥Proceedings of 2005 IEEE InternationalJoint Conference on Neural Networks.[S.l.]:IEEE,2005:1308-1313.

[11] TIPPING M E.Sparse Bayesian Learning and the Relevance Vector Machine[J].Journal of Machine Learning Research, 2001,1:211-244.

[12] BISHOP C M.Pattern Recognition and Machine Learning [M].Singapore:Springer,2007.

[13] MACKAYDJ C.The Evidence Framework Applied to Classification Networks[J].Neural Computation,1992,4(5):720-736.

[14] THAYANANTHAN A.Relevance Vector Machine Based Mixture of Experts[R].Cambridge:Department of Engineering,University of Cambridge,2005.

[15] FRANC V,HLAVAC V.Statistical Pattern Recognition Toolbox for Matlab User’s Guide[DB/OL].[2004]. http:∥cmp.felk.cvut.cz/cmp/cmp software.html.

(責(zé)任編輯:叢樹平)

Research on Relevance Vector Machine for Hyperspectral Imagery Classification

Y ANG Guopeng1,2,YU Xuchu1,ZHOU Xin3,ZHANG Pengqiang1
1.Institute of Surveying and Mapping,Information Engineering University,Zhengzhou 450052,China;2.Intelligence Institute of Airforce’s Equipment Academy,Beijing 100850,China;3.Institute of Surveying and Mapping,Information Engineering University, Zhengzhou 450052,China

Though the support vector machine has been successfully applied in hyperspectral imagery classification, it has also several limitations.Relevance vector machine(RVM)is a sparse model in the Bayesian framework,its mathematics model doesn’t have regularization coefficient and its kernel functions don’t need to satisfy Mercer’s condition.RVM presents the good generalization performance,and its predictions are probabilistic.In this paper, we firstly analysis the disadvantages of the support vector machine for hyperspectral imagery classification,and then a hyperspectral imagery classification method based on the relevance machine is brought forward.We introduce the sparse Bayesian classification model,regard the RVM learning as the maximization of marginal likelihood, and select the fast sequential sparse Bayesian learning algorithm.Through the experiments of PHI and OMIS imageries,the advantages of the relevance machine used in hyperspectral imagery classification are given out.

hyperspectral imagery;sparse Bayesian model;relevance vector machine;support vector machine

YANG Guopeng(1982—),male,PhD candidate,majors in pattern reorganization and hyperspectral imagery remote sensing.

E-mail:yangguopeng@hotmail.com

1001-1595(2010)06-0572-07

P237

A

國家863計劃(2006AA701309)

2009-07-17

2009-09-17

楊國鵬(1982—),男,博士生,主要從事模式識別、高光譜遙感。