基于MKSVM和MRF的高光譜影像分類方法

譚熊， 余旭初， 張鵬強， 付瓊瑩， 魏祥坡, 高猛

(1.信息工程大學(xué)，鄭州 450001; 2.江西省數(shù)字國土重點實驗室(東華理工大學(xué))，南昌 330000)

基于MKSVM和MRF的高光譜影像分類方法

譚熊1,2， 余旭初1， 張鵬強1， 付瓊瑩1， 魏祥坡1, 高猛1

(1.信息工程大學(xué)，鄭州 450001; 2.江西省數(shù)字國土重點實驗室(東華理工大學(xué))，南昌 330000)

為充分利用高光譜遙感影像中豐富的光譜和空間信息，提出了一種基于多核支持向量機(multiple kernel support vector machine,MKSVM)和馬爾科夫隨機場(markov random field,MRF)的影像分類方法。該方法首先利用MKSVM分類器對影像進行分類處理，再利用MRF對初始分類結(jié)果進行空間結(jié)構(gòu)規(guī)則化，得到最終分類結(jié)果。通過對AVIRIS高光譜影像的分類實驗表明,該方法有效地消除了分類結(jié)果中同質(zhì)區(qū)域內(nèi)的“噪聲”，分類精度提高了3%左右。

高光譜影像；多核支持向量機(MKSVM)；馬爾科夫隨機場(MRF)；分類

0 引言

高光譜遙感是現(xiàn)代遙感技術(shù)發(fā)展的里程碑[1]。在過去30 a間，無論是成像光譜技術(shù)還是影像處理技術(shù)都得到了迅猛發(fā)展，取得了豐碩的研究成果。高光譜影像中包含豐富的光譜和空間特征信息，為更加有效地利用這2種信息，近年來國內(nèi)外相關(guān)學(xué)者研究出了大量的高光譜影像分類方法，并根據(jù)分類處理過程中利用空間特征信息的方式和時機不同而分為2種類型：一是在分類過程中加入空間信息[2-3]；二是對分類結(jié)果進行空間結(jié)構(gòu)規(guī)則化后處理[4-7]。這2種類型的分類方法均在一定程度上提高了分類精度。

但就分類器的選擇而言，上述方法大多數(shù)是以有限樣本條件下能夠取得較好分類效果的支持向量機(support vector machine,SVM)方法為主，但SVM方法也存在著明顯的不足[8]；另外，SVM是基于單個特征空間的單核方法，由于不同核函數(shù)或同一核函數(shù)不同參數(shù)具有不同的特性，當(dāng)樣本特征含有異構(gòu)信息、樣本規(guī)模較大或多維數(shù)據(jù)不規(guī)則時，采用單核映射方式對所有樣本進行處理并不合理。針對這些問題，有關(guān)學(xué)者研究出了大量關(guān)于利用多核代替單核的學(xué)習(xí)方法，即多核學(xué)習(xí)方法[9]。多核學(xué)習(xí)方法不僅能夠增強決策函數(shù)的能力，而且還能提高學(xué)習(xí)的性能，現(xiàn)已成為機器學(xué)習(xí)領(lǐng)域的研究熱點之一。

由于高光譜影像具有數(shù)據(jù)量大、波段數(shù)多以及波段之間相關(guān)性大等特點，且影像中地物類型復(fù)雜多樣，若將高光譜影像數(shù)據(jù)作為一個整體輸入到只有單個核函數(shù)或單個參數(shù)的單核學(xué)習(xí)方法(以SVM為例)中，勢必會對分類結(jié)果產(chǎn)生一定的影響。針對這些問題，廣大專家學(xué)者正積極研究將多核學(xué)習(xí)方法用于高光譜影像分類處理中，且取得了一些初步成果[10-12]。但這些方法在模型選擇和計算效率上存在一定的局限性，且沒有有效利用高光譜影像中的空間特征信息。

馬爾科夫隨機場(markov random field,MRF)模型在描述高光譜影像相鄰像元的相關(guān)性方面具有一定的優(yōu)勢，且在高光譜影像分類中應(yīng)用較多。因此，本文將多核支持向量機(multiple kernel support vector machine,MKSVM)分類方法和MRF空間結(jié)構(gòu)規(guī)則化后處理相結(jié)合，提出了一種基于MKSVM和MRF的高光譜影像分類方法，并通過AVIRIS高光譜影像實驗，證明該方法的有效性。

1 方法原理

1.1 MKSVM分類

假定Km(x,z),(m=1,2,…,m)，是滿足Mercer定理的核函數(shù)，則其加權(quán)組合核K(x,z)也是核函數(shù)，即

(1)

根據(jù)SVM算法的對偶問題，用組合核函數(shù)代替單核函數(shù)，可得MKSVM的對偶問題，即

(2)

式中:xi,xj為樣本向量,i=1,2,…,n;yi,yj為類別標(biāo)簽;αi，αj為拉格朗日系數(shù);C為懲罰系數(shù)。

式(2)為包含變量α和dm的凸優(yōu)化問題，要得到其最優(yōu)解,可分如下2個步驟進行解算：

第1步，解算最優(yōu)解α*。式(2)的目標(biāo)函數(shù)可看成是一個包含變量dm的標(biāo)準(zhǔn)SVM問題。因此，通過解算單個SVM問題得到包含dm的α的最優(yōu)解為α*。

第2步，解算dm。在第1步的基礎(chǔ)上，若α*與dm無關(guān)，則式(2)可表示為

(3)

式中J(dm)為包含最優(yōu)解α*的目標(biāo)函數(shù)。對于一個給定的dm，J(dm)對dm的微分(即梯度)為

(4)

(5)

上述解算過程主要是針對2類分類問題。在MKSVM多類分類時，由于MKSVM是通過梯度下降法迭代解算單個SVM問題，可采用SVM的多類分類策略即一對一法(one against one,OAO)和一對余法(one against rest,OAR)進行多類分類。針對OAR分類策略，在得到MKSVM輸出后，再采用Platt等[13]提出的利用Sigmoid函數(shù)將初始分類結(jié)果轉(zhuǎn)化為兩兩配對的類后驗概率，轉(zhuǎn)換公式為

(6)

式中:f(x)為分類器輸出函數(shù); 參數(shù)A和B可從訓(xùn)練樣本集中估計得出，也可根據(jù)經(jīng)驗值直接給出。為簡單起見，本文中A和B的取值分別為-1和0。

1.2 MRF空間結(jié)構(gòu)規(guī)則化

由馬爾科夫隨機場定義及其特性可知，圖像中像元的連續(xù)分布表現(xiàn)在圖像上像元對其鄰域的依賴性，即圖像全局對某像元狀態(tài)的影響等價于該像元的鄰域?qū)ζ溆绊懀吖庾V影像亦如此。

根據(jù)最大后驗概率馬爾科夫隨機場模型(MAP-MRF)理論，將高光譜影像MKSVM初始分類得到的后驗概率通過

Uspectral(xi)=-ln[P(xi|yi)]

(7)

轉(zhuǎn)化為光譜能量函數(shù)，并將其作為一部分與

(8)

的MRF空間能量函數(shù)結(jié)合，則在像元處形成的新能量函數(shù)可表示為

U(xi)=Uspectral(xi)+Uspatial(xi) 。

(9)

式(7)為高光譜影像的光譜能量函數(shù)，其中P(xi|yi)可通過式(6)計算得到；式(8)為局部鄰域Ni內(nèi)的空間能量函數(shù)，其中β為控制光譜或空間能量重要性的參數(shù)，δ(yi,yj)為Kronecker函數(shù)，其含義為當(dāng)yi=yj時取值為1，當(dāng)yi≠yj時取值為0。

MRF模型能量函數(shù)最小化的常用算法包括局部迭代條件模型(iterationconditionalmodel,ICM)、模擬退火算法(simulatedannealingalgorithm,SA)、遺傳算法(geneticalgorithm,GA)、圖割法(graphcut,GC)以及最大期望法(expectationmaximization,EM)等。由于ICM算法收斂速度快，計算效率高。因此本文采用ICM對式(9)的能量函數(shù)進行最小化處理。ICM算法的迭代過程如下：

第1步,根據(jù)式(7)和式(8)分別計算高光譜影像初始分類結(jié)果中每個像元的局部光譜能量函數(shù)和局部空間能量函數(shù)，再根據(jù)式(9)計算每個像元的局部新能量；

第2步,遍歷初始分類結(jié)果圖中所有的像元，并計算各像元能量之和，即全局能量U；

第3步,計算圖像上所有類別對每個像元的局部能量，以局部能量最小的標(biāo)號代替該像元的初始標(biāo)號；

第4步,待所有像元標(biāo)號調(diào)整后，重新計算全部能量U′；

第5步,當(dāng)標(biāo)號調(diào)整前后全局能量差值△U=|U′-U|小于某一閾值T時，迭代結(jié)束。

基于MKSVM和MRF的高光譜影像分類方法具體流程如圖1所示。

圖1 基于MKSVM和MRF的高光譜影像分類流程Fig.1 Flowchart of hyperspectral image classification based on MKSVM and MRF

2 實驗與分析

為了檢驗本文分類器的性能，將基于MKSVM分類方法與本文方法進行比較分析。

2.1 基核函數(shù)選擇

由于徑向基核函數(shù)(RBF)和多項式核函數(shù)(POLY)在性能和分類效果上都明顯優(yōu)于其他核函數(shù)，因此本文主要選擇這2種核函數(shù)作為基核函數(shù)進行實驗，其表達(dá)式分別為

K(x,z)=exp(-‖x-z‖2/2σ2)

(10)

K(x,z)=(xz+1)p

(11)

式中：σ為高斯核參數(shù)；p為多項式系數(shù)。

在選定基本核函數(shù)后，多核函數(shù)的組合方式根據(jù)基本核函數(shù)參數(shù)的參與程度不同可以分為2類：一是同一核函數(shù)不同參數(shù)組成的多核函數(shù)；二是同一核函數(shù)的所有參數(shù)作為一個基核函數(shù)組成的多核函數(shù)。

2.2 參數(shù)的設(shè)置

在參數(shù)設(shè)置方面，MKSVM分類器不僅包含上述核函數(shù)參數(shù)，同時還包括懲罰系數(shù)C、權(quán)系數(shù)dm等，在分類時需要進行預(yù)先設(shè)置。在本實驗中，σ的取值范圍設(shè)置為{0.2,0.4,…,2.0}；p的取值范圍為{1,2}；C的取值范圍為{10-2,10-1,…,103}，經(jīng)過5-折交叉驗證，選擇最佳的C為1 000；權(quán)系數(shù)dm的初始值設(shè)置為1/M(M為基核函數(shù)個數(shù))，根據(jù)2.1節(jié)所述的多核組合方式，M取值分別為12和2；最大迭代次數(shù)為100次。

在MRF空間結(jié)構(gòu)規(guī)則化的過程中，選用4鄰域計算周圍像元對中心像元的影響；β取值為0.5；全局能量差的閾值T設(shè)為0.05；最大迭代次數(shù)設(shè)為10次。

2.3 實驗

實驗數(shù)據(jù)采用美國噴氣實驗室(JPL)研制的AVIRIS成像光譜儀獲取的印第安納州西北地區(qū)的高光譜影像(Indian pines image)，該數(shù)據(jù)的光譜覆蓋范圍為400～2 500 nm，光譜分辨率為10 nm，影像大小為145像元×145像元，空間分辨率約為20 m，原始波段數(shù)為224個，去掉4個DN值為0的波段(分別為波段1,33,97和161),用剩余的220個波段進行分類實驗。第47,27,17波段合成的假彩色圖像和地面真實數(shù)據(jù)分別如圖2(a)(b)所示，其類別和樣本數(shù)量信息如表1所示。

(a) 假彩色合成圖像(b) 地面真實數(shù)據(jù)

圖2 AVIRIS假彩色合成圖像和地面真實數(shù)據(jù)Fig.2 AVIRIS false color composite image and ground truth data

表1 AVIRIS影像樣本信息Tab.1 AVIRIS image sample information

將AVIRIS影像的各類別樣本隨機地分成訓(xùn)練樣本和測試樣本(當(dāng)某類別樣本數(shù)量少于100時，取50%為訓(xùn)練樣本，50%為測試樣本；當(dāng)樣本數(shù)量多于100且少于1 000時，取10%為訓(xùn)練樣本，余下的為測試樣本；當(dāng)樣本數(shù)量大于1 000時，取100個為訓(xùn)練樣本，余下的為測試樣本)。訓(xùn)練樣本用于分類器的學(xué)習(xí)訓(xùn)練; 測試樣本用于分類精度的檢測。在對該影像數(shù)據(jù)進行分類處理前，首先將數(shù)據(jù)的DN值歸一化到[0,1]范圍內(nèi)。在實驗中，采用不同的多核組合方式和多類分類構(gòu)造策略，并與MKSVM分類方法進行對比分析，分類精度和Kappa系數(shù)如表2所示。

表2 不同分類方法精度對比Tab.2 Accuracy comparison of different classification methods (%)

①數(shù)字加粗部分表示分類精度或Kappa系數(shù)的最優(yōu)值。

表2中Single表示用同一核函數(shù)不同參數(shù)作為基核函數(shù)的多核組合方式；All表示用同一核函數(shù)所有參數(shù)作為一個基核函數(shù)的多核組合方式；OAO表示迭代過程中單個支持向量機多類分類器的構(gòu)造策略為“一對一”法；OAR表示“一對余”法。

利用本文方法和沒有進行MRF空間結(jié)構(gòu)規(guī)則化的MKSVM的分類結(jié)果如圖3所示。圖中分類結(jié)果所采用的多類分類器構(gòu)造策略為“一對一”法，多核組合方式為同一核函數(shù)所有參數(shù)作為一個基核函數(shù)的多核組合方式。

(a) MKSVM分類結(jié)果(b) MKSVM-MRF分類結(jié)果

圖3 不同方法分類結(jié)果對比Fig.3 Comparison of different methods classification results

2.4 結(jié)果分析

綜合分析圖2(b)和圖3可以看出，影像中所分地物類別基本正確。在圖3(a)中，同質(zhì)區(qū)域內(nèi)夾雜著少量其他地物類別或隨機噪聲，主要表現(xiàn)為“麻點”現(xiàn)象；而本文MKSVM-MRF方法的分類結(jié)果(圖3(b))有效地消除了同質(zhì)區(qū)域內(nèi)的“麻點”或噪聲，得到了較好的分類結(jié)果：

1)在同一多核組合方式、同一SVM多類分類器構(gòu)造策略的條件下，MKSVM-MRF方法的總體分類精度較MKSVM方法的提高了3%左右，Kappa系數(shù)也提高了3%以上；

2)16種不同地物類型的分類精度以MKSVM-MRF法(ALL-OAO和ALL-OAR)的多核組合方式最高；

3)在2種分類方法中，ALL-OAO和ALL-OAR的分類精度和Kappa系數(shù)明顯高于同一核函數(shù)不同參數(shù)的多核組合方式(Single-OAO和Single-OAR)；

4)在2種分類方法中，“OAO”法多類分類器構(gòu)造策略在分類精度和Kappa系數(shù)上優(yōu)于“OAR”法。

3 結(jié)論

本文提出的基于MKSVM和MRF的高光譜影像分類方法主要由2個步驟完成：第一步利用MKSVM分類器對高光譜影像進行分類處理，得到地表覆蓋的初始分類結(jié)果；第二步利用MRF對初始分類結(jié)果進行空間結(jié)構(gòu)規(guī)則化，得到最終結(jié)果。采用AVIRIS成像光譜儀獲取的美國印第安納州西北地區(qū)的高光譜影像進行的實驗結(jié)果表明：基于MKSVM和MRF的高光譜影像分類方法不僅有效地消除了分類結(jié)果中的噪聲或“麻點”現(xiàn)象，而且還提高了分類精度。

[1] 余旭初,馮伍法,林麗霞.高光譜——遙感測繪的新機遇[J].測繪科學(xué)技術(shù)學(xué)報,2006,23(2):101-105. Yu X C,Feng W F,Lin L X.Hyperspectralmote sensing:A new opportunity for surveying and mapping[J].Journal of Geomatics Science and Technology,2006,23(2):101-105.

[2] Fauvel M,Benediktsson J A,Chanussot J.Spectral and spatial classification of hyperspectral data using SVMs and morphological profiles[J].IEEE Transactions on Geoscience and Remote Sensing,2008,46(11):3804-3814.

[3] 吳昊.綜合紋理特征的高光譜遙感圖像分類方法[J].計算機工程與設(shè)計,2012,33(5):1993-1996. Wu H.Classification methodology combined with texture feature for hyperspectral remote sensing image[J].Computer Engineering and Design,2012,33(5):1993-1996.

[4] Li C H,Kuo B C,Lin C T,et al.A spatial-contextual support vector machine for remotely sensed image classification[J].IEEE Transactions on Geoscience and Remote Sensing,2012,50(3):784-799.

[5] Tarabalka Y,Tilton J C,Benediktsson J A,et al.Marker-based Hierarchical Segmentation and Classification Approach for Hyperspectral Imagery[C]//ICASSP’11.Prague Congress Center.Prague,Czech Republic,2011:1089-1092.

[6] Tarabalka Y,Fauvel M,Chanussot J,et al.SVM and MRF based method for accurate classification of hyperspectral images[J].IEEE Transactions on Geoscience and Remote Sensing Letters,2010,7(4):736-740.

[7] Zhang B,Li S S,Jia X P,et al.Adaptive Markov random field approach for classification of hyperspectral imagery[J].IEEE Transactions on Geoscience and Remote Sensing Letters,2011,8(5):973-977.

[8] 楊國鵬,余旭初,周欣,等.基于相關(guān)向量機的高光譜影像分類研究[J].測繪學(xué)報,2010,39(6):572-578. Yang G P,Yu X C,Zhou X,et al.Research on relevance vector machine for hyperspectral imagery classification[J].Acta Geodaetica et Cartographica Sinica,2010,39(6):572-578.

[9] 汪洪橋,孫富春,蔡艷寧,等.多核學(xué)習(xí)方法[J].自動化學(xué)報,2010,36(8):1037-1050. Wang H Q,Sun F C,Cai Y N,et al.On multiple kernel learning methods[J].Aata Automatica Sinica,2010,36(8):1037-1050.

[10]尚坤,李培軍,程濤.基于合成核支持向量機的高光譜土地覆蓋分類[J].北京大學(xué)學(xué)報:自然科學(xué)版,2011,47(1):109-114. Shang K,Li P J,Cheng T.Land cover classification of hyperspectral data using composite kernel support vector machines[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2011,47(1):109-114.

[11]Gu Y F,Wang C,You D,et al.Representative multiple kernel learning for classification in hyperspectral imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2012,50(7):2852-2865.

[12]譚熊,余旭初,秦進春,等.高光譜影像的多核SVM分類[J].儀器儀表學(xué)報,2014,35(2):405-411. Tan X,Yu X C,Qin J C.et al.Multiple kernel SVM classification for hyperspectral images[J].Chinese Journal of Scientific Instrument,2014,35(2):405-411.

[13]Platt J C.Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods[OL].(1999).http://research.miscrosoft.com/～jplatt.

(責(zé)任編輯：刁淑娟)

Hyperspectral images classification based on MKSVM and MRF

TAN Xiong1, 2, YU Xuchu1, ZHANG Pengqiang1, FU Qiongying1, WEI Xiangpo1， GAO Meng1

(1.InformationEngineeringUniversity,Zhengzhou450001,China; 2.JiangxiProvinceKeyLabforDigitalLand,EastChinaInstituteofTechnology,Nanchang330000,China)

To fully utilize the spectral and spatial information rich in hyperspectral remote sensing images, this paper proposes a hyperspectral images classification method based on multiple kernel support vector machine (MKSVM) and Markov random field (MRF). Firstly, the MKSVM classifier is used to classify hyperspectral images, then the MRF is used to regularize the initial classification results in the spatial structure, and the final classification results are obtained in the end. The experiment on AVIRIS hyperspectral image shows that the proposed method not only effectively eliminates the “noise” in the homogeneous regions within the classification results but also improves the classification accuracy by about 3%.

hyperspectral images; multiple kernel support vector machine (MKSVM); Markov random field (MRF); classification

2014-05-10；

2014-07-25

國家自然科學(xué)基金青年科學(xué)基金項目“機載低空攝像機在線檢校與視頻影像實時處理技術(shù)研究”(編號：41201477)和江西省數(shù)字國土重點實驗室開放基金項目“聯(lián)合光譜/空間光譜信息的高光譜影像分類技術(shù)”(編號：DLLJ201403)共同資助。

10.6046/gtzyyg.2015.03.08

譚熊,余旭初,張鵬強,等.基于MKSVM和MRF的高光譜影像分類方法[J].國土資源遙感，2015，27(3)：42-46.(Tan X,Yu X C,Zhang P Q,et al.Hyperspectral images classification based on MKSVM and MRF[J] Remote Sensing for Land and Resources,2015，27(3)：42-46.)

TP 751

A

1001-070X(2015)03-0042-05

譚熊(1986-),男,講師,主要研究方向為模式識別、高光譜影像處理與分析等。Email：kjadetx@163.com。