面向高光譜圖像分類的半監(jiān)督Laplace鑒別嵌入

李志敏張 杰*黃 鴻馬澤忠

①(重慶大學(xué)光電技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400044)

②(重慶市國(guó)土資源和房屋勘測(cè)規(guī)劃院 重慶 400020)

面向高光譜圖像分類的半監(jiān)督Laplace鑒別嵌入

李志敏①?gòu)?杰*①黃 鴻①馬澤忠②

①(重慶大學(xué)光電技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400044)

②(重慶市國(guó)土資源和房屋勘測(cè)規(guī)劃院 重慶 400020)

為有效提取出高光譜遙感圖像數(shù)據(jù)的鑒別特征，該文闡述一種融合標(biāo)記樣本中鑒別信息和無(wú)標(biāo)記樣本中局部結(jié)構(gòu)信息的半監(jiān)督Laplace鑒別嵌入(SSLDE)算法。該算法利用標(biāo)記樣本的類別信息來(lái)保持樣本集的可分性，并通過(guò)構(gòu)建標(biāo)記樣本和無(wú)標(biāo)記樣本的Laplace矩陣來(lái)發(fā)現(xiàn)樣本集中局部流形結(jié)構(gòu)，實(shí)現(xiàn)半監(jiān)督的流形鑒別。在KSC 和Urban數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果說(shuō)明：該算法具有更高的分類精度，可以有效地提取出鑒別特征信息。在總體分類精度上，該算法比半監(jiān)督最大邊界準(zhǔn)則(SSMMC)算法提升了6.3%～7.4%，比半監(jiān)督流形保持嵌入(SSSMPE)算法提升了1.6%～4.4%。

圖像處理；高光譜遙感圖像；鑒別特征；Laplace矩陣；半監(jiān)督Laplace鑒別嵌入

1 引言

高光譜遙感作為一種高精尖端技術(shù)，它的出現(xiàn)無(wú)疑是現(xiàn)代科技領(lǐng)域里的一次履新革面的發(fā)展。高光譜遙感圖像具有豐富的空間地物和光譜信息，可應(yīng)用于資源探測(cè)、海洋及大氣監(jiān)測(cè)、軍事國(guó)防等諸多現(xiàn)代化領(lǐng)域[1,2]。然而，由于高光譜遙感圖像具有數(shù)據(jù)量偏大、維數(shù)過(guò)高、冗余性較強(qiáng)等特點(diǎn)，致使高光譜圖像的處理過(guò)程復(fù)雜化，并且分類精度和分類效率明顯降低，嚴(yán)重制約著高光譜遙感技術(shù)的廣泛應(yīng)用[3,4]。因此，如何提取出有用的鑒別特征信息來(lái)提升高光譜圖像的分類性能已成為一個(gè)亟待深入探究的關(guān)鍵問(wèn)題。

目前，研究者們已經(jīng)提出了一系列的有關(guān)高維數(shù)據(jù)降維及特征提取的理論和算法。如傳統(tǒng)的主成分分析(Principal Component Analysis, PCA)[5]、線性判別分析(Linear Discriminant Analysis, LDA)[6]、極大邊界準(zhǔn)則(Maximum Margin Criterion, MMC)[7]等。這些算法具有堅(jiān)實(shí)的理論基礎(chǔ)，易于執(zhí)行和分析，應(yīng)用廣泛。但它們均為全局假設(shè)的線性算法，不能發(fā)現(xiàn)隱藏在高光譜遙感圖像數(shù)據(jù)中的局部流形特征。近年來(lái)，學(xué)者們提出了各種基于鄰域流形結(jié)構(gòu)關(guān)系的非線性特征提取技術(shù)，如局部線性嵌入(Locally Linear Embedding, LLE)[8]、等距特征映射(ISOmetric feature MAPping, ISOMAP)[9]、拉普拉斯特征映射(Laplacian Eigenmap, LE)[10]等。這些算法無(wú)法解決對(duì)于新樣本的學(xué)習(xí)問(wèn)題。因而，文獻(xiàn)[11,12]分別提出了局部保持投影(Locality Preserving Projection, LPP)算法和鄰域保持嵌入(Neighborhood Preserving Embedding, NPE)算法，其非線性流形學(xué)習(xí)能力較好，但忽略了標(biāo)記樣本的類別信息，容易破壞數(shù)據(jù)集在特征空間中的可分性。

為了有效利用標(biāo)記樣本和未標(biāo)記樣本的鑒別特征信息以及節(jié)約人工標(biāo)記樣本所需的高額成本，研究者提出了半監(jiān)督的學(xué)習(xí)方法。例如，文獻(xiàn)[13]提出半監(jiān)督稀疏鑒別嵌入(Semi-supervised Sparse Discriminant Embedding, SSDE)算法。文獻(xiàn)[14,15]分別提出半監(jiān)督最大邊界準(zhǔn)則(Semi-Supervised Maximum Margin Criterion, SSMMC)算法和半監(jiān)督流形保持嵌入 (Semi-Supervised Sub-Manifold Preserving Embedding, SSSMPE)算法，用于圖像識(shí)別時(shí)取得了較好的識(shí)別效果，但存在參數(shù)的優(yōu)化選擇困難，識(shí)別效率較低，噪聲敏感等問(wèn)題，導(dǎo)致算法穩(wěn)定可靠性較差。

由于傳統(tǒng)的全局線性特征提取算法存在不能發(fā)現(xiàn)數(shù)據(jù)集的局部流形結(jié)構(gòu)特征，以及單純的局部流形學(xué)習(xí)方法忽略了標(biāo)記樣本的類別信息，容易破壞數(shù)據(jù)集的可分性問(wèn)題。因而，本文結(jié)合上述各算法中的優(yōu)缺點(diǎn)，提出了半監(jiān)督Laplace鑒別嵌入(Semi-Supervised Laplace Discriminant Embedding, SSLDE)算法，該算法利用標(biāo)記樣本的類別信息來(lái)保持樣本數(shù)據(jù)集在特征空間中的可分性，并通過(guò)構(gòu)建標(biāo)記樣本和無(wú)標(biāo)記樣本的Laplace矩陣來(lái)發(fā)現(xiàn)樣本數(shù)據(jù)集在特征空間中局部流形結(jié)構(gòu)信息。特別地，該算法融入了無(wú)標(biāo)記樣本數(shù)據(jù)的局部結(jié)構(gòu)信息，實(shí)現(xiàn)半監(jiān)督的鑒別特征提取，進(jìn)一步提升了高光譜圖像的分類精度，并且具有較好的穩(wěn)定可靠性，以及參數(shù)優(yōu)化選擇簡(jiǎn)單等優(yōu)點(diǎn)。

2 相關(guān)理論

2.1 特征提取

特征提取是指利用某種方法將隱藏在原始高維數(shù)據(jù)中的特征信息提取出來(lái)，在低維嵌入空間中簡(jiǎn)潔、有效地表征出原始數(shù)據(jù)中的鑒別特征信息。針對(duì)高光譜遙感圖像數(shù)據(jù)的特征提取問(wèn)題，就是尋找一個(gè)最佳鑒別的投影矩陣，將原始高維數(shù)據(jù)集映射到一個(gè)恰當(dāng)?shù)牡途S嵌入空間，此低維嵌入空間保留了高維數(shù)據(jù)集中的鑒別信息特征，如局部流形特征，從而在低維嵌入空間中進(jìn)行高光譜遙感數(shù)據(jù)的分類，可有效提升分類性能。具體描述：首先將高光譜遙感圖像數(shù)據(jù)表示成N×b的數(shù)據(jù)集X= {x1,x2,…,xN}，其中N為像素點(diǎn)數(shù)，b為波段數(shù)，然后根據(jù)相關(guān)理論尋找一個(gè)低維特征空間Y來(lái)表征高維數(shù)據(jù)X的有用鑒別特征信息。

2.2 譜圖理論

譜圖理論的基本思想是把數(shù)據(jù)空間中各個(gè)數(shù)據(jù)點(diǎn)之間的局部近鄰結(jié)構(gòu)關(guān)系看作是一個(gè)流形上的近鄰關(guān)系圖G。首先，將流形上的數(shù)據(jù)點(diǎn)用V表示，各個(gè)數(shù)據(jù)點(diǎn)之間的近鄰關(guān)系用E表示，從而可將整個(gè)數(shù)據(jù)空間形式化為一個(gè)基于局部流形結(jié)構(gòu)關(guān)系的近鄰關(guān)系圖G=(V,E)。其中，利用近鄰數(shù)據(jù)點(diǎn)之間的某種距離或者相似性來(lái)權(quán)重近鄰關(guān)系E，用wij表示數(shù)據(jù)點(diǎn)xi與xj之間E的權(quán)重值。于是可以得到近鄰關(guān)系圖G的權(quán)重矩陣W =[wij]N×N，其表達(dá)式為

其中，k(xi)表示數(shù)據(jù)點(diǎn)xi的k個(gè)最近鄰數(shù)據(jù)點(diǎn)。Laplace矩陣L=D?W, D為對(duì)角矩陣，且Dii=。Laplace矩陣L包含了數(shù)據(jù)點(diǎn)的局部近鄰信息，其特征向量與流形結(jié)構(gòu)上Laplace-Beltrami算子的特征函數(shù)可看作為是一種近似離散關(guān)系。因而，Laplace矩陣L應(yīng)用在高維數(shù)據(jù)的特征提取時(shí)，能夠使得高維數(shù)據(jù)空間中流形上近鄰數(shù)據(jù)點(diǎn)在低維空間中也可保持局部近鄰結(jié)構(gòu)關(guān)系不變。

3 半監(jiān)督Laplace鑒別嵌入算法

3.1 SSLDE算法原理

基于保護(hù)樣本集的可分性原則及譜圖理論的鄰域流形學(xué)習(xí)思想，本文提出一種融合標(biāo)記樣本中鑒別信息和無(wú)標(biāo)記樣本中局部結(jié)構(gòu)信息的半監(jiān)督Laplace鑒別嵌入(SSLDE)算法。該算法利用標(biāo)記樣本的類別信息來(lái)保持樣本集在特征空間中的可分性，并通過(guò)構(gòu)建標(biāo)記樣本和無(wú)標(biāo)記樣本的Laplace矩陣來(lái)發(fā)現(xiàn)數(shù)據(jù)集在特征空間中的局部流形結(jié)構(gòu)信息，實(shí)現(xiàn)半監(jiān)督的流形鑒別特征提取。該算法不需要調(diào)整過(guò)多的參數(shù)就可獲得更加理想的分類效果，且具有較高的穩(wěn)定可靠性。

(1)利用標(biāo)記樣本的類別信息，構(gòu)建同類數(shù)據(jù)的類內(nèi)散度矩陣Sw和異類數(shù)據(jù)的類間散度矩陣Sb，尋求一個(gè)最佳鑒別矢量的目標(biāo)路徑，使異類數(shù)據(jù)的類間散度矩陣極大化、同類數(shù)據(jù)的類內(nèi)散度矩陣極小化來(lái)保持樣本集在特征空間中的可分性。其中，Sw和Sb的表達(dá)式分別為

其中，c是類別數(shù)，ni表示第i類樣本數(shù)，xij表示第i類的第j個(gè)樣本，mi是第i類樣本的均值向量，m是總樣本集的均值向量。

(2)利用標(biāo)記樣本和無(wú)標(biāo)記樣本的Laplace矩陣保持高維數(shù)據(jù)集中的局部流形結(jié)構(gòu)信息，使在原始高維空間中流形上相距較遠(yuǎn)的樣本數(shù)據(jù)點(diǎn)映射到低維特征空間中仍保持較遠(yuǎn)距離，流形上相距較近的樣本數(shù)據(jù)點(diǎn)映射到低維特征空間中仍保持較近距離，從而保持高光譜遙感圖像數(shù)據(jù)集的局部流形結(jié)構(gòu)信息不變。

步驟.1 利用式(1)描述的近鄰法來(lái)構(gòu)建標(biāo)記樣本和無(wú)標(biāo)記樣本的近鄰關(guān)系圖G，并設(shè)置權(quán)值矩陣W=[wij]N×N的表達(dá)式為

步驟2 計(jì)算局部流形結(jié)構(gòu)上的Laplace矩陣=?LDW；

步驟.3 利用步驟2中所得的Laplace矩陣L，計(jì)算d維嵌入空間Y。為保持高光譜遙感圖像數(shù)據(jù)集從原始高維數(shù)據(jù)空間映射到低維嵌入空間后鄰域流形特征不變，構(gòu)造變換函數(shù)為

其中A為投影矩陣，ATX=Y，且ATA=I。

SSLDE算法思想是在保持?jǐn)?shù)據(jù)集在特征空間中

N可分性和局部流形特征的前提下將高維數(shù)據(jù)集X投影到低維嵌入空間Y，因此可以通過(guò)優(yōu)化方法求得最佳投影矩陣A以及低維嵌入空間Y。

采用熟悉的Lagrange乘子法，可以將式(7)的最優(yōu)化問(wèn)題轉(zhuǎn)換為特征方程的廣義特征值求解：

由式(6)可定義SSLDE算法的目標(biāo)函數(shù)為

解得式(8)中最大的d個(gè)特征值λ1,λ2,…,λd和與之相應(yīng)的d個(gè)特征向量[a1,a2,…,ad]，即可求得從高維空間投影到低維嵌入空間的投影矩陣A=[a1, a2,…,ad]。

3.2 SSLDE算法步驟

本文所提出的SSLDE算法的具體步驟為：

步驟1 對(duì)訓(xùn)練樣本數(shù)據(jù)集進(jìn)行主成分變換并求取變換矩陣APCA及低維數(shù)據(jù)YPCA=X；

步驟2 利用步驟1所得數(shù)據(jù)集YPCA中標(biāo)記樣本數(shù)據(jù)點(diǎn)求得類內(nèi)散度矩陣Sw和類間散度矩陣Sb；

步驟3 構(gòu)建YPCA的近鄰關(guān)系圖G，利用式(4)計(jì)算權(quán)值矩陣W =[wij]N×N，求Laplace矩陣L= D?W；

步驟4 計(jì)算式(8)的d個(gè)最大特征值及其相應(yīng)的d個(gè)特征向量[a1,a2,…,ad]，且AZ=[a1,a2,…,ad]；

步驟5 計(jì)算最佳投影矩陣A=APCAAZ，即可獲得低維嵌入空間Y=ATX。

4 實(shí)驗(yàn)與分析

為了評(píng)估本文所提出的SSLDE算法在高光譜遙感圖像中的分類性能，分別對(duì)具有代表性的KSC和Urban高光譜遙感數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn)。首先利用各種算法對(duì)同一訓(xùn)練樣本集計(jì)算得出在特征空間中各自相應(yīng)的投影矩陣，然后利用所得的投影矩陣對(duì)相同的測(cè)試樣本集進(jìn)行投影降維，得到測(cè)試樣本集在低維嵌入空間中的特征表示，最后用K最鄰近(K-Nearest Neighbor, K-NN)結(jié)點(diǎn)算法進(jìn)行遙感數(shù)據(jù)的分類處理。在滿足各種算法參數(shù)選取最優(yōu)的條件下，將PCA, LDA, LPP, NPE, MMC, SSMMC以及SSSMPE與SSLDE算法的分類結(jié)果進(jìn)行對(duì)比分析。

4.1 KSC數(shù)據(jù)集

KSC數(shù)據(jù)集是位于美國(guó)Florida的肯尼迪航天中心(Kennedy Space Center, KSC)的高光譜遙感圖像，如圖1所示。已知該遙感圖像的地面空間分辨率為18 m，共有614×512個(gè)像素點(diǎn)，光譜范圍為400～2500 nm，波段數(shù)為224，經(jīng)過(guò)預(yù)處理后將剩余的176個(gè)波段進(jìn)行分類實(shí)驗(yàn)研究。該數(shù)據(jù)集中含有13類已知地物，其中樣本點(diǎn)共有5211個(gè)，本實(shí)驗(yàn)選取其中含地物數(shù)據(jù)樣本點(diǎn)最多的7個(gè)類別數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn)，其類別信息如表1所示。

表1 KSC數(shù)據(jù)集的類別信息

本實(shí)驗(yàn)分別從表1中的每類已知地物中隨機(jī)選取10, 20, 30個(gè)標(biāo)記樣本和30個(gè)無(wú)標(biāo)記樣本作為訓(xùn)練樣本，100個(gè)樣本點(diǎn)作為測(cè)試樣本。由于KSC數(shù)據(jù)集中每類地物數(shù)據(jù)量大，而實(shí)驗(yàn)選取的測(cè)試樣本數(shù)目相對(duì)較少，為了提升實(shí)驗(yàn)的精確性及可信度，每種算法重復(fù)進(jìn)行10次分類實(shí)驗(yàn)，然后對(duì)10次實(shí)驗(yàn)的分類精度求平均值得到最終的總體分類精度。由于嵌入在高維特征空間中流形結(jié)構(gòu)的本征維數(shù)是未知、不可確定的，因而本實(shí)驗(yàn)在不同的低維嵌入空間維數(shù)下進(jìn)行了分類實(shí)驗(yàn)，同時(shí)為了對(duì)比分析不同算法在不同訓(xùn)練樣本數(shù)目情況下的分類性能，圖2給出了不同算法在不同訓(xùn)練樣本數(shù)、不同維數(shù)下進(jìn)行分類實(shí)驗(yàn)的總體分類精度，表2給出了不同算法在不同訓(xùn)練樣本數(shù)的情況下的最高總體分類精度值及其標(biāo)準(zhǔn)偏差和所在低維嵌入空間的維數(shù)。

圖1 KSC高光譜遙感圖像

圖2 不同算法在不同訓(xùn)練樣本數(shù)、不同維數(shù)下的總體分類精度

表2 不同算法的最高總體分類精度(平均值±標(biāo)準(zhǔn)偏差(%)(維數(shù)))

由圖2和表2可知，本文SSLDE算法在分類性能上較優(yōu)于其它幾種特征提取算法。其中PCA, MMC, SSMMC, SSSMPE以及SSLDE算法的分類精度隨訓(xùn)練樣本數(shù)的增加而增加；NPE, LPP算法是基于局部結(jié)構(gòu)關(guān)系的流形學(xué)習(xí)方法，其分類精度主要受鄰域結(jié)構(gòu)關(guān)系和最近鄰點(diǎn)數(shù)k的取值影響；LDA在線性二分類問(wèn)題中應(yīng)用效果較好，但高光譜遙感數(shù)據(jù)屬于多類非線性問(wèn)題。

PCA算法是在尋求全局最佳逼近的情況下提取特征信息，對(duì)于全局結(jié)構(gòu)為線性屬性的數(shù)據(jù)集能夠很好地去除其冗余性，有效保留數(shù)據(jù)集中的主成分特征信息，但高光譜遙感數(shù)據(jù)是存在非線性屬性的，因而PCA算法并不能較好地從原始遙感數(shù)據(jù)中提取出鑒別特征信息，導(dǎo)致總體分類精度并不理想；LDA和MMC算法利用了標(biāo)記樣本的類別信息，保持了樣本集在特征空間中的可分性，但忽略了高光譜遙感數(shù)據(jù)集的局部流形結(jié)構(gòu)特征，因而通過(guò)LDA和MMC算法對(duì)高光譜遙感圖像數(shù)據(jù)進(jìn)行特征提取后的分類效果并不突出；NPE和LPP算法僅保持?jǐn)?shù)據(jù)集在特征空間中的鄰域流形結(jié)構(gòu)信息，卻沒(méi)有考慮到標(biāo)記樣本中最重要的類別信息，破壞了樣本集的可分性，導(dǎo)致算法的鑒別性差，總體分類精度低；SSMMC和SSSMPE算法的參數(shù)優(yōu)化復(fù)雜，分類性能受到影響；本文SSLDE算法既保持了樣本集的局部流形結(jié)構(gòu)特征，也沒(méi)有破壞樣本集在特征空間中的可分性，分類精度最高，且該算法參數(shù)優(yōu)化選擇簡(jiǎn)單，分類效果穩(wěn)定可靠。

由表2可得，在10, 20, 30個(gè)標(biāo)記訓(xùn)練樣本和30個(gè)無(wú)標(biāo)記訓(xùn)練樣本的情況下，本文SSLDE算法的最高總體分類精度比SSMMC分別提升了約7.37%, 6.32%, 7.07%；相對(duì)于SSSMPE分別提升了約1.66%, 2.28%, 2.69%。

4.2 Urban數(shù)據(jù)集

Urban數(shù)據(jù)集是位于某城郊住宿區(qū)的高光譜圖遙感圖像，如圖3所示。已知該遙感圖像的地面空間分辨率為3 m，共有307×307個(gè)像素點(diǎn)，波譜范圍為400～2500 nm，波段數(shù)為210，經(jīng)過(guò)預(yù)處理后將剩下的162個(gè)波段進(jìn)行分類實(shí)驗(yàn)研究。該遙感數(shù)據(jù)集中有道路、建筑、樹(shù)木和草地4類已知的地物種類，其中陰影部分為未知地物。

本實(shí)驗(yàn)分別從每類已知地物中隨機(jī)選取10, 20, 30個(gè)標(biāo)記樣本點(diǎn)和30個(gè)無(wú)標(biāo)記樣本點(diǎn)作為訓(xùn)練樣本，800個(gè)樣本點(diǎn)作為測(cè)試樣本進(jìn)行實(shí)驗(yàn)。由于Urban數(shù)據(jù)集中每類地物數(shù)據(jù)量大，而實(shí)驗(yàn)選取的測(cè)試樣本數(shù)目相對(duì)較少，為了提升實(shí)驗(yàn)的精確性及可信度，每種算法重復(fù)進(jìn)行10次分類實(shí)驗(yàn)，然后對(duì)10次實(shí)驗(yàn)的分類精度求平均值得到最終的總體分類精度。由于嵌入在高維特征空間中流形結(jié)構(gòu)的本征維數(shù)是未知、不可確定的，因而本實(shí)驗(yàn)在不同的低維嵌入空間維數(shù)下進(jìn)行了分類實(shí)驗(yàn)，同時(shí)為了對(duì)比分析不同算法在不同訓(xùn)練樣本數(shù)目情況下的分類性能，圖4給出了不同算法在不同訓(xùn)練樣本數(shù)、不同維數(shù)下進(jìn)行分類實(shí)驗(yàn)的總體分類精度，表3給出了不同算法在不同訓(xùn)練樣本數(shù)的情況下的最高總體分類精度值及其標(biāo)準(zhǔn)偏差和所在低維嵌入空間的維數(shù)。

圖3 Urban高光譜遙感圖像

表3 不同算法的最高總體分類精度(平均值±標(biāo)準(zhǔn)偏差(%)(維數(shù)))

圖4 不同算法在不同訓(xùn)練樣本數(shù)、不同維數(shù)下的總體分類精度

由圖4可得，針對(duì)Urban高光譜遙感數(shù)據(jù)集進(jìn)行特征提取及分類時(shí)，本文SSLDE算法的分類精度明顯高于其它幾種特征提取算法。因?yàn)镾SLDE算法不僅利用標(biāo)記樣本的類別信息保持樣本集在特征空間中的可分性，還利用標(biāo)記樣本和無(wú)標(biāo)記樣本的Laplace矩陣保持樣本集在特征空間中的局部流形結(jié)構(gòu)信息，有效提取出高光譜遙感圖像的鑒別特征信息，具有更高的分類精度。

PCA算法降低了高光譜遙感數(shù)據(jù)的冗余性，在一定程度上提升了分類精度；LDA和MMC算法雖利用了標(biāo)記樣本的類別信息，但忽略數(shù)據(jù)集中鄰域流形特征，所以分類精度不夠突出；NPE和LPP算法僅僅保持了樣本集的鄰域流形結(jié)構(gòu)關(guān)系，忽略了標(biāo)記樣本中最重要的類別信息，破壞了高光譜遙感數(shù)據(jù)集在特征空間中的可分性，結(jié)果導(dǎo)致算法分類精度較低；SSMMC和SSSMPE算法為半監(jiān)督學(xué)習(xí)算法，利用了無(wú)標(biāo)記樣本的流形特征信息，在總體分類精度上有一定的提高。本文SSLDE算法同樣也作為一種半監(jiān)督的特征提取算法，可是相對(duì)于SSMMC和SSSMPE算法的參數(shù)優(yōu)化選擇較為困難及分類性能易受所選參數(shù)影響的缺點(diǎn)，SSLDE算法不僅無(wú)復(fù)雜的參數(shù)優(yōu)化過(guò)程，并且分類精度更高。

從表3可以得出，在10, 20, 30個(gè)標(biāo)記訓(xùn)練樣本和30個(gè)無(wú)標(biāo)記訓(xùn)練樣本的情況下，本文SSLDE算法的最高總體分類精度比SSMMC分別提升了約6.80%, 7.15%, 6.34%；相對(duì)于SSSMPE分別提升了約4.40%, 3.85%, 3.24%。同時(shí)，SSLDE算法的標(biāo)準(zhǔn)偏差值也最小，可說(shuō)明該算法的穩(wěn)定性更好。

4.3 算法復(fù)雜度比較

為了比較算法的復(fù)雜度與實(shí)時(shí)性，通過(guò)記錄各種算法的運(yùn)行時(shí)間來(lái)反映算法復(fù)雜度。本實(shí)驗(yàn)是在Intel(R) Core(TM)2 T6570 2.10 Hz 的CPU和2.00 GB的RAM平臺(tái)上進(jìn)行的。在低維嵌入空間維數(shù)d=30(LDA例外)的情況下，各種算法分別重復(fù)進(jìn)行10次實(shí)驗(yàn)，記錄每次實(shí)驗(yàn)的運(yùn)行時(shí)間，再求平均值得到最終結(jié)果如表4所示。

由表4可得SSMMC, SSSMPE, SSLDE算法的運(yùn)行時(shí)間明顯比其他算法更長(zhǎng)，這是因?yàn)榘氡O(jiān)督算法考慮了大量無(wú)標(biāo)記樣本的特征信息，所以算法復(fù)雜度更高，運(yùn)行時(shí)間更長(zhǎng)。在實(shí)際應(yīng)用中，犧牲一定的實(shí)時(shí)性來(lái)提高分類精度也是可取的。

5 結(jié)束語(yǔ)

本文通過(guò)對(duì)比分析高光譜遙感圖像處理中常用的降維及特征提取算法，提出一種融合標(biāo)記樣本中鑒別信息和無(wú)標(biāo)記樣本中局部結(jié)構(gòu)信息的半監(jiān)督Laplace鑒別嵌入(SSLDE)算法。該算法充分利用標(biāo)記樣本的類別信息和樣本集中局部流形結(jié)構(gòu)信息將高維數(shù)據(jù)投影到一個(gè)恰當(dāng)?shù)牡途S特征空間中，簡(jiǎn)潔、有效地刻畫(huà)出數(shù)據(jù)集的鑒別特征信息。特別地，利用無(wú)標(biāo)記樣本的Laplace矩陣來(lái)引入半監(jiān)督的流形鑒別嵌入方法，進(jìn)一步提升了高光譜圖像數(shù)據(jù)的分類性能。

在KSC 和Urban數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明：本文SSLDE算法比其它常見(jiàn)的方法具有更高的分類精度，可以有效提取出高光譜遙感圖像數(shù)據(jù)的鑒別特征信息。在總體分類精度上，本文算法比SSMMC提升了約6.3%～7.4%，比SSSMPE提升了1.6%～4.4%。該算法具有參數(shù)優(yōu)化選擇簡(jiǎn)單，分類精度較高，穩(wěn)定可靠性好等優(yōu)點(diǎn)。但本文的研究工作還存在某些不足或者有待深入的地方，比如如何進(jìn)一步提高運(yùn)算效率，如何結(jié)合遙感圖像中的空間紋理結(jié)構(gòu)信息來(lái)提高分類性能，以及進(jìn)一步研究多流形或者叢流形結(jié)構(gòu)的特征提取問(wèn)題。

表4 各種算法的運(yùn)行時(shí)間(s)

[1] 張達(dá), 鄭玉權(quán). 高光譜遙感的發(fā)展與應(yīng)用[J]. 光學(xué)與光電技術(shù), 2013, 11(3): 67-73.

Zhang Da and Zheng Yu-quan. The development and application of hyperspectral remote sensing[J]. Optical and Photoelectric Technology, 2013, 11(3): 67-73.

[2] 宋相法, 焦李成. 基于稀疏表示及光譜信息的高光譜遙感圖像分類[J]. 電子與信息學(xué)報(bào), 2012, 34(2): 268-272.

Song Xiang-fa and Jiao Li-cheng. Hyperspectral remote sensing image classification based on the sparse representation and spectral information[J]. Journal of Electronics & Information Technology, 2012, 34(2): 268-272.

[3] 陳宏達(dá), 普晗曄, 王斌, 等. 基于圖像歐氏距離的高光譜圖像流形降維算法[J]. 紅外與毫米波學(xué)報(bào), 2013, 32(5): 450-455.

Chen Hong-da, Pu Han-ye, Wang Bin, et al.. Based on Euclidean distance of hyperspectral image manifold dimensionality reduction algorithm[J]. Journal of Infrared and Millimeter Wave, 2013, 32(5): 450-455.

[4] 杜博, 張樂(lè)飛, 張良培, 等. 高光譜圖像降維的判別流形學(xué)習(xí)方法[J]．光子學(xué)報(bào), 2013, 42(3): 320-325.

Du Bo, Zhang Le-fei, Zhang Liang-pei, et al.. Hyperspectral image discriminant manifold learning method of dimension reduction[J]. Acta Photonica Sinica, 2013, 42(3): 320-325.

[5] Abdi H and Williams L J. Principal component analysis[J]. Wiley Interdisciplinary Reviews: Computational Statistics, 2010, 2(4): 433-459.

[6] Moulin C, Largeron C, Ducottet C, et al.. Fisher linear discriminant analysis for text-image combination in multimedia information retrieval[J]. Pattern Recognition, 2014, 47(1): 260-269.

[7] Wan M, Lai Z, and Jin Z. Feature extraction using two-dimensional local graph embedding based on maximum margin criterion[J]. Applied Mathematics and Computation, 2011, 217(23): 9659-9668.

[8] Zhao X and Zhang S. Facial expression recognition using local binary patterns and discriminant kernel locally linear embedding[J]. EURASIP Journal on Advances in Signal Processing, 2012, 2012(1): 1-9.

[9] Rosman G, Bronstein M M, Bronstein A M, et al.. Nonlinear dimensionality reduction by topologically constrained isometric embedding[J]. International Journal of Computer Vision, 2010, 89(1): 56-68.

[10] Luo W. Face recognition based on Laplacian Eigenmaps[C]. Proceedings of the 2011 IEEE International Conference on Computer Science and Service System (CSSS), Nanjing, China, 2011: 416-419.

[11] He X and Niyogi P. Locality preserving projections[C]. Proceedings of the Advances in Neural Information Processing Systems, Vancouver, BC, Canada, 2004: 234-241.

[12] He X, Cai D, Yan S, et al.. Neighborhood preserving embedding[C]//Proceedings of the 2005 IEEE International Conference on Computer Vision (ICCV), Beijing, China, 2005: 1208-1213.

[13] 黃鴻, 曲煥鵬. 基于半監(jiān)督稀疏鑒別嵌入的高光譜遙感影像分類[J]. 光學(xué)精密工程, 2014, 22(2): 434-442.

Huang Hong and Qu Huan-peng. Hyperspectral remote sensing image classification based on SSDE[J]. Optics and Precision Engineering, 2014, 22(2): 434-442.

[14] Song Y Q, Nie F P, Zhang C S, et al.. A unified framework for semi-supervised dimensionality reduction[J]. Pattern Recognition, 2008, 41(9): 2789-2799.

[15] Song Y Q, Nie F P, and Zhang C S. Semi-supervised sub-manifold discriminant analysis[J]. Pattern Recognition Letters, 2008, 29(13): 1806-1813.

李志敏： 男，1955年生，副教授，碩士生導(dǎo)師，研究方向?yàn)閿?shù)字圖像處理、計(jì)算機(jī)網(wǎng)絡(luò)、嵌入式系統(tǒng).

張 杰： 男，1988年生，碩士生，研究方向?yàn)閿?shù)字圖像處理、遙感圖像分類、嵌入式系統(tǒng)等.

黃 鴻： 男，1980年生，副教授，碩士生導(dǎo)師，研究方向?yàn)榱餍螌W(xué)習(xí)、模式識(shí)別、遙感圖像處理等.

馬澤忠： 男，1972年生，教授級(jí)高級(jí)工程師，碩士生導(dǎo)師，研究方向?yàn)榭臻g數(shù)據(jù)信息處理與系統(tǒng)開(kāi)發(fā)、虛擬現(xiàn)實(shí)與三維空間數(shù)據(jù)制作體系理論、定量.

Semi-supervised Laplace Discriminant Embedding for Hyperspectral Image Classification

Li Zhi-min①Zhang Jie①Huang Hong①M(fèi)a Ze-zhong②

①(Key Laboratory of Optoelectronic Technique and Systems of the Ministry of Education, Chongqing University, Chongqing 400044, China)

②(Chongqing Institute of Surveying and Planning for Land Resources and Houses, Chongqing 400020, China)

In order to extract effectively the discriminant characteristics of hyperspectral remote sensing image data, this paper presents a Semi-Supervised Laplace Discriminant Embedding (SSLDE) algorithm based on the discriminant information of labeled samples and the local structural information of unlabeled samples. The proposed algorithm makes use of the class information of labeled samples to maintain the separability of sample set, and discovers the local manifold structure in sample set by constructing Laplace matrix of labeled and unlabeled samples, which can achieve semi-supervised manifold discriminant. The experimental results on KSC and Urban database show that the algorithm has higher classification accuracy and can effectively extract the information of discriminant characteristics. In the overall classification accuracy, this algorithm is improved by 6.3%～7.4% compared with Semi-Supervised Maximum Margin Criterion (SSMMC) algorithm and increased by 1.6%～4.4% compared with Semi-Supervised Sub-Manifold Preserving Embedding (SSSMPE) algorithm.

Image processing; Hyperspectral remote sensing image; Discriminant characteristics; Laplace matrix; Semi-Supervised Laplace Discriminant Embedding (SSLDE)

TP751.1

： A

：1009-5896(2015)04-0995-07

10.11999/JEIT140600

2014-05-08收到，2014-07-04改回

國(guó)家自然科學(xué)基金(61101168, 41371338)，中國(guó)博士后科學(xué)基金(2012M511906, 2013T60837)，重慶市基礎(chǔ)與前沿研究計(jì)劃項(xiàng)目(cstc2013jcyjA40005)，重慶市國(guó)土房管局科技計(jì)劃項(xiàng)目(CQGT-KJ-2012028)和博士后科研計(jì)劃項(xiàng)目(2012M511906, 2013T60837, XM2012001)資助課題

*通信作者：張杰 zhangjie_fly@126.com