基于3-D Gabor紋理特征和GBDT分類器的高光譜分類方法

楊志超, 趙 森

(1.浙江警察學(xué)院 刑事科學(xué)技術(shù)系，杭州 310053； 2.基于大數(shù)據(jù)架構(gòu)的公安信息化應(yīng)用公安部重點(diǎn)實(shí)驗(yàn)室，杭州 310053)

高光譜遙感圖像(hyperspectral remote sensing image)是一種可以同時(shí)反映地物空間分布信息和光譜信息的3-D立體圖像，在地物目標(biāo)分類和識(shí)別方面優(yōu)勢(shì)巨大。隨著傳感器技術(shù)的發(fā)展，高光譜圖像的光譜分辨率逐步提高。光譜分辨率提升，一方面增強(qiáng)了高光譜數(shù)據(jù)的可分性，另一方面，高維連續(xù)光譜數(shù)據(jù)中存在著大量的冗余信息，給后續(xù)的地物分類等高層分析帶來(lái)了難度[1]。一般常用子空間投影的方法對(duì)原數(shù)據(jù)降維，比如主成分分析(principle component analysis，簡(jiǎn)稱PCA)對(duì)高光譜數(shù)據(jù)降維后，再通過(guò)分類器識(shí)別地物目標(biāo)[2]。A.Daamouche等[3]將小波變換的方法引入高光譜數(shù)據(jù)分類，并取得良好的分類效果。然而，高光譜分類的訓(xùn)練樣本數(shù)一般較小，該方法只利用單像元的光譜維信息，對(duì)于圖像空間維關(guān)系的利用不夠充分，這是高光譜數(shù)據(jù)分類精度無(wú)法繼續(xù)提升的重要原因。

D.Gabor[4]提出Gabor小波變換的方法，在信號(hào)分析中可以將時(shí)域和空域信息結(jié)合起來(lái)；而后，利用Gabor小波變換提取圖像的Gabor特征，成功應(yīng)用于提取紋理分類、人臉識(shí)別等領(lǐng)域[4-6]；Shi M. H.等[7]首次將Gabor小波分析引入高光譜圖像分類領(lǐng)域，在空間維中逐個(gè)波段采用2-D Gabor濾波器提取分類特征；T.C.Bau等[8]在高光譜數(shù)據(jù)的光譜維和空間維應(yīng)用3-D Gabor小波濾波器，取得良好的效果；Shen L.L.等[9]采用一系列不同頻率和方向的小波濾波器提取空間維和光譜維及兩者之間特征；馮逍等[10]利用Gabor特征結(jié)合支持向量機(jī)分類器，其準(zhǔn)確率達(dá)到較高水平。這些工作表明，Gabor特征具有更高的可分性，能夠獲得更好的分類效果;同時(shí)，3-D Gabor應(yīng)用于高光譜的立方體數(shù)據(jù)結(jié)構(gòu)，提取的結(jié)果保留了紋理特征和光譜特征信息[11-12]。與Gabor特征一樣，基于形態(tài)學(xué)的分析方法(extended morphological attribute profile, 簡(jiǎn)稱EMAP)也可實(shí)現(xiàn)高光譜圖像在波段和空間信息上的聯(lián)合利用，并取得了較好的分類效果[13]。

另一方面，為了應(yīng)對(duì)高光譜遙感圖像數(shù)據(jù)的復(fù)雜變化和高維特性，近年來(lái)，核方法(如支持向量機(jī))由于具有較好的魯棒性，已成為高光譜圖像分類的主要選擇[14]。采用 Gabor濾波器提取紋理特征會(huì)加劇特征向量的高維特性[15]。而支持向量機(jī)等核方法本質(zhì)上屬于基于存儲(chǔ)的方法(memory-based method)，隨著訓(xùn)練樣本和維數(shù)的增加，支持向量所需存儲(chǔ)和在預(yù)測(cè)時(shí)的計(jì)算代價(jià)增加呈線性增長(zhǎng)，導(dǎo)致分類效率和速度降低，時(shí)間加長(zhǎng)[16]。近年，深度學(xué)習(xí)算法在各領(lǐng)域廣泛應(yīng)用，深度學(xué)習(xí)作為一種端到端的學(xué)習(xí)方法，節(jié)約了人工提取特征的過(guò)程。通過(guò)深信度網(wǎng)絡(luò)提取空譜特征并完成高光譜數(shù)據(jù)分類取得較優(yōu)的效果[17]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, 簡(jiǎn)稱CNN)作為深度學(xué)習(xí)算法的一種，在圖像的特征提取和識(shí)別方面表現(xiàn)尤為突出，其在高光譜分類領(lǐng)域也取得比一般淺層算法更優(yōu)異的表現(xiàn)[18-20]。

結(jié)合高光譜影像數(shù)據(jù)特點(diǎn)，本文提出利用梯度優(yōu)化決策樹(shù)對(duì)3-D Gabor小波變換的高光譜數(shù)據(jù)進(jìn)行分類的方法。梯度優(yōu)化決策樹(shù)算法(gradient boosting decision tree, 簡(jiǎn)稱GBDT)是一種將Boosting思想與決策樹(shù)相結(jié)合的算法[21]，GBDT算法通過(guò)梯度優(yōu)化方法訓(xùn)練多顆決策樹(shù)，從而大幅度提升預(yù)測(cè)準(zhǔn)確率。此外，梯度優(yōu)化決策樹(shù)并不需要存儲(chǔ)訓(xùn)練樣本，其本質(zhì)上屬于基于參數(shù)的模型(parametric-based method)，因而在預(yù)測(cè)時(shí)仍能具有較高的分類速度,特別是在數(shù)據(jù)維度較高或分類數(shù)據(jù)量較大時(shí)，更能體現(xiàn)其優(yōu)勢(shì)。

1 算法及原理

1.13-DGabor濾波器

3-D Gabor濾波器相比于2-D Gabor濾波器增加了一維光譜維，可定義為

G(x,y,b)=g(x,y,b)c(x,y,b)

(1)

式中：g(x,y,b)為Gabor濾波器的高斯核函數(shù)；c(x,y,b)為正弦部分。兩部分函數(shù)的表達(dá)式分別為

(2)

c(x,y,b)=exp[jπ(xfx+yfy+bfb)]

(3)

其中：j∈N*(N*表示正整數(shù)集)；σ是高斯核函數(shù)的標(biāo)準(zhǔn)差，可根據(jù)式(4)得到，表示高斯包絡(luò)在(x,y,b)空間中的寬度，其中b為正實(shí)數(shù)帶寬，一般取1；fx,fy,fb分別表示中心頻率f在x,y,b軸上的分量，如式(5)。

(4)

(5)

其中：θ是Gabor濾波器中心頻率方向與x-y平面的夾角，φ是Gabor濾波器中心頻率方向與b軸的夾角，其定義如圖1所示。θ和φ共同確定了Gabor濾波器中心頻率的方向。

圖1 3-D Gabor濾波器的方向Fig.1 Directions of 3-D Gabor filter

1.2提取高光譜圖像的紋理特征

3-D Gabor濾波器集合為Gfi,θj,φk(x,y,b)，高光譜圖像數(shù)據(jù)立方體為HSI(x,y,b)，高光譜圖像的紋理特征HSIt(x,y,b)是通過(guò)高光譜數(shù)據(jù)立方體與3-D Gabor濾波器進(jìn)行卷積運(yùn)算并取實(shí)部而得

HSIt(x,y,b)=

HSI(x,y,b)?Gfi, θj,φk(x,y,b)

(6)

其中：fi表示Gabor濾波器中心頻率的振幅；(θj,φk)表示方向。fi,θj,φk的取值為

(7)

其中：I,J,K∈N(N表示自然數(shù)集)。在本文實(shí)驗(yàn)中，設(shè)置I=J=K=4，f的取值為[0.5, 0.25, 0.125, 0.0625]，θ和φ的值設(shè)置為[0, π/4, π/2, 3π/4]。當(dāng)φk=0時(shí)，θj不論取何值，fi方向是相同的，因此本設(shè)置中Gabor濾波器共有4×4×3+4=52個(gè)。52個(gè)Gabor濾波器分別與高光譜數(shù)據(jù)立方體進(jìn)行卷積運(yùn)算后取實(shí)部，即可得到空間-光譜相結(jié)合的紋理特征。

1.3梯度優(yōu)化決策樹(shù)算法

梯度優(yōu)化決策樹(shù)算法(gradient boosting decision tree)是一種提升算法，是決策樹(shù)算法與Boosting思想相結(jié)合的應(yīng)用。GBDT的核心思想在于梯度優(yōu)化，即訓(xùn)練時(shí)，每一棵樹(shù)是從之前所有樹(shù)的殘差中來(lái)學(xué)習(xí)的。每一顆決策樹(shù)Tm按照分枝增益最大的方式生長(zhǎng)，回歸樹(shù)Tm的訓(xùn)練目標(biāo)則是真實(shí)值與(T1+T2+T3+…+Tm-1)結(jié)果的殘差，最終的預(yù)測(cè)結(jié)果是將所有樹(shù)的結(jié)果相加得到。梯度優(yōu)化決策樹(shù)算法的主要步驟有：

e.將當(dāng)前樹(shù)與已訓(xùn)練完成的樹(shù)合并，F(xiàn)m(x)=Fm-1(x)+γmh(x:ωm) 。

GBDT算法集成了多個(gè)決策樹(shù)分類器，在訓(xùn)練模型時(shí)依次訓(xùn)練的，這個(gè)過(guò)程是線性的。但在預(yù)測(cè)分類時(shí)GBDT算法是并行計(jì)算的，預(yù)測(cè)效率較高。在數(shù)據(jù)維度較低時(shí)，GBDT算法的這個(gè)優(yōu)勢(shì)并不明顯，但當(dāng)數(shù)據(jù)維度升高或者數(shù)據(jù)規(guī)模增大時(shí)，其速度優(yōu)勢(shì)就凸顯出來(lái)。

2 實(shí)驗(yàn)與結(jié)果分析

2.1實(shí)驗(yàn)設(shè)計(jì)

3-D Gabor特征的提取過(guò)程主要分為以下3步：(1)隨機(jī)選擇樣本作為訓(xùn)練集，通過(guò)PCA降維算法剔除高光譜數(shù)據(jù)中的冗余信息，將原始高光譜數(shù)據(jù)降至50維。(2)利用52個(gè)不同方向和頻率的3-D Gabor濾波器提取圖像的紋理特征，獲得的數(shù)據(jù)維度增加到2 600維(50×52)。(3)上述數(shù)據(jù)與原始高光譜數(shù)據(jù)合并成為總的分類特征，完成實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備工作(圖2)。

圖2 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備流程圖Fig.2 Flow chart for preparation of experimental data

2.2實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)選取Pavia University數(shù)據(jù)集和Indian Pines數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。Pavia University 數(shù)據(jù)集為2002 年由Rosis傳感器獲取的高光譜圖像，其大小為610×340像素，共115個(gè)波段，去除受噪聲影響的波段，余下的103個(gè)波段用于實(shí)驗(yàn)。Pavia University數(shù)據(jù)集第50波段的高光譜圖像和真實(shí)地物標(biāo)記偽彩色圖像如圖3所示。Pavia University數(shù)據(jù)集包含 9類地物，地物類型與樣本數(shù)目如表1所示。

表1 Pavia University數(shù)據(jù)集的地物類型與樣本數(shù)目Table 1 Feature type and sample number of Pavia University data set

圖3 Pavia University數(shù)據(jù)集Fig.3 Pavia University data set

Indian Pines是最早用于高光譜圖像分類的測(cè)試數(shù)據(jù)，由機(jī)載可視紅外成像光譜儀(AVIRIS)于1992 年對(duì)美國(guó)印第安納州一塊印度松樹(shù)進(jìn)行成像，然后截取145×145的大小進(jìn)行標(biāo)注作為高光譜圖像分類測(cè)試用途。該光譜成像儀所成的圖像的空間分辨率約為20 m，因此，其較容易產(chǎn)生混合像元，給分類帶來(lái)難度。Indian Pines數(shù)據(jù)集第170波段的高光譜圖像和真實(shí)地物標(biāo)記偽彩色圖像如圖4所示。數(shù)據(jù)集包含16類地物，地物類型與樣本數(shù)目如表2所示。

表2 Indian Pines數(shù)據(jù)集的地物類型與樣本數(shù)目Table 2 Feature type and sample number of Indian Pines

圖4 Indian Pines數(shù)據(jù)集Fig.4 Indian Pines data set

2.3實(shí)驗(yàn)環(huán)境

計(jì)算機(jī)環(huán)境為CPU：Intel(R)Core(TM)i5-5200U@2.2 GHz, RAM：12.0 GB, 64位Windows操作系統(tǒng)。

2.4結(jié)果與討論

在Pavia University數(shù)據(jù)集和Indian Pines數(shù)據(jù)集上對(duì)Gabor+GBDT, Gabor+SVM, 3-D Gabor+SVM, 3-D Gabor+GBDT, CNN, EMAP+SVM進(jìn)行分類實(shí)驗(yàn)。實(shí)驗(yàn)的目的有兩方面，一方面通過(guò)與Gabor特征、EMAP特征的對(duì)比，檢驗(yàn)3-D Gabor特征的有效性；另一方面，通過(guò)與SVM和CNN的對(duì)比，檢驗(yàn)GDBT分類器的分類準(zhǔn)確率和分類效率。

SVM算法有2個(gè)重要參數(shù)：懲罰系數(shù)和影響范圍，通過(guò)網(wǎng)格實(shí)驗(yàn)得到最優(yōu)的懲罰系數(shù)=10，影響范圍=0.01；實(shí)驗(yàn)中Gabor特征為空間二維Gabor特征，其參數(shù)設(shè)置如文獻(xiàn)[7]。 GBDT算法中樹(shù)的最大深度max_depth=10；實(shí)驗(yàn)中CNN采用3×3×3的三維卷積分類模型，網(wǎng)絡(luò)結(jié)構(gòu)如文獻(xiàn)[19]。隨機(jī)抽取樣本數(shù)據(jù)的5%～50%(步進(jìn)為5%)作為訓(xùn)練樣本，剩余做分類樣本。利用訓(xùn)練時(shí)間、分類時(shí)間、準(zhǔn)確率進(jìn)行表征，以此評(píng)價(jià)各方法的分類效果，重復(fù)10次實(shí)驗(yàn)，取統(tǒng)計(jì)平均值作為最終實(shí)驗(yàn)結(jié)果。

如圖5所示，3-D Gabor+SVM和3-D Gabor+GBDT的準(zhǔn)確率明顯高于其他方法，證明3-D Gabor小波得到的紋理特征對(duì)提高分類準(zhǔn)確率有顯著的幫助。在兩個(gè)數(shù)據(jù)集上，SVM算法的準(zhǔn)確率都是最高的，GBDT算法稍低于SVM算法。CNN算法的準(zhǔn)確率低于前兩種算法，特別是在Pavia University數(shù)據(jù)集中。使用簡(jiǎn)單Gabor特征和EMAP特征的準(zhǔn)確率明顯低于3-D Gabor特征，說(shuō)明3-D Gabor變換對(duì)于提取高光譜數(shù)據(jù)的紋理特征非常有效，可以大幅度提高準(zhǔn)確率。

圖5 6種算法的準(zhǔn)確率比較Fig.5 Comparison of accuracy of six algorithms

分類算法的訓(xùn)練時(shí)間如圖6所示。Gabor+GBDT, Gabor+SVM, 3-D Gabor+SVM,EMAP+SVM四種算法的訓(xùn)練時(shí)間消耗明顯較少。3-D Gabor+GBDT和CNN算法訓(xùn)練時(shí)間更長(zhǎng)，隨訓(xùn)練集的增大，訓(xùn)練時(shí)間也逐步增長(zhǎng)。兩者相比，3-D Gabor+GBDT方法相比CNN算法訓(xùn)練用時(shí)更少。

圖6 6種算法的訓(xùn)練時(shí)間比較Fig.6 Comparison of training time of six algorithms

在分類時(shí)間上的比較結(jié)果如圖7所示，Gabor+SVM和3-D Gabor+SVM的分類時(shí)間最長(zhǎng)，主要是因?yàn)镾VM算法復(fù)雜度是O(M2N)，其中N為樣本數(shù)，M為特征維數(shù)，當(dāng)特征維度增加時(shí)，其計(jì)算消耗的時(shí)間大幅度提高。相對(duì)而言，CNN和GBDT算法的分類速度快很多，其中GBDT算法的分類效率更高，用時(shí)最少。

圖7 6種算法的分類時(shí)間比較Fig.7 Classification time comparison of six algorithms

3 結(jié) 論

本文分別從準(zhǔn)確率、訓(xùn)練時(shí)間和分類時(shí)間3個(gè)方面比較了多種算法的高光譜圖像分類效果。在實(shí)驗(yàn)的兩個(gè)數(shù)據(jù)集中，3-D Gabor+GBDT方法的優(yōu)點(diǎn)非常顯著。(1)3-D Gabor+GBDT方法的分類準(zhǔn)確率較高，明顯高于CNN算法、Gabor以及EMAP為紋理特征的方法。(2)3-D Gabor+GBDT方法分類效率高于CNN和以SVM為分類器的方法。(3)3-D Gabor+GBDT的劣勢(shì)，主要在其訓(xùn)練時(shí)間較長(zhǎng)，建模效率偏低。

因此，3-D Gabor+GBDT方法特別適合在線分類的場(chǎng)景，此類場(chǎng)景需要較高的分類效率和準(zhǔn)確率，但對(duì)前期訓(xùn)練建模的時(shí)間敏感度低。