基于多尺度LBP特征融合的遙感圖像分類

姜亞楠，張 欣，張春雷，仲誠誠，趙俊芳

(1.中國地質(zhì)大學(xué)(北京)數(shù)理學(xué)院，北京 100083；2.北京師范大學(xué)統(tǒng)計學(xué)院，北京 100875；3.北京中地潤德石油科技有限公司，北京 100083)

0 引言

在地球觀測技術(shù)的不斷發(fā)展下，地球空間信息的獲取已經(jīng)進(jìn)入了高分辨率的時期，描述地球空間信息的遙感影像數(shù)據(jù)已經(jīng)成為人類認(rèn)識世界、理解世界的重要信息來源[1]。高分辨率遙感圖像中具有光譜特征信息和精細(xì)的多尺度空間結(jié)構(gòu)特征，因此如何有效地從遙感圖像中提取表征以及融合這些信息就成為了限制高分辨率遙感圖像信息應(yīng)用深入發(fā)展的關(guān)鍵。

按照圖像特征反映信息的程度可以將其分為底層視覺特征、中層視覺特征和高層視覺特征3類，采用由簡到繁逐步變化的處理方法，首先是直接提取圖像光譜、紋理、結(jié)構(gòu)信息的底層視覺特征；其次是對提取的底層場景特征進(jìn)行編碼，再進(jìn)一步提取更具判別能力信息的中層視覺特征；最后是利用深度網(wǎng)絡(luò)模型提取圖像抽象信息的高層視覺特征[2]。

早期傳統(tǒng)的遙感圖像場景分類方法主要是基于底層和中層特征的人工提取技術(shù)，通過考慮圖像的局部或全局的各種特征，根據(jù)其光譜、紋理、形狀和空間結(jié)構(gòu)等信息來進(jìn)行特征提取，且獲取的特征具有可解釋性強(qiáng)的優(yōu)點，其中具有代表性的特征提取方法包括尺度不變特征變換(scale-invariant feature transform，SIFT)、局部二進(jìn)制模式(local binary pattern，LBP)、Gabor濾波器、灰度共生矩陣(gray-level co-occurrence matrix，GLCM)和方向梯度直方圖(histogram of oriented gradient，HOG)等，常將其應(yīng)用于圖像場景分類[3-6]。近年來深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)逐漸被更多地應(yīng)用到了遙感圖像的分析中，尤其是在語義分割，場景分類等方面，深度學(xué)習(xí)通過利用不同尺度感受野能夠?qū)W習(xí)感知不同尺度圖像特征的優(yōu)勢，取得了較好的效果[7-8]，但對于圖像的分辨率保持以及結(jié)果的可解釋性仍存在一定的缺陷。

研究者分析發(fā)現(xiàn)，深度學(xué)習(xí)過程中得到的不同尺度特征圖均對圖像有著較強(qiáng)的表征能力。在利用深度學(xué)習(xí)進(jìn)行遙感圖像場景分類時，通常需要大量數(shù)據(jù)來支撐，否則就會因數(shù)據(jù)量過少而導(dǎo)致分類精度不高，因此就有文獻(xiàn)提出采用遙感圖像的多尺度特征對其進(jìn)行分類來解決這一問題。Hu等[9]利用多尺度方式從最后一個卷積層提取出密集特征，再通過常用的特征編碼方法將密集特征編碼為全局圖像特征并進(jìn)行分類；許夙暉等[10]提出利用非下采樣Contourlet變換對遙感圖像進(jìn)行多尺度分解，利用深度卷積網(wǎng)絡(luò)訓(xùn)練得到不同尺度的圖像特征，再采用多核支持向量機(jī)進(jìn)行圖像場景分類；Li等[11]將卷積模型作為特征提取器提取特征，同時利用多尺度改進(jìn)的Fisher核編碼方法構(gòu)建了卷積深度特征的中層特征表示，然后利用主成分分析(principal component analysis，PCA)和譜回歸核判別分析方法將卷積層提取的中層特征與全連接層的特征融合再進(jìn)行分類；Wang等[12]提出用局部聚合描述符向量分別對底層和中層的卷積特征進(jìn)行編碼，再通過PCA進(jìn)行約簡，得到層次全局特征，同時對全連通特征進(jìn)行平均池化、歸一化，形成新的全局特征，最后連接所有特征進(jìn)行分類。然而在上述方法中，由于深度學(xué)習(xí)的池化操作會使得圖像的細(xì)節(jié)信息在特征提取和傳遞過程中逐漸被模糊平滑，難以保持圖像的分辨率，圖像本身在局部會具有多尺度結(jié)構(gòu)的細(xì)節(jié)特征。

針對上述問題，本文將圖像的局部區(qū)域特征考慮在內(nèi)，提出了一種基于多尺度灰度和紋理結(jié)構(gòu)特征融合的遙感圖像分類方法模型(multi-scale gray and texture structure feature fusion，Ms_GTSFF)，將圖像局部區(qū)域所蘊(yùn)含的多尺度灰度信息和紋理結(jié)構(gòu)特征同時考慮在內(nèi)，獲取到全面且有效描述圖像區(qū)域特征的信息，大幅提升高分辨率遙感影像的分類識別性能。

1 算法原理

1.1 圖像的多尺度紋理結(jié)構(gòu)特征

紋理是圖像中普遍存在而又難以描述的特征，可看作是一種反映圖像像素空間分布特征的屬性，常表現(xiàn)為在局部不規(guī)則而宏觀上又有一定規(guī)律。圖像的紋理反映了圖像中物體的結(jié)構(gòu)特征，具有尺度性、異向性、韻律性等特點，傳統(tǒng)的紋理特征提取尺度較為單一，獲取的圖像信息有限，因此需要從多個尺度上表征圖像內(nèi)部紋理基元的排列、組合方式及其在多尺度上的變化，以更好地捕捉圖像全面的結(jié)構(gòu)特征及其細(xì)節(jié)信息，展現(xiàn)不同尺度感受野下圖像的獨有特性，使圖像的多尺度紋理特征提取成為圖像分類識別的重要方法之一。

1.1.1 旋轉(zhuǎn)不變模式LBP

圖像紋理特征提取的方法有很多，有統(tǒng)計法、結(jié)構(gòu)法、信號處理法等，能夠很好地用于簡單紋理分類，但是難以解決多變的光照和觀測條件下圖像的紋理表征與識別問題。因此近年來提出了許多提取圖像局部紋理基元并通過直方圖統(tǒng)計其分布的方法，其中LBP算法是目前比較熱門的一種紋理特征提取算法，它是用來描述圖像局部紋理結(jié)構(gòu)的特征描述符，反映了每個像素與其周圍像素的關(guān)系，具有灰度和旋轉(zhuǎn)不變性的顯著優(yōu)點。

LBP是由Ojala等[13]在2002年提出的，一經(jīng)提出就由于其計算復(fù)雜度較低且能夠?qū)D像的局部細(xì)節(jié)特征進(jìn)行編碼的特點而迅速風(fēng)靡。其算法原理如圖1所示，LBP描述符定義為在3×3的鄰域內(nèi)，以鄰域中心的像素Ic為閾值，將半徑為R的圓形鄰域的8個像素的灰度值與中心像素進(jìn)行比較，若周圍像素值大于等于中心像素值，則該像素點的位置被標(biāo)記為1，否則為0。這樣，3×3鄰域中的8個點經(jīng)過比較可以產(chǎn)生8位二進(jìn)制數(shù)，再將其轉(zhuǎn)化為十進(jìn)制得到該中心像素點的3×3鄰域LBP值，用這個編碼值來反映該中心像素與鄰域區(qū)域的紋理結(jié)構(gòu)信息。計算公式如下：

圖1 局部二進(jìn)制模式特征提取原理圖Fig.1 Local Binary Pattern feature extraction schematic

(1)

(2)

式中：R為鄰域的半徑；N為所取鄰域內(nèi)的像素點的數(shù)量；Ic為鄰域的中心像素，In為周圍鄰域像素，如圖1所示。LBPN,R對應(yīng)的鄰域集合中的N個像素可以形成2N個不同的二進(jìn)制模式。當(dāng)R=1,N=8時，LBP8,1描述符也就有256種(即28)不同的輸出結(jié)果。

然而采取原始LBP8,1得到的特征維度過大，且特征信息中存在過多的冗余信息，使得計算量和數(shù)據(jù)量急劇增加，不利于圖像紋理特征表達(dá)的實際應(yīng)用。Ojala等[13]經(jīng)過大量的實驗后統(tǒng)計發(fā)現(xiàn)，對圖像進(jìn)行原始LBP后得到的二進(jìn)制序列中，會出現(xiàn)一些頻率比較高的LBP編碼值，反映圖像的大部分紋理特征，把這些模式稱為“等價模式”，表示編碼中“0”?“1”變化的次數(shù)≤2時的情況，得到58維均勻模式編碼，但此法不能解決圖像的旋轉(zhuǎn)問題。因此又提出了旋轉(zhuǎn)不變等價LBP算子，將特征維度從256維降到了9維，使用9種編碼模式來表述圖像特征，但降低維數(shù)過大導(dǎo)致圖像大量有效信息丟失。

綜合上述因素，本文選擇旋轉(zhuǎn)不變局部二進(jìn)制模式(rotation invariant local binary pattern，Ri-LBP)旋轉(zhuǎn)不變LBP模式來處理圖像，將特征維度從256維降到了36維，對應(yīng)36種旋轉(zhuǎn)不變LBP模式，既消除了一些冗余編碼信息，同時還考慮了圖像的旋轉(zhuǎn)不變性，在降低特征維度的同時很大程度地保留了圖像信息，其計算公式為：

(3)

1.1.2 多尺度旋轉(zhuǎn)不變模式LBP

在利用LBP獲取圖像的多尺度信息時，采用了多尺度局部二進(jìn)制模式(Multi-scale LBP)的提取方法[14]，能夠更好地捕捉圖像多尺度的結(jié)構(gòu)信息，表現(xiàn)出大尺度感受野下圖像的獨特表征。

(3)

(4)

(5)

圖2 多尺度局部二進(jìn)制模式特征提取原理圖Fig.2 Multi-scale LBP feature extraction method

圖像經(jīng)原始的LBP8,1后得到的256維編碼為等概率分布，但經(jīng)旋轉(zhuǎn)不變模式LBP對圖像進(jìn)行處理后得到的36維特征則變?yōu)橐砸欢ǖ臈l件概率出現(xiàn)，從而導(dǎo)致改進(jìn)的特征編碼面臨先驗概率影響的問題。如表1所示，對于Ri-LBP8,1有固定的二進(jìn)制編碼，且其值是由LBP8,1編碼經(jīng)旋轉(zhuǎn)不變轉(zhuǎn)換得到的，因此使得部分Ri-LBP8,1編碼值對應(yīng)于原始LBP8,1的多個編碼值。在后續(xù)對Ri-LBP8,1進(jìn)行直方圖標(biāo)準(zhǔn)化時就會由于先驗概率的影響而導(dǎo)致直方圖特征間存在相關(guān)性無法處理，對此本文采用全概率公式來解決，公式為：

表1 旋轉(zhuǎn)不變LBP編碼與原始LBP編碼對應(yīng)表Tab.1 Rotation invariant LBP coding and original LBP coding correspondence table

(6)

式中：B為經(jīng)旋轉(zhuǎn)不變改進(jìn)后的特征編碼；Ai為經(jīng)原始LBP得到的等概率出現(xiàn)的特征編碼，編碼值范圍為0～255。

1.2 圖像多尺度灰度屬性特征

圖像的灰度屬性特征可以從總體特征、局部特征以及LBP模式尺度特征3個維度進(jìn)行表征。

圖像總體灰度分布統(tǒng)計特征，即從灰度圖像中獲取其灰度值的整體分布情況，灰度圖像中像素取值為0～255的灰度級，描述了圖像顯著的灰度屬性特征，不同類圖像的灰度分布各有其特點，因此對各類圖像分別統(tǒng)計其灰度特征，就能夠獲取到不同類別圖像各自蘊(yùn)含的灰度屬性信息，對圖像的分類識別起到一定的作用。在進(jìn)行計算圖像的灰度分布特征時，通過統(tǒng)計圖像每類中各灰度級出現(xiàn)的概率，從而得到每類圖像對應(yīng)的灰度概率分布直方圖。

描述圖像灰度特征的指標(biāo)有很多，包括均值(mean)、方差(variance)、偏度(skewness)、峰態(tài)(variance)、能量(energy)、熵(entropy)等[15]。本文選取其中的灰度均值(mean)、灰度方差(variance)來計算遙感圖像原始灰度圖中的各類地物在不同尺度上的局部灰度分布，就可以得到圖像中每類地物局部區(qū)域內(nèi)的灰度分布信息以及在此區(qū)域中各點像素與其均值的離散狀況等，得到關(guān)于圖像的本征屬性特征。

2 多尺度LBP特征融合模型

本文提出了Ms_GTSFF方法模型對圖像進(jìn)行特征提取，實現(xiàn)了對遙感圖像各類場景灰度和紋理結(jié)構(gòu)特征提取能力的改善，更全面地描述了圖像的本征特征，利用所提出的模型可以獲取蘊(yùn)含圖像紋理空間結(jié)構(gòu)和灰度特征的綜合圖像特征，增強(qiáng)了所提取特征對圖像的表征能力，進(jìn)一步提升了遙感圖像分類識別的效果。模型的結(jié)構(gòu)流程如圖3所示，其基本思想是先對原始圖像進(jìn)行PCA處理選取前20個主成分；對PCA20數(shù)據(jù)提取不同尺度上的多尺度LBP特征(MsLBP)和多尺度灰度特征(MsG)；將2種多尺度特征進(jìn)行融合，形成圖像的最終特征，最后連接分類器進(jìn)行分類識別。Ms_GTSFF方法模型的具體算法流程如下：①對原始遙感圖像進(jìn)行PCA處理，消除圖像不同波段間的相關(guān)性，選擇其中前20個能夠解釋數(shù)據(jù)大部分信息的主成分；②對步驟①選取的數(shù)據(jù)進(jìn)行尺度大小為d×d，d=3,5,7,9,...,19的MsG特征提取，得到9個尺度下的多尺度灰度和方差的特征圖，接著獲得各尺度下特征的統(tǒng)計直方圖，得到多尺度特征，再將不同尺度的直方圖特征進(jìn)行串聯(lián)融合；③對步驟①選取的數(shù)據(jù)同樣進(jìn)行尺度大小為d×d，d=3,5,7,9,...,19的MsLBP特征提取，得到9個尺度下的MsLBP特征圖，同樣統(tǒng)計其多尺度直方圖特征，再將各尺度特征進(jìn)行串聯(lián)融合；④在步驟③中得到的MsLBP直方圖特征的基礎(chǔ)上，統(tǒng)計其每個直方圖編碼所對應(yīng)圖像中的灰度特征，計算每種編碼在9種尺度下對應(yīng)的灰度均值和方差，得到多尺度LBP編碼對應(yīng)的灰度特征，同樣將各尺度特征進(jìn)行串聯(lián)融合；⑤將步驟②—④獲取的多尺度特征進(jìn)行串聯(lián)融合，得到圖像的多尺度綜合特征；⑥對步驟⑤得到的多尺度綜合特征采用不同的機(jī)器學(xué)習(xí)分類器進(jìn)行識別，得到最后的圖像分類識別結(jié)果。

圖3 Ms_GTSFF方法模型Fig.3 Model of Ms_GTSFF method

3 算法測試及分析

3.1 測試數(shù)據(jù)

測試數(shù)據(jù)采用的是雄安新區(qū)(馬蹄灣村)航空高光譜遙感影像數(shù)據(jù)集[16]，其光譜范圍為400～1 000 nm，波段數(shù)為256個，影像大小為1 580像元×3 750像元，空間分辨率為0.5 m，數(shù)據(jù)集中包括復(fù)葉槭、柳樹、榆樹、水稻、國槐、白蠟、欒樹、水域、裸地、水稻茬、刺槐、玉米、梨樹等20種不同地物，不同地物所占總數(shù)據(jù)的比例不同。在具體測試過程中，首先對原始所有波段的數(shù)據(jù)集DA進(jìn)行了PCA預(yù)處理，從PCA結(jié)果中選取能解釋圖像大部分特征的前20個主成分分量為數(shù)據(jù)集D20；接著再從D20的20種地物圖像中，每類選取1 000個點，以采樣點位置為中心，提取相鄰9個尺度大小為d×d，d=3,5,7,9,...,19的鄰域均值，構(gòu)成3×3的LBP模式網(wǎng)格數(shù)據(jù)集D1并進(jìn)行特征提取。如圖4為實驗選取的測試數(shù)據(jù)集示意圖。

圖4 數(shù)據(jù)集示意圖Fig.4 Diagram of the dataset

3.2 數(shù)據(jù)特征分析

圖5 梨樹類區(qū)域經(jīng)特征提取直方圖Fig.5 Histogram of the area of pear

(a)灰度圖(b)直方圖

(a)梨樹灰度特征圖(b)梨樹多尺度LBP直方圖

綜上，對于不同類別的圖像在不同尺度下的灰度特征和紋理結(jié)構(gòu)信息均有所區(qū)別，對不同類圖像即使具有類似的灰度特征也會由于其自身紋理結(jié)構(gòu)的不同而區(qū)分開，而對同類圖像采用不同大小的尺度進(jìn)行特征提取時所獲得的紋理結(jié)構(gòu)信息也各不相同。通常圖像的單尺度特征僅能描述圖像在當(dāng)前尺度上像素分布的紋理結(jié)構(gòu)而具有一定的局限性，無法全面反映圖像的特征信息，容易導(dǎo)致圖像特征相似而難以區(qū)分的現(xiàn)象；綜合考慮圖像的多尺度信息才能較為全面地表達(dá)圖像在紋理結(jié)構(gòu)和灰度上的尺度性特點，使得對圖像本征信息的描述更加完備，有效提升高分辨率遙感影像的分類識別性能。

3.3 測試結(jié)果與分析

通過對原始的所有波段的數(shù)據(jù)集DA和經(jīng)PCA后選出的測試數(shù)據(jù)集D1進(jìn)行了不同分類器的效果對比，另外還在測試數(shù)據(jù)集DA和D1上分別運(yùn)用一些常見的深度學(xué)習(xí)網(wǎng)絡(luò)：LeNet5，GoogLeNet與傳統(tǒng)的LBP方法和MS_GTSFF方法模型進(jìn)行了對比測試，結(jié)果如表2。表中Original代表原始光譜，PCA20代表原始光譜經(jīng)PCA后取前20個主成分分量。

根據(jù)表2中Original和PCA20的對比測試結(jié)果，發(fā)現(xiàn)對Original數(shù)據(jù)進(jìn)行處理得到的結(jié)果均較差，最低為Bayes分類器得到的精度為29.16%，最高為采用BP分類器得到的精度75.83%；而對于PCA20的數(shù)據(jù)進(jìn)行測試得到的結(jié)果均比Original數(shù)據(jù)對應(yīng)分類器得到的結(jié)果高，在SVM分類器上精度提高了28.8個百分點，最高是在BP分類器上得到的分類精度為81.81%。對比測試表明對數(shù)據(jù)集DA經(jīng)過PCA預(yù)處理后選取的前20個主成分分量在保留能解釋數(shù)據(jù)大部分信息的基礎(chǔ)上消除了一些噪聲影響，進(jìn)而提升了分類識別效果。

表2 不同分類器精度對比Tab.2 Comparison of accuracy of classifiers (%)

此外，表2還對比了在PCA20的數(shù)據(jù)集D1運(yùn)用傳統(tǒng)LBP方法和本文方法在不同分類器上的測試結(jié)果，可以看出利用LBP方法對圖像進(jìn)行特征提取與分類的精度均達(dá)到了90%以上，但此種方法未將圖像的多尺度灰度特征信息考慮在內(nèi)。而利用Ms_GTSFF方法進(jìn)行特征提取，既保留了LBP方法得到的結(jié)構(gòu)特征還把圖像的多尺度灰度屬性特征融合在內(nèi)，得到了最高的分類精度為99.44%，提升最高達(dá)到了7.5個百分點。與深度學(xué)習(xí)方法得到的分類結(jié)果相比，本文方法得到的精度更高且方法更加簡潔有可解釋性。實驗對比結(jié)果充分說明了Ms_GTSFF方法的有效性，通過將圖像的紋理結(jié)構(gòu)特征與灰度特征融合起來，獲得了圖像更加全面有效的特征信息，使遙感圖像分類效果顯著提升，也為后續(xù)遙感圖像信息的進(jìn)一步分析與應(yīng)用提供強(qiáng)有力的支撐。

對測試數(shù)據(jù)集采用不同方法提取特征在BP分類器上得到的預(yù)測結(jié)果如圖8所示，圖8(a)表示圖像真實類別圖；圖8(b)表示對PCA20數(shù)據(jù)直接進(jìn)行分類的預(yù)測結(jié)果圖，可以看出對數(shù)據(jù)直接進(jìn)行分類由于未考慮各點的鄰域結(jié)構(gòu)分布而導(dǎo)致每類地物中的預(yù)測結(jié)果會出現(xiàn)“椒鹽”現(xiàn)象的識別錯誤點；圖8(c)表示對PCA20數(shù)據(jù)采用多尺度LBP方法后得到的最優(yōu)預(yù)測結(jié)果圖，該方法通過LBP提取出圖像的局部紋理結(jié)構(gòu)特征使識別結(jié)果有所提高，但由于類別邊緣存在混合地物而難以識別；圖8(d)表示對PCA20數(shù)據(jù)采用Ms_GTSFF方法提取圖像特征的最優(yōu)預(yù)測結(jié)果圖，通過提取圖像的多尺度灰度和紋理結(jié)構(gòu)特征信息，提高了對混合地物區(qū)域所提取特征的有效性，使獲取的圖像特征更加全面，進(jìn)而分類識別精度大幅提高。

(a)真實類別圖 (b)PCA20預(yù)測結(jié)果-BP

4 結(jié)論

1)采用多尺度旋轉(zhuǎn)不變局部二進(jìn)制模式(Multi-scale Ri-LBP)的特征提取方法，能夠以更多的感受野獲取圖像特征，將圖像多尺度LBP直方圖特征及其編碼對應(yīng)的圖像灰度屬性信息融合，通過充分考慮圖像局部結(jié)構(gòu)信息，有效解決了深度學(xué)習(xí)中的分辨率保持和可解釋性問題。

2)在雄安新區(qū)(馬蹄灣村)航空高光譜遙感影像數(shù)據(jù)集的測試數(shù)據(jù)集上進(jìn)行對比實驗，結(jié)果表明與傳統(tǒng)的逐像素方法提取圖像特征的方式相比，本文方法使得高分辨率遙感圖像的分類精度有了明顯提升，獲得的最高分類精度為99.44%，比LBP方法提升了7.5個百分點。另外還與深度學(xué)習(xí)不同網(wǎng)絡(luò)進(jìn)行了對比，結(jié)果顯示采用Ms_GTSFF模型的圖像分類精度更高，進(jìn)一步說明本文方法在遙感圖像分類特征提取過程中的有效性。

3)有效改進(jìn)傳統(tǒng)方法在特征提取時只考慮圖像的紋理特征而忽略其本征灰度屬性特征的缺陷，同時從多尺度鄰域出發(fā)有效獲取了圖像不同尺度下的紋理結(jié)構(gòu)，克服了單尺度局部鄰域提取圖像信息的缺陷，最后采用多特征融合，顯著提升了高分辨率遙感影像的分類識別性能，為未來進(jìn)一步分析和應(yīng)用遙感圖像信息打下基礎(chǔ)。