結(jié)合金字塔和局部二值模式的遙感圖像分類

吳慶崗 趙伊蘭 夏永泉 李燦林

摘 ?要： 在住宅區(qū)遙感圖像分類中，為了克服尺度變化和旋轉(zhuǎn)變化帶來(lái)的影響，提出一種結(jié)合金字塔原理和局部二值模式的圖像分類算法。首先對(duì)原始住宅區(qū)遙感圖像進(jìn)行多次下采樣以構(gòu)建不同尺度的空間金字塔;然后利用局部二值模式提取不同尺度遙感圖像的紋理特征，以消除旋轉(zhuǎn)變化的影響;最后將不同尺度下的紋理特征融合到一起，利用支持向量機(jī)對(duì)住宅區(qū)遙感圖像進(jìn)行分類。在標(biāo)準(zhǔn)圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，低尺度紋理特征將會(huì)降低住宅區(qū)遙感圖像的分類精度，與單尺度紋理特征相比，多尺度融合的紋理特征提高了遙感圖像分類精度，平均高達(dá)4.77%。

關(guān)鍵詞： 遙感圖像; 局部二值模式; 空間金字塔; 特征融合; 支持向量機(jī); 圖像分類

中圖分類號(hào)： TN911.73?34; TP751 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）13?0056?05

Remote sensing image classification based on pyramid and local binary pattern

WU Qinggang， ZHAO Yilan， XIA Yongquan， LI Canlin

（School of Computer and Communication Engineering， Zhengzhou University of Light Industry， Zhengzhou 450001， China）

Abstract： In order to overcome the effects of scale and rotation variations for the classification of residential areas in remote sensing images， an image classification algorithm based on pyramid principle and local binary pattern （LBP） is proposed. The original residential remote sensing images are repetitiously down?sampled to construct the spatial pyramids with different scales. The local binary pattern （LBP） is used to extract the texture features of remote sensing images with different scales， so as to eliminate the effect of rotation variation. The extracted texture features with different scales are fused together， and the support vector machine （SVM） is adopted to classify the remote sensing images of residential area. The extensive experimental results obtained from standard remote sensing image datasets demonstrate that the texture features with low scale can reduce the classification accuracy of remote sensing image of residential area， and the texture features with multi?scale fusion can improve the classification accuracy of remote sensing image as high as 4.77% in comparison with the single?scale texture features.

Keywords： remote sensing image; local binary pattern; spatial pyramid; feature fusion; support vector machine; image classification

0 ?引 ?言

隨著遙感技術(shù)的不斷發(fā)展進(jìn)步，遙感影像已經(jīng)成為獲取地物、地貌等要素信息的主要途徑，如何從海量遙感數(shù)據(jù)中高效、精準(zhǔn)地提取各類地貌、地物等信息，并將其廣泛應(yīng)用于災(zāi)害預(yù)報(bào)、環(huán)境監(jiān)測(cè)和土地規(guī)劃利用等多種軍事及民用領(lǐng)域，是目前仍待解決的關(guān)鍵技術(shù)問(wèn)題之一[1]。采用遙感技術(shù)對(duì)住宅區(qū)遙感圖像分類來(lái)掌握居民分布情況具有重要的意義。一般情況下，密集住宅區(qū)所在位置的人口數(shù)量也會(huì)相對(duì)較多，而稀疏住宅區(qū)人口的數(shù)量則相對(duì)較少。當(dāng)發(fā)生某些自然災(zāi)害時(shí)，需要及時(shí)掌握該地區(qū)住宅分布情況，以便于合理地安排救助行動(dòng)，盡可能地保障居民人身財(cái)產(chǎn)安全，減少損失。因此，如何實(shí)現(xiàn)并提高密集住宅區(qū)和稀疏住宅區(qū)遙感圖像分類精度，是當(dāng)前急需研究的一個(gè)關(guān)鍵問(wèn)題。

近年來(lái)，已有大量學(xué)者對(duì)遙感圖像分類進(jìn)行研究探索[2?6]。文獻(xiàn)[7]采用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)遙感圖像中建筑物與非建筑區(qū)域的分類，正確率達(dá)到95.7%。文獻(xiàn)[8]將支持向量機(jī)理論應(yīng)用到遙感圖像分類研究中，實(shí)驗(yàn)結(jié)果表明，利用 SVM進(jìn)行遙感圖像分類的精度明顯優(yōu)于神經(jīng)網(wǎng)絡(luò)算法和最大似然算法分類精度，居民區(qū)分類精度達(dá)到97.78%。文獻(xiàn)[9]針對(duì)建筑物的遙感影像特征，研究了SVM在建筑物識(shí)別與分類中的應(yīng)用，提出一種交叉驗(yàn)證的方法對(duì)參數(shù)敏感度進(jìn)行分析，實(shí)驗(yàn)表明優(yōu)化后的SVM算法對(duì)建筑物的分類精度達(dá)到90%。文獻(xiàn)[10]提出一種特征組合的方法實(shí)現(xiàn)高分辨率遙感影像中建筑物的分類提取，結(jié)果表明該方法克服了采用單一特征提取建筑物的局限性，有效提高了建筑物的分類精度。目前，針對(duì)密集與稀疏兩類住宅區(qū)遙感圖像分類的研究相對(duì)較少，同時(shí)由于遙感圖像存在分辨率低、背景復(fù)雜、旋轉(zhuǎn)變化和尺度變化等問(wèn)題，這給住宅區(qū)遙感圖像分類帶來(lái)了巨大的困難和挑戰(zhàn)。

結(jié)合住宅區(qū)遙感圖像的多尺度特性和旋轉(zhuǎn)特性，本文提出一種基于金字塔和LBP紋理特征的住宅區(qū)遙感圖像分類算法。首先對(duì)原始住宅區(qū)遙感圖像進(jìn)行下采樣，構(gòu)建不同尺度的空間金字塔，然后利用局部二值模式提取多尺度住宅區(qū)遙感圖像的紋理特征，并將不同尺度下的紋理特征融合到一起，最后利用SVM分類器對(duì)住宅區(qū)遙感圖像進(jìn)行分類。

1 ?圖像預(yù)處理

在遙感圖像分類中，圖像質(zhì)量的好壞將直接影響到分類算法的設(shè)計(jì)與分類精度。遙感圖像背景復(fù)雜，細(xì)節(jié)模糊，同時(shí)容易受尺度變化和旋轉(zhuǎn)變化的影響。因此，在對(duì)圖像進(jìn)行分類之前需要進(jìn)行預(yù)處理，以增強(qiáng)感興趣目標(biāo)的對(duì)比度，消除尺度變化的影響。

1.1 ?直方圖均衡化

遙感圖像拍攝過(guò)程中，由于灰度分布大多集中在較窄的范圍內(nèi)，導(dǎo)致圖像的細(xì)節(jié)不夠清晰。為增加圖像的對(duì)比度，使圖像更加清晰，以有利于感興趣區(qū)域特征的提取，首先對(duì)圖像進(jìn)行直方圖均衡化，將圖像進(jìn)行非線性拉伸，使得變換后的圖像直方圖分布均勻。圖1為某稀疏居民區(qū)遙感圖像直方圖均衡化前后結(jié)果的比較。其中，圖1a）為稀疏居民區(qū)原始遙感灰度圖像，圖1b）為通過(guò)直方圖均衡化增強(qiáng)后的結(jié)果圖像，圖1c）和圖1d）分別為原始圖像和增強(qiáng)后的圖像所對(duì)應(yīng)的直方圖。從圖1可以看出，增強(qiáng)后的圖像對(duì)比度得到明顯提高，為下一步紋理特征提取奠定良好的基礎(chǔ)。

1.2 ?構(gòu)建多尺度空間金字塔

遙感圖像中感興趣目標(biāo)往往具有不同的尺度，這為遙感圖像分類帶來(lái)困難。利用金字塔原理可以將原始圖像通過(guò)下采樣生成一系列具有不同尺度的圖像集合。金字塔原理如圖2a）所示，底部是待處理的高分辨率遙感圖像，頂部是低分辨率所對(duì)應(yīng)原始圖像的近似，當(dāng)金字塔由下往上移動(dòng)時(shí)，分辨率逐漸降低。在不同尺度遙感圖像上提取紋理特征時(shí)，會(huì)得到不同個(gè)數(shù)的紋理特征值。探究不同尺度間紋理特征融合對(duì)分類精度的影響是本文的主要工作。圖2b）為一幅原始稀疏住宅區(qū)遙感圖像，圖2c）和圖2d）分別為利用金字塔原理進(jìn)行一次下采樣和二次下采樣處理所得結(jié)果。

圖1 ?住宅區(qū)遙感圖像直方圖均衡化預(yù)處理

圖2 ?金字塔結(jié)構(gòu)原理圖和圖像下采樣結(jié)果

2 ?局部二值模式特征提取

局部二值模式（Local Binary Pattern，LBP）是一種用來(lái)描述圖像局部特征的算子，可對(duì)圖像中局部鄰近區(qū)域的紋理信息進(jìn)行度量和提取。該方法主要用于計(jì)算機(jī)視覺(jué)分類等任務(wù)中。LBP具有原理簡(jiǎn)單、計(jì)算復(fù)雜度低和旋轉(zhuǎn)不變等優(yōu)勢(shì)，故本文采用LBP模式提取住宅區(qū)遙感圖像的紋理特征。在提取過(guò)程中，首先需要將圖像劃分為多個(gè)小區(qū)域，然后對(duì)區(qū)域中的每個(gè)像素點(diǎn)，利用相鄰的8像素灰度值與其進(jìn)行比較，可得到[3×3]鄰域內(nèi)8位二進(jìn)制數(shù)，接著將8位二進(jìn)制數(shù)按一定的順序排列，成為一個(gè)8位無(wú)符號(hào)的二進(jìn)制數(shù)，最后將其化為整數(shù)，即為中心像素的LBP值，其原理如圖3所示。LBP紋理特征可以利用式（1）表示：

圖3 ?LBP計(jì)算示意圖

在每個(gè)像素點(diǎn)計(jì)算出來(lái)LBP值之后，統(tǒng)計(jì)每個(gè)區(qū)域的直方圖并進(jìn)行歸一化，最終得到圖像的LBP特征向量。對(duì)圖2中不同尺度下的住宅區(qū)遙感圖像提取LBP紋理特征直方圖，結(jié)果如圖4所示。當(dāng)圖像分辨率為256×256時(shí)，提取的LBP特征向量數(shù)目為15 104個(gè)，一次下采樣后提取的LBP特征向量數(shù)目為7 552個(gè)，二次下采樣后提取的LBP特征向量數(shù)目為3 776個(gè)?？梢钥闯?，隨著圖像尺度的減小，圖像所對(duì)應(yīng)的LBP紋理特征值個(gè)數(shù)也在減少，相應(yīng)的直方圖區(qū)分能力會(huì)有所降低。

3 ?基于SVM的住宅區(qū)遙感圖像分類

支持向量機(jī)（SVM）原理是利用有限的樣本特征值，在分類模型的復(fù)雜性和自學(xué)習(xí)能力之間尋找最佳的平衡點(diǎn)，使目標(biāo)函數(shù)達(dá)到最佳泛化能力[11]。傳統(tǒng)的學(xué)習(xí)算法（比如人工神經(jīng)網(wǎng)絡(luò)）通常只考慮分類器對(duì)訓(xùn)練樣本的擬合情況，容易出現(xiàn)過(guò)度擬合的問(wèn)題，導(dǎo)致其推廣能力降低。SVM以結(jié)構(gòu)化風(fēng)險(xiǎn)最小化為原則，它將樣本數(shù)據(jù)映射到一個(gè)高維的空間里，并在其中尋找并建立一個(gè)最大分類間隔的超平面[H]作為決策曲面，在決策曲面的兩邊建立兩個(gè)平行的超平面[H1]和[H2]，二者的間距越大，SVM分類器的誤差越小[12]。圖5為SVM分類示意圖，其中[H1]，[H2]上的樣本為支持向量，尋找最優(yōu)分類超平面的問(wèn)題可以轉(zhuǎn)化成優(yōu)化模型[12?14]。

圖4 ?不同尺度下LBP紋理特征直方圖

綜上所述，基于LBP紋理特征和SVM算法的住宅區(qū)遙感圖像分類步驟如下：

1） 首先讀入住宅區(qū)遙感圖像訓(xùn)練數(shù)據(jù)集;

2） 將訓(xùn)練數(shù)據(jù)集中的圖像灰度化后進(jìn)行直方圖均衡化預(yù)處理，增大圖像對(duì)比度;

3） 對(duì)預(yù)處理后住宅區(qū)遙感圖像進(jìn)行兩次下采樣，得到多尺度下的圖像集;

4） 根據(jù)式（1）和式（2）對(duì)多尺度下的遙感圖像提取LBP紋理特征向量，并兩兩融合;

5） 利用融合后的紋理特征向量進(jìn)行SVM分類。

圖5 ?SVM分類示意圖

4 ?實(shí)驗(yàn)與分析

為驗(yàn)證本文算法的有效性，探究不同尺度下紋理特征間融合對(duì)分類精度的影響，實(shí)驗(yàn)環(huán)境是Matlab R2016a，系統(tǒng)配置環(huán)境是Inter[?] CoreTM i3?2130 CPU @3.40 GHz，4.00 GB RAM。實(shí)驗(yàn)采用兩個(gè)子數(shù)據(jù)集：

1） 在NWPU?RESISC45標(biāo)準(zhǔn)遙感圖像集[15]中選取的稠密住宅區(qū)（Dense_Residential）和稀疏住宅區(qū)（Sparse_Residential）兩類圖像，每類圖像各有700幅;

2） UC Merced Land?Use標(biāo)準(zhǔn)遙感圖像集[16]中選取稠密住宅區(qū)（Dense_Residential）和稀疏住宅區(qū)（Sparse_Residential）兩類圖像，每類圖像都有100幅，部分示例如圖6所示。

在第一類標(biāo)準(zhǔn)遙感圖像數(shù)據(jù)集UC Merced Land?Use中每類住宅區(qū)遙感圖像各用60幅作為訓(xùn)練集，30幅圖像作為測(cè)試集，10幅圖像作為驗(yàn)證集，分類結(jié)果如表1所示。可以看出：與原始分辨率的住宅區(qū)遙感圖像相比，隨著圖像尺度的降低，分類正確率逐漸減小，原因是圖像分辨率的減小，使得具有較強(qiáng)分辨能力的LBP紋理特征也在減少;當(dāng)圖像分辨率為64×64和128×128時(shí)，分類正確率只有82%和86.7%，但是將兩個(gè)尺度下提取的LBP特征融合后（特征向量個(gè)數(shù)為11 328），分類正確率提升到了91.7%，表明低尺度紋理特征的融入有助于提高遙感圖像分類的準(zhǔn)確率;將三個(gè)尺度下提取出的LBP紋理特征融合后（特征向量個(gè)數(shù)為26 432），分類正確率達(dá)到了95%，但是在融合256×256和128×128兩種尺度紋理特征時(shí)（特征向量個(gè)數(shù)為22 656），分類正確率達(dá)到96.7%，高出三尺度融合正確率1.7%，表明過(guò)低尺度的紋理特征并不總是有利于分類正確率的提高?？傮w來(lái)說(shuō)，多尺度紋理特征融合后的分類正確率要高于單尺度特征分類正確率，平均提升6.49%。

圖6 ?住宅區(qū)遙感圖像示例

NWPU?RESISC45數(shù)據(jù)集中每類住宅區(qū)遙感圖像各用420幅作為訓(xùn)練集，210幅作為測(cè)試集，70幅作為驗(yàn)證集，分類結(jié)果如表2所示。

從表2中可以得出類似的結(jié)論：當(dāng)圖像的尺度降低時(shí)，分類正確率隨之減小;不同尺度下提取的LBP特征兩兩融合后，分類正確率均高于單尺度下的分類結(jié)果，正確率平均提升3.04%;但是，在三個(gè)尺度融合時(shí)（特征向量個(gè)數(shù)為26 432），正確率并沒(méi)有明顯提高，說(shuō)明過(guò)度下采樣得到的紋理特征不利于后續(xù)的圖像分類。實(shí)驗(yàn)結(jié)果總體表明，將圖像在不同尺度下提取的LBP特征經(jīng)過(guò)適度融合后得到的分類正確率會(huì)明顯高于單尺度LBP紋理特征所得到的分類正確率。

表1 不同尺度LBP 紋理特征在住宅區(qū)遙感圖像上的分類結(jié)果比較（UC Merced Land?Use 數(shù)據(jù)集）

表2 不同尺度LBP 紋理特征在住宅區(qū)遙感圖像上的分類結(jié)果比較（NWPU?RESISC45 數(shù)據(jù)集）

5 ?結(jié) ?語(yǔ)

本文提出一種基于金字塔原理提取多尺度LBP紋理特征的住宅區(qū)遙感圖像分類算法。通過(guò)對(duì)原始遙感圖像下采樣構(gòu)建不同尺度的空間金字塔，再對(duì)不同尺度下的圖像進(jìn)行LBP紋理特征提取并融合，最后用SVM分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，本文方法能更好地對(duì)密集住宅區(qū)和稀疏住宅區(qū)圖像進(jìn)行分類，提高分類精度。但是，在構(gòu)建空間金字塔時(shí)，過(guò)度下采樣得到的紋理特征不利于后續(xù)的圖像分類，何種程度的下采樣會(huì)降低圖像分類精度，這是未來(lái)的一個(gè)研究方向。

參考文獻(xiàn)

[1] 金飛，王番，劉智，等.基于對(duì)數(shù)極坐標(biāo)變換的遙感影像居民地提取[J].測(cè)繪科學(xué)，2013，38（3）：102?105.

JIN Fei， WANG Fan， LIU Zhi， et al. Extraction of residential areas from remote sensing images based on log?polar transformation [J]. Science of surveying and mapping， 2013， 38（3）： 102?105.

[2] 楊劍，宋超峰，宋文愛(ài)，等.基于遺傳算法的模糊RBF神經(jīng)網(wǎng)絡(luò)對(duì)遙感圖像分類[J].小型微型計(jì)算機(jī)系統(tǒng)，2018，39（3）：621?624.

YANG Jian， SONG Chaofeng， SONG Wenai， et al. Remote sensing images classification based on fuzzy RBF neural network based on genetic algorithm [J]. Journal of Chinese compu?ter systems， 2018， 39（3）： 621?624.

[3] 邱中原，朱希安，郁建林.結(jié)合紋理特征和邊緣信息的遙感影像分類[J].遙感信息，2018，33（3）：130?132.

QIU Zhongyuan， ZHU Xian， YU Jianlin. Classification of remote sensing image based on texture feature and edge information [J]. Remote sensing information， 2018， 33（3）： 130?132.

[4] 李亮，王蕾，李勝，等.一種利用多尺度直方圖的遙感影像分類方法[J].遙感信息，2017，32（3）：149?154.

LI Liang， WANG Lei， LI Sheng， et al. An image classification method based on multi?scale histogram [J]. Remote sensing information， 2017， 32（3）： 149?154.

[5] 徐偲，周堅(jiān)華.多描述符和多尺度城鎮(zhèn)建筑分類[J].遙感信息，2014，29（2）：17?22.

XU Si， ZHOU Jianhua. Multi?dimensional descriptors and multi?scale classification of urban architecture [J]. Remote sensing information， 2014， 29（2）： 17?22.

[6] 高春霞，謝明鴻，宋納.基于DSM與陰影的彩色遙感影像建筑物提取[J].鄭州輕工業(yè)學(xué)院學(xué)報(bào)（自然科學(xué)版），2015（z2）：108?112.

GAO Chunxia， XIE Minghong， SONG Na. Building extraction from color remote sensing imagery based on DSM and shadows [J]. Journal of Zhengzhou University of Light Industry （Natural science）， 2015（S2）： 108?112.

[7] 郝會(huì)娟.建筑物輪廓提取和區(qū)域分類的研究[D].北京：北京交通大學(xué)，2010.

HAO Huijuan. Research on building extraction and regional classification [D]. Beijing： Beijing Jiaotong University， 2010.

[8] 朱海洲，賈銀山.基于支持向量機(jī)的遙感圖像分類研究[J].科學(xué)技術(shù)與工程，2010，10（15）：3659?3663.

ZHU Haizhou， JIA Yinshan. Remote sensing image classification based on support vector machine [J]. Science technology and engineering， 2010， 10（15）： 3659?3663.

[9] 張浩，趙云勝，陳冠宇，等.基于支持向量機(jī)的遙感圖像建筑物識(shí)別與分類方法研究[J].地質(zhì)科技情報(bào)，2016（6）：194?199.

ZHANG Hao， ZHAO Yunsheng， CHEN Guanyu， et al. Remote sensing image building recognition and classification based on the support vector machine [J]. Geological science and technology information， 2016（6）： 194?199.

[10] 唐羊洋，葉華平，吳書(shū)金，等.基于波段與形狀特征的遙感影像建筑物分類提取[J].后勤工程學(xué)院學(xué)報(bào)，2016，32（1）：93?96.

TANG Yangyang， YE Huaping， WU Shujin， et al. Building classification and extraction from remote sensing image based on wave range and shape features [J]. Journal of logistical engineering university， 2016， 32（1）： 93?96.

[11] 由佳，張懷清，陳永富，等.基于“高分四號(hào)”衛(wèi)星影像洞庭湖濕地信息提取[J].航天返回與遙感，2016，37（4）：116?122.

YOU Jia， ZHANG Huaiqing， CHEN Yongfu， et al. Comparative study of Dongting Lake wetland information extraction based on GF?4 satellite image [J]. Spacecraft recovery and remote sensing， 2016， 37（4）： 116?122.

[12] 張俊紅，劉昱，馬文朋，等.基于GAPSO?SVM的航空發(fā)動(dòng)機(jī)典型故障診斷[J].天津大學(xué)學(xué)報(bào)，2012，45（12）：1057?1061.

ZHANG Junhong， LIU Yu， MA Wenpeng， et al. Typical fault diagnosis of aircraft engine based on GAPSO?SVM [J]. Journal of Tianjin University， 2012， 45（12）： 1057?1061.

[13] 徐曉明.SVM參數(shù)尋優(yōu)及其在分類中的應(yīng)用[D].大連：大連海事大學(xué)，2014.

XU Xiaoming. SVM parameter optimization and its application in the classification [D]. Dalian： Dalian Maritime University， 2014.

[14] 廖周宇，王鈺婷，謝曉蘭，等.基于粒子群優(yōu)化的支持向量機(jī)人臉識(shí)別[J].計(jì)算機(jī)工程，2017，43（12）：248?254.

LIAO Zhouyu， WANG Yuting， XIE Xiaolan， et al. Face re?cognition by support vector machine based on particle swarm optimization [J]. Computer engineering， 2017， 43（12）： 248?254.

[15] YANG Yi， NEWSAM Shawn. Bag?of?visual?words and spatial extensions for Land?Use classification [C]// Proceedings of the 18th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. San Jose： ACM， 2010： 270?279.

[16] CHENG G， HAN J， LU X. Remote sensing image scene classification： benchmark and state of the art [J]. Proceedings of the IEEE， 2017， 105（10）： 1865?1883.