遙感圖像場景分類綜述

錢園園 劉進(jìn)鋒

摘要：隨著科技的進(jìn)步，遙感圖像場景的應(yīng)用需求逐漸增大，廣泛應(yīng)用于城市監(jiān)管、資源的勘探以及自然災(zāi)害檢測等領(lǐng)域中。作為一種備受關(guān)注的基礎(chǔ)圖像處理手段，近年來眾多學(xué)者提出各種方法對遙感圖像的場景進(jìn)行分類。根據(jù)遙感場景分類時(shí)有無標(biāo)簽參與，本文從監(jiān)督分類、無監(jiān)督分類以及半監(jiān)督分類這三個(gè)方面對近年來的研究方法進(jìn)行介紹。然后結(jié)合遙感圖像的特征，分析這三種方法的優(yōu)缺點(diǎn)，對比它們之間的差異及其在數(shù)據(jù)集上的性能表現(xiàn)。最后，對遙感圖像場景分類方法面臨的問題和挑戰(zhàn)進(jìn)行總結(jié)和展望。

關(guān)鍵詞：遙感圖像場景分類;監(jiān)督分類;無監(jiān)督分類;半監(jiān)督分類

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）15-0187-00

Abstract： With the progress of science and technology， the application demand of remote sensing image scene increases gradually， which is widely used in urban supervision， resource exploration， natural disaster detection and other fields.As a basic image processing method， many scholars have proposed various methods to classify the scene of remote sensing image in recent years.This paper introduces the research methods in recent years from the three aspects of supervised classification， unsupervised classification and semi-supervised classification.Then， combined with the features of remote sensing images， the advantages and disadvantages of these three methods are analyzed， and the differences between them and their performance performance in the data set are compared.Finally， the problems and challenges of remote sensing image scene classification are summarized and prospected.

Key words： remote sensing image scene classification; Unsupervised classification; Supervise classification; Semi-supervised classification

遙感圖像場景分類，就是通過某種算法對輸入的遙感場景圖像進(jìn)行分類，并且判斷某幅圖像屬于哪種類別。早期主要是依靠人工提取特征，這些方法一般情況下需要依靠有大量專業(yè)領(lǐng)域知識(shí)和實(shí)踐經(jīng)驗(yàn)的專家利用顏色、形狀、紋理或者光譜信息來設(shè)計(jì)各種圖像特征，進(jìn)而進(jìn)行分類。但是，隨著技術(shù)尤其遙感技術(shù)的發(fā)展，遙感圖像不僅從數(shù)量上急劇增加，而且從質(zhì)量上來說遙感圖像的復(fù)雜度以及圖像的分辨率也都越來越高，這些因素限制了早期人工方法的繼續(xù)使用。因此，基于機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的自動(dòng)學(xué)習(xí)方法應(yīng)運(yùn)而生，并在圖像處理領(lǐng)域大放異彩。

在過去的幾十年里，各方面學(xué)者對遙感圖像提出了許多自分類方法。其中按照訓(xùn)練模型時(shí)樣本的標(biāo)簽信息有沒有參與，可將分類分為監(jiān)督分類、半監(jiān)督分類和無監(jiān)督分類。本文將從這三個(gè)方面論述其研究進(jìn)展。

1 遙感圖像場景監(jiān)督分類研究現(xiàn)狀

自2006年深度特征學(xué)習(xí)取得了突破性進(jìn)展后[1]，機(jī)器學(xué)習(xí)與深度學(xué)習(xí)便從此登上歷史舞臺(tái)，自此，支持向量機(jī)、決策樹等機(jī)器學(xué)習(xí)方法，CNN、AlexNet、VGGNet等深度學(xué)習(xí)方法都被廣泛應(yīng)用在遙感場景的監(jiān)督分類研究中。

支持向量機(jī)（ Support Vector Machine，SVM）是機(jī)器學(xué)習(xí)算法中一種最基本的監(jiān)督學(xué)習(xí)算法，在處理維度較高的圖像數(shù)據(jù)時(shí)，它通常引入核函數(shù)來尋找最優(yōu)分類超平面，進(jìn)而解決復(fù)雜數(shù)據(jù)分類問題。QU等人在文獻(xiàn)[2]中通過支持向量機(jī)對機(jī)場的紋理進(jìn)行學(xué)習(xí)，然后得到分類函數(shù)實(shí)現(xiàn)了機(jī)場跑道的識(shí)別。張浩等人在文獻(xiàn)[3]中通過SVM分類方法對建筑物進(jìn)行分類，作者首先通過交叉驗(yàn)證法對模型的參數(shù)進(jìn)行分析，再用GridSearch算法設(shè)置可以獲得模型參數(shù)的最好方法。隨機(jī)森林模型[4]和CART決策樹[5]是對原始決策樹改進(jìn)的模型，近年來也被應(yīng)用于遙感圖像分類領(lǐng)域。

深度學(xué)習(xí)（deep learning）最常用的是深度神經(jīng)網(wǎng)絡(luò)。在深度學(xué)習(xí)算法中有很多隱藏層，通常使用大量的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練，使模型學(xué)習(xí)數(shù)據(jù)的特征，從而提高圖像分類的精度。近年來深度學(xué)習(xí)算法的典型代表“卷積神經(jīng)網(wǎng)絡(luò)（CNN）”在圖像分類領(lǐng)域的成績舉世矚目。在文獻(xiàn)[6]中，作者使用三種不同的卷積神經(jīng)網(wǎng)絡(luò)模型對遙感圖像進(jìn)行場景分類。在論文中作者首先利用預(yù)訓(xùn)練好的CNN作為特征提取器。然后用遙感場景數(shù)據(jù)集對模型進(jìn)行調(diào)優(yōu)。最后利用soft-max層特征進(jìn)行分類。文獻(xiàn)[7]作者通過對卷積神經(jīng)網(wǎng)絡(luò)使用調(diào)優(yōu)的方法對遙感圖像進(jìn)行場景分類。文獻(xiàn)[8]作者別具匠心，為了提高分類精度，基于不同的卷積神經(jīng)網(wǎng)絡(luò)模型使用了四種不同的策略對遙感場景進(jìn)行分類。最終得出結(jié)論：通過微調(diào)的方式得到的效果最佳。Zhou等人[9]提出了ResNet-TP方法，該方法主要通過使輸入的圖像經(jīng)過特定的ResNet網(wǎng)絡(luò)層后再分為兩路再進(jìn)行特征提取并分類。Kejie等人在文獻(xiàn)[10]中，應(yīng)用一種新的體系架構(gòu)即兩個(gè)深度神經(jīng)網(wǎng)絡(luò)對遙感圖像進(jìn)行分類，并得到了令人滿意的分類精度。Shawky等人在文獻(xiàn)[11]中提出基于CNN-MLP的方法對遙感圖像進(jìn)行場景分類。在文中，作者先使用無全連接層的卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行特征提取，然后用依賴于Adagrad優(yōu)化器的增強(qiáng)型多層深度感知機(jī)進(jìn)行圖像的分類，并且取得了較好的分類效果。

上述研究表明，與人工提取特征的方式方法相比，基于機(jī)器學(xué)習(xí)的圖像的分類任務(wù)取得的效果更好，尤其是基于深度學(xué)習(xí)的監(jiān)督分類方法性能更加優(yōu)越，但它的缺點(diǎn)是訓(xùn)練要基于大量有標(biāo)簽的樣本。

2 遙感圖像場景無監(jiān)督分類研究現(xiàn)狀

由于遙感圖像獲取容易，但是進(jìn)行標(biāo)注并非易事，因此近年來衍生出大量基于無監(jiān)督的分類方法，這類方法也在遙感圖像分類領(lǐng)域大放異彩。在遙感圖像分類領(lǐng)域中用到的典型的無監(jiān)督特征學(xué)習(xí)方法包括主成分分析法（PCA）[12]、K均值聚類（K-means）[13]、稀疏編碼[14]、自編碼器[15]、生成對抗網(wǎng)絡(luò)（GAN）等[16]。

主成分分析法的實(shí)質(zhì)是一種統(tǒng)計(jì)方法，是一種相對較為簡單的無監(jiān)督訓(xùn)練模型?？梢酝ㄟ^訓(xùn)練學(xué)習(xí)到用于圖像分類的主要顯著特征[12]。一般情況下，通過該方法可以只保留低階的主成分，即保留數(shù)據(jù)中特征較明顯的成分而忽略掉對分類作用不太大的數(shù)據(jù)，從而起到降低維數(shù)的作用。

K-means算法也是無監(jiān)督算法之一，它也被廣泛應(yīng)用于遙感圖像場景分類中[13]。K-means算法的優(yōu)點(diǎn)是相對較簡單，易于理解。但是該算法在進(jìn)行訓(xùn)練前需要明確固定的K值，如果沒有明確的K值指導(dǎo)或者所設(shè)置的K值與真實(shí)K值有偏差可能得不到較好的分類結(jié)果。

最近，很多基于稀疏編碼的分類方法被應(yīng)用于遙感圖像場景分類中[14]，該算法中通常應(yīng)用稀疏表達(dá)的方式對圖像的特征進(jìn)行提取，進(jìn)而進(jìn)行分類。稀疏表示的優(yōu)點(diǎn)是計(jì)算量小，因此計(jì)算速度較快，可以高性能地表示出結(jié)果。

自動(dòng)編碼器有一個(gè)編碼器和一個(gè)解碼器組成，是一種非常典型的無監(jiān)督分類算法，已被廣泛應(yīng)用于遙感圖像場景分類[15]。文獻(xiàn)[17]主要通過非監(jiān)督的方法對無標(biāo)簽遙感圖像中具有視覺顯著性的圖像特征進(jìn)行學(xué)習(xí)，進(jìn)而進(jìn)行分類。在文獻(xiàn)[18]中，作者提出了一種具有知識(shí)編碼粒度空間的深層自動(dòng)編碼器神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，用于遙感圖像分類。該方法利用了深層網(wǎng)絡(luò)，小波粗糙粒度空間和知識(shí)編碼，并且通過對比實(shí)驗(yàn)證明模型的優(yōu)越性。

GAN作為近年來最具潛力的非監(jiān)督學(xué)習(xí)算法，其目的是學(xué)習(xí)一個(gè)生成的數(shù)據(jù)分布。文獻(xiàn)[16]首次將GAN應(yīng)用到非監(jiān)督特征提取的遙感圖像分類中，在該方法中，作者將兩種損失函數(shù)相結(jié)合進(jìn)行圖像的特征學(xué)習(xí)，利用此方法獲得了良好的分類效果，分類精度達(dá)到94%左右。在文獻(xiàn)[19]中，為了提高GAN 網(wǎng)絡(luò)模型的泛化能力，生成大尺寸圖像，將縮放的指數(shù)線性單位（SELU）應(yīng)用到GAN中以生成高質(zhì)量的遙感圖像。

3 遙感圖像場景半監(jiān)督分類研究現(xiàn)狀

由于現(xiàn)實(shí)中無標(biāo)簽的圖像數(shù)量要遠(yuǎn)多于有標(biāo)簽的圖像數(shù)量，所以為了提高大量的無標(biāo)簽樣本的利用率，同時(shí)結(jié)合有標(biāo)簽和無標(biāo)簽樣本的半監(jiān)督學(xué)習(xí)算法就受到越來越多研究者的關(guān)注。在文獻(xiàn)[20]中，Bruzzone等研究者提出使用基于時(shí)間依賴關(guān)系的SVM來獲得未標(biāo)注樣本的權(quán)重，并且獲得了較好的分類效果。在文獻(xiàn)[21]中作者使用多層感知機(jī)進(jìn)行遙感圖像分類，在訓(xùn)練時(shí)使用未標(biāo)簽樣本對分類器進(jìn)行修正。在文獻(xiàn)[22]中作者首先對無標(biāo)簽樣本進(jìn)行特征提取，通過圖模型的方式對有標(biāo)簽樣本進(jìn)行排序從而提高分類精度。文獻(xiàn)[23]中作者使用 SVM算法構(gòu)造了一個(gè)半監(jiān)督分類器進(jìn)行遙感圖像的分類。Wei Han 等人在論文[24]中將具有深度學(xué)習(xí)功能的半監(jiān)督生成框架用在遙感圖像場景分類中。在該文中，作者提出半監(jiān)督的生成框架，結(jié)合深度學(xué)習(xí)的功能，用自標(biāo)簽技術(shù)和判別式評(píng)估方法，完成的遙感圖像和場景分類，并取得了較好的效果。在文獻(xiàn)[25]中，作者提出了一種2型模糊c均值算法（SS-AIT2FCM）。作為一種新的半監(jiān)督分類模型，有效地提高了遙感圖像場景的分類精度。

4 三種學(xué)習(xí)算法的比較與展望

縱向來看，隨著遙感技術(shù)的發(fā)展，遙感圖像的復(fù)雜性增強(qiáng)，樣本的數(shù)量呈現(xiàn)海量的增長趨勢，機(jī)器學(xué)習(xí)方法相比于人工方法在遙感圖像分類任務(wù)中取得了相對較好的效果;相對于深層的卷積神經(jīng)網(wǎng)絡(luò)而言，層數(shù)較淺的機(jī)器學(xué)習(xí)分類方法不容易建立一個(gè)可以表示復(fù)雜圖像數(shù)據(jù)的函數(shù)，因此不適合于復(fù)雜的遙感圖像場景分類。

橫向來看，基于深度特征的監(jiān)督分類方法分類的效果都相對較好，但是對有標(biāo)簽圖像的依賴性強(qiáng)是該方法的劣勢。無監(jiān)督特征學(xué)習(xí)方法在遙感圖像分類中有很好的效果，相較于監(jiān)督學(xué)習(xí)的方法不需要大量的標(biāo)簽信息就可以提取特征。但是，正是因?yàn)樵摲椒]有充分的利用圖像的類別信息，使得該方法對圖像類間的區(qū)分能力相對較差，因此也導(dǎo)致分類的效果往往不能令人滿意。半監(jiān)督學(xué)習(xí)技術(shù)應(yīng)用于遙感分類領(lǐng)域具有可行性，可以很好地解決遙感圖像分類的不確定性問題。由前面的論述可知目前對于遙感圖像場景的半監(jiān)督分類研究還比較少，并且大都應(yīng)用淺層的機(jī)器學(xué)習(xí)方法。

總的來說，一方面現(xiàn)存的遙感場景圖像有標(biāo)簽的數(shù)據(jù)集相對較小不利于監(jiān)督分類方法的進(jìn)行;另一方面遙感圖像存在高類內(nèi)差與低類間差的特性導(dǎo)致其使用無監(jiān)督分類時(shí)不能很好地區(qū)分類間差異。因此將更加簡便有效的半監(jiān)督學(xué)習(xí)算法應(yīng)用于遙感圖像場景分類大有可為。

參考文獻(xiàn)：

[1] Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[2] QU Y， LI C， ZHENG N. Airport Detection Base on Support Vector Machine from A Single Image[C]//Fifth International Conference on Information， Communications and Signal Processing.IEEE， 2006：546-549.

[3] 張浩，趙云勝，陳冠宇，等.基于支持向量機(jī)的遙感圖像建筑物識(shí)別與分類方法研究[J].地質(zhì)科技情報(bào)，2016，35（6）：194-199.

[4] Belgiu M，Dr?gu? L.Random forest in remote sensing：a review of applications and future directions[J].ISPRS Journal of Photogrammetry and Remote Sensing，2016，114：24-31.

[5] 馬鑫，汪西原，胡博.基于ENVI的CART自動(dòng)決策樹多源遙感影像分類——以北京市為例[J].寧夏工程技術(shù)，2017，16（1）：63-66.

[6] Cheng G，Ma C C，Zhou P C，et al.Scene classification of high resolution remote sensing images using convolutional neural networks[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：767-770.

[7] Scott G J，England M R，Starms W A，et al.Training deep convolutional neural networks for land–cover classification of high-resolution imagery[J].IEEE Geoscience and Remote Sensing Letters，2017，14（4）：549-553.

[8] Nogueira K，Penatti O A B，dos Santos J A.Towards better exploiting convolutional neural networks for remote sensing scene classification[J].Pattern Recognition，2017，61：539-556.

[9] Zhou Z，Zheng Y B，Ye H，et al.Satellite image scene classification via ConvNet with context aggregation[EB/OL].2018：arXiv：1802.00631[eess.IV].https：//arxiv.org/abs/1802.00631

[10] Xu K J，Huang H，Deng P F，et al.Two-stream feature aggregation deep neural network for scene classification of remote sensing images[J].Information Sciences，2020，539：250-268.

[11] Shawky O A，Hagag A，El-Dahshan E S A，et al.Remote sensing image scene classification using CNN-MLP with data augmentation[J].Optik，2020，221：165356.

[12] Réjichi S，Chaabane F.Feature extraction using PCA for VHR satellite image time series spatio-temporal classification[C]//2015 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 26-31，2015，Milan，Italy.IEEE，2015：485-488.

[13] Zhu Q Q，Zhong Y F，Zhao B，et al.The bag-of-visual-words scene classifier combining local and global features for high spatial resolution imagery[C]//2015 12th International Conference on Fuzzy Systems and Knowledge Discovery （FSKD）.August 15-17，2015，Zhangjiajie，China.IEEE，2015：717-721.

[14] Wu S L，Chen H D，Bai Y，et al.A remote sensing image classification method based on sparse representation[J].Multimedia Tools and Applications，2016，75（19）：12137-12154.

[15] 曲建嶺，杜辰飛，邸亞洲，等.深度自動(dòng)編碼器的研究與展望[J].計(jì)算機(jī)與現(xiàn)代化，2014（8）：128-134.

[16] Lin D Y，F(xiàn)u K，Wang Y，et al.MARTA GANs：unsupervised representation learning for remote sensing image classification[J].IEEE Geoscience and Remote Sensing Letters，2017，14（11）：2092-2096.

[17] Zhang F，Du B，Zhang L P.Saliency-guided unsupervised feature learning for scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：2175-2184.

[18] Meher S K.Granular space，knowledge-encoded deep learning architecture and remote sensing image classification[J].Engineering Applications of Artificial Intelligence，2020，92：103647.

[19] Xu S H，Mu X D，Chai D，et al.Remote sensing image scene classification based on generative adversarial networks[J].Remote Sensing Letters，2018，9（7）：617-626.

[20] Bruzzone L，Chi M，Marconcini M.A novel transductive SVM for semisupervised classification of remote-sensing images[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44（11）：3363-3373.

[21] PATRA S，GHOSH S，GHOSH A.Change detection of remote sensing images with semi-supervised multilayer perceptron[J].Fundamenta Informaticae， 2008， 84（3，4）：429-442.

[22] Camps-Valls G，Bandos Marsheva T V，Zhou D Y.Semi-supervised graph-based hyperspectral image classification[J].IEEE Transactions on Geoscience and Remote Sensing，2007，45（10）：3044-3054.

[23] Maulik U，Chakraborty D.A self-trained ensemble with semisupervised SVM：an application to pixel classification of remote sensing imagery[J].Pattern Recognition，2011，44（3）：615-623.

[24] Han W，F(xiàn)eng R Y，Wang L Z，et al.A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification[J].ISPRS Journal of Photogrammetry and Remote Sensing，2018，145：23-43.

[25] Xu J D，F(xiàn)eng G Z，Zhao T，et al.Remote sensing image classification based on semi-supervised adaptive interval type-2 fuzzy c-means algorithm[J].Computers & Geosciences，2019，131：132-143.

【通聯(lián)編輯：唐一東】