基于深度殘差網(wǎng)絡(luò)的遙感數(shù)據(jù)分類

孟佳佳　王弢

摘要：論文提出了一種基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)的高光譜遙感數(shù)據(jù)的分類方法。我們將深度殘差卷積神經(jīng)網(wǎng)絡(luò)作為一種分類器，將待分類的像元及其領(lǐng)域像元一同作為神經(jīng)網(wǎng)絡(luò)的輸入，通過殘差網(wǎng)絡(luò)的算法模型實(shí)現(xiàn)高光譜遙感數(shù)據(jù)的分類。我們使用深度學(xué)習(xí)技術(shù)將數(shù)據(jù)特征提取出來再進(jìn)行分類，以達(dá)到提高分類準(zhǔn)確度和效率的目的。本文主要通過改善分類方法來增強(qiáng)遙感數(shù)據(jù)分類的效率和處理能力。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；高光譜圖像；圖像分類；深度學(xué)習(xí)

中圖分類號(hào)：TP391.41；TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）01-0099-03

0 引言

過去幾年，由于深度學(xué)習(xí)在解決很多問題上的出色表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)是最早發(fā)現(xiàn)和應(yīng)用的，也是研究重點(diǎn)[1]。雖然基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)應(yīng)用的越來越廣泛。但在遙感數(shù)據(jù)的分類領(lǐng)域中使用這項(xiàng)技術(shù)還較為少見。遙感數(shù)據(jù)有很多種分類因素而具有多種分類方法。基于光譜特征的分類方法主要是從地物的光譜特征入手，表現(xiàn)地物特定的光譜區(qū)間和特定參數(shù)[2]。高光譜遙感圖像中能夠包含的信息比傳統(tǒng)的遙感圖像要多，其接收到的譜線也比傳統(tǒng)的細(xì)致和連續(xù)，一些不可分的特征會(huì)被凸顯，這種方法是通過對比分析并判別地物的光譜信息來進(jìn)行區(qū)分的。基于統(tǒng)計(jì)模型的分類方法是對高光譜遙感數(shù)據(jù)整體樣本的總體特征進(jìn)行統(tǒng)計(jì)分析，從而對得出的不同的分布特征進(jìn)行分析，可以用來識(shí)別地物目標(biāo)。

目前，高光譜數(shù)據(jù)處理的自動(dòng)化及智能化的水平尚不夠高，深度學(xué)習(xí)和人工智能技術(shù)的發(fā)展能夠提升地物分類和識(shí)別的準(zhǔn)確度以及地物特征信息的提取速度和準(zhǔn)確度，這還將是高光譜遙感研究的主要目標(biāo)[3]，選用更先進(jìn)的分類算法和數(shù)據(jù)處理模型，將高光譜遙感數(shù)據(jù)更好更多地應(yīng)用在更廣的學(xué)科領(lǐng)域中。

1 深度殘差網(wǎng)絡(luò)的高光譜遙感數(shù)據(jù)分類

1.1 殘差卷積網(wǎng)絡(luò)模型

隨著神經(jīng)網(wǎng)絡(luò)的深度的加深，網(wǎng)絡(luò)的表達(dá)能力隨之加強(qiáng)，但網(wǎng)絡(luò)深度會(huì)帶來梯度消失的問題，且隨著深度加深，梯度消失問題也越來越嚴(yán)峻[4]。如果假設(shè)我們將多加入的多層神經(jīng)網(wǎng)絡(luò)全部定義為恒等映射，理論上完全可以認(rèn)定為性能達(dá)到平衡，但是這種方法沒有任何的實(shí)際意義。那么如果增加的部分可以近似為恒等映射或攜有小擾動(dòng)的恒等映射的情況，則很有可能實(shí)現(xiàn)網(wǎng)絡(luò)性能的不變[5]。因而我們采用了殘差單元。若是可以假設(shè)多個(gè)非線性層組合可以擬合于一個(gè)復(fù)雜函數(shù)，那么也同樣可以假定隱含層的殘差擬合于某個(gè)復(fù)雜函數(shù)。即將原來的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)H（x）轉(zhuǎn)化為F（x）+x，對于深度神經(jīng)網(wǎng)絡(luò)來說，這兩種表達(dá)方式的訓(xùn)練效果是等同的。但對于深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化難度上來說是截然不同的。后者可以通過具有“捷徑連接（shortcut）”的前饋神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，而且殘差網(wǎng)絡(luò)的單個(gè)構(gòu)建模塊并不復(fù)雜。殘差單元的輸出由多個(gè)卷積層層疊的輸出和輸入元素間相加，并要求保證其卷積層輸出和輸入元素維度相同，再經(jīng)過ReLU線性激活后得到。將這種結(jié)構(gòu)層疊起來之后，我們就得到了深度殘差網(wǎng)絡(luò)。

1.2 殘差塊

殘差塊是一個(gè)兩層神經(jīng)網(wǎng)絡(luò)，如圖1所示。在層進(jìn)行激活，得到，再次進(jìn)行激活，兩層之后得到。計(jì)算過程是從開始的，首先進(jìn)行線性激活，根據(jù)公式1-1：

通過算出，即乘以權(quán)重矩陣，再加上偏差因子。然后通過ReLU非線性激活函數(shù)得到，計(jì)算得出。接著再次進(jìn)行線性激活，依據(jù)公式1-2：

最后根據(jù)這個(gè)公式再次進(jìn)行ReLU非線性激活，即，這里的g是指ReLU非線性函數(shù)，得到的結(jié)果就是。換句話說，信息流從到需要經(jīng)過以上所以步驟，即這組網(wǎng)絡(luò)層的主路徑。

卷積在殘差網(wǎng)絡(luò)中有一點(diǎn)變化，我們將直接向后，拷貝到神經(jīng)網(wǎng)絡(luò)的深層，在ReLU非線性激活函數(shù)前加上，這是一條捷徑。的信息直接到達(dá)神經(jīng)網(wǎng)絡(luò)的深層，不再沿著主路徑傳遞，這就意味著最后這個(gè)等式去掉了，取而代之的是另一個(gè)ReLU非線性函數(shù)，仍然對進(jìn)行函數(shù)處理，但這次要加上，即：，也就是加上的這個(gè)產(chǎn)生了一個(gè)殘差塊。

一個(gè)普通網(wǎng)絡(luò)（Plain network），把它變成 ResNet 的方法是加上所有跳躍連接，每兩層增加一個(gè)捷徑，構(gòu)成一個(gè)殘差塊。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)簡介

本文使用到高光譜數(shù)據(jù)有：Indianpines和Pavia U。Indianpines數(shù)據(jù)集：美國印第安納州的松林區(qū)域，一共包含地物信息16類。每個(gè)圖像規(guī)模為145×145，整個(gè)數(shù)據(jù)集的大小為145×145×200。Pavia U數(shù)據(jù)集：意大利帕爾維亞大學(xué)的附近區(qū)域，一共包含地物信息10類。每個(gè)圖像規(guī)模為610×340，整體數(shù)據(jù)集的大小為610×340×103。

2.2 實(shí)驗(yàn)結(jié)果情況分析

2.2.1 Indianpines數(shù)據(jù)集

我們將實(shí)驗(yàn)環(huán)境中訓(xùn)練樣本的數(shù)量設(shè)定為整體樣本量的20%，則測試樣本為剩下的80%，為了分析各網(wǎng)絡(luò)算法模型對樣本的分類效果情況，我們使用了卷積神經(jīng)網(wǎng)絡(luò)（CNN）、多層感知機(jī)（MLP）和殘差網(wǎng)絡(luò)（Resnet）三種模型分別進(jìn)行實(shí)驗(yàn)，得到如下結(jié)果：

圖2（a）為正確標(biāo)記后的高光譜遙感數(shù)據(jù)，作為結(jié)果對比使用；圖2（b）為使用多層神經(jīng)網(wǎng)絡(luò)（MLP）進(jìn)行高光譜遙感數(shù)據(jù)分類的分類結(jié)果；圖2（c）是采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行高光譜遙感數(shù)據(jù)分類的分類結(jié)果；圖2（d）是使用深度殘差網(wǎng)絡(luò)（Resnet）進(jìn)行高光譜遙感數(shù)據(jù)分類的分類結(jié)果。我們從圖2中能夠得到，相較于MLP模型來說，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)實(shí)現(xiàn)了部分的錯(cuò)誤率下降，但效果還是差強(qiáng)人意的。但相較于CNN模型，深度殘差網(wǎng)絡(luò)對高光譜遙感數(shù)據(jù)的分類正確率已有明顯的提升，分類效果比多層感知機(jī)及卷積神經(jīng)網(wǎng)絡(luò)都要好，這里體現(xiàn)了殘差網(wǎng)絡(luò)相較于多層神經(jīng)網(wǎng)絡(luò)及卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性，但仍未達(dá)到最優(yōu)。

2.2.2 Pavia U數(shù)據(jù)集

為了分析不同數(shù)據(jù)集上各模型的分析狀況，這次我們采用了同樣的樣本比例，即訓(xùn)練樣本與測試樣本的比例為2：8，再次分析各神經(jīng)網(wǎng)絡(luò)模型對Pavia U數(shù)據(jù)集的分類情況，我們再次使用了卷積神經(jīng)網(wǎng)絡(luò)（CNN）、多層神經(jīng)網(wǎng)絡(luò)（MLP）及殘差網(wǎng)絡(luò)（Resnet）三種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類，得到的結(jié)果如圖3所示。

我們發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)比多層感知機(jī)的分類效果略好一些，而深度殘差網(wǎng)絡(luò)再次表現(xiàn)出了優(yōu)越性，其分類效果較于前兩種模型為最優(yōu)。由結(jié)果圖我們能看出，不論是塊狀地域還是線性地域的識(shí)別，深度殘差網(wǎng)絡(luò)都較其他兩種模型的分類準(zhǔn)確率高，其能夠較為準(zhǔn)確的將九類地域特征分類，邊緣輪廓描繪較為完整，相較于卷積神經(jīng)網(wǎng)絡(luò)明顯降低了誤差，這也表明了深度殘差網(wǎng)絡(luò)解決了高光譜遙感數(shù)據(jù)分類中的一部分困難。

如表1所示，多層感知機(jī)對Pavia U數(shù)據(jù)集的地物分類精度只達(dá)到了60%左右，而卷積神經(jīng)網(wǎng)絡(luò)具有很好的分類效果，其對Pavia U數(shù)據(jù)集的地物分類精度達(dá)到了80%。從表中我們還可以發(fā)現(xiàn)深度殘差網(wǎng)絡(luò)對Pavia U數(shù)據(jù)集的地物分類精度竟然達(dá)到了90%左右，這進(jìn)一步體現(xiàn)了殘差網(wǎng)絡(luò)較另兩種分類模型的優(yōu)越性和高效性。

3 結(jié)語

本文提出了一種基于深度殘差網(wǎng)絡(luò)的高光譜遙感數(shù)據(jù)的分類方法，通過殘差網(wǎng)絡(luò)實(shí)現(xiàn)了分類正確率和準(zhǔn)確度的提升，實(shí)驗(yàn)結(jié)果表征了基于該算法模型的分類方法在其他同類型的分類方法中的可行性和優(yōu)越性。本文以高光譜遙感數(shù)據(jù)分類為核心，深度殘差網(wǎng)絡(luò)算法模型為方法，部分解決了高光譜遙感數(shù)據(jù)因光譜維度高、數(shù)據(jù)冗余大且存在非線性特性所帶來的分類困難的問題。

參考文獻(xiàn)

[1] Zeiler M D， Fergus R. Visualizing and Understanding Convolutional Networks[M]// Computer Vision ECCV 2014. Springer International Publishing，2014：818-833.

[2] 袁迎輝，林子瑜.高光譜遙感技術(shù)綜述[J].中國水運(yùn)：學(xué)術(shù)版，2007，7（8）：157-159.

[3] 張兵，王向偉， 鄭蘭芬，等.高光譜圖像地物分類與識(shí)別研究[J].2004.

[4] 宋光慧.基于遷移學(xué)習(xí)與深度卷積特征的圖像標(biāo)注方法研究[D].浙江大學(xué)，2017.

[5] Ballester P， Araujo R M. On the performance of GoogLeNet and AlexNet applied to sketches[C]// Thirtieth AAAI Conference on Artificial Intelligence. AAAI Press，2016：1124-1128.

Abstract：This paper proposes a hyperspectral remote sensing data classification method based on deep residual convolutional neural network. We use the deep residual convolutional neural network as a classifier to classify the pixels to be classified and their domain pixels into the input of the neural network. The algorithm model of the residual network is used to classify the hyperspectral remote sensing data. We use deep learning technology to extract data features and then classify them to achieve the purpose of improving classification accuracy and efficiency. This paper mainly enhances the efficiency and processing ability of remote sensing data classification by improving the classification method.

Key words：convolutional neural networks； hyperspectral images； image classification； deep learning