基于深度學(xué)習(xí)的高分辨率遙感影像建筑物提取方法

范榮雙，陳 洋，徐啟恒，王競雪

1. 遼寧工程技術(shù)大學(xué)測繪與地理科學(xué)學(xué)院，遼寧 阜新 123000； 2. 中國測繪科學(xué)研究院，北京 100830； 3. 東莞市測繪院，廣東 東莞 523129

隨著Quick Bird、ZY-3等高分辨率遙感衛(wèi)星的出現(xiàn)，高分辨率遙感影像已成為重要的地理空間信息主要的來源之一[1]。遙感影像空間分辨率的顯著提高，遙感影像表現(xiàn)出更豐富的地物細節(jié)信息，幾何結(jié)構(gòu)和紋理特征等也更加明顯。同時類內(nèi)混合像元及大量陰影的存在，使得傳統(tǒng)基于像素的遙感影像分類技術(shù)不能滿足建筑物信息提取需要[2-3]。建筑物是城市基礎(chǔ)地理信息的重要組成部分，因此，研究高精度和高效建筑物提取方法非常有必要。

建筑物提取是遙感信息處理與分析重要研究內(nèi)容，近幾年來，許多學(xué)者提出許多建筑物提取方法[4]。如文獻[5]將支持向量機(support vector machine,SVM)應(yīng)用高分辨遙感影像建筑物信息，文獻[6]提出形態(tài)學(xué)建筑物指數(shù)(morphology building index,MBI)。上述建筑物提取方法，都是基于像素特征的建筑物提取方法，導(dǎo)致提取建筑物邊界模糊和不完整、提取精度較低等問題。深度學(xué)習(xí)是模擬人腦的學(xué)習(xí)過程，通過對輸入影像數(shù)據(jù)低層特征中自動提取高層次特征。文獻[7]提出基于大型深層卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNNs)的自然圖像分類算法，在Image Net數(shù)據(jù)集上取得了很高的分類精度。針對上述建筑物提取精度問題，有些學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于建筑物提取。文獻[8—9]將卷積神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于建筑物提取，精度有著明顯提高，但是需要大量樣本和存在提取結(jié)果邊界不完整等問題。

針對上述高分辨率遙感影像建筑物信息提取現(xiàn)存的問題，本文提出基于深度學(xué)習(xí)的高分辨率遙感影像建筑物提取方法。采用主成分變換(principal component analysis,PCA)非監(jiān)督預(yù)訓(xùn)練初始化網(wǎng)絡(luò)結(jié)構(gòu)，通過非下采樣輪廓波變換(non-subsampled contour let transform,NSCT)來獲取影像紋理特征，并將紋理特征輸入網(wǎng)絡(luò)中參與建筑物提取。在主成分分析小化重構(gòu)誤差原則下，獲取待分類影像的特征，從而學(xué)習(xí)得到含有訓(xùn)練樣本統(tǒng)計特性的濾波器；為防止陷入過于擬合，神經(jīng)網(wǎng)絡(luò)的激活函數(shù)采用線性修正函數(shù)；為減少在下采樣過程中影像特征的缺失，提出自適應(yīng)池化模型，最后將建筑物特征輸入softmax分類器進行提取。

1 方法與原理

1.1 主成分變換非監(jiān)督預(yù)訓(xùn)練原理

(1)

采用主成分變換方法最小化重構(gòu)誤差求解特征向量[11]

(2)

式中，IH為H×H單位矩陣；V為協(xié)方差矩陣XXΤ的前H個特征向量；V可以表示輸入影像塊的主要特征。主成分變換初始化卷積神經(jīng)網(wǎng)絡(luò)的濾波器組Wh可以表示為

Wh=mg1g2(Vh)h=1,2,…,H

(3)

式中，mg1g2(Vh)表示將向量V映射到矩陣Wh；Vh表示影像的第h主要特征。

因為采用主成分變換不需要人工干預(yù)獲取局部影像的主要特征。因此，可認(rèn)為主成分變換訓(xùn)練濾波器是一種簡單的自動編碼器。

1.2 影像紋理特征的提取

因為高分辨影像地物復(fù)雜，僅僅單靠影像的光譜特征進行建筑物提取，提取結(jié)果不理想，所以需要利用高分辨影像潛在的特征來提高地物類別之間的可分離性。在高分辨影像分類過程往往結(jié)合紋理特征來獲取理想分類結(jié)果。影像光譜特征是通過像素點本身周圍像素組成區(qū)域進行描述，本文針對光譜特征提取方法，是取L×L大小窗口，對每個像素，構(gòu)建出L×L維光譜特征向量。文獻[12]將NSCT用于影像紋理特征的提取，得到的效果比傳統(tǒng)紋理提取方法更好，說明NSCT能較好地提取影像紋理特征。本文采用NSCT來提取影像紋理特征，其中NSCT變換主要包括兩個過程，一個是非下采樣金字塔(NSP)分解，另一個是非下采樣方向濾波器組分解((NBDFB)。

(4)

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)來源于神經(jīng)學(xué)家Hubei和Wiesel對貓視覺皮層細胞的研究[14]。與淺層機器學(xué)習(xí)算法相比較，它具有適用性強、分類并行處理能力、權(quán)值共享等優(yōu)點，使得全局優(yōu)化訓(xùn)練參數(shù)大大減少，目前已經(jīng)成為了深度學(xué)習(xí)領(lǐng)域的研究熱點之一[15]。根據(jù)研究需要，本文將卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建為：輸入層、2個卷積層、2個池化層、全連接層和輸出層組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Convolution neural network structure

輸入影像在卷積層和濾波層進行卷積運算，卷積層和濾波層一般是需要激活函數(shù)來連接[16]。本文采用Gi表示卷積神經(jīng)網(wǎng)絡(luò)第i層的特征圖，其卷積過程可以描述為

Gi=f(Gi-1?Wi+bi)

(5)

式中，Wi表示第i層卷積核的權(quán)值特征向量；運算符號“?”代表第i層影像與第i-1層影像或者特征圖進行卷積操作；bi是偏移向量；最終通過線性的激活函數(shù)f(·)獲取第i層的特征圖Gi。

激活函數(shù)主要分兩種，一種是線性激活函數(shù)，另一種是非線性激活函數(shù)。常用的非線性激活函數(shù)有3種，分別是雙曲線函數(shù)、Sigmoid和Softplus[17]。常用的線性激活函數(shù)主要有ReLU和PReLU。因為ReLU函數(shù)與生物神經(jīng)元受刺激后的激活狀態(tài)比較接近，在一定程度上該函數(shù)具有稀疏性，計算簡單等優(yōu)點，被許多國內(nèi)外學(xué)者作為卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)[18-19]。因此本文采用f(x)=max(x)作為卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。

在卷積層之后對應(yīng)池化層，卷積層和池化層通過激活函數(shù)鏈接[20-21]。常見池化層模型主要有兩種：一是最大池化模型，如式(6)所示[22]；二是平均池化模型，如式(7)所示[23]。

設(shè)由卷積層得到特征圖矩陣為Gij，池化區(qū)域大小為c×c，b1是偏移量，池化步長為c，則最大池化模型[24]可以表達為

(6)

平均池化模型[25]可以表達為

(7)

由于高分辨率影像地物復(fù)雜，導(dǎo)致傳統(tǒng)池化模型不能很好地提取影像特征。在池化層取兩種不同池化區(qū)域，如圖2所示，空白處表示像元值為0，陰影處由不同像元值組成，A表示最大值區(qū)域。如圖2(a)所示整個特征圖的特征主要集中在A處，如果采用平均池化模型進行池化，對整個特征圖的特征會產(chǎn)生弱化。如圖2(b)所示，特征圖的特征主要分布在A、B、C,在A、B、C三者關(guān)系未知情況下，采用最大化池化模型進行池化，對整個特征圖的特征會產(chǎn)生一定弱化，最終影響建筑物提取精度。

圖2 不同池化區(qū)域Fig.2 Different pooled areas

為了減少因池化過程中影像特征丟失，本文在最大池化模型和平均模型的基礎(chǔ)上，根據(jù)插值原理，提出自適應(yīng)池化模型(adaptive pooling model)。該模型在復(fù)雜的池化區(qū)域能自適應(yīng)通過池化因子u來調(diào)節(jié)池化過程，其表達式為

(8)

u表示池化因子，其作用是根據(jù)不同池化區(qū)域來動態(tài)優(yōu)化傳統(tǒng)池化模型，其表達式為

(9)

式中，a是池化區(qū)域元素除了最大元素之外所有元素的平均值；bmax為池化區(qū)域最大元素。u取值范圍(0,1)，該模型兼顧最大池化模型和平均模型特點，能根據(jù)不同池化區(qū)域特點自適應(yīng)優(yōu)化模型，盡可能挖掘特征圖的特征，從而提高卷積神經(jīng)網(wǎng)絡(luò)在高分辨率影像建筑物提取精度。

為了驗證本文提出自適應(yīng)池化模型能減少在池化過程特征丟失，將大小為200×200像素影像輸入簡單網(wǎng)絡(luò)中,其網(wǎng)絡(luò)結(jié)構(gòu)為2層。其中圖3(a)為原始影像；圖3(b)為自適應(yīng)池化模型獲得特征圖；圖3(c)為最大化池化模型獲得特征圖；圖3(d)為平均池化模型獲得特征圖。

圖3 原始影像和各種池化模型池化結(jié)果的特征Fig.3 The original image and difference of pooling model pooling the characteristics mapping

從圖2可以看出，自適應(yīng)池化模型獲取特征圖的特征明顯，而最大化池化模型和平均池化模型都會弱化影像特征，其中平均池化結(jié)果模型獲得的特征圖存在嚴(yán)重特征丟失。

基于深度學(xué)習(xí)的高分辨率遙感影像建筑物提取方法主要步驟為:①采用主成分變換初始化卷積神經(jīng)網(wǎng)絡(luò)濾波器權(quán)值，并通過非下采樣輪廓波變換計算原始影像紋理特征；②對影像光譜-紋理特征進行卷積計算得到影像特征圖；③對影像特征圖采用自適應(yīng)池化模型進行下采樣；④將特征圖合并成為一個列特征向量，并輸入全連接層，通過標(biāo)簽數(shù)據(jù)反向傳播算法更新網(wǎng)絡(luò)濾波器權(quán)值；⑤最后將特征列向量輸入softmax完成建筑物提取。本文分類方法流程如圖2所示。

2 試驗與分析

本文試驗采用Linux下的Tensor Flow機器學(xué)習(xí)框架，采用python語言編程實現(xiàn)，硬件環(huán)境為CPU Intel(R)Xeon(R)E5-2630，GPU Nvidia Tesla M40 12 GB內(nèi)存。為驗證本文提出方法有效性，設(shè)置兩組試驗，第1組試驗數(shù)據(jù)選取天津市主城區(qū)的資源三號多光譜影像，其大小為2000×2000像素，如圖5(a)所示；第2組試驗數(shù)據(jù)選取成都市主城區(qū)的高分二號多光譜影像，其大小為1710×2000像素，如圖5(b)所示。在綜合考慮兩個試驗區(qū)域建筑物種類和分布，在5景資源三號多光譜影像和4景高分二影像中選取685個有標(biāo)簽建筑物數(shù)據(jù)，部分建筑物標(biāo)簽數(shù)據(jù)如圖5(c)所示，標(biāo)簽數(shù)據(jù)主要作用是對預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進行微調(diào)。在網(wǎng)絡(luò)訓(xùn)練方面，本文試驗采用半監(jiān)督訓(xùn)練方法。鑒于樣本量不大，為獲取全局最優(yōu)訓(xùn)練結(jié)果，本文采用批量梯度下降法訓(xùn)練算法，本研究初始學(xué)習(xí)率為0.000 6，最低學(xué)習(xí)率不超過0.000 001。

圖4 本文建筑物提取方法流程Fig.4 Proposed building extraction framework

圖5 原始影像與建筑物標(biāo)簽數(shù)據(jù)Fig.5 Original image and building tag data

2.1 試驗1

為驗證本文方法的有效性，并與SVM、MBI、文獻[8]和文獻[9]的提取結(jié)果進行比較。本試驗采用網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示，共有6層，分別是2個卷積層、2個采樣層、1個全連接層和1個輸出層。第1層的卷積濾波器設(shè)置為1800個，第2層卷積濾波器設(shè)置為1000個，其濾波器大小均設(shè)置5×5；將采樣間隔設(shè)置為1，并采用自適應(yīng)池化模型進行下采樣。卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)采用f(x)=max(x)。本次試驗NSCT變換尺度為4，每一個方向數(shù)分別為5、5、5、4。最后將獲取建筑物特征輸入softmax分類中，其提取結(jié)果如圖6(b)所示。文獻[8]建筑物的提取結(jié)果如圖6(c)所示，文獻[9]建筑物的提取結(jié)果如圖6(d)所示，SVM方法的提取結(jié)果如圖6(e)所示，MBI方法的提取結(jié)果如圖6(f)所示。

從圖6(b)可以得出，本文建筑物提取方法獲取結(jié)果，建筑物邊界清晰和邊界完整，面積較小建筑物也能很好識別。從圖6(c)、5(d)可以得出文獻[8—9]方法建筑物提取結(jié)果，建筑物邊界較為模糊。從圖6(e)、6(f)可以看出，SVM和MBI方法建筑物提取結(jié)果，建筑物邊界模糊和不完整，并且存在“椒鹽”現(xiàn)象，特別是SVM方法的提取結(jié)果，存在嚴(yán)重的道路誤提。通過目視評價方法，本文建筑物提取方法的結(jié)果優(yōu)于SVM、MBI、文獻[8]的方法和文獻[9]的方法。

為了定量評價本文建筑物提取方法，采用人工目視解譯方式勾取的建筑物區(qū)域作為參考，其勾繪準(zhǔn)則：建筑物邊界模糊區(qū)域勾繪精度在4個像素之內(nèi)，建筑物邊界清晰區(qū)域勾繪精度在1像素之內(nèi)，其參考數(shù)據(jù)如圖6(a)所示。利用混淆矩陣計算遙感影像建筑物提取結(jié)果的總體精度(OA)和Kappa系數(shù)，并統(tǒng)計提取所需時間T，其評價指標(biāo)如表1所示。

圖6 不同方法建筑物提取結(jié)果Fig.6 Different methods of building extraction results

表1 不同建筑物提取方法的評價參數(shù)

由表1可知，本文建筑物提取方法與其他4種方法相比較，本文方法的精度是最高的，其建筑物提取精度為93.86%，與文獻[8]算法相比較總體精度高出8.59%；與文獻[9]算法相比較總體精度高出9.35%；與MBI算法相比較總體精度高出13.74%；與SVM算法相比較總體精度高出18.45%。本文建筑物提取方法Kappa系數(shù)在90%以上。在提取效率，MBI耗時最短，本文提取方法與文獻[8]、文獻[9]算法耗時相當(dāng)。通過定量評價，驗證本文將深度學(xué)習(xí)算法應(yīng)用于遙感影像建筑物提取中，能有效提高建筑物提取精度。

通過上述目視評價和定量評價方式，本文建筑物提取方法結(jié)果較好，主要是由于卷積神經(jīng)網(wǎng)絡(luò)模型能有復(fù)雜的多層非線性變換而具有更強的表達與建模能力，對高分辨率影像中復(fù)雜建筑物特征有很好表達，并且將建筑物紋理特征參與提取，從而能獲取較好提取結(jié)果。

2.2 試驗2

為驗證本文提出自適應(yīng)池化卷積神經(jīng)網(wǎng)絡(luò)模型有效性，與傳統(tǒng)不同池化模型卷積神經(jīng)網(wǎng)絡(luò)算法提取結(jié)果進行比較。本次試驗采用網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示，并且提取紋理參數(shù)設(shè)置與試驗1相同。Adaptive pooling+CNN算法提取結(jié)果如圖7(b)所示；Max pooling+CNN算法提取結(jié)果如圖7(c)所示；Average pooling+CNN算法提取結(jié)果如圖7(d)所示。

圖7 不同池化模型卷積神經(jīng)網(wǎng)絡(luò)算法的提取結(jié)果Fig.7 Extraction building results using different pooling models

從圖7(b)可以看出，Adaptive pooling+CNN算法提取結(jié)果，建筑物提取邊界清晰。從圖7(c)、7(d)可以看出，Max pooling+CNN算法和Average pooling+CNN算法提取結(jié)果，建筑物邊界較為模糊。通過目視評價方法，本文提出Adaptive pooling+CNN方法提取結(jié)果優(yōu)于傳統(tǒng)池化模型卷積神經(jīng)網(wǎng)絡(luò)算法。

為定量評價Adaptive pooling+CNN算法的有效性，通過人工勾繪參考數(shù)據(jù)，勾繪準(zhǔn)則與試驗一相同，其勾繪結(jié)果如圖7(a)所示。分別統(tǒng)計3種方法總體精度(OA)、Kappa系數(shù)和提取所需時間T，其評價指標(biāo)如表2所示。

由表2可以看出，本文提出的Adaptive pooling+CNN算法與其他兩種算法相比較，本文方法的精度最高，總體精度為95.27%，較Max pooling+CNN方法、Average pooling+CNN方法分別高出了9.1%和9.6%。本文提出Adaptive pooling+CNN方法的Kappa系數(shù)在90%以上。在提取效率方面而言，3種方法時間復(fù)雜度相差不大，均在40 s以下。通過定量和目視評價方法，驗證了本文算法能有效提高建筑物提取精度。

表2 不同池化CNN方法的評價參數(shù)

3 結(jié) 論

針對建筑物在高分辨率影像難提取的問題，本文提出基于深度學(xué)習(xí)高分辨率遙感影像建筑物提取方法。在網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建方面，提出自適應(yīng)池化模型卷積神經(jīng)網(wǎng)絡(luò)框架。在網(wǎng)絡(luò)框架訓(xùn)練方面，采用主成分分析非監(jiān)督初始化濾波器，在較少標(biāo)簽數(shù)據(jù)的情況下，完成卷積神經(jīng)網(wǎng)絡(luò)初始化。本文提取方法與其他典型4種方法相比較，本文方法的提取精度最高。

通過本文研究可以發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)在高分辨遙感影像地物信息智能識別領(lǐng)域有著較大潛力。本文提取方法還存在不足的地方，如激活函數(shù)不能全部將神經(jīng)元激活、網(wǎng)絡(luò)結(jié)構(gòu)單一。下一步工作是尋求最佳激活函數(shù)，期待進一步提高建筑物提取精度。