基于PPMU-net的多特征高分辨率遙感道路提取

張永宏，嚴 斌，田 偉，王劍庚

1.南京信息工程大學 自動化學院，南京210044

2.南京信息工程大學 計算機與軟件學院，南京210044

3.南京信息工程大學 大氣科學學院，南京210044

在遙感技術與計算機技術的飛速發(fā)展的過程中，獲取高分辨率遙感圖像已不在是難題，如何快速、智能地從遙感圖像中獲取目標信息是當今遙感界迫切需要解決的問題，它關系到遙感技術的利用價值及應用的普及程度[1-2]。道路作為基礎地理信息至關重要，是遙感圖像目標提取研究的關鍵內容[3]。

如何從遙感圖像中識別并提取出道路經(jīng)過這些年的發(fā)展，很多方法陸續(xù)被提出。傳統(tǒng)的方法有文獻[4]提出Otsu閾值法，通過灰度特征將圖像分割成背景和目標的二值圖，此方法分割時速度較慢且對無關特征的干擾處理也有些許欠缺。文獻[5]提出了通過方向模板檢測邊緣點的方法，將邊緣圖分為8 個方向的塊，再從分塊圖像中檢索出子線段，該方法提取道路的精度還待提高，處理的步驟也較為繁瑣?？梢钥吹?，傳統(tǒng)的方法僅從低層的一些顏色、形狀等視覺特征入手，提取到的的特征也較為單一。隨著深度學習的發(fā)展，文獻[6]提出了的卷積神經(jīng)網(wǎng)絡，該網(wǎng)絡憑借其自動提取高維特征的功能在圖像領域得到了廣泛的應用，一些學者已將其遷移到遙感領域。如文獻[7]使用CNN 進行像素的分類，將其分為道路與非道路，然后對圖像進行孔洞填充，得到較為純凈的道路。文獻[8]提出的基于NiN 架構的FCN 模型，通過利用大量的上下文特征信息，保持較快處理時間的同時提取較完整的道路。

鑒于深度學習方法能有效提取高維特征和充分利用上下文信息的特點，本文提出了一種基于PPMU-net神經(jīng)網(wǎng)絡的多特征道路提取方法。首先在數(shù)據(jù)上考慮到地形對結果的干擾，將光譜信息與地形信息多特征融合并利用CNN 篩選出包含道路的圖像，其次模型上使用了以Zhao等[9]提出的PSPnet分割網(wǎng)絡為原型，在此基礎上做出改進的一種新的網(wǎng)絡模型（PPMU-net）。該模型通過內部的空洞卷積層進行多尺度融合，并利用跳躍結構處理位置信息，語義信息。最終實驗也證明了在復雜地形條件下，PPMU-net 模型可提取道路的高維復雜的特征，對道路的特征信息做了較好的處理，避免了人為提取特征代表性不強、信息丟失的現(xiàn)象。

1 數(shù)據(jù)的預處理

在高分遙感圖像山地道路提取中，由于地形條件較為復雜，導致道路被環(huán)境干擾，阻礙判斷。僅靠3通道的光譜信息不能有效的提取道路，所以這里額外提供了一種數(shù)字高程信息（Digital Elevation Model，DEM）。首先利用軟件arcgis得到相應坡度（slop）、坡向（aspect）地形信息。再將處理好的地形信息和高分遙感圖像的光譜信息進行向量拼接來達到通道融合，形成一個6通道多特征圖像。向量拼接的數(shù)學表達為：現(xiàn)有特征向量ν1∈?n，ν2∈?m，將其進行融合，特征向量變?yōu)棣?[ν1,ν2]∈?n+m。

最后將多特征的圖像切割成合適的大小并送進卷積神經(jīng)網(wǎng)絡篩選分類，選出含道路的圖像。本文的分類任務是個二分類任務，較為簡單，選用LeNet 網(wǎng)絡結構篩選出含道路的圖像與不含道路的圖像。網(wǎng)絡由卷積、最大池化、全連接組成，結構如圖1所示。

圖1 LeNet網(wǎng)絡結構示意圖

圖2 道路提取流程圖

2 PPMU-net卷積網(wǎng)絡道路提取算法

對于復雜地形條件下的道路提取任務而言，基于PPMU-net 的高分辨率遙感道路提取流程圖如圖2 所示。為了提高PPMU-net對道路的提取效率，本文利用事先訓練好的CNN 對切割出的圖像進行分類，得到含道路的圖像。為了提高復雜地形下的分割精度，補充輸入相應地區(qū)的地形信息，最終形成6通道的多特征圖像，增加了圖像的特征量。同時本文也對PSPnet 神經(jīng)網(wǎng)絡做出改進，形成一個新的網(wǎng)絡結構PPMU-net。PPMUnet神經(jīng)網(wǎng)絡相比較常見的語義分割神經(jīng)網(wǎng)絡（PSPnet、U-net）在精度上有所提高，加快了擬合的速度。

2.1 PSPnet網(wǎng)絡研究

PSPnet 網(wǎng)絡由殘差提取模塊（Resnet）、金字塔池化模塊（SPP）、上采樣模塊組成。Resnet 與AlexNet、VGG相比，可提取較深層的特征，語義性更強。上采樣模塊用來恢復圖像的分辨率，使得輸入輸出尺寸一樣。多尺度金字塔池化模塊由4個層級組成，其池化核大小分別為圖像大小的全部、一半和小部分，最終它們可融合為全局特征[9]。在道路提取的過程中，要充分考慮道路周圍其他對象的影響，引入足夠的上下文信息及不同感受野下的全局信息，金字塔池化模塊很好地滿足了此要求。但是，池化操作在獲取上下文、全局信息的同時降低了圖像的分辨率，對于一些道路邊緣細節(jié)信息的處理存在不足，對低層的特征的利用也不夠充分。

2.2 PPMU-net網(wǎng)絡模型

基于對PSPnet 網(wǎng)絡的研究，這里在此網(wǎng)絡上做出改進，形成一個新的模型結構PPMU-net，該模型通過上采樣將圖像恢復到原始圖像的大小，使得每個像素都會產(chǎn)生一個預測結果，由單一的分類概率變成了與原圖尺寸一致的語義分割圖，網(wǎng)絡結構如圖3所示。

圖3 PPMU-net網(wǎng)絡結構示意圖

2.2.1 上采樣

在PPMU-net網(wǎng)絡中，下采樣降低了圖像的分辨率，要想得到一張與輸入圖像大小一樣的圖像，則需要將特征圖擴大相應的倍數(shù)，這個擴大的步驟就叫做卷積神經(jīng)網(wǎng)絡的上采樣（Upsampling）。雙線性插值[10-11]是目前在語義分割中用的比較多的一種方式，這種方法的特點是無訓練參數(shù)，運行速度快。上采樣的示意圖如圖4所示。

圖4 上采樣的示意圖

2.2.2 殘差網(wǎng)絡

一般情況下，越深的卷積神經(jīng)網(wǎng)絡所提取的特征越抽象，語義信息也越多。但網(wǎng)絡深度的提升不應該簡單通過層和層的疊加來實現(xiàn)。當網(wǎng)絡的深度增加時，梯度消失、爆炸、退化的現(xiàn)象會越來越明顯，最終導致整個網(wǎng)絡變得難以訓練[12]。所以這里引入殘差網(wǎng)絡結構來加深網(wǎng)絡結構，更好地提取特征。

首先殘差網(wǎng)絡由殘差塊組成，殘差塊的結構如圖5（a）所示。x為輸入，F(xiàn)(x)為殘差塊在經(jīng)過第一層激活函數(shù)后的輸出，即公式（1），其中σ代表Relu 非線性函數(shù)，W1與W2代表一層、二層的權值。

圖5 Resnet網(wǎng)絡結構

殘差塊輸出的最后通過一個shortcut將第2 個Relu和輸入x直接相加，得到最終輸出值y，到此也叫作恒等殘差塊（identity_block）。

當需要對輸入和輸出維數(shù)進行變化時（改變通道數(shù)目），可以在shortcut時對x做一個線性變換Ws，即公式（2）、（3）所示，這個過程叫做卷積殘差塊（conv_block）。

基于以上研究，本文采用圖5（b）中的殘差單元，通過2個1×1的卷積減少、增加通道數(shù)，加深網(wǎng)絡深度的同時有效地減少卷積的參數(shù)和計算量。

2.2.3 網(wǎng)絡的改進

（1）最大池化（maxpooling）替換成步長為2的卷積[13]。PSPnet網(wǎng)絡通過最大池化將圖像進行下采樣，通過替換可以有效的減少信息的丟失。具體可考慮如下矩陣，假設其中0非道路的背景，而4代表道路：

A矩陣代表一條橫線道路，B矩陣為豎線道路，分別對這2 個矩陣應用2×2 最大池化，這2 個矩陣變得難以區(qū)分，如下矩陣所示：

（2）增加U-net[14]的跳躍結構（Skip）。網(wǎng)絡低層的特征分辨率較高，具有更多位置、細節(jié)信息，但是經(jīng)過的卷積較少語義性較低，噪聲較多。相反高層特征經(jīng)過多次卷積后語義信較強，但在細節(jié)、位置信息上卻不如低層特征豐富。PSPnet 通過上采樣還原的圖像僅僅是圖3中第四層（block4）的卷積核中的特征，位置、細節(jié)信息的丟失導致精度受限不能準確提取道路。因此，設計網(wǎng)絡在每一層上采樣后融合特征提取部分的輸出。從block4依次向前迭代，將第三層（block3）、第二層（block2）、第一層（block1）中的卷積核特征利用跳躍結構，與對應各層上采樣后的特征進行concat融合，及時補充上采樣后特征的位置細節(jié)信息。因此，最后一層上采樣后的特征既來自第一個卷積block1的輸出（同尺度特征），也來自各層上采樣后輸出的特征。

圖6 空洞卷積層

（3）PSPnet網(wǎng)絡在中間層引入金字塔結構來實現(xiàn)特征的多尺度性，而金字塔模塊又是由4個全局平均池化（mean pooling）組成。全局平均池化層更多地保留了背景信息，但對紋理信息的關注還有所欠缺。具體可考慮如下，假設4代表道路，其余為非道路的背景：

當對這2個不同的矩陣分別進行平均池化時，發(fā)現(xiàn)2個矩陣變得難以區(qū)分，如下矩陣所示：

因此提出支持感受野指數(shù)級增長且可以減少訓練參數(shù)的多尺度空洞卷積層[15-17]。根據(jù)Hybrid Dilated Vonvolution（HDC）的結構即：通過疊加的空洞卷積膨脹率（dilation rate）不能有大于1的公約數(shù)；膨脹率設置成鋸齒結構；需要滿足如下的公式（4），其中Mi為i層的最大膨脹率，ri為i層的膨脹率。

設計出的空洞卷積層感受野分別為3×3，7×7，11×11，15×15，如圖6所示。

空洞卷積層統(tǒng)一將卷積核定為3×3，然后利用膨脹率1、2 的空洞卷積來處理近距離的信息，膨脹率為3、4的空洞卷積來處理遠距離信息。因為包含了膨脹率為1的空洞卷積（standard convolution），很好地對空洞卷積的洞進行了全覆蓋。在達到多尺度性質的同時也解決了空洞卷積層出現(xiàn)信息連續(xù)性損失和不能同時處理不同大小物體關系的問題。

2.3 基于PPMU-net的多特征道路提取

本文道路提取方法的多特征性體現(xiàn)在原有光譜3通道圖以及道路標簽圖的基礎上，新增加了處理過的地形信息（數(shù)字高程、坡度、坡向），將這幾類圖像一同作為訓練的輸入數(shù)據(jù)，為復雜地形條件下道路提取提供了更加豐富的特征信息。

本文的PPMU-net 模型編碼部分為殘差網(wǎng)絡，中間層由4種不同膨脹率的3×3空洞卷積模塊組成，譯碼部分為上采樣層。選擇Relu作為模型的激活函數(shù)，其數(shù)學表達式如公式（5）所示：

損失函數(shù)（loss function）用來計算模型的標簽值與預測值的誤差，損失函數(shù)的誤差值越小，代表模型擬合的就越好。為了較好地訓練網(wǎng)絡最后選用Sigmoid激活函數(shù)與Binary Cross Entropy 二值交叉熵損失函數(shù)搭配，數(shù)學表達式如公式（6）和（7）所示：

模型在預測時，同時讀入3通道光譜、數(shù)字高程、坡度、坡向圖像，卷積通道分別對這些圖像進行特征提取，提取的特征圖通過逐層上采樣、融合的方式恢復到原圖尺寸，最后輸出結果圖，模型預測示意圖如圖7所示。

圖7 模型預測示意圖

3 實驗結果與分析

本文實驗采用Windows下的Keras機器深度學習框架，使用Anaconda軟件進行程序的編寫，實驗平臺的配置：CPU 為AMD B450M PRO-VDH PLUS，GPU 為RTX2060 6G。

3.1 實驗數(shù)據(jù)

針對地形復雜的地區(qū)，為了給模型更充分的特征信息，采用了高分二號的光譜信息融合地形信息的方法。為了避免內存的溢出，將訓練的數(shù)據(jù)裁剪成100×100的圖像并事先通過CNN 分類網(wǎng)絡剔除不含道路的圖像。訓練集分為原始圖像（包括光譜、數(shù)字高程、坡度、坡向）和與之對應的標簽圖像。根據(jù)手動劃分的矢量文件制作標簽，讓道路的灰度值為120，其他區(qū)域為0。本次實驗共選取了500 對原始圖像和標簽圖像，其中訓練集500對，驗證集100對，且訓練集驗證集不重復。本文通過對實驗數(shù)據(jù)進行旋轉、對稱變換、增強圖像噪聲等操作，豐富了實驗數(shù)據(jù)的訓練集，防止過擬合現(xiàn)象的發(fā)生，同時提高模型的泛化能力。

3.2 精度評估方法

本文采用了語義分割中常用的幾種度量方式來評估不同算法在此實驗上的表現(xiàn)[21]。

True Positive（TP）：判斷正確的正樣本（路）；

False Positive（FP）：判斷錯誤的正樣本；

True Negative（TN）：判斷正確的負樣本（非路）；

False Negative（FN）：判斷錯誤的負樣本。

準確率（Accuracy）：

召回率（Recall）：

3.3 實驗結果與分析

為了驗證多特征的輸入對訓練結果的影響，本文將對比3通道的高分衛(wèi)星圖像作為輸入和多特征的6通道的衛(wèi)星圖像作為輸入訓練測試的效果，此次的數(shù)據(jù)集分為兩種，（1）方法1 訓練集的數(shù)據(jù)為普通的3 通道光譜信息圖像；（2）方法2 訓練集增加了數(shù)字高程、坡度、坡向信息，變?yōu)?通道的遙感圖像。不同的輸入源的訓練收斂速度對比如圖8（a）所示，在驗證集上的損失值對比如圖8（b）所示。

從中可以看出，在采用相同神經(jīng)網(wǎng)絡（U-net）的前提下，光譜3 通道的訓練集的收斂速度慢于6 通道的遙感數(shù)據(jù)集；3通道的遙感數(shù)據(jù)集訓練的模型在驗證集上的精度低于6 通道數(shù)據(jù)集訓練出來的模型。這是由于在一張相同大小的圖像上，6通道在原有通道的基礎上引入了地形信息，提供了更豐富的特征信息，故本文采用了6通道的多特征遙感圖像對模型進行訓練。

圖8 損失值對比

本次實驗的模型是基于PPMU-net 神經(jīng)網(wǎng)絡，為了驗證該方法在高分辨率遙感圖像道路提取上的效果，將其與傳統(tǒng)的分割網(wǎng)絡U-net 神經(jīng)網(wǎng)絡、PSPnet 神經(jīng)網(wǎng)絡進行對比。訓練集與驗證集上的loss 值對比分別如圖8（c）、（d）所示?？梢钥闯鯬PMU-net網(wǎng)絡在驗證集上的loss值最低，擬合的效果最好。最終的分類結果圖如圖9 所示，預測的效果圖如圖9（h）所示。將U-net 網(wǎng)絡分割的效果圖與標簽對比可見，絕大多數(shù)像素被正確分類，但對于那些被遮擋的道路而言，U-net網(wǎng)絡沒有準確提取，并且邊緣的細節(jié)處理不好。PSPnet網(wǎng)絡誤將與道路顏色相近的空地識別為了道路，對于小目標道路的提取不夠精確。而本文的PPMU-net網(wǎng)絡很好地解決了這類問題，更好地關注了道路的細節(jié)與邊緣。

圖9 不同方法的分類結果圖對比

本文的PPMU-net 網(wǎng)絡在PSPnet 上做出改進，為了證明改進的可靠性，這里將每次改進后的網(wǎng)絡與改進前的網(wǎng)絡進行對比。訓練的loss 終值對比如表1 所示，模型結構的細節(jié)對比通過可視化如圖10 所示。其中MP代表最大池化，CONV(s=2)代表步長為2的卷積，Skip代表跳躍結構，DCL 代表空洞卷積層，SPP 代表金字塔池化層。

表1 改進模型結構后損失值對比

與PSPnet 結構相比，方案1 將原網(wǎng)絡特征提取過程中的池化層全部換成了步長為2的卷積，對比可見驗證集上損失值減小，可視化的特征圖也保留了較多的信息。

方案2是在方案1的基礎上添加U-net的跳躍結構，這里結合可視化對比圖10（b），可以看出PSPnet網(wǎng)絡在提取特征后直接上采樣到輸入圖像的尺寸，邊緣鋸齒化較重且出現(xiàn)錯誤分割，而改進后的網(wǎng)絡經(jīng)過逐步上采樣融合恢復到原尺寸，較好地將道路提取出來。

方案3 是在方案2 的基礎上將金字塔全局平均池化層換成了不同膨脹率的空洞卷積層，效果對比如圖10（c）所示?？梢钥闯鼋?jīng)過池化層融合后的特征圖丟失了紅線部分的信息，而換成空洞卷積后融合的特征圖很好的保存著特征信息。通過以上實驗充分證明了改進的合理性。

圖10 特征可視化結果對比

最后將本文提出的基于PPMU-net的多特征遙感道路提取方法與其他幾種具有代表性的網(wǎng)絡進行精度評估比較，如3通道的U-net道路提取、6通道的U-net道路提取和基于PSPnet道路提取，結果如表2所示。數(shù)據(jù)分析顯示，6 通道多特征的U-net 網(wǎng)絡比3 通道的U-net 精度提升了超過6 個百分點；而本文的PPMU-net 網(wǎng)絡在精度上比PSPnet 提升11 個百分點，比U-net 提升7 個百分點，但是在速度上比較，PPMU-net網(wǎng)絡的速度比其余幾個網(wǎng)絡略慢?？傮w看來，在面對復雜地形條件下的道路提取時，本文基于PPMU-net 網(wǎng)絡的遙感道路提取方法可取得較好的效果。

表2 不同方法道路提取精度和測試用時對比

4 結束語

本文針對復雜地形條件下道路提取方法精度低的問題，提出了一種基于PPMU-net 神經(jīng)網(wǎng)絡的多特征道路提取方法。首先通過融合光譜信息與地形信息的方法來實現(xiàn)圖像的多特征性，并用CNN 網(wǎng)絡選出含道路的圖像作為數(shù)據(jù)集，再將含道路的多特征遙感圖像送進PPMU-net神經(jīng)網(wǎng)絡中預測。實驗證明本文方法能更好地關注復雜地形下道路的語義、細節(jié)位置特征，提高了分割的精度。與此同時，該方法還有許多問題值得進一步研究，如：怎樣在保證精確度的同時進一步加快提取道路的速度；如何將提取道路的信息這一二分類問題擴展到多分類的問題。