基于多尺度擴張卷積神經(jīng)網(wǎng)絡的城中村遙感識別

馮權(quán)瀧 陳泊安 牛博文 任 燕,3 王 瑩 劉建濤

(1.中國農(nóng)業(yè)大學土地科學與技術(shù)學院， 北京 100083； 2.資源與環(huán)境信息系統(tǒng)國家重點實驗室， 北京 100101；3.四川農(nóng)業(yè)大學資源學院， 成都 625014； 4.中國科學院城市環(huán)境研究所， 廈門 361021；5.山東建筑大學測繪地理信息學院， 濟南 250101)

0 引言

隨著中國經(jīng)濟高速發(fā)展和城市化快速推動，原本位于城鄉(xiāng)結(jié)合區(qū)域的中小型村莊不斷被城市吸納成為城市的組成部分[1]，并形成了具有中國城市化進程中特有的非正式聚居地形式——城中村[2-3]，其與國外的非正規(guī)城市聚落具有相似的性質(zhì)[4-7]。

作為我國城鎮(zhèn)化變遷過程中的特殊區(qū)域，城中村是城市擴張中最有可能與城市融合的區(qū)域，也是加快城鎮(zhèn)化建設(shè)步伐的關(guān)鍵區(qū)域[8]。開展城中村的識別和監(jiān)測對城鄉(xiāng)統(tǒng)籌規(guī)劃以及精細化治理等具有重要意義。

在以往的城中村識別研究中，研究人員一般從社會學、經(jīng)濟學等角度出發(fā)，通過實地調(diào)研來獲取城中村相關(guān)信息[9]。但城中村往往存在結(jié)構(gòu)混亂、布局多樣等特點，部分區(qū)域難以進入，增加了數(shù)據(jù)獲取的難度。尤其當涉及大范圍城中村研究時，地面調(diào)查方式較為費時費力，數(shù)據(jù)采集效率較低。

相比于實地調(diào)查，遙感具有宏觀、動態(tài)、快速等特點，被廣泛應用于場景分類[10-15]以及農(nóng)業(yè)溫室地膜提取[16]、作物分類識別[17-18]等農(nóng)業(yè)應用領(lǐng)域。在利用遙感技術(shù)識別和監(jiān)測城中村方面，國內(nèi)外學者進行了一些研究[9,19-23]。盡管深度學習被應用到城中村遙感識別領(lǐng)域，然而當前模型多以借鑒計算機視覺領(lǐng)域模型為主，沒有針對城中村進行模型設(shè)計和優(yōu)化。同時城中村所處環(huán)境景觀格局復雜，城中村自身又存在形狀、尺度的變異性，都增加了其識別的難度。為了解決上述問題，本文提出一種基于多尺度擴張卷積神經(jīng)網(wǎng)絡(Multi-scale dilated convolutional neural network, MD-CNN)的城中村識別模型。該模型由一系列多尺度擴張卷積模塊和一個非局部特征提取模塊組成，前者利用一系列具有不同擴張率的擴張卷積塊提取多尺度特征，并以此描述城中村的尺度變化；后者基于非局部特征提取模塊來獲取高分辨率遙感圖像上的遠距離依賴關(guān)系，以學習全局特征和語義信息，并進一步增強類間可分性。

1 材料與方法

1.1 研究區(qū)

本文選取北京市作為研究區(qū)。北京市(圖1)經(jīng)緯度范圍為115°25′～117°39′E，39°26′～41°N，位于華北平原北部，毗鄰渤海，與天津市、河北省相接。全市包含16個區(qū)，總面積超過1.6×104km2。至2019年底，常駐人口超過2 100萬人。

20世紀90年代開始，北京經(jīng)濟發(fā)展迅速，城市不斷向外擴張，逐漸吸納周圍耕地、草地、村莊等區(qū)域，使得眾多村莊、城鄉(xiāng)結(jié)合部區(qū)域向城中村型居住地開始轉(zhuǎn)化。

本文研究區(qū)為北京市二環(huán)到六環(huán)之間的區(qū)域，因為二環(huán)內(nèi)分布大量四合院，其形狀紋理特征與城中村十分相似。通過目視解譯可知，北京市的城中村主要出現(xiàn)在海淀區(qū)、石景山區(qū)以及近郊的昌平區(qū)、順義區(qū)、通州區(qū)、大興區(qū)等區(qū)域，分布方式以小聚集和零星散布為主。幾乎所有城中村均存在建筑密集、建筑材料多樣、布局無規(guī)律等特征。

1.2 數(shù)據(jù)集

1.2.1數(shù)據(jù)源

本文基于Google Earth平臺獲取研究區(qū)的17級遙感圖像，空間分辨率約為2.15 m，圖像獲取時間為2019年，包含紅、綠、藍3個波段。圖像尺寸為59 136像素×58 624像素，實際地面尺寸約127.1 km×126.4 km，區(qū)域內(nèi)圖像含云量較少，滿足研究所需條件。

1.2.2樣本采集與劃分

通過人工目視解譯，在研究區(qū)隨機對典型城中村區(qū)域與其他非城中村區(qū)域進行樣本采集，共采集1 924幅圖像樣本，其中城中村樣本800幅，非城中村樣本1 124幅。按照4∶1劃分訓練集和測試集，其中訓練集用于模型訓練，測試集用于模型精度驗證。訓練集與測試集無區(qū)域重疊。圖2為樣本集中城中村區(qū)域和非城中村區(qū)域樣本的典型示例。

綜合考慮遙感圖像分辨率與城中村在圖像上的空間特征后，本文的訓練樣本與測試樣本尺寸均設(shè)置為224像素×224像素，在Google Earth 17級遙感數(shù)據(jù)下該樣本能夠覆蓋約0.23 km2的地表范圍，與研究區(qū)內(nèi)大多數(shù)城中村具有較好的一致性，能夠較好地表達城中村復雜的內(nèi)部要素與外部形態(tài)。同時，224像素×224像素為計算機視覺領(lǐng)域中常用的圖像樣本大小，便于與其他常見的分類模型進行精度對比。

2 城中村遙感識別模型

2.1 模型架構(gòu)

圖3給出了本文所設(shè)計的城中村識別模型MD-CNN的結(jié)構(gòu)圖?？梢钥闯觯琈D-CNN的輸入是224像素×224像素的遙感圖像塊，模型輸出是該圖像塊對應的類別，共包括城中村和其他兩個類別。具體而言，MD-CNN主要包括以下3部分：

(1)多尺度擴張卷積模塊(Dialated block)：用于提高模型對于城中村尺度變異的適應性和魯棒性。

(2)非局部特征提取模塊：用于進一步提取城中村的全局特征和上下文信息，從而提高不同地物之間的可分性。

(3)最終的分類模塊：包括一個全局池化層(Global average pooling, GAP)、一個全連接層(Fully connected, FC)和一個Softmax分類器。

此外，在多尺度擴張卷積模塊之間利用多個不同卷積核數(shù)量的3×3卷積層(Conv)進行連接。

城中村遙感識別網(wǎng)絡的具體參數(shù)配置如表1所示，具體給出了分類網(wǎng)絡每一個模塊對應的輸入尺寸、輸出尺寸、卷積核尺寸、濾波器數(shù)量、步長等。同時，該網(wǎng)絡用步長為2的卷積層代替了最大池化層，從而在對特征圖進行尺寸壓縮的基礎(chǔ)上進一步提高其特征提取能力。最終Softmax分類器的輸出維度為2維，分別對應城中村和非城中村共兩個類別。

表1 MD-CNN 參數(shù)配置Tab.1 MD-CNN configuration

2.2 多尺度擴張卷積模塊

城中村識別需要代表性和可分性強的特征，才能有效提高分類效果。提出了一個多尺度擴張卷積模塊，用于提高模型對于城中村尺度變化的適應性。具體而言，該模塊由不同擴張率的卷積經(jīng)過多尺度連接而形成，從而有利于學習到多層級、多尺度的特征。該模塊的具體結(jié)構(gòu)如圖4所示。圖中r表示擴張率，W、H、C分別表示寬、高、通道數(shù)。

從圖4可以看出，該模塊包含了多個并行的分支，不同分支的卷積具有不同的擴張率。采用相加(Sum)的方法用于多分支特征的聚合，從而保證了輸入和輸出特征維數(shù)的一致性。這種設(shè)計可以對多尺度特征進行提取，從而提高地物可分性。

不同擴張率對應的感受野大小遵循公式

k′=k+(k-1)(r-1)

(1)

SRF=(2r+1-1)(2r+1-1)

(2)

式中k、k′分別為原始的卷積核尺寸和擴張之后的卷積核尺寸，SRF為擴張后的感受野大小。

從圖5可以看出，當擴張率是2時，卷積核尺寸從3變?yōu)?，感受野大小從3變?yōu)?。同時，從圖5也可以看出，標準卷積可以視為擴張卷積在擴張率r為1時的特例。

2.3 非局部特征提取模塊

本文使用擴張卷積的目的之一是擴大卷積神經(jīng)網(wǎng)絡的感受野，從而提高其捕捉長距離依賴關(guān)系的能力。然而，擴張卷積本質(zhì)上屬于局部操作，即它的輸出只與局部的感受野有關(guān)。然而在遙感圖像中，局部操作并不能很好地提供圖像的全局特征和上下文關(guān)系信息。為了解決這個問題，探索了非局部特征提取模塊在遙感圖像全局特征提取和建模中的應用，從而提高空間特征的代表性。該模塊的結(jié)構(gòu)如圖6所示。

上述非局部特征提取模塊借鑒于最新的非局部神經(jīng)網(wǎng)絡的研究[24]，其性能已經(jīng)在自然圖像分類、目標檢測、語義分割等領(lǐng)域得到了充分驗證。具體而言，該非局部特征提取模塊包含兩部分，一是上下文建模模塊(context modeling)，二是特征變換模塊(transform)，其中LayerNorm(LN)層用于簡化優(yōu)化過程，使用更少的模型參數(shù)獲得相似的模型性能。上下文建模模塊主要用于捕捉圖像中的長距離依賴關(guān)系，從而提供場景的上下文聚合信息；特征變換模塊主要用于對提取的全局特征進行逐通道的注意力加權(quán)處理，從而進一步突出信息量較大的特征，并對噪聲進行抑制。上述非局部特征提取模塊的具體計算公式為

(3)

其中

(4)

式中zi為最終提取的全局特征，Np為圖像的總像素數(shù)，x為模塊的輸入。其中x的下角i代表當前輸入的索引，j為枚舉所有可能輸入的索引，m用于對全局點計算求和，以計算全局注意力，其范圍為1～Np。αj為上下文建模模塊中對應的全局注意力權(quán)重，LN為模塊中LayerNorm層。Wk表示上下文建模模塊中的1×1卷積變換矩陣，Wv1、Wv2表示特征變換模塊中LN前、后的1×1卷積變換矩陣。

2.4 模型訓練與精度評估

本文設(shè)計的城中村遙感識別模型屬于深度學習模型，其訓練需要海量樣本數(shù)據(jù)的支撐。在本研究中，訓練樣本的數(shù)量有限，因此容易造成分類模型的過擬合。為了緩解模型的過擬合問題，本文采用數(shù)據(jù)增強的方法進行訓練數(shù)據(jù)的擴充。具體而言，對訓練樣本分別進行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)并旋轉(zhuǎn)90°、180°、270°。經(jīng)過上述數(shù)據(jù)增強操作，訓練樣本的數(shù)量將擴充至原始數(shù)量的6倍。

在分類網(wǎng)絡開始訓練之前，所有的參數(shù)需進行初始化。在本文中，選用文獻[25]的方法進行參數(shù)初始化，其優(yōu)勢是能夠保證網(wǎng)絡訓練過程的穩(wěn)定性，并能夠提高網(wǎng)絡的收斂速度。

盡管進行了數(shù)據(jù)增強，但是訓練樣本的數(shù)量仍然偏少，因此分類模型仍存在過擬合的風險。為了進一步避免過擬合，本文在所有標準卷積層后面使用了批歸一化[26](Batch normalization, BN)，同時對卷積參數(shù)使用L2正則化，并在最后的Softmax分類層之前增加dropout層，進一步提高網(wǎng)絡的魯棒性，其中dropout的概率設(shè)置為0.5。

在優(yōu)化器的選擇上，選取了Adam算法[27]，其初始學習率設(shè)置為10-5。相比于隨機梯度下降法(Stochastic gradient descent, SGD)，Adam算法的優(yōu)點是在于模型優(yōu)化的過程中可以自適應調(diào)節(jié)學習率，不需要編寫額外的學習率下降函數(shù)。同時，使用了early-stopping策略[28]進行最優(yōu)模型的選取，將訓練集的20%劃分為驗證集，使用驗證集損失作為選取最優(yōu)模型的度量。在獲取當前的最優(yōu)模型之后，再進行N輪模型迭代，如果驗證集損失不下降，則結(jié)束訓練。在本文中，N設(shè)置為40。

損失函數(shù)選為交叉熵(Cross-entropy, CE)損失[29]，計算方式為

(5)

式中yi——真實的標簽數(shù)據(jù)

本文編程框架為TensorFlow，操作系統(tǒng)為Ubuntu 16.04，CPU為Intel CORE i7-7800，GPU為NVIDIA GTX TitanX。

在完成模型訓練之后，使用測試集對模型進行精度驗證。具體而言，利用測試集進行混淆矩陣的計算，同時，總體分類精度(Overall accuracy, OA)和Kappa系數(shù)都可以從混淆矩陣中計算得到。其中OA表示分類正確的樣本數(shù)占總樣本數(shù)的比例，Kappa系數(shù)代表了預測結(jié)果與真實結(jié)果之間的相似程度。

2.5 對比模型

為了進一步驗證模型性能，同時選取VGG[30]、ResNet[25]、DenseNet[31]進行對比實驗，其中訓練集和測試集的選取與本文模型保持一致。

具體而言，VGG是在AlexNet的基礎(chǔ)上，采用連續(xù)多個3×3的卷積替換原始AlexNet中更大的卷積，并利用多個最大池化層(Max pooling)連接卷積層對數(shù)據(jù)進行下采樣，在給定感受野的情況下提升網(wǎng)絡深度，從而一定程度上提升了網(wǎng)絡性能。本文使用的對比模型為VGG19，其網(wǎng)絡結(jié)構(gòu)及參數(shù)如圖7所示[30]。

ResNet設(shè)計了基于跳層連接的殘差塊(圖8[25])，能夠?qū)⑸顚泳W(wǎng)絡通過恒等映射轉(zhuǎn)化為淺層網(wǎng)絡，一定程度上解決了深層網(wǎng)絡所遇到的梯度消失、網(wǎng)絡性能退化的問題。在本文中，使用ResNet-50作為對比模型。

DenseNet在ResNet的基礎(chǔ)上，對網(wǎng)絡當前層與所有后續(xù)層之間進行稠密連接，能夠?qū)崿F(xiàn)更深層網(wǎng)絡的訓練。通過稠密連接中的特征融合層(concat)，DenseNet還能實現(xiàn)特征維度上的特征再利用。圖9為5層稠密連接塊的DenseNet示例[31]，本文使用DenseNet-201作為對比模型。

3 結(jié)果與分析

3.1 城中村遙感識別結(jié)果

利用訓練好的城中村遙感識別模型對北京二環(huán)到六環(huán)區(qū)域進行滑窗識別，具體結(jié)果如圖10所示?？梢钥闯觯本┦卸h(huán)到四環(huán)之間城中村主要以小區(qū)域零散分布為主，而四環(huán)到六環(huán)之間主要以大面積聚集和連片分布為主。究其原因，隨著北京快速城市化，靠近市中心的村莊在城市化進程中逐漸被吸納或自我形態(tài)發(fā)生改變，部分區(qū)域甚至按照規(guī)劃融入到城市景觀中，從而導致了區(qū)域內(nèi)城中村呈零散分布的態(tài)勢；而在城市近郊及更外圍區(qū)域內(nèi)，由于城市化進程較為緩慢，大部分仍保持原有村莊布局與分布形態(tài)，呈連片分布態(tài)勢。

為進一步評估本文的城中村遙感識別結(jié)果，圖11給出了8個典型區(qū)域的識別結(jié)果與對應的遙感圖像，可以看出，識別結(jié)果與城中村吻合程度較高。同時，由于城中村周圍景觀格局復雜多變、建筑形式多樣，具有較高的空間異質(zhì)性，因此存在目視解譯都極易發(fā)生混淆的區(qū)域。如圖12所示，子區(qū)域Ⅰ和子區(qū)域Ⅱ在建筑密集程度、建筑材質(zhì)及建筑群規(guī)模上均極為相似，利用騰訊地圖獲取各區(qū)域街景，發(fā)現(xiàn)子區(qū)域Ⅱ街景表現(xiàn)出街道整潔、建筑無違規(guī)搭建等特點，為聯(lián)排別墅，而子區(qū)域I街景體現(xiàn)出街道狹窄、建筑雜亂的特點。而本文模型可以對上述區(qū)域進行正確識別，進一步驗證了本文模型的性能。

此外在研究區(qū)內(nèi)還存在其他與城中村相似的區(qū)域(圖13)，也將影響城中村識別的精度，如建筑工地、工廠、別墅區(qū)等。

3.2 城中村遙感識別精度分析

在3.1節(jié)中，通過目視解譯可以定性評價城中村識別模型的效果。為進一步定量評價本文模型的性能，基于測試集進行混淆矩陣計算，結(jié)果如表2所示。本文模型總體精度為94.27%，Kappa系數(shù)為0.883 9，取得了較好的識別效果。同時，由于本文將城中村識別視為遙感場景分類問題，在成圖過程中基于224像素×224像素的圖像窗口對整幅圖像進行預測，導致所提取的城中村邊界較為粗糙，出現(xiàn)鋸齒現(xiàn)象。在未來研究中，擬采用U-Net等全卷積神經(jīng)網(wǎng)絡等模型，以獲取更加精確的城中村邊界范圍。

表2 混淆矩陣Tab.2 Confusion matrix

3.3 與其他深度學習模型對比

為了更進一步地驗證本文提出模型的有效性，與計算機視覺領(lǐng)域常用模型(VGG、ResNet、DenseNet)進行實驗對比，并采用相同的訓練集和測試集。

精度對比結(jié)果如表3所示，與其他深度學習模型相比，本文提出的MD-CNN模型精度最高。具體而言，VGG整體精度最低，為84.64%，主要由于其網(wǎng)絡結(jié)構(gòu)較為簡單，僅為多層卷積堆疊，模型訓練容易陷入過擬合問題中，對于復雜場景的特征提取和表達能力有限。相比VGG，ResNet引入了跳層連接，有效緩解了梯度消失，通過加深網(wǎng)絡層數(shù)以提高特征表達的有效性，總體精度可達87.76%。DenseNet則包含了更多的跳層連接，從而能夠更好地聚合特征，效果最好，總體精度達到91.15%。相比于上述模型，本文提出的MD-CNN通過多尺度擴張卷積可以更好地適應城中村形狀、尺度上的變異性，并能夠提取圖像的全局語義特征，從而取得了更高的分類精度。

表3 模型精度比較Tab.3 Comparation of model precision

4 結(jié)論

(1)針對我國復雜城市景觀格局下城中村的形狀、尺度等特點，基于多尺度擴張卷積神經(jīng)網(wǎng)絡提出了一種新的城中村遙感識別模型，在城中村遙感識別方面具有較好的效果。

(2)以北京市為研究區(qū)開展實驗并與其他典型卷積神經(jīng)網(wǎng)絡進行對比，結(jié)果表明，引入擴張卷積與非局部特征提取模塊能夠提高模型對于易出現(xiàn)形狀、尺度變異的城中村識別精度，且所提出的模型識別效果最佳，總體精度可達94.27%，Kappa系數(shù)為0.883 9。

(3)本研究可以提供精確的城中村空間分布信息，為城鄉(xiāng)統(tǒng)一規(guī)劃、城市化進程監(jiān)測等提供數(shù)據(jù)支撐。