基于深度學(xué)習(xí)方法的耕地違建自動提取

耿 欣，雷麗珍，花 卉，胡睿飏，楊鈺靈

（1.廣東省國土資源技術(shù)中心，廣東 廣州 510075；2.武漢漢達(dá)瑞科技有限公司，湖北 武漢 430073）

隨著城鎮(zhèn)化、工業(yè)化的加速發(fā)展，我國越來越多的地區(qū)面臨著人多地少、土地質(zhì)量退化、耕地資源稀缺等一系列土地資源問題。隨著農(nóng)村違法用地行為的出現(xiàn)，在今后相當(dāng)長的時間內(nèi)，一些區(qū)域特別是靠近城市的農(nóng)村地區(qū)，人增地減的趨勢難以逆轉(zhuǎn)，人地失衡問題將會越來越突出，因此遏制農(nóng)村違法用地行為勢在必行。近年來，快速發(fā)展的航空航天技術(shù)和傳感器技術(shù)為獲取豐富多源的高分辨率遙感影像提供了有效途徑；而計算機(jī)科學(xué)技術(shù)在人工智能領(lǐng)域的不斷突破帶動了深度學(xué)習(xí)技術(shù)在遙感領(lǐng)域的研發(fā)與應(yīng)用，這也為快速獲取遙感影像地表信息，及時監(jiān)測農(nóng)村土地利用動態(tài)提供了有效手段。

高分辨率影像在提供豐富紋理信息的同時，其數(shù)據(jù)量大、目標(biāo)分布不均衡、色彩對比度低等問題也給目標(biāo)地類解譯帶來了困難[1]。隨著深度學(xué)習(xí)相關(guān)算法研究的深入，一些問題也得到了解決，如在改善分割效果上，ZHONG Z L[2]等利用跳躍連接將中間層特征圖與高層特征圖進(jìn)行逐像素相加融合，提出了全卷積網(wǎng)絡(luò)FCN-4s；Chaurasia A[3]等在解碼階段采用像素相加的方式融合編碼階段的特征信息，提出了基于編碼—解碼結(jié)構(gòu)的LinkNet網(wǎng)絡(luò)，可獲得更精細(xì)的分割結(jié)果；WANG P[4]等通過優(yōu)化上采樣方式和空洞卷積，以及采用密集上采樣卷積減少了信息的丟失量；ZHANG Z X[5]等結(jié)合殘差思想對編碼—解碼結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，在遙感圖像道路分割中取得了良好的效果，但上采樣過程中融合了細(xì)節(jié)信息，導(dǎo)致網(wǎng)絡(luò)參數(shù)量增加、訓(xùn)練時間延長；ZHANG F[6]等研究了U-Net網(wǎng)絡(luò)結(jié)構(gòu)與批量歸一化層相結(jié)合的方法，可綜合考慮分割效果和訓(xùn)練時間。相對于自然場景圖像，高分遙感影像的背景更復(fù)雜，而基于注意力機(jī)制的目標(biāo)分割方法可通過投入更多的注意力在目標(biāo)地類上來減少對非目標(biāo)地類的檢測，得到越來越多學(xué)者的青睞，如WANG F[7]等采用殘差鏈接的方式實(shí)現(xiàn)了注意力機(jī)制；FU J[8]等采用兩種并聯(lián)的注意力機(jī)制對特征信息進(jìn)行融合，實(shí)現(xiàn)了特征圖的加權(quán)操作；HUANG Z[9]等通過計算各像素與其十字型區(qū)域內(nèi)像素之間的相關(guān)性，研究了簡化的位置注意力機(jī)制；LI H[10]等采用不同大小的卷積核獲取多尺度特征信息，并通過融合多種特征信息與特征圖逐像素點(diǎn)乘，提出了金字塔注意力網(wǎng)絡(luò)，可增強(qiáng)目標(biāo)的特征信息。

在城鄉(xiāng)建成環(huán)境中，建筑物的增加與減少是其建設(shè)發(fā)展的重要標(biāo)志[11]，采用遙感技術(shù)和地理信息技術(shù)進(jìn)行農(nóng)村建筑物自動提取并監(jiān)測亂占耕地問題，具有速度快、覆蓋范圍廣、效率高的優(yōu)勢。本文將利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)建筑物的自動提取，并借助于空間分析技術(shù)探索快速監(jiān)測農(nóng)村亂占耕地的方法。

1 基于深度學(xué)習(xí)方法的建筑物提取和違建圖斑檢測

農(nóng)村亂占耕地違建在遙感影像上表現(xiàn)為耕地轉(zhuǎn)移為建筑物，而在已有耕地矢量的前提下，僅需完成當(dāng)前遙感影像的建筑物提取即可。本文基于深度學(xué)習(xí)的農(nóng)村違建自動提取方法主要包括樣本制作、模型訓(xùn)練、建筑物提取與矢量優(yōu)化以及基于前期耕地矢量的變化檢測等步驟?？傮w技術(shù)流程如圖1所示，主要包括：①建筑物樣本庫制作，基于已有的2018年地理國情普查矢量和對應(yīng)影像，選擇建筑物類型的矢量作為標(biāo)記數(shù)據(jù)進(jìn)行樣本庫制作；②樣本訓(xùn)練與測試，對樣本進(jìn)行訓(xùn)練并測試模型的提取效果，測試數(shù)據(jù)需涉及不同區(qū)域特征的影像，將提取的建筑物結(jié)果與同一區(qū)域人工提取的建筑物進(jìn)行比對并計算查全率和準(zhǔn)確率，指標(biāo)均達(dá)到設(shè)定閾值方可停止模型訓(xùn)練，若指標(biāo)總是達(dá)不到設(shè)定閾值，則需核查樣本庫，通過剔除錯誤樣本或增加樣本的方式更新樣本庫并繼續(xù)訓(xùn)練，直至指標(biāo)達(dá)到設(shè)定閾值為止；③建筑物識別，利用像素之間特征的相似性對影像進(jìn)行超像素分割是圖像識別等領(lǐng)域普遍采用的數(shù)據(jù)預(yù)處理方法，本文首先需對待解譯影像進(jìn)行超像素分割，再基于已訓(xùn)練好的模型進(jìn)行建筑物識別；④二值分割，由于基于深度學(xué)習(xí)模型的解譯結(jié)果為概率圖，因此需借助二值分割算法對預(yù)測結(jié)果進(jìn)行二值分割；⑤建筑物圖斑矢量化，由于亂占耕地建筑物檢測需要與前期耕地矢量進(jìn)行空間疊置分析，因此需對二值分割結(jié)果進(jìn)行矢量化；⑥基于前期耕地矢量的新增建筑物提取，將得到的建筑物圖斑與前期耕地矢量進(jìn)行疊置分析得到最終結(jié)果。

圖1 總體技術(shù)路線

1.1 建筑物樣本庫制作

不同傳感器、不同分辨率的遙感影像具有不同場景，建筑物隨之具有極其復(fù)雜的場景特征，因此一個模型不能解決復(fù)雜場景的影像解譯。為了提高解譯模型的泛化能力，本文對建筑物樣本進(jìn)行分類，進(jìn)而訓(xùn)練得到多種模型以適應(yīng)不同場景。

局部二值模式（LBP）在度量和提取紋理信息方面具有灰度和旋轉(zhuǎn)不變性的特點(diǎn)，首先本文對建筑物樣本集進(jìn)行LBP特征提取，采用3×3大小的窗口，比較中心像素的8鄰域第p個點(diǎn)的像素灰度值Gp與中心像素灰度值Gc，若Gp＞Gc，則標(biāo)記該像素的編碼為1；若Gp＜Gc，則標(biāo)記該像素的編碼為0。逐個比較8鄰域中的像素，算法過程描述為：

式中，P為LBP計算的范圍大?。ㄈ≈禐?×3）；R為鄰域范圍（取值為3）。

然后，本文采用K-means聚類方法將所有影像塊的特征向量聚類，并提取100個視覺單詞向量，構(gòu)建詞袋模型。最后，根據(jù)場景信息將樣本集分為N類，并對N類子集進(jìn)行訓(xùn)練，得出復(fù)雜場景下的N個子模型。具體流程如圖2所示。對樣本庫中的所有樣本進(jìn)行聚類后，可對樣本庫進(jìn)行統(tǒng)計分析，剔除含有云的樣本，并對分布較少的樣本進(jìn)行一定的擴(kuò)充，確保樣本的分布均勻。

圖2 建筑物樣本庫制作流程圖

1.2 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)延用了FCN“淺層定位、深層分割”的特點(diǎn)，可保證像素位置信息不丟失，最開始用于解決醫(yī)學(xué)上的圖形分割問題，后來被廣泛應(yīng)用于圖像分割領(lǐng)域。U-Net網(wǎng)絡(luò)是一個對稱的編碼器—解碼器結(jié)構(gòu)的語義分割網(wǎng)絡(luò)模型，將在收縮路徑上獲取的特征圖在上采樣時與新的特征圖進(jìn)行堆疊，以實(shí)現(xiàn)圖像特征的組合，因此能極大地保留收縮路徑中下采樣的特征信息[12]。然而，建筑物存在多尺度特征，大到數(shù)千平方米的廠房、小到幾平方米的棚子，如果一味使用池化運(yùn)算，很容易導(dǎo)致影像上細(xì)節(jié)信息的丟失。

空洞卷積（圖3）以標(biāo)準(zhǔn)卷積核為基礎(chǔ)，通過在卷積核中插入0值來實(shí)現(xiàn)卷積擴(kuò)張，在避免采用池化層損失信息的同時，增大了感受野，卷積計算后仍可保留較大范圍的信息，可獲取多個尺度上的卷積特征。根據(jù)WANG P[4]等提出的標(biāo)準(zhǔn)模式，空洞卷積的設(shè)計需要遵守3個特征：①多卷積疊加時，空洞比率必須為素數(shù)或1，否則會出現(xiàn)柵格效應(yīng)，損失信息的連續(xù)性；②空洞比率設(shè)計成鋸齒狀結(jié)構(gòu)，如[1,2,5,1,2,5]循環(huán)結(jié)構(gòu)；③空洞比率滿足Mi=max{Mi+1-2ri,Mi+1-2(Mi+1-ri),ri}，其中ri為第i層的空洞比率，Mi為第i層的最大空洞比率，假設(shè)共有n層，則Mn=rn。

圖3 空洞卷積

本文保持參考文獻(xiàn)[13]U-Net網(wǎng)絡(luò)結(jié)構(gòu)，在各網(wǎng)絡(luò)之間采用空洞卷積代替原有池化操作。

1.3 遙感影像預(yù)處理

遙感影像分辨率的不斷提高和數(shù)據(jù)規(guī)模的愈發(fā)龐大，不僅帶來了大量的冗余信息，也大大提高了對計算機(jī)處理技術(shù)的要求以及影像解譯的難度。利用相鄰像素之間特征的相似程度進(jìn)行聚類的超像素塊來代替原有的以像素為單位的處理單元，既可降低圖像后處理的復(fù)雜度，又可較好地保留分割邊界的完整度[13-14]，是圖像分割、目標(biāo)識別等領(lǐng)域廣泛應(yīng)用的圖像預(yù)處理方法。基于分水嶺的過分割方法是常用的超像素分割方法之一，本文采用經(jīng)典分水嶺分割方法對遙感影像進(jìn)行預(yù)處理。

以影像各像素點(diǎn)的灰度值作為該點(diǎn)的高程，局部低點(diǎn)和周圍區(qū)域形成集水盆，局部高點(diǎn)形成山峰，集水盆之間的邊界即為分水嶺。經(jīng)典分水嶺分割方法包括排序和淹沒兩個步驟：首先將像素按照灰度級從低到高排序，然后利用先進(jìn)先出（FIFO）結(jié)構(gòu)在高度為h階的影響域?qū)γ總€局部極小值進(jìn)行判斷和標(biāo)注，實(shí)現(xiàn)淹沒過程。為了得到分水嶺，即圖像的邊緣信息，需要計算圖像的梯度信息，計算公式為：

式中，x、y分別為圖像的橫、縱坐標(biāo)；f( )x,y為圖像坐標(biāo)點(diǎn)與灰度值構(gòu)成的映射函數(shù)；grad(f(x,y))為梯度函數(shù)。

對梯度圖像進(jìn)行閾值限制，可消除噪聲和灰度的微小變化導(dǎo)致的過分割，從而獲得適量的區(qū)域；再對這些區(qū)域邊緣點(diǎn)的灰度級進(jìn)行從低到高的排序；最后實(shí)現(xiàn)從低到高的淹沒過程。對梯度圖像進(jìn)行閾值限制的公式為：

式中，gmin為圖像梯度閾值。

本文采用經(jīng)典分水嶺分割算法對某區(qū)域高分一號影像進(jìn)行超像素分割，結(jié)果如圖4所示，可以看出，建筑物與周邊地類的超像素斑塊特征明顯不同，且建筑物的超像素斑塊邊界準(zhǔn)確性很高，為提取更高精度的建筑物圖斑做好了準(zhǔn)備。

圖4 基于經(jīng)典分水嶺分割算法的超像素分割效果

1.4 建筑物圖斑提取

1）二值分割。對預(yù)處理后的影像進(jìn)行深度學(xué)習(xí)解譯，得到的建筑物識別結(jié)果是一張概率圖（圖5b），因此需要對預(yù)測結(jié)果進(jìn)行二值分割。最大類間方差法（Otsu）是由日本學(xué)者大津提出的，可根據(jù)圖像自動生成最佳分割閾值。對于含有建筑物概率的圖像I(x,y)，設(shè)前景（建筑物）和背景的分割閾值為T，像素點(diǎn)占整幅圖像的比例分別為w0、w1，平均灰度值分別為μ0、μ1，圖像總平均灰度為μ，類間方差為g，采用式（5）、（6）進(jìn)行遍歷，得到使g最大的T值，即可得到含有建筑物和背景的柵格圖，如圖5c所示，黑色為背景，白色為前景，即建筑物。

圖5 建筑物圖斑提取

2）建筑物矢量化。在得到建筑物分割結(jié)果后，為了便于與耕地矢量進(jìn)行空間分析，需將其進(jìn)行矢量化。一般的柵格二值圖矢量化算法沒有考慮原始影像邊緣、角點(diǎn)等特征信息，僅根據(jù)二值圖進(jìn)行矢量化，因此得到的建筑物矢量結(jié)果與實(shí)際邊緣和角點(diǎn)偏差較大。Snake算法結(jié)合了高層知識和底層特征，通過迭代求取最佳輪廓位置[15]。為了得到更規(guī)整的建筑物矢量輪廓，本文采用基于Snake算法的矢量提取算法。在矢量提取過程中，首先對分割圖進(jìn)行矢量化，得到初始的矢量提取結(jié)果（圖6a）；然后利用Snake算法對建筑物矢量輪廓進(jìn)行處理，得到的建筑物矢量輪廓與建筑物本身邊界更貼合，如圖6b所示。

圖6 基于Snake算法的建筑物矢量提取效果

1.5 新增建筑物變化檢測

空間疊置分析可實(shí)現(xiàn)兩個或兩個以上矢量數(shù)據(jù)的疊置計算，并得到新的矢量。其屬性包括原來兩個或多個層面要素的所有屬性。本文采用空間疊置分析中的交集操作來提取耕地矢量中新增的建筑物，如圖7所示。

圖7 空間疊置分析（相交）示意圖

由于提取的建筑物輪廓與實(shí)際邊界總會存在偏差，與耕地矢量相交處理后得到的圖斑形狀各異，而建筑物本身的輪廓具有特定形狀，因此本文借助圓形度對提取結(jié)果進(jìn)行篩選。其計算公式為：

式中，Ba為提取建筑物圖斑的面積；Bl為周長。c越接近1，圖斑越接近圓形，c越接近0，圖斑形狀越不規(guī)則。根據(jù)建筑物本身的形狀特征，本文中c的取值范圍為0.50～0.90。

2 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)是在Inter Core i5-8500 3.0GHz CPU、64GB RAM的臺式機(jī)上編程實(shí)現(xiàn)的，顯卡為英偉達(dá)GTX 1080（8 GB）。

2.1 樣本準(zhǔn)備

根據(jù)實(shí)驗(yàn)區(qū)2018年地理國情矢量數(shù)據(jù)以及對應(yīng)的成果影像，挑選建筑物類型矢量進(jìn)行樣本裁切（圖8）。樣本庫中包括多傳感器（國內(nèi)外主流光學(xué)衛(wèi)星、航攝儀、數(shù)碼相機(jī)等）、多分辨率（0.5 m、0.8 m、1 m、2 m）多源遙感影像樣本數(shù)據(jù)，如圖9所示。通過對原始影像和標(biāo)簽數(shù)據(jù)進(jìn)行裁切，總共得到23 101對512×512大小的影像數(shù)據(jù)和標(biāo)簽數(shù)據(jù)。

圖8 樣本集制作流程

圖9 多傳感器、多分辨率樣本數(shù)據(jù)

2.2 解譯精度評價

為了保證亂占耕地違建圖斑提取的正確率，需定量評價建筑物的提取效果。本文采用準(zhǔn)確率和查全率兩個指標(biāo)進(jìn)行定量分析，計算公式為：

經(jīng)過若干次訓(xùn)練后，本文選取農(nóng)村地區(qū)6景含有不同建筑物特征的非樣本數(shù)據(jù)影像進(jìn)行測試。測試結(jié)果如表1所示，可以看出，經(jīng)過大范圍和大數(shù)據(jù)量的訓(xùn)練后，模型的建筑物提取結(jié)果較好；整體來看，各分辨率影像中建筑物提取的查全率大于90%，準(zhǔn)確率大于74%，可用于農(nóng)村地區(qū)的亂占耕地建筑物提取。

表1 建筑物提取查全率與準(zhǔn)確率統(tǒng)計

將人工勾畫的建筑物真值與提取結(jié)果進(jìn)行對比展示，如圖10所示，可以看出，影像上的建筑物基本被提取出來，真值中未勾繪的建筑物在本文方法中也被提取出來（黃色框出部分），說明本文方法在一定程度上比人工作業(yè)更具優(yōu)勢。

圖10 建筑物提取局部效果

2.3 亂占耕地違建監(jiān)測

測試區(qū)域面積約為2 458 km2，分辨率為0.5 m。實(shí)驗(yàn)影像和前期耕地矢量如圖11所示。利用訓(xùn)練好的模型對測試區(qū)域進(jìn)行建筑物提取，耗時不到1 h。建筑物提取的局部效果如圖12所示。

圖11 測區(qū)建筑物提取結(jié)果

圖12 局部效果展示

將提取的建筑物矢量與測試區(qū)域的耕地矢量進(jìn)行疊置分析，并將建筑物矢量落在耕地矢量的部分提取出來；再根據(jù)圓形度0.50～0.90的閾值進(jìn)行篩選，去掉面積小于20 m2的圖斑，最終得到2 935個亂占耕地建筑圖斑，如圖13所示。

圖13 耕地矢量與建筑物矢量疊置分析整體結(jié)果

由提取的耕地變化為建筑物的圖斑分布可知，耕地違建分布主要包括兩種情況：①靠近居住地附近的耕地，主要為耕地建房（圖14a）；②遠(yuǎn)離居民地較偏遠(yuǎn)的耕地，主要為耕地建廠（圖14b～14f）。

圖14 耕地變化為建筑物的圖斑

耕地違建問題伴隨著經(jīng)濟(jì)發(fā)展普遍存在，單靠人工野外監(jiān)查費(fèi)時費(fèi)力，本文提供的基于深度學(xué)習(xí)的耕地違建自動檢測方法不僅能保證建筑物提取的準(zhǔn)確度、減少人工漏檢，而且能用于大范圍的耕地違建監(jiān)測，為節(jié)省人工作業(yè)時間、降低耕地違建監(jiān)測難度提供了有效手段。

3 結(jié)語

由于遙感影像的復(fù)雜性、地物的多樣性以及違建監(jiān)測的時效性，傳統(tǒng)目視解譯方法難以滿足農(nóng)村違法熱點(diǎn)監(jiān)測需求，因此需要融合各種方法的優(yōu)勢，充分利用已有的多期多源遙感影像和歷史矢量數(shù)據(jù)，結(jié)合深度學(xué)習(xí)對遙感圖像特征的強(qiáng)大抽取表征能力，解決農(nóng)村違法熱點(diǎn)的大范圍監(jiān)測問題。

本文主要完成了以下內(nèi)容：

1）建筑物樣本集制作與訓(xùn)練。結(jié)合已有高分辨率影像與地理國情普查等數(shù)據(jù)，本文共制作了23 101對512×512大小的建筑物檢測樣本，并根據(jù)樣本特征訓(xùn)練了適應(yīng)不同傳感器的農(nóng)村建筑物提取模型。

2）針對建筑物輪廓提取不完整的問題，本文采用Otsu二值化方法和Snake算法對建筑物提取輪廓進(jìn)行了優(yōu)化，使之更符合實(shí)際生產(chǎn)需要。

3）建筑物提取。利用本文訓(xùn)練的建筑物提取模型，分別對0.5 m、0.8 m、1 m和2 m分辨率影像進(jìn)行測試，整體查全率大于90%，準(zhǔn)確率大于74%，可用于農(nóng)村地區(qū)亂占耕地建筑物提取。與真值進(jìn)行比較發(fā)現(xiàn)，本文方法能提取出人工漏檢的建筑物圖斑，比人工作業(yè)更具優(yōu)勢。

4）利用本文訓(xùn)練的建筑物提取模型進(jìn)行了大范圍的耕地違建自動提取測試。結(jié)果表明，本文方法能在1 h內(nèi)提取出約2 458 km2范圍內(nèi)的建筑物；再結(jié)合歷史耕地矢量數(shù)據(jù)，能快速發(fā)現(xiàn)2 935個占用耕地建筑物圖斑。該方法為減少人工作業(yè)量、降低耕地違建監(jiān)測難度提供了有效手段。