基于DeepLab V3+深度學(xué)習(xí)的無(wú)人機(jī)影像建筑物變化檢測(cè)研究

郝 明，田 毅，張 華，鄭南山

(1.江蘇省資源環(huán)境信息工程重點(diǎn)實(shí)驗(yàn)室，江蘇 徐州 221116；2.中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116)

0 引 言

隨著城鎮(zhèn)化進(jìn)程不斷加快，中國(guó)城鎮(zhèn)化水平已從1995年的29.0%提高到2019年的60.6%[1]。建筑物作為城市中最重要的地物類型之一，其拆除、新增、改擴(kuò)建等與城市規(guī)劃、基礎(chǔ)建設(shè)和居民切身利益等密切相關(guān)。建筑物變化檢測(cè)廣泛應(yīng)用于城市地圖數(shù)據(jù)庫(kù)更新、城市規(guī)劃、三維建模以及“數(shù)字城市”和“智慧城市”等方面[2]。

相較于傳統(tǒng)的人工巡查，高分辨率遙感影像具有覆蓋范圍廣、成本低、地物細(xì)節(jié)豐富等優(yōu)勢(shì)，被越來(lái)越多地用于城市精細(xì)變化檢測(cè)[3]。季順平和袁修孝提出一種基于陰影檢測(cè)的建筑物變化檢測(cè)方法[4]。近年融合多特征的建筑物變化檢測(cè)取得進(jìn)展。張志強(qiáng)等提出一種基于像素級(jí)和對(duì)象級(jí)結(jié)果融合的建筑物變化檢測(cè)方法，一方面利用隨機(jī)森林分類器對(duì)多維影像特征分類，獲取像元級(jí)建筑物變化檢測(cè)結(jié)果；另一方面對(duì)后時(shí)相遙感影像分割獲得影像對(duì)象，通過(guò)二者融合識(shí)別變化建筑物[5]。李軍勝等在影像分割基礎(chǔ)上，利用變化矢量分析法生成兩期影像的光譜、紋理和形態(tài)學(xué)建筑物指數(shù)等差異特征，并利用證據(jù)理論對(duì)各類特征的變化概率進(jìn)行融合，通過(guò)設(shè)置規(guī)則檢測(cè)變化建筑物[6]。深度學(xué)習(xí)研究遙感影像建筑物變化檢測(cè)日益成為熱點(diǎn)。王明常等提出一種基于深度學(xué)習(xí)模型的高分辨率遙感影像建筑物變化檢測(cè)方法，將殘差結(jié)構(gòu)和特征金字塔網(wǎng)絡(luò)融合到Unet模型中，建立了特征提取更優(yōu)且具有多尺度分析能力的FPN Res-Unet模型，在所用數(shù)據(jù)集的實(shí)驗(yàn)中準(zhǔn)確率、召回率、F1三種指標(biāo)均達(dá)到了90%以上[7]。顧煉等將超列和FlowNet中的細(xì)化結(jié)構(gòu)引入U(xiǎn)-Net，提出一種面向建筑物變化檢測(cè)的FlowS-Unet網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果優(yōu)于全卷積網(wǎng)絡(luò)(FCN)和U-Net網(wǎng)絡(luò)[8]。

然而，多時(shí)相高分辨率遙感影像存在成像時(shí)間、角度、光照等差異，建筑物變化檢測(cè)面臨虛假變化的難題[9-10]，且無(wú)法滿足違章建筑物檢測(cè)對(duì)高時(shí)空分辨率的要求。隨著無(wú)人機(jī)續(xù)航時(shí)間和成像技術(shù)不斷改善，傾斜攝影測(cè)量可為城市建筑物變化檢測(cè)提供可靠解決方案。楊鈺琪等針對(duì)城市建筑物變化，提出一種無(wú)人機(jī)影像密集匹配點(diǎn)云多層次分割的建筑物層高變化檢測(cè)方法，實(shí)現(xiàn)建筑物的三維變化檢測(cè)，實(shí)驗(yàn)結(jié)果表明提出方法的檢測(cè)完整率、正確率及檢測(cè)質(zhì)量均達(dá)到90%[11]。任媛媛等利用Faster R-CNN網(wǎng)絡(luò)模型目標(biāo)檢測(cè)方法對(duì)無(wú)人機(jī)遙感影像中的建筑物可進(jìn)行快速識(shí)別，且總體精度超過(guò)90%[12]。

本文研究基于深度學(xué)習(xí)的無(wú)人機(jī)影像建筑物變化檢測(cè)，驗(yàn)證無(wú)人機(jī)影像建筑物變化檢測(cè)深度卷積神經(jīng)網(wǎng)絡(luò)方法的有效性：① 結(jié)合變化矢量分析生成無(wú)人機(jī)影像變化檢測(cè)數(shù)據(jù)集；② 研究基于DeepLab V3+深度網(wǎng)絡(luò)的建筑物變化檢測(cè)遷移學(xué)習(xí)；③ 利用訓(xùn)練網(wǎng)絡(luò)模型實(shí)現(xiàn)無(wú)人機(jī)影像建筑物變化檢測(cè)和精度評(píng)價(jià)。

1 無(wú)人機(jī)影像變化檢測(cè)深度學(xué)習(xí)方法

深度卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層和全連接層等組成，在圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割等領(lǐng)域具有廣泛應(yīng)用[13]。隨著深度學(xué)習(xí)的發(fā)展，大量的深度學(xué)習(xí)網(wǎng)絡(luò)被提出，其中DeepLab系列網(wǎng)絡(luò)(DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+)使用廣泛，較多研究是對(duì)已有網(wǎng)絡(luò)的改進(jìn)[14]。本文采用新近提出的DeepLab V3+深度學(xué)習(xí)網(wǎng)絡(luò)試驗(yàn)研究無(wú)人機(jī)建筑物變化檢測(cè)。

1.1 DeepLab V3+深度學(xué)習(xí)網(wǎng)絡(luò)

如圖1所示，DeepLab V3+網(wǎng)絡(luò)結(jié)構(gòu)其網(wǎng)絡(luò)的創(chuàng)新在于使用空間金字塔結(jié)構(gòu)，利用膨脹卷積在擴(kuò)大局部感受野的同時(shí)，設(shè)置不同的膨脹系數(shù)獲得多尺度的上下文信息，在語(yǔ)義分割領(lǐng)域具有良好表現(xiàn)[15]。其在DeepLab V3 網(wǎng)絡(luò)基礎(chǔ)上增加了一個(gè)編碼模塊組成新編碼—解碼結(jié)構(gòu)，可選擇ResNet、Xception用于特征提取，利用不同膨脹系數(shù)的空洞卷積增加局部感受野，使用1×1的卷積混合特征，提高了網(wǎng)絡(luò)特征提取泛化能力。解碼模塊利用特征提取網(wǎng)絡(luò)獲得的深層抽象特征進(jìn)行上采樣，通過(guò)混合、3×3的卷積和上采樣恢復(fù)與原圖像大小一致的預(yù)測(cè)結(jié)果。

圖1 基于DeepLab V3+的無(wú)人機(jī)建筑物變化檢測(cè)流程圖

1.2 建筑物變化檢測(cè)遷移學(xué)習(xí)

現(xiàn)有DeepLab V3+網(wǎng)絡(luò)無(wú)法直接用于無(wú)人機(jī)影像建筑物變化檢測(cè)，需要對(duì)已有網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，生成適用于建筑物變化檢測(cè)的深度網(wǎng)絡(luò)。包括數(shù)據(jù)集生成、建筑物變化檢測(cè)網(wǎng)絡(luò)遷移學(xué)習(xí)、建筑物變化檢測(cè)和精度評(píng)價(jià)。

1.2.1 數(shù)據(jù)集生成

深度學(xué)習(xí)最為重要的環(huán)節(jié)是模型訓(xùn)練，而模型訓(xùn)練效果除了受算法模型和訓(xùn)練次數(shù)影響以外，便是樣本數(shù)據(jù)集質(zhì)量。本研究首先對(duì)兩個(gè)時(shí)期無(wú)人機(jī)影像進(jìn)行變化矢量分析[16]，即將兩個(gè)時(shí)期的特征向量相減，生成相應(yīng)的變化強(qiáng)度圖。

設(shè)無(wú)人機(jī)在T1、T2兩時(shí)期影像的多光譜特征矢量分別為A=(a1,a2,...,ak)和B=(b1,b2,...,bk)，k是兩時(shí)期影像的波段數(shù)，經(jīng)影像配準(zhǔn)后，生成變化特征向量表示為：

(1)

ΔG包含了兩幅影像中所有的變化信息，變化強(qiáng)度由|ΔG|決定。

(2)

|ΔG|越小，表示該像元的光譜相似性越高，發(fā)生變化的可能比越??；反之，則表示發(fā)生變化的可能性較大。在此基礎(chǔ)上，設(shè)置合適的閾值，即可得到初步的變化檢測(cè)結(jié)果，經(jīng)過(guò)人工分析后確定建筑物變化標(biāo)簽。最后以生成的變化強(qiáng)度|ΔG|作為輸入數(shù)據(jù)，與生成的變化標(biāo)簽組成數(shù)據(jù)集。

1.2.2 數(shù)據(jù)集增強(qiáng)

無(wú)人機(jī)數(shù)據(jù)集與計(jì)算機(jī)視覺(jué)中公開(kāi)的數(shù)據(jù)集相比樣本數(shù)量較少，為達(dá)到較好的訓(xùn)練效果，需進(jìn)行樣本增強(qiáng)，實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的調(diào)優(yōu)。首先，對(duì)無(wú)人機(jī)影像以256×256進(jìn)行隨機(jī)切圖，并對(duì)圖片進(jìn)行數(shù)據(jù)增強(qiáng)。① 將原圖和標(biāo)簽數(shù)據(jù)分別旋轉(zhuǎn)90°、180°和270°；② 對(duì)原圖和標(biāo)簽數(shù)據(jù)分別沿y軸作鏡像；③ 對(duì)原圖做模糊操作；④ 對(duì)原圖做光照調(diào)整；⑤ 對(duì)原圖分別增加高斯噪聲和椒鹽噪聲。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后，生成最終的數(shù)據(jù)集。

1.2.3 精度評(píng)價(jià)指標(biāo)

采用漏檢率、虛檢率和總錯(cuò)誤率對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量評(píng)價(jià)[17]。

(1)漏檢率pm：標(biāo)簽數(shù)據(jù)中的變化建筑物像素被錯(cuò)誤地檢測(cè)為未變化像素的數(shù)目與標(biāo)簽數(shù)據(jù)中變化建筑物像素?cái)?shù)目的比值。

Pm=m1/n1×100%

(3)

式中，m1為漏檢像素?cái)?shù)目，n1為標(biāo)簽數(shù)據(jù)中變化像素的數(shù)目。

(2)虛檢率Pf：標(biāo)簽數(shù)據(jù)中的未變化建筑物像素被錯(cuò)誤地檢測(cè)為變化像素的數(shù)目與標(biāo)簽數(shù)據(jù)中未變化像素?cái)?shù)目的比值。

Pf=m2/n2×100

(4)

式中，m2為虛檢像素?cái)?shù)目，n2為標(biāo)簽數(shù)據(jù)中未變化像素的數(shù)目。

(3)總錯(cuò)誤率Pt：總的錯(cuò)檢的像素?cái)?shù)目與總像素?cái)?shù)目的比例。

Pt=m/n×100%

(5)

式中，m為總的錯(cuò)檢像素?cái)?shù)目，n為總像素?cái)?shù)目。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)來(lái)源

實(shí)驗(yàn)數(shù)據(jù)為大疆精靈4無(wú)人機(jī)分別于2018年6月和9月航拍的廣東省惠州市某地區(qū)影像，分辨率為0.8 m，經(jīng)過(guò)處理后生成正射影像。如圖2所示，從上到下為本研究選取的3個(gè)實(shí)驗(yàn)區(qū)，數(shù)據(jù)大小分別為3 491×1 896、4 167×3 587、7 305×5 937像素，從左到右依次為前時(shí)期影像、后時(shí)期影像和變化強(qiáng)度影像，各實(shí)驗(yàn)區(qū)包含建筑物、道路、河流、農(nóng)田等多種對(duì)象要素，同時(shí)存在部分建筑物變化。

圖2 實(shí)驗(yàn)影像數(shù)據(jù)

2.2 變化檢測(cè)網(wǎng)絡(luò)訓(xùn)練

實(shí)驗(yàn)選用硬件配置NVIDIA RTX2080ti顯卡，顯存11 G，Intel I9-9900k處理器，內(nèi)存64 G的計(jì)算終端。經(jīng)影像增強(qiáng)后，共生成9 999張256×256像素的影像和標(biāo)簽數(shù)據(jù)集。在訓(xùn)練過(guò)程中定義訓(xùn)練數(shù)據(jù)batch的大小為32，基礎(chǔ)學(xué)習(xí)率設(shè)置為0.01，正則化權(quán)重衰減設(shè)置0.000 01，訓(xùn)練次數(shù)設(shè)置為10 000次，損失函數(shù)使用交叉熵，最終學(xué)習(xí)準(zhǔn)確率穩(wěn)定在0.99附近。在此基礎(chǔ)上，將正射影像裁剪為256×256像素大小圖片，利用訓(xùn)練好的建筑物變化檢測(cè)網(wǎng)絡(luò)進(jìn)行檢測(cè)，最后進(jìn)行圖片拼接，生成最終的建筑物變化檢測(cè)結(jié)果。

2.3 結(jié)果分析

圖3為三個(gè)實(shí)驗(yàn)區(qū)建筑物變化檢測(cè)結(jié)果，第一行和第二行影像分別為檢測(cè)結(jié)果和參考數(shù)據(jù)，從左到右依次為實(shí)驗(yàn)區(qū)一、二、三。

圖3 建筑物變化檢測(cè)結(jié)果

3個(gè)實(shí)驗(yàn)區(qū)建筑物變化檢測(cè)精度定量評(píng)價(jià)如表1所示。3個(gè)實(shí)驗(yàn)區(qū)結(jié)果的錯(cuò)檢率均較低，為1%左右，而漏檢率相對(duì)較高，分別為15.77%、12.38%和18.62%，其原因是由于兩時(shí)期無(wú)人機(jī)影像的拍攝間隔較短，發(fā)生變化的建筑物較少，導(dǎo)致定量精度評(píng)價(jià)時(shí)對(duì)于漏檢錯(cuò)誤更加敏感。

表1 建筑物變化檢測(cè)精度評(píng)價(jià)

實(shí)驗(yàn)區(qū)一中的建筑物變化主要為加蓋彩鋼結(jié)構(gòu)房屋，且部分變化房屋的光譜特性與原房屋相似，導(dǎo)致存在一棟房屋漏檢；由于光線和季節(jié)變化，導(dǎo)致部分虛假檢測(cè)；對(duì)于過(guò)小的建筑物變化效果不好。實(shí)驗(yàn)區(qū)二中的建筑物變化檢測(cè)效果較好，但因光照引起的陰影變化，導(dǎo)致存在部分虛檢錯(cuò)誤。實(shí)驗(yàn)區(qū)三中的建筑物變化也得到了較好的檢測(cè)，但受光線變化影響，導(dǎo)致部分漏檢錯(cuò)誤。對(duì)于小尺度的變化建筑物無(wú)法檢測(cè)。

總體分析表明，3個(gè)實(shí)驗(yàn)區(qū)的總錯(cuò)誤率均低于3%，且與參考數(shù)據(jù)的一致性較好，基本不存在“椒鹽”噪聲，為后期人工分析提供了較好的數(shù)據(jù)支持。

3 結(jié) 語(yǔ)

針對(duì)城市建筑物變化檢測(cè)高時(shí)間和高空間分辨率需求，研究了基于深度學(xué)習(xí)的無(wú)人機(jī)影像建筑物變化檢測(cè)方法。以大疆精靈4無(wú)人機(jī)正射影像為數(shù)據(jù)源，基于DeepLab V3+深度網(wǎng)絡(luò)，研究了無(wú)人機(jī)影像建筑物變化遷移學(xué)習(xí)，實(shí)現(xiàn)了建筑物變化檢測(cè)。實(shí)驗(yàn)結(jié)果表明：深度學(xué)習(xí)可有效用于無(wú)人機(jī)影像建筑物變化檢測(cè)，總精度可達(dá)到97%以上，可為大范圍城市建筑物動(dòng)態(tài)檢測(cè)、違章檢測(cè)、損害檢測(cè)提供技術(shù)支持。

現(xiàn)有深度學(xué)習(xí)方法對(duì)基于無(wú)人機(jī)正射影像的建筑物變化檢測(cè)，還存在無(wú)法檢測(cè)小尺寸和與原建筑物光譜高度相似的變化建筑物，易受光照變化影響。未來(lái)可將無(wú)人機(jī)點(diǎn)云數(shù)據(jù)引入深度網(wǎng)絡(luò)，進(jìn)一步提高建筑物變化檢測(cè)精度。