劉毅,陳一丹,高琳,洪姣
(天津城建大學(xué) 計算機(jī)與信息工程學(xué)院,天津 300384)
隨著衛(wèi)星遙感技術(shù)的迅速發(fā)展,高分辨率遙感圖像的應(yīng)用日益廣泛.從遙感圖像中提取出的道路信息可被應(yīng)用于車輛導(dǎo)航、智慧交通[1]、應(yīng)急救援、城市規(guī)劃[2]、圖像注冊、地理信息更新[3]等領(lǐng)域.近年來,遙感圖像道路信息的提取逐漸成為研究熱點(diǎn).
常見的道路提取方法分為傳統(tǒng)方法和基于深度學(xué)習(xí)的提取方法[4].傳統(tǒng)方法需要人工設(shè)計道路特征提取方案.Shi 等[5]通過分析光譜特征,實(shí)現(xiàn)從光學(xué)遙感圖像中提取道路中心線,但結(jié)果存在噪聲問題.王小娟等[6]利用二維Otsu 閾值分割法提取道路特征,對質(zhì)心點(diǎn)進(jìn)行擬合操作,得到道路圖像.Chang 等[7]提出BO-MWSA 算法,通過改進(jìn)分水嶺分割算法,引入波段運(yùn)算和標(biāo)記法,利用NTL 圖像實(shí)現(xiàn)道路提取.上述傳統(tǒng)提取方法設(shè)計分類規(guī)則的過程較復(fù)雜,道路提取效率低下,同時泛化能力較差,存在普遍的誤分類現(xiàn)象,導(dǎo)致分割精度較低.
基于深度學(xué)習(xí)的道路提取方法利用語義分割模型訓(xùn)練遙感圖像數(shù)據(jù)集,利用得到的參數(shù)模型提取道路信息,具有更加卓越的特征提取能力[8],適用于從海量數(shù)據(jù)中挖掘抽象復(fù)雜的深層特征并完成數(shù)據(jù)的分析與處理[9].Mnih 等[10]提出用卷積神經(jīng)網(wǎng)絡(luò)CNN 提取遙感圖像道路信息,采用條件隨機(jī)場優(yōu)化分割結(jié)果.Zhong 等[11]將實(shí)現(xiàn)圖像像素級別分類的全卷積神經(jīng)網(wǎng)絡(luò)FCN 用于道路提取,然而FCN 網(wǎng)絡(luò)預(yù)測時僅考慮單個像素,忽略了像素之間的關(guān)系,造成預(yù)測結(jié)果細(xì)節(jié)缺失的現(xiàn)象.Hou 等[1]構(gòu)建基于互補(bǔ)的神經(jīng)網(wǎng)絡(luò)C-unet 模型,用于道路提取.Wang 等[12]結(jié)合殘差單元和UNet 模型,實(shí)驗(yàn)部分選用遙感圖像數(shù)據(jù)集Massachusetts roads[13]訓(xùn)練網(wǎng)絡(luò),但仍出現(xiàn)細(xì)小路段漏提的現(xiàn)象.
Google 團(tuán)隊(duì)提出一系列DeepLab 模型[14-17],其中DeepLab V3+骨干網(wǎng)絡(luò)采取Xception[18],通過ASPP 模塊整合多尺度特征并引入編碼-解碼[19]結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò),分割性能更具優(yōu)勢.趙凌虎等[20]基于DeepLab V3+改進(jìn)主干網(wǎng)絡(luò),結(jié)合Dice Loss 函數(shù)[21]提高模型的道路提取精度.孟慶寬等[22]采用金字塔池化模塊,獲得多尺度道路信息特征.基于注意力機(jī)制和多尺度特征融合的遙感圖像分割網(wǎng)絡(luò)取得了一系列研究成果[23].張文博等[24]提出改進(jìn)DeepLab V3+模型,在主干網(wǎng)絡(luò)引入多尺度金字塔卷積融合多尺度特征,在解碼層引入注意力機(jī)制優(yōu)化分割邊緣信息.張小國等[25]提出FDADeepLab 模型,引入雙注意力機(jī)制,融合高級和低級特征,使用樣本難度權(quán)重調(diào)節(jié)因子解決樣本的非均衡性問題.許澤宇等[26]提出的E-DeepLab 模型通過加成連接的方式將編碼器與解碼器結(jié)合,提出改進(jìn)的自適應(yīng)調(diào)節(jié)損失權(quán)重方法.利用上述模型雖然提高了分割精度,但網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜,參數(shù)規(guī)模較大,對于分割種類較少的道路提取任務(wù)不占優(yōu)勢.
為了實(shí)現(xiàn)對道路的高效率、高精度提取,解決當(dāng)前語義模型參數(shù)量較大和對細(xì)小路段提取效果較差的問題,本文提出基于多尺度特征融合的輕量化遙感圖像道路提取模型MFL-DeepLab V3+.設(shè)計輕量型特征提取網(wǎng)絡(luò)并在ASPP 模塊引入深度可分離卷積,減少模型參數(shù)量,提高模型的分割效率和性能.對解碼區(qū)的特征融合部分進(jìn)行優(yōu)化設(shè)計,提出聯(lián)合注意力的多尺度特征融合方法,結(jié)合網(wǎng)絡(luò)淺層的道路細(xì)節(jié)特征與深層特征,引入注意力機(jī)制增強(qiáng)道路提取的完整性和準(zhǔn)確性.
DeepLab V3+[17]基于全卷積網(wǎng)絡(luò),采用編碼器-解碼器架構(gòu),融合多尺度特征和多分支并行結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.
圖1 DeepLab V3+網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 DeepLab V3+network architecture
在遙感道路提取領(lǐng)域,利用該網(wǎng)絡(luò)模型可以提高對目標(biāo)道路特征及道路邊緣信息的關(guān)注度,具有分割精度較高的領(lǐng)先優(yōu)勢.DeepLab V3+網(wǎng)絡(luò)編碼區(qū)由骨干特征提取網(wǎng)絡(luò)Xception 和ASPP 模塊組成.輸入樣本圖像經(jīng)骨干網(wǎng)絡(luò)Xception 中的卷積操作提取初步特征,ASPP 模塊使用多分支的并行結(jié)構(gòu),集合了1×1 卷積與3 個擴(kuò)張率分別為6、12、18 的空洞卷積,獲得不同尺度的感受野并提供更大感受野,解決池化導(dǎo)致的道路目標(biāo)像素丟失問題.解碼區(qū)首先上采樣ASPP 模塊輸出的高維特征層,再將輸入圖片的空間結(jié)構(gòu)還原,對深層特征圖進(jìn)行上采樣,使之與具有較高空間分辨率的淺層特征圖空間尺寸一致,進(jìn)行通道堆疊.將淺層特征與深層特征融合后,恢復(fù)下采樣過程中損失的空間信息.
提出的遙感圖像道路提取模型MFL-DeepLab V3+基于編碼-解碼結(jié)構(gòu),分別在DeepLab V3+網(wǎng)絡(luò)的編碼區(qū)及解碼區(qū)提出改進(jìn).MFL-DeepLab V3+網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2 所示.
圖2 MFL-DeepLab V3+網(wǎng)絡(luò)的結(jié)構(gòu)圖Fig.2 Structure diagram of MFL-DeepLab V3+network
編碼區(qū).為了解決道路特征提取網(wǎng)絡(luò)計算復(fù)雜度較高的問題,將骨干特征提取網(wǎng)絡(luò)設(shè)計為輕量化的Mobilenet V2[27].為了使網(wǎng)絡(luò)精準(zhǔn)捕獲道路上下文信息,減少網(wǎng)絡(luò)參數(shù)量并提高計算效率,在ASPP 模塊3 個平行的空洞卷積中引入DSConv.
解碼區(qū).為了改善模型對道路的提取效果并提高分割精度,提出聯(lián)合注意力的多尺度特征融合MFFA.MFFA 對Mobilenet V2 中提取到的2 條不同大小的淺層特征進(jìn)行通道維度拼接,改進(jìn)的ASPP 模塊輸出的特征圖與另一淺層特征相加.由此得到2 個多尺度特征,引入注意力機(jī)制,避免無用特征干擾,提高道路提取的準(zhǔn)確率,最后進(jìn)行淺層和深層特征的融合.
由于DeepLab V3+模型的骨干網(wǎng)絡(luò)Xception 參數(shù)量較多,將模型應(yīng)用于遙感圖像道路提取領(lǐng)域的總體計算量大且耗時長.針對上述問題,引入輕量化的Mobilenet V2 網(wǎng)絡(luò)作為MFLDeepLab V3+的骨干網(wǎng)絡(luò).Mobilenet 系列網(wǎng)絡(luò)通過引入深度可分離卷積[28](depthwise separable convolution,DSConv),有效減少了網(wǎng)絡(luò)的運(yùn)算量及參數(shù)量.與上一代網(wǎng)絡(luò)相比,Mobilenet V2 網(wǎng)絡(luò)增加了線性瓶頸結(jié)構(gòu)和倒殘差結(jié)構(gòu).
Mobilenet V2 網(wǎng)絡(luò)的結(jié)構(gòu)如表1 所示.表中,t 為瓶頸層內(nèi)部的升維倍數(shù),c 為特征維數(shù),n 為瓶頸層的重復(fù)次數(shù),s 為瓶頸層第一次卷積的步幅.為了減少特征丟失,Mobilenet V2 在通道壓縮過程中使用Linear 函數(shù)作為激活函數(shù),使用倒殘差取代殘差,擴(kuò)張層使用線性激活層取代非線性激活層,避免輸入的特征信息丟失,提升網(wǎng)絡(luò)對道路特征的提取能力.
表1 Mobilenet V2 網(wǎng)絡(luò)的結(jié)構(gòu)Tab.1 Structure of Mobilenet V2
Mobilenet V2 殘差結(jié)構(gòu)如圖3 所示.相比傳統(tǒng)方式直接使用3×3 卷積,倒殘差結(jié)構(gòu)通過1×1 卷積升維擴(kuò)張輸入特征通道,利用1×1 卷積層降維,減少特征通道數(shù).利用該方法,有效減少了網(wǎng)絡(luò)參數(shù)量,降低了運(yùn)算量.Mobilenet V2 引入深度可分離卷積代替?zhèn)鹘y(tǒng)的卷積方式,使用尺度系數(shù)縮減模型通道數(shù),通道數(shù)縮減后,特征信息集中在縮減后的通道中.
圖3 Mobilenet V2 殘差結(jié)構(gòu)圖Fig.3 Residual structure of Mobilenet V2
為了避免模型在編碼過程中的連續(xù)最大池化操作造成圖像分辨率的損失,在ASPP 模塊中引入深度可分離卷積模塊DSConv.DSConv 分為深度卷積和逐點(diǎn)卷積兩部分,結(jié)構(gòu)如圖4 所示.F 與G 均為特征圖,分別作為模型的輸入和輸出.DF、DG分別為F 與G 的寬和高,M、N 分別為F 與G 的通道數(shù).深度可分離卷積中深度卷積的卷積核尺寸為DK×DK,逐點(diǎn)卷積中的卷積核大小為1×1.
圖4 深度可分離卷積Fig.4 Depthwise separable convolution
例如輸入一組DF×DF×M 大小的特征圖,輸出大小為DG×DG×N,且普通卷積的卷積核尺寸為DK×DK,標(biāo)準(zhǔn)卷積計算量NConv的計算公式為
DSConv 卷積計算量被分為以下2 部分.
1)特征圖的M 個輸入通道使用相同大小的卷積核進(jìn)行深度卷積,如圖4(a)所示,此處卷積計算量N1為
2)如圖4(b)所示,DSConv 經(jīng)逐點(diǎn)卷積輸出特征,進(jìn)行一個點(diǎn)方向的1×1 卷積,此步驟的計算量N2為
最終,深度可分離卷積的計算量之和為
深度可分離卷積與標(biāo)準(zhǔn)卷積的計算量之比為
比值小于1.綜上所述,深度卷積相比于標(biāo)準(zhǔn)卷積方式更加高效.
為了豐富道路圖像的局部細(xì)節(jié)信息,細(xì)化模型對道路的分割精度,設(shè)計聯(lián)合注意力的多尺度特征融合機(jī)制MFFA,結(jié)構(gòu)如圖5 所示.
圖5 MFFA 機(jī)制的結(jié)構(gòu)圖Fig.5 Structure of MFFA mechanism
從編碼區(qū)骨干網(wǎng)絡(luò)中提取出1/4 大小和1/8 大小的2 條淺層特征,對其進(jìn)行通道維度的拼接.為了加強(qiáng)特征圖中各特征通道表達(dá)的特征關(guān)系,引入注意力模塊,提取更詳細(xì)的道路圖像信息.將編碼區(qū)經(jīng)過金字塔池化模塊的特征圖與1/16 大小的淺層特征進(jìn)行拼接,引入注意力模塊,避免無用特征干擾擬合,得到高級特征并作4 倍上采樣,將特征尺寸大小調(diào)整為和淺層特征相同的大小.
為了加強(qiáng)網(wǎng)絡(luò)對遙感圖像中道路特征的提取,引入基于歸一化的注意力機(jī)制[29](normalization-based attention module,NAM),NAM 基于CBAM 注意力機(jī)制[30]重新設(shè)計通道和空間子模塊.NAM 用稀疏的權(quán)重懲罰抑制模糊的道路特征,其中批標(biāo)準(zhǔn)化(batch normalization,BN)的比例因子使用標(biāo)準(zhǔn)偏差表示特征權(quán)重,具體公式為
式中:Bin、Bout分別為批標(biāo)準(zhǔn)化的輸入和輸出,μB和σB分別為小批量B 的均值和標(biāo)準(zhǔn)差,γ 和β 分別為可訓(xùn)練的尺度因子和位移,ε 為極小的超參.
NAM 注意力機(jī)制結(jié)構(gòu)如圖6 所示.NAM 注意力機(jī)制的權(quán)重由通道注意力模塊(channel attention module,CAM)維度和空間注意力模塊(spatial attention module,SAM)維度推斷得出,通過與輸入特征相乘,自適應(yīng)調(diào)整特征.如圖7 所示,輸入特征F1 首先經(jīng)過CAM,具體公式為
圖6 NAM 注意力機(jī)制結(jié)構(gòu)圖Fig.6 Structure of NAM attention mechanism
圖7 通道注意力模塊Fig.7 Channel attention module
式中:Mc為CAM 的輸出特征,γi為各個通道的比例因子,Wγ為通道權(quán)重.
空間注意力子模塊如圖8 所示.NAM 在空間維度引入BN 比例因子,以衡量像素的顯著程度,稱作像素歸一化.空間注意力模塊SAM 的公式為
圖8 空間注意力模塊Fig.8 Spatial attention module
式中:Ms為SAM 的輸出特征,Wλ為權(quán)重,λi為比例因子.
相較于常見的ECA、SE[31]、CBAM 等注意力機(jī)制,NAM 注意力機(jī)制無需額外的卷積層和全連接層,將NAM 同時用于提取網(wǎng)絡(luò)的深層和淺層特征,可以使模型充分學(xué)習(xí)道路圖像中深層特征與淺層特征的空間相關(guān)性,提高模型在遙感圖像中的道路提取精度.
實(shí)驗(yàn)采用64 位Windows10 操作系統(tǒng),使用NVIDIA RTX3080Ti 顯卡,1 TB 硬盤存儲訓(xùn)練數(shù)據(jù),基于Pytorch1.10 搭建模型框架,GPU 運(yùn)行平臺為NVIDIA CUDA11.3.在實(shí)驗(yàn)過程中,學(xué)習(xí)動量設(shè)為0.9,基礎(chǔ)學(xué)習(xí)率Ir設(shè)為0.001,采用“Poly”學(xué)習(xí)率衰減策略.批處理大小設(shè)為10,迭代輪次總數(shù)設(shè)為100.為了防止實(shí)驗(yàn)結(jié)果過擬合,將權(quán)重衰減率設(shè)置為0.000 2.
為了驗(yàn)證MFL-DeepLab V3+模型的輕量型特征提取網(wǎng)絡(luò)、聯(lián)合注意力的多尺度特征融合及融入深度可分離卷積的ASPP 模塊的有效性,驗(yàn)證模型用于道路提取的準(zhǔn)確性和輕量性,分別在Massachusetts roads 數(shù)據(jù)集上開展骨干網(wǎng)絡(luò)對比實(shí)驗(yàn)、注意力機(jī)制對比實(shí)驗(yàn)、不同模塊消融實(shí)驗(yàn)、不同模型的分割結(jié)果對比實(shí)驗(yàn)及復(fù)雜度分析實(shí)驗(yàn).
實(shí)驗(yàn)使用的遙感影像道路數(shù)據(jù)來自于Massachusetts roads 數(shù)據(jù)集[13].該數(shù)據(jù)集涵蓋美國馬薩諸塞州多種地區(qū)(如城市、農(nóng)村和山區(qū)等)共1 108 張衛(wèi)星遙感影像,覆蓋地理范圍超過2 600 km2,每張圖片及對應(yīng)的標(biāo)簽圖像均為1 500 像素×1 500像素.由于其標(biāo)簽影像存在數(shù)據(jù)缺失和標(biāo)注不準(zhǔn)確的問題,從Massachusetts roads 數(shù)據(jù)集中選取標(biāo)簽標(biāo)注較準(zhǔn)確的300 組圖像作為訓(xùn)練樣本.將道路圖像及對應(yīng)的標(biāo)簽圖像尺寸裁剪為406 像素×406 像素.按7∶2∶1 的比例分配實(shí)驗(yàn)所需的訓(xùn)練集、測試集和驗(yàn)證集.由于數(shù)據(jù)樣本過少將導(dǎo)致網(wǎng)絡(luò)模型的魯棒性較差,需要擴(kuò)充數(shù)據(jù),將訓(xùn)練集中剪裁后的圖像通過旋轉(zhuǎn)、水平或垂直翻轉(zhuǎn)操作,最終數(shù)據(jù)增強(qiáng)后訓(xùn)練樣本擴(kuò)充至11 340 張.
在遙感圖像道路提取任務(wù)中,圖像像素劃分為背景和道路2 類.采用精確率P、每秒傳輸幀率v、召回率R、參數(shù)量Np和F1 分?jǐn)?shù)作為評價指標(biāo).P、R 和F1 的計算公式如下:
式中:TP 和FN 分別為模型正確預(yù)測道路類和背景類的像素數(shù)量,F(xiàn)P 為被模型預(yù)測為道路類別的背景像素數(shù)量.
3.3.1 骨干網(wǎng)絡(luò)的對比實(shí)驗(yàn) 為了減少網(wǎng)絡(luò)參數(shù)量與計算量,提升道路提取的效率,考慮替換原模型中參數(shù)量較龐大的Xception 骨干網(wǎng)絡(luò).為了測試替換不同骨干網(wǎng)絡(luò)對DeepLab V3+算法的性能影響,分別對Xception 網(wǎng)絡(luò)、常見的Resnet101網(wǎng)絡(luò)、分割準(zhǔn)確率較高的新型網(wǎng)絡(luò)Efficientnet V2 及輕量型網(wǎng)絡(luò)Mobilenet V2 進(jìn)行4 組實(shí)驗(yàn),用F1 和Np作為衡量不同骨干網(wǎng)絡(luò)適配性的評價指標(biāo),實(shí)驗(yàn)結(jié)果如表2 所示.
表2 不同骨干網(wǎng)絡(luò)的性能對比Tab.2 Performance comparison of different backbone networks
從表2 可見,各個網(wǎng)絡(luò)的F1 分?jǐn)?shù)較接近,雖然實(shí)驗(yàn)3 中Efficientnet V2 的F1 分?jǐn)?shù)最高,但參數(shù)規(guī)模較大,參數(shù)量達(dá)到55.51 ×106.實(shí)驗(yàn)4 中骨干網(wǎng)絡(luò)為Mobilenet V2 時,F(xiàn)1 分?jǐn)?shù)為84.05%,參數(shù)量減少至5.13 ×106,遠(yuǎn)遠(yuǎn)小于其余網(wǎng)絡(luò),相比實(shí)驗(yàn)1 中的Xception、實(shí)驗(yàn)2 中的Resnet101 和實(shí)驗(yàn)3 中的Efficientnet V2,參數(shù)量分別減少了92.81%、90.98%和90.76%.經(jīng)分析可知,Mobilenet V2 可以在保證模型分割性能的情況下大幅減少網(wǎng)絡(luò)參數(shù)量,有效實(shí)現(xiàn)模型的輕量化.
3.3.2 注意力機(jī)制的對比實(shí)驗(yàn) 為了加強(qiáng)神經(jīng)網(wǎng)絡(luò)的道路特征提取并提升運(yùn)算速率,考慮引入注意力機(jī)制.基于骨干網(wǎng)絡(luò)為Mobilenet V2 的改進(jìn)網(wǎng)絡(luò),分別引入4 種常見的注意力機(jī)制進(jìn)行對比實(shí)驗(yàn).
從表3 可見,在加入NAM 注意力模塊后,模型分割精度優(yōu)于ECA、SE 和CBAM,F(xiàn)1 分?jǐn)?shù)高達(dá)85.03%,模型運(yùn)算速率達(dá)到2.78 幀/s,可以在提升模型分割精度的同時兼顧運(yùn)算效率.選擇引入NAM 注意力模塊,幫助網(wǎng)絡(luò)提升道路提取性能.
表3 不同注意力機(jī)制的性能對比Tab.3 Performance comparison of different attention mechanisms
3.3.3 各模塊消融實(shí)驗(yàn) 為了驗(yàn)證替換骨干網(wǎng)絡(luò)后,MFL-DeepLab V3+在以下3 個方面的改進(jìn)是否有效:用DSConv 代替原卷積、引入NAM 注意力機(jī)制以及改進(jìn)特征融合策略MFFA,根據(jù)控制變量法設(shè)計5 組消融實(shí)驗(yàn),將F1 和v 作為實(shí)驗(yàn)評價指標(biāo),實(shí)驗(yàn)結(jié)果如表4 所示.
表4 MFL-DeepLab V3+模型各模塊的消融實(shí)驗(yàn)結(jié)果Tab.4 Ablation experiment results of different modules of MFL-DeepLab V3+
實(shí)驗(yàn)2 和實(shí)驗(yàn)3 分別將深度可分離卷積DSConv 引入ASPP 模塊和在編碼區(qū)引入NAM 注意力模塊,相較于實(shí)驗(yàn)1,F(xiàn)1 分別增加了0.62%和0.98%,v 分別提升至3.45 和2.78 幀/s.在實(shí)驗(yàn)4 中同時引入DSConv 與NAM 注意力機(jī)制,F(xiàn)1 繼續(xù)提升至86.96%,v 高達(dá)3.36 幀/s.實(shí)驗(yàn)5 基于實(shí)驗(yàn)4 在特征提取網(wǎng)絡(luò)中加入改進(jìn)的MFFA 特征融合模塊,雖然較實(shí)驗(yàn)4 運(yùn)算速率降低,但與實(shí)驗(yàn)1 相比,v 提高了0.51 幀/s,F(xiàn)1 提高至87.42%,實(shí)現(xiàn)了模型分割精度與運(yùn)算性能的平衡,驗(yàn)證了各個模塊的有效性.
3.3.4 不同模型實(shí)驗(yàn)結(jié)果的對比 為了進(jìn)一步驗(yàn)證MFL-DeepLab V3+模型的道路提取性能,將該模型與FCN[11]、DeepLab V3+[17]、FDA-DeepLab[25]及E-DeepLab[26]4 種網(wǎng)絡(luò)模型的精確率、召回率和F1 進(jìn)行對比.以上網(wǎng)絡(luò)模型均使用統(tǒng)一的環(huán)境配置和Massachusetts road 數(shù)據(jù)集進(jìn)行訓(xùn)練和測試.不同模型的道路提取結(jié)果對比如圖9 所示.根據(jù)提取細(xì)節(jié)可知,各模型在提取道路交界和細(xì)小路段方面的表現(xiàn)存在顯著差異.FCN 網(wǎng)絡(luò)的提取效果較差,道路邊緣存在信息缺失,道路圖像出現(xiàn)大量斷裂區(qū)域,這些問題導(dǎo)致分割結(jié)果與真實(shí)道路標(biāo)簽之間存在明顯的差異.DeepLab V3+網(wǎng)絡(luò)在局部出現(xiàn)錯漏提取的現(xiàn)象,在樹木和陰影遮擋狀況下的提取結(jié)果明顯地不連續(xù).FDA-DeepLab 和E-DeepLab 模型的道路提取效果相較于DeepLab V3+有所提升,但對細(xì)小道路和道路交界區(qū)域的提取效果不佳,道路局部有斷裂現(xiàn)象,道路邊緣分割的精確度有待提高.MFL-DeepLab V3+模型的提取效果優(yōu)于上述4 種模型,成功提取到細(xì)小狹窄的路段,錯漏提取現(xiàn)象得到改善,有效避免了樹木與陰影遮擋對道路提取的影響.
圖9 不同道路提取模型結(jié)果的對比Fig.9 Comparison of results of different road extraction models
如表5 所示為不同模型的道路提取結(jié)果對比,其中FCN 網(wǎng)絡(luò)的分割精度較低,3 項(xiàng)評價指標(biāo)均約為80%.DeepLab V3+、FDA-DeepLab 和EDeepLab 分割模型的召回率和F1 分?jǐn)?shù)均小于84%和86%.MFL-DeepLab V3+模型的道路提取精確率提高至88.45%,F(xiàn)1 達(dá)到87.42%,召回率達(dá)到86.41%,較原模型DeepLab V3+分別提升了1.53%、4.69% 和3.18%.實(shí)驗(yàn)結(jié)果表明,與其他4 種網(wǎng)絡(luò)模型相比,本文方法的精確率、召回率和F1 分?jǐn)?shù)均最高,有效提升了道路提取精度.
表5 不同模型的性能對比結(jié)果Tab.5 Performance comparison results of different models
3.3.5 模型復(fù)雜度分析 為了分析MFL-DeepLab V3+模型與原模型的效率和復(fù)雜度,通過與原DeepLab V3+模型的單張圖片訓(xùn)練時間TTSP、參數(shù)量及檢測速度進(jìn)行對比,模型復(fù)雜度的分析如表6 所示.
表6 模型復(fù)雜度分析Tab.6 Model complexity analysis
結(jié)果表明,MFL-DeepLab V3+模型的TTSP 大幅縮減,v 提升了約43.98%;改進(jìn)后的網(wǎng)絡(luò)參數(shù)量顯著減少,模型參數(shù)量較原DeepLab V3+壓縮了88.67%.MFL-DeepLab V3+模型提高了對遙感圖像道路提取的精準(zhǔn)度,在識別細(xì)窄路段和遮擋路段時表現(xiàn)出色,分割圖像完整且邊緣平滑,大大縮減了訓(xùn)練時間,在提高提取精度的同時有效兼顧了網(wǎng)絡(luò)的計算量和參數(shù)量,顯著增強(qiáng)了分割性能.
為了解決語義模型計算復(fù)雜度較高的問題,引入輕量型骨干網(wǎng)絡(luò),在ASPP 模塊中引入深度可分離卷積模塊,減少網(wǎng)絡(luò)參數(shù)量,有效地提升網(wǎng)絡(luò)的分割性能.各項(xiàng)對比實(shí)驗(yàn)表明,提出的基于多尺度特征融合的輕量化MFL-DeepLab V3+遙感圖像道路提取模型在精確率、召回率和F1 分?jǐn)?shù)方面均有效提升,道路提取結(jié)果完整,邊緣清晰,網(wǎng)絡(luò)參數(shù)量顯著降低,分割性能更好.為了解決當(dāng)前遙感圖像道路提取領(lǐng)域的語義模型提取效果不佳的問題,重新設(shè)計解碼區(qū)的特征融合部分,通過聯(lián)合注意力的多尺度特征融合MFFA 加強(qiáng)網(wǎng)絡(luò)的特征提取能力,在解碼階段有效地恢復(fù)道路邊界信息,獲取高質(zhì)量的道路細(xì)節(jié).MFLDeepLab V3+模型對遙感圖像道路提取領(lǐng)域存在一定的參考意義.
在后續(xù)研究中,考慮將道路的結(jié)構(gòu)性特點(diǎn)融入道路特征提取網(wǎng)絡(luò)的設(shè)計,結(jié)合大量的樣本數(shù)據(jù),探究兼具分割效率和預(yù)測精度的遙感圖像道路提取模型.