面向遙感建筑物提取的輕型多尺度差異網(wǎng)絡(luò)

李國(guó)燕， 武海苗， 董春華， 劉 毅

（1. 天津城建大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，天津 300384；2. 天津城建大學(xué) 地質(zhì)與測(cè)繪學(xué)院，天津 300384）

1 引 言

高分辨率遙感影像是對(duì)地觀測(cè)目標(biāo)的重要信息載體，建筑物作為城市空間信息庫(kù)的重要元素，從高分影像中精確提取的建筑物對(duì)土地覆蓋分類、城市規(guī)劃等領(lǐng)域有重要意義［1-2］。早期提取建筑物主要是人工利用目標(biāo)建筑物的基礎(chǔ)光譜、紋理等特征［3］，然而不同種類的建筑物的幾何與紋理信息差異很大，很難獲取高精度的建筑物信息。

近年來(lái)，基于深度神經(jīng)網(wǎng)絡(luò)方法［4］憑借其強(qiáng)大的特征學(xué)習(xí)能力在解決各類分割任務(wù)中脫穎而出。Long 等［5］提出的FCN 網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)將引入卷積層從而實(shí)現(xiàn)像素級(jí)的預(yù)測(cè)，但其缺乏考慮像素之間的空間關(guān)系。Badrinarayanan［6］提出編解碼結(jié)構(gòu)的SegNet 網(wǎng)絡(luò)，通過(guò)引入池化索引降低內(nèi)存消耗。Ronnerberger［7］提出了U-Net網(wǎng)絡(luò)，其主要通過(guò)跨層重建的思想將編碼器的高級(jí)語(yǔ)義信息融入到解碼器中，從而提升分割精度。此后，基于編解碼的體系結(jié)構(gòu)被逐漸應(yīng)用于復(fù)雜的遙感影像分割任務(wù)［8-9］中。Ma［10］通過(guò)挖掘多尺度信息及學(xué)習(xí)全局局部特征實(shí)現(xiàn)充分提取不同分辨率的建筑物。Shi［11］提出在U-Net 中嵌入FPN 結(jié)構(gòu)提高模型聚合多尺度特征信息的能力。Xu［12］通過(guò)融入膠囊卷積和空間-通道雙注意力模塊實(shí)現(xiàn)增強(qiáng)建筑物高階特征的表達(dá)能力。Zhang［13］提出一種語(yǔ)義分割模型ResUNet，通過(guò)在U-Net 模型中引入高效的殘差塊結(jié)構(gòu)，有效解決特征信息隨網(wǎng)絡(luò)深度加深而減弱的問(wèn)題，同時(shí)能簡(jiǎn)化網(wǎng)絡(luò)的訓(xùn)練，促進(jìn)信息的傳播。Xu［14］提出一種融合分形幾何特征的Resnet 網(wǎng)絡(luò)，通過(guò)引入融合分形先驗(yàn)的空洞空間金字塔池化模塊和深度可分離卷積注意力融合機(jī)制提高分割模型的判別能力。Luo［15］提出一種ResUNet+網(wǎng)絡(luò)，通過(guò)增強(qiáng)多尺度特征能力提升分割精度。Xu［16］提出一種改進(jìn)ResNet 的模型，通過(guò)融合多尺度的遙感建筑物特征從而提升分割精度。Lin［17］提出一種新型高效網(wǎng)絡(luò)ESFNet，旨在以低計(jì)算成本和低內(nèi)存消耗來(lái)保持輕微的精度損失。Paszke［18］提出一種高效神經(jīng)網(wǎng)絡(luò)ENet，其具有高速度低參數(shù)的特點(diǎn)，專門為需要低延遲操作的任務(wù)所創(chuàng)建。

鑒于此，嘗試以ResUNet 模型為基礎(chǔ)，考慮到模型只有學(xué)習(xí)到充足的全局和局部特征信息及挖掘更多多尺度特征信息，才能充分應(yīng)對(duì)形狀各異的建筑物，提升分割精度。本文基于ResUNet 模型，融入編解碼功能差異性、多尺度膨脹感知模塊及雙融合機(jī)制思想設(shè)計(jì)出一種輕型多尺度差異網(wǎng)絡(luò)LMD-Net。從而有效地解決基礎(chǔ)模型缺乏考慮局部與全局信息的豐富關(guān)聯(lián)導(dǎo)致建筑物提取精度不高及模型參數(shù)量大、不夠輕量化等問(wèn)題，實(shí)現(xiàn)優(yōu)化基礎(chǔ)模型的結(jié)果。

2 網(wǎng)絡(luò)及算法

2.1 ResUNet 網(wǎng)絡(luò)模型

ResUNet［13］（Deep Residual U-Net）主要由編-解碼網(wǎng)絡(luò)和跳躍連接結(jié)構(gòu)組成，該網(wǎng)絡(luò)主要通過(guò)應(yīng)用經(jīng)典ResNet［19］模型中淺殘差單元塊搭建模型架構(gòu)。該模型相比U-Net 模型有以下幾點(diǎn)不同：第一，ResUNet 通過(guò)將U-Net 原有的裁剪操作去除從而獲得更優(yōu)雅的架構(gòu)；第二，ResUNet 通過(guò)將特征處理單元由普通卷積單元替換成淺殘差單元使得網(wǎng)絡(luò)更能保留目標(biāo)的精細(xì)信息。這種特性的網(wǎng)絡(luò)不僅能避免普通卷積堆疊導(dǎo)致的信息丟失，更能促進(jìn)前后向信息的傳播，避免退化現(xiàn)象。因此其適用于基于遙感影像的目標(biāo)提取任務(wù)。

2.2 輕型多尺度差異網(wǎng)絡(luò)（LMD-Net）

為了充分利用殘差結(jié)構(gòu)擬合性強(qiáng)的特點(diǎn)和多尺度融合結(jié)構(gòu)增強(qiáng)特征表示的優(yōu)越性，本文依據(jù)編解碼結(jié)構(gòu)的功能差異將二者結(jié)合提出輕型多尺度差異網(wǎng)絡(luò)LMD-Net。該網(wǎng)絡(luò)是基于編碼-解碼器結(jié)構(gòu)的端到端建筑物提取網(wǎng)絡(luò)模型。如圖1 所示，LMD-Net 主要包括編碼器、解碼器以及跳躍連接部分。首先，依據(jù)編解碼器結(jié)構(gòu)的功能差異設(shè)計(jì)出一種輕型差異模型，即編碼器使用BlockA，解碼器使用BlockD；其次，為了使淺層表征圖對(duì)位置及空間信息更敏感，深層恢復(fù)高空間高分辨率表征圖的能力提升，提出在編碼器第三層和解碼器第二層使用多尺度膨脹感知模塊，從而加劇網(wǎng)絡(luò)對(duì)不同尺寸建筑物目標(biāo)的提取能力；最后，為了進(jìn)一步加深解碼結(jié)構(gòu)的特征通道的信息恢復(fù)能力，在模型的深跳躍連接后嵌入雙融合機(jī)制，實(shí)現(xiàn)充分融合各尺度信息。

LMD-Net 網(wǎng)絡(luò)由四層編碼器及三層解碼器組成。224 尺寸的輸入影像經(jīng)過(guò)編碼器處理后得到僅有28 尺寸的高級(jí)特征圖，最后由三層解碼器解析恢復(fù)影像空間信息。LMD-Net 網(wǎng)絡(luò)組件見(jiàn)表1。其展示各個(gè)組件的詳細(xì)信息。

2.3 輕型差異模型

ResUNet 模型主要是通過(guò)單一的淺殘差單元堆疊而成，這種方式并未考慮編碼器解碼器的功能差異，導(dǎo)致編碼器不能充分發(fā)揮其特征提取的能力和解碼器分類效果不佳，其次單一的堆疊網(wǎng)絡(luò)也使得網(wǎng)絡(luò)產(chǎn)生很多無(wú)用的參數(shù)。受目前輕量化系列結(jié)構(gòu)［20-21］中的影響，本文引入深度可分離卷積和1×1 卷積構(gòu)建一種輕型差異模型，其不僅按編解碼結(jié)構(gòu)的功能差異進(jìn)行設(shè)計(jì)，而且縮減了很多無(wú)效參數(shù)，是最終模型輕量化的關(guān)鍵因素。

深度可分離卷積［22］最大的優(yōu)勢(shì)是可大幅度降低卷積參數(shù)。如圖2 所示?？蓪⑵浞纸鉃樯疃染矸e和逐點(diǎn)卷積兩個(gè)過(guò)程。

圖2 深度可分離卷積過(guò)程Fig.2 Deeply separable convolution process

所需的參數(shù)量為：

所需的計(jì)算量為：

相比普通卷積，如式（5）～式（6）所示，深度可分離卷積不僅縮減網(wǎng)絡(luò)的參數(shù)量效果好，而且顯著提升模型的訓(xùn)練速度，使網(wǎng)絡(luò)更趨向于輕量化。

由上述分析知，相比普通卷積，深度可分離卷積在壓縮模型參數(shù)量和計(jì)算量方面有明顯的優(yōu)勢(shì)，而1×1 卷積所具有的調(diào)節(jié)通道維度的能力也能進(jìn)一步縮減模型參數(shù)量。基于此理論，本文對(duì)比了四種特征處理單元，如圖3 所示，其中BlockB 和BlockD 是在BlockA 和BlockC 的基礎(chǔ)上加入深度可分離卷積。ResUNet 網(wǎng)絡(luò)由BlockC 單一堆疊而成，本文輕型差異模型的編碼部分由BlockA 構(gòu)建，解碼部分由BlockD 搭建。在實(shí)驗(yàn)部分將詳細(xì)說(shuō)明四種特征處理單元的性能及輕型差異模型的形成過(guò)程。

圖3 四種特征處理單元Fig.3 Four types of feature processing units

2.4 多尺度膨脹感知模塊（MSDP）

在遙感影像分割中，增強(qiáng)特征的表示能力是舉足輕重的。伴隨網(wǎng)絡(luò)層數(shù)的不斷加深，深卷積對(duì)特征的敏感程度逐漸從局部特征向全局特征的趨勢(shì)發(fā)展。為了能夠增強(qiáng)淺卷積層對(duì)定位及空間信息的敏感度及深卷積恢復(fù)空間信息的表征能力，本文基于膨脹卷積［23］的思想，提出多尺度膨脹感知模塊（Multi-Scale Dilation Perception，MSDP）。

由于網(wǎng)絡(luò)最淺層涵蓋較多粗糙特征，最淺層的并行多尺度策略會(huì)加快粗糙信息的傳遞而減弱網(wǎng)絡(luò)的性能，因此本文在編碼器特征信息較豐富的第三層引入MSDP 模塊，增強(qiáng)編碼器對(duì)定位及空間信息的提取。此外，MSDP模塊雖能加劇網(wǎng)絡(luò)融合多尺度特征信息，但沿用連續(xù)的特征恢復(fù)層更能促進(jìn)網(wǎng)絡(luò)恢復(fù)空間信息。因此本文在解碼器第二層融入MSDP模塊，經(jīng)實(shí)驗(yàn)驗(yàn)證連續(xù)性有效。

MSDP 模塊的結(jié)構(gòu)圖如圖4 所示。該模塊采用級(jí)聯(lián)采樣法，并行三級(jí)不同的空洞卷積對(duì)特征圖采樣，使MSDP 模塊能學(xué)習(xí)到來(lái)自不同感受野的圖像特征，所聚合的多個(gè)尺度的語(yǔ)義信息能有效地增強(qiáng)深淺卷積的表征能力。其中，三個(gè)分支所設(shè)置的膨脹系數(shù)分別為（1，3，5），所能獲得的感受野大小為（3，7，11）。并行多個(gè)大感受野分支使模型能有效捕獲多尺度的上下文信息，提升對(duì)不同尺度的建筑物目標(biāo)的識(shí)別能力。

圖4 MSDP 模塊結(jié)構(gòu)圖Fig.4 MSDP module structure diagram

膨脹卷積的主要優(yōu)勢(shì)是擴(kuò)大感受野不消耗額外的參數(shù)量，其可視化效果如圖5 所示，相比標(biāo)準(zhǔn)卷積，膨脹率為2 的卷積核的感知范圍明顯比標(biāo)準(zhǔn)卷積的更大，能表達(dá)的語(yǔ)義信息也越多。

圖5 膨脹卷積可視化效果Fig.5 Inflated convolution visualization effect

實(shí)際上，采用膨脹率的卷積核大小會(huì)發(fā)生改變，其擴(kuò)張后的卷積核的尺寸計(jì)算公式為：

式中，第i層的卷積核大小Ki，R為膨脹率。由公式（7）進(jìn)而可得第i層特征圖的感受野。原始影像的感受野記為1，那么第i層輸出特征圖的感受野大小RFi的遞推公式為：

其中：Si為第i層的步長(zhǎng)，RFi-1為i-1 層的感受野。

2.5 雙融合機(jī)制

原模型的解碼器僅通過(guò)密集連接融合同層編碼器的特征圖實(shí)現(xiàn)語(yǔ)義信息的融合，融合后的特征圖僅通過(guò)單一路徑提取語(yǔ)義特征，未能充分接收強(qiáng)大的特征提取編碼器網(wǎng)絡(luò)的所有有效信息。因此，本文將在解碼器第一深層引入雙融合機(jī)制（Dual Integration Mechanism，DIM），增強(qiáng)解碼器的特征恢復(fù)能力。

受2.3 小節(jié)中四種特征處理單元的對(duì)比實(shí)驗(yàn)啟發(fā)，BlockA 的提取能力相當(dāng)高，因此將原僅通過(guò)BlockD 單一路徑恢復(fù)特征信息變成融合BlockA 與BlockD 雙路徑提取豐富特征信息，如圖6所示，X1 為同層編碼器同尺寸的特征圖，X2 為解碼器上一層特征圖，首先通過(guò)跳躍連接實(shí)現(xiàn)第一次融合，得到56×56×512 大小的特征圖，其次轉(zhuǎn)入雙路徑的特征提取路徑中，得到蘊(yùn)含豐富信息的兩個(gè)56×56×256 大小的特征圖，最后通過(guò)第二次融合操作，實(shí)現(xiàn)增強(qiáng)特征恢復(fù)網(wǎng)絡(luò)的效果，隨后，上采樣操作將通道數(shù)恢復(fù)到下一次所需的數(shù)值。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)采用WHU building dataset［24］開(kāi)源高分遙感影像建筑物數(shù)據(jù)集，其包含8 189 幅RGB遙感影像，地面空間分辨率為0.3 m，圖片大小為512×512。該數(shù)據(jù)集由4 736 幅訓(xùn)練集、2 416 幅測(cè)試集和1 036 幅驗(yàn)證集組成。本實(shí)驗(yàn)將數(shù)據(jù)集按照8∶1∶1 比例劃分，并將其裁剪為224×224?？紤]到訓(xùn)練數(shù)據(jù)樣本比較少，對(duì)訓(xùn)練集進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)翻轉(zhuǎn)、按照歸一化概率選擇執(zhí)行色調(diào)或亮度操作擴(kuò)充數(shù)據(jù)樣本集。

本實(shí)驗(yàn)基于Pytorch 框架，硬件環(huán)境為Intel（R） Core（TM） i7-7700 CPU @3.60 GHZ，內(nèi)存16G， NVIDIA GeForce GTX1080（8 G 顯存），操作系統(tǒng)為Windows10。優(yōu)化器Adam 代替SGD訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率為0.001、批次設(shè)為8、迭代次數(shù)為100。如圖7 所示，在訓(xùn)練及驗(yàn)證LMDNet 模型中，隨著迭代次數(shù)增加，損失值逐漸降低。準(zhǔn)確率和交并比呈平穩(wěn)上升趨勢(shì)。

圖7 模型訓(xùn)練、驗(yàn)證階段指標(biāo)變化趨勢(shì)圖Fig.7 Model training and validation phase metrics change trend graph

3.2 分割性能評(píng)價(jià)指標(biāo)

為了對(duì)模型的性能做定量評(píng)價(jià)，本文選用交并比（Intersection over Union， IoU）、Dice 系數(shù)、準(zhǔn)確率（Precision， Pre）和召回率（Recall， R）作為建筑物像素級(jí)語(yǔ)義分割的評(píng)價(jià)指標(biāo)。具體計(jì)算公式如式（9）～式（12）：

其中：TP為建筑物像素?cái)?shù)被正確預(yù)測(cè)的數(shù)量，F(xiàn)P為將非建筑物像素被錯(cuò)誤預(yù)測(cè)為建筑物像素?cái)?shù)量，TN為非建筑物素?cái)?shù)被正確識(shí)別的數(shù)量，F(xiàn)N為將建筑物像素預(yù)測(cè)為建筑物像素?cái)?shù)量。

3.3 消融實(shí)驗(yàn)結(jié)果和分析

3.3.1 驗(yàn)證輕型差異模型的有效性

為了驗(yàn)證輕型差異模型的設(shè)計(jì)對(duì)網(wǎng)絡(luò)整體性能及效率的影響，本文設(shè)計(jì)了四組對(duì)比實(shí)驗(yàn)，該實(shí)驗(yàn)是將編碼器解碼器的特征處理單元依次更換為BlockA，BlockB，BlockC 和BlockD 塊，通過(guò)分析各項(xiàng)指標(biāo)的數(shù)據(jù)及結(jié)合編碼器和解碼器的特性進(jìn)而設(shè)計(jì)出本文的基礎(chǔ)輕型差異模型。實(shí)驗(yàn)中使用效率評(píng)價(jià)指標(biāo)Params，F(xiàn)lops 衡量模型的時(shí)間復(fù)雜度，使用IoU 衡量模型的性能。

3.一切改革的目的，都是為了創(chuàng)造更好的價(jià)值。電力工程系統(tǒng)的創(chuàng)新與改革，也不例外。電力自動(dòng)化技術(shù)在電力工程中的應(yīng)用，實(shí)現(xiàn)了電力工程各個(gè)系統(tǒng)的穩(wěn)定運(yùn)行。在提高了工作的效率的同時(shí)也保障了經(jīng)濟(jì)效益的最大化。自動(dòng)化的電力系統(tǒng)能夠?qū)υO(shè)備運(yùn)行過(guò)程中的各種數(shù)據(jù)進(jìn)行全面系統(tǒng)的采集與分析，使工作人員之間的協(xié)作更加協(xié)調(diào)，對(duì)設(shè)備的控制也更加完整。在排除系統(tǒng)故障方面，電力自

如圖8 展示了在WHU 數(shù)據(jù)集上六種特征處理單元的分割效率及性能。對(duì)比BlockA 與BlockC，BlockA 與BlockB 和BlockC 與BlockD可知，深度可分離卷積及1×1 卷積在降低模型的參數(shù)量及計(jì)算量方面表現(xiàn)突出；由于編碼器特征提取的質(zhì)量對(duì)建筑物分類結(jié)果十分關(guān)鍵，而分類解碼網(wǎng)絡(luò)需要輕便快捷。分析圖知，BlockA 的交并比Iou 最高，BlockD 具有最低的參數(shù)量和計(jì)算量，因此所設(shè)計(jì)的基礎(chǔ)輕型差異模型的編碼器特征提取單元選為BlockA，解碼器的特征恢復(fù)單元選用BlockD。對(duì)比BlockA+BlockD 與ResUnet模型可得，輕型差異模型交并比提升了2.35%，降低約1/2 的參數(shù)量，提升大約一半的速率。實(shí)現(xiàn)初步優(yōu)化性能及效率。

圖8 在WHU 數(shù)據(jù)集上六種特征處理單元的分割效率及性能Fig.8 Segmentation efficiency and performance of six feature processing units on the WHU dataset

3.3.2 驗(yàn)證MSDP 模塊的有效性

為了驗(yàn)證在3.3.1 小節(jié)中所設(shè)計(jì)的輕型差異模型中添加多尺度膨脹感知MSDP 模塊的有效性，如表2 詳細(xì)列出在WHU 數(shù)據(jù)集上MSDP 模塊的分割精度。其中，Model 表示不同模塊所組合的模型，Position 體現(xiàn)MSDP 模塊的放置位置，即值為0，1，2 分別表示在輕型差異模型的第三層、第六層和第七層融入MSDP 模塊。

表2 在WHU 數(shù)據(jù)集上MSDP 的分割精度Tab.2 Segmentation accuracy of MSDP on WHU dataset （%）

通過(guò)表2 可以發(fā)現(xiàn)，在輕型差異模型中加入MSDP 組合后精度得到明顯提升，觀察組1，2 和組1，3，單向使用MSDP 時(shí)，兩組的Iou 和Dice 分別提高了0.19%，1.23%和0.35%，0.40%。對(duì)比組1，4 可知，雙向融入MSDP 效果提升更明顯，其IoU，Recall 和Dice 提高了0.42%，0.77%和0.3%。這說(shuō)明組合MSDP 模塊在LMD-Net中發(fā)揮了積極作用，能增強(qiáng)模型提取多尺度建筑物的能力。對(duì)比組4，5 可知，沿用連續(xù)的特征恢復(fù)層能促進(jìn)MSDP 模塊發(fā)揮作用，解碼器僅第三層使用MSDP 模塊比解碼器第二層使用MSDP 模塊和解碼器第三層使用BlockD 性能下降明顯，IoU 降低0.37%，Recall 下降0.76%。

圖9 顯示了在輕型差異模型中添加MSDP模塊的可視化效果，G1-G4 分別對(duì)應(yīng)表2 的四組模型，第一列為中型建筑物預(yù)測(cè)圖。第二至五列為小型建筑物預(yù)測(cè)圖，第五列為大型建筑物預(yù)測(cè)圖。觀察可知，針對(duì)不同尺度的建筑物數(shù)據(jù)集，在不同位置中所添加的MSDP 模塊，能不同程度地增強(qiáng)模型的提取性能。對(duì)比G1-G3 和G4，G4能有效地改善各形狀大小的建筑物出現(xiàn)的錯(cuò)檢現(xiàn)象，但針對(duì)一些極小建筑物提取效果還是有待提升。

圖9 MSDP 模塊可視化分割結(jié)果Fig.9 Visual segmentation results of MSDP module

3.3.3 驗(yàn)證雙融合機(jī)制的有效性

為了驗(yàn)證在3.3.2 小節(jié)所改進(jìn)的模型中添加雙融合機(jī)制DIM 的有效性，在WHU 數(shù)據(jù)集上對(duì)該機(jī)制進(jìn)行實(shí)驗(yàn)。如圖10 對(duì)比可得，添加DIM機(jī)制后，網(wǎng)絡(luò)的性能得到進(jìn)一步的提升，其中IoU及Pre 提升了0.46%，0.65%。表明BIM 能有效增強(qiáng)解碼器的像素恢復(fù)能力。

圖10 在WHU 數(shù)據(jù)集上SPFR 機(jī)制的對(duì)比實(shí)驗(yàn)Fig.10 Contribution of SPFR mechanism on the WHU dataset

3.4 模型實(shí)驗(yàn)結(jié)果和分析

通過(guò)對(duì)三組消融實(shí)驗(yàn)的分析可知，所構(gòu)建的輕型差異模型、MSDP 模塊以及DIM 機(jī)制對(duì)模型整體的性能及效率均有促進(jìn)作用。本實(shí)驗(yàn)主要針對(duì)三種典型的語(yǔ)義分割網(wǎng)絡(luò)SegNet［6］，UNet［7］，ResUNet［13］和最近幾年的兩篇參考文獻(xiàn)Enet［18］，ESFNet［17］進(jìn)行效率及性能兩個(gè)方面的對(duì)比實(shí)驗(yàn)。

在效率對(duì)比實(shí)驗(yàn)中，主要使用的性能評(píng)估指標(biāo)有Params 參數(shù)量、MADDs 乘法累加運(yùn)算總量和Flops 計(jì)算量來(lái)考核模型的時(shí)間及空間復(fù)雜度，所有對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境均一致。分析表3可知，U-Net 網(wǎng)絡(luò)的參數(shù)量最多，SegNet 網(wǎng)格次之，而ResUNet 因其引入殘差結(jié)構(gòu)等因素，雖參數(shù)量相比于U-Net 網(wǎng)絡(luò)減少一半多，但計(jì)算量卻大大增加。而觀察組3 與組4 的輕量化ESFNet 及ENet 網(wǎng)絡(luò)，兩組網(wǎng)絡(luò)的參數(shù)量和計(jì)算量都極低，但依據(jù)后面實(shí)驗(yàn)的驗(yàn)證，兩組輕量化網(wǎng)絡(luò)的性能指標(biāo)卻損失嚴(yán)重，對(duì)比組5 和6 的LMD-Net 模型與基礎(chǔ)網(wǎng)絡(luò)ResUNet 可得，LMD-Net 在各個(gè)效率指標(biāo)中都優(yōu)于ResUNet，不僅參數(shù)量降低2.62 M，計(jì)算量也降低12.89 G；表明LMD-Net 網(wǎng)絡(luò)實(shí)現(xiàn)在效率方面優(yōu)化ResUNet 網(wǎng)絡(luò)。

表3 各模型的復(fù)雜度對(duì)比實(shí)驗(yàn)Tab.3 Experiments comparing complexity of each model

3.4.2 各模型性能評(píng)估實(shí)驗(yàn)

為了定量評(píng)估LMD-Net 網(wǎng)絡(luò)結(jié)構(gòu)在建筑物目標(biāo)提取時(shí)的有效性，實(shí)驗(yàn)中采用IoU，Precision，Recall 和Dice 指標(biāo)對(duì)各模型進(jìn)行精度評(píng)估。由表4 可知，本文所提LMD-Net 網(wǎng)絡(luò)在基于遙感影像建筑物提取領(lǐng)域中表現(xiàn)更優(yōu)，相較于對(duì)比網(wǎng)絡(luò)ResUNet，LMD-Net 網(wǎng)絡(luò)在交并比、準(zhǔn)確率、召回率、Dice 系數(shù)上分別提高了3.23%，2.57%，1.56%，2.07%；而輕量化網(wǎng)絡(luò)ESFnet 和ENet的性能卻很低，在Iou 上，LMD-Net 相比ESFnet模型提高了11.27%，因此并不是參數(shù)量越低性能就越好。綜上表明，LMD-Net 網(wǎng)絡(luò)實(shí)現(xiàn)了在性能方面優(yōu)化ResUNet 網(wǎng)絡(luò)，更適用于基于遙感影像的建筑物提取。

表4 不同網(wǎng)絡(luò)的分割精度對(duì)比實(shí)驗(yàn)/%Tab.4 Comparison experiments of segmentation accuracy of different networks（%）

為了能直觀體現(xiàn)LMD-Net 模型的優(yōu)越性，如圖11 和圖12 所示，分別展示了六種模型在不同尺度建筑物上的可視化分割性能。

圖12 大型建筑物上預(yù)測(cè)圖Fig.12 Prediction map on large buildings

通過(guò)對(duì)比圖11 和圖12 的紅框區(qū)域可知，LMD-Net 網(wǎng)絡(luò)能有效降低分割噪聲，其誤檢率更低。由于SegNet 網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，其分割預(yù)測(cè)圖破碎最嚴(yán)重。U-Net 與SegNet 相比，整體效果有所提升，但對(duì)于小型建筑物仍存在背景誤分。而針對(duì)輕型的ENet 與ESFnet 網(wǎng)絡(luò)，ESFnet 網(wǎng)絡(luò)沒(méi)有完整的建筑物邊界，嚴(yán)重缺失邊緣細(xì)節(jié)信息，ENet 雖能保持良好邊緣信息，但仍會(huì)將毗鄰的建筑物粘連在一起。而基礎(chǔ)模型ResUNet 雖能有所提升分割性能，但小型建筑物的多檢、錯(cuò)檢及大型建筑物的漏檢現(xiàn)象明顯存在，而本文所提的LMD-Net 網(wǎng)絡(luò)，能進(jìn)一步增強(qiáng)建筑物邊緣檢測(cè)能力和降低建筑物分割的錯(cuò)誤率，但依然有提升的空間。

4 結(jié) 論

針對(duì)傳統(tǒng)建筑物提取方法存在參數(shù)量大、計(jì)算量大以及遙感影像建筑物形狀多樣導(dǎo)致分割存在粘連現(xiàn)象，提出一種輕型多尺度差異網(wǎng)絡(luò)LMD-Net 網(wǎng)絡(luò)模型，其通過(guò)編解碼結(jié)構(gòu)的功能差異性引入輕型差異網(wǎng)絡(luò)，實(shí)現(xiàn)模型輕便化的同時(shí)增強(qiáng)模型語(yǔ)義表達(dá)能力。在此基礎(chǔ)上，在編碼器第三層和解碼器第二層融入多尺度感知模塊，增強(qiáng)模型聚合多尺度信息的能力，最后，引入雙融合機(jī)制進(jìn)一步增強(qiáng)特征恢復(fù)網(wǎng)絡(luò)的性能。

通過(guò)在航空建筑物影像WHU數(shù)據(jù)集上實(shí)驗(yàn)驗(yàn)證，所提模型在精度指標(biāo)交并比值達(dá)到87.26%，準(zhǔn)確率達(dá)到91.76%，召回率為91.04%，Dice 系數(shù)是91.38%，且參數(shù)量及計(jì)算量均大幅度得到提升，表明，LMD-Net模型相較其余模型在性能及效率兩方面具有更高的可行性。

在后續(xù)研究中，在保證模型輕量化的前提下，進(jìn)一步提升網(wǎng)絡(luò)對(duì)前景像素的正確捕捉能力，從而能提取到更連續(xù)的建筑物區(qū)域和清晰的建筑物邊緣部分。