級(jí)聯(lián)融合邊緣特征的高分辨率遙感影像道路提取

李佳優(yōu) 董琰 郭俊 陳蕓芝

摘 要：針對(duì)進(jìn)行高分辨率遙感影像道路提取時(shí)常出現(xiàn)的識(shí)別錯(cuò)誤和提取結(jié)果斷裂等問(wèn)題，提出一種級(jí)聯(lián)融合邊緣特征和語(yǔ)義特征的ACEResUNet多任務(wù)融合模型。該模型通過(guò)邊緣檢測(cè)任務(wù)進(jìn)行道路邊緣特征自動(dòng)化提取，將其與改進(jìn)的ResUNet模型對(duì)應(yīng)的卷積單元進(jìn)行特征級(jí)聯(lián)融合，為語(yǔ)義分割道路訓(xùn)練提供更多的決策依據(jù)，提升道路提取結(jié)果的連通性。通過(guò)在各模型特征提取單元中引入交叉壓縮注意力模塊，提升模型的特征提取能力，并在改進(jìn)的ResUNet模型的編解碼器之間添加全局多尺度特征融合模塊，獲取不同尺度目標(biāo)地物的全文特征信息，以提升道路最終提取結(jié)果的完整性。在DeepGlobe道路數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型的道路提取精確率和交并比分別達(dá)到了0.798和0.661，相較于VNet和ResUNet等經(jīng)典模型均有提升。

關(guān)鍵詞：道路提??；模型融合；多任務(wù)；高分辨率遙感影像；邊緣檢測(cè)

中圖分類號(hào)：P237

文獻(xiàn)標(biāo)志碼：A

近年來(lái)，隨著高分辨率遙感影像的不斷發(fā)展，其逐漸被廣泛應(yīng)用于地物提取、國(guó)土資源調(diào)查、變化檢測(cè)和災(zāi)害評(píng)估等多個(gè)領(lǐng)域［1］。在進(jìn)行高分辨率遙感影像道路提取時(shí)，由于光譜信息混淆及樹(shù)木等障礙物對(duì)道路的遮擋等問(wèn)題使道路提取結(jié)果經(jīng)常出現(xiàn)漏提、斷裂現(xiàn)象。因此，如何在眾多復(fù)雜背景信息的干擾下，將道路有效、完整、準(zhǔn)確地提取出來(lái)成為目前的研究重點(diǎn)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（convolutional netural network，CNN）［2］因其能獲得不同層次的特征結(jié)構(gòu)，并從復(fù)雜抽象的特征中進(jìn)行自動(dòng)化分析與處理，使其在影像信息處理方面獲得廣泛的應(yīng)用。如劉笑等［3］應(yīng)用全卷積網(wǎng)絡(luò)進(jìn)行遙感影像道路提取，實(shí)現(xiàn)了端對(duì)端的訓(xùn)練。RONNEBERGER等［4］提出了U-Net模型，實(shí)現(xiàn)了多層特征壓縮提取和由深到淺的逐步特征恢復(fù)以進(jìn)行目標(biāo)特征輸出。在此基礎(chǔ)上，結(jié)合殘差學(xué)習(xí)［5］的思想，ZHANG等［6］提出了ResUNet模型，使得提取結(jié)果的召回率提升。李智等［7］則利用深度殘差模型進(jìn)行醫(yī)學(xué)圖像的特征信息提取。孫若釩等［8］在SqueezeNet［9］中引入殘差網(wǎng)絡(luò)，在提升準(zhǔn)確率的同時(shí)壓縮了參數(shù)，提高了整體效率。ABDOLLAHI等［10］引入一種新的卷積神經(jīng)網(wǎng)絡(luò)VNet進(jìn)行道路提取，該網(wǎng)絡(luò)結(jié)合殘差網(wǎng)絡(luò)和5×5卷積來(lái)提升模型的性能。陳振等［11］提出DAFCRes-UNet模型，通過(guò)增加輕量級(jí)的雙注意力和特征補(bǔ)償模塊實(shí)現(xiàn)模型在性能和時(shí)空復(fù)雜度上的平衡。ZHOU等［12］在LinkNet［13］模型的基礎(chǔ)上添加了膨脹卷積［14］，通過(guò)級(jí)聯(lián)和并行2種模式的膨脹卷積來(lái)增加模型的感受野，提高模型對(duì)道路細(xì)節(jié)特征的表示能力。但隨著單一模型的不斷改進(jìn)，結(jié)構(gòu)變得愈發(fā)復(fù)雜，常需要耗費(fèi)大量的計(jì)算，且泛化能力較差，因此多任務(wù)學(xué)習(xí)［15］的思想被人們廣泛關(guān)注。如陳嘉浩等［16］通過(guò)融合級(jí)聯(lián)全連接條件隨機(jī)場(chǎng)（fully connected conditional random fields，CRFs）和UNet模型進(jìn)行遙感影像建筑物提取，提升模型對(duì)建筑物邊界的分割能力。劉韻婷等［17］將ResNet和DenseNet網(wǎng)絡(luò)模型進(jìn)行融合搭建的RSDC-Net網(wǎng)絡(luò)模型，提高了網(wǎng)絡(luò)的泛化和感知能力。

地物的邊緣特征可以為圖像分割模型提供更多的決策依據(jù)，提升模型的分割精度。如尹昊等［18］提出EFFNet模型將分別提取的邊緣特征和語(yǔ)義特征進(jìn)行多尺度分級(jí)融合，以獲取兼有較高的類間區(qū)分性和類內(nèi)一致性的特征向量。赫曉慧等［19］提出VAF-Net模型，通過(guò)自適應(yīng)加權(quán)方式進(jìn)行邊緣特征融合，增強(qiáng)語(yǔ)義分割，彌補(bǔ)了細(xì)節(jié)特征，實(shí)現(xiàn)邊緣特征和語(yǔ)義特征的有效聯(lián)合。

基于以上分析，本文提出級(jí)聯(lián)融合邊緣特征和語(yǔ)義特征的ACEResUNet多任務(wù)融合模型。該模型以邊緣檢測(cè)模型和改進(jìn)的ResUNet網(wǎng)絡(luò)模型進(jìn)行多任務(wù)模型融合，用于在背景信息復(fù)雜的高分辨率遙感影像上進(jìn)行道路提取。

1 ACEResUNet多任務(wù)融合模型

ACEResUNet模型由道路邊緣檢測(cè)和道路提取2個(gè)相互獨(dú)立的任務(wù)模型構(gòu)成，其通過(guò)邊緣檢測(cè)模型對(duì)輸入影像進(jìn)行道路邊緣特征自動(dòng)化提取，并將其不同層級(jí)的邊緣特征與改進(jìn)的ResUNet模型的下采樣模塊中對(duì)應(yīng)的改進(jìn)殘差卷積單元進(jìn)行特征融合，以增強(qiáng)語(yǔ)義分割訓(xùn)練效果，提升道路提取結(jié)果的連通性，充分實(shí)現(xiàn)不同特征的優(yōu)勢(shì)互補(bǔ)。ACEResUNet模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

由圖1可知：邊緣檢測(cè)模型（圖1下）由4層邊緣特征提取單元分別進(jìn)行不同層級(jí)不同尺寸的邊緣特征圖提取，并輸出傳入對(duì)應(yīng)的改進(jìn)的殘差卷積單元。改進(jìn)的ResUNet模型（圖1上）為編解碼結(jié)構(gòu)，編碼器通過(guò)特征初提部分和4層改進(jìn)殘差卷積單元進(jìn)行特征提取和特征圖壓縮，編解碼器之間通過(guò)全局多尺度特征融合模塊來(lái)聚合多尺度的深層特征以獲取全局特征信息，解碼器由4層改進(jìn)殘差卷積單元和上采樣層對(duì)編碼器生成的特征圖進(jìn)行特征融合和還原，最后通過(guò)輸出層完成道路提取。由于不同層級(jí)特征的空間維度不同，且低、高層不同特征所代表的語(yǔ)義信息不同，故需將其與改進(jìn)的ResUNet模型編碼器中相同空間維度的卷積單元由低到高進(jìn)行對(duì)應(yīng)層級(jí)特征融合。

1.1 邊緣特征提取單元

相較于傳統(tǒng)的sobel［20］、canny［21］算子等邊緣檢測(cè)算法，卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)單一目標(biāo)進(jìn)行邊緣檢測(cè)，同時(shí)提取多層次邊緣特征，具有精度高、邊緣特征連續(xù)性強(qiáng)和抗干擾性強(qiáng)等特點(diǎn)。

因此本文基于豐富的卷積特征（richer convolutional features，RCF）［22］邊緣檢測(cè)模型的卷積特征單元，通過(guò)添加交叉壓縮注意力（cross squeeze attention，CSA）模塊來(lái)構(gòu)建邊緣特征提取單元，其具有更高性能的特征提取能力，結(jié)構(gòu)如圖2所示：

由圖2可知：特征圖傳入邊緣特征提取單元后，通過(guò)雙卷積層初步獲取邊緣特征信息，在經(jīng)過(guò)一維卷積后通過(guò)CSA模塊充分學(xué)習(xí)重要的道路邊緣特征并進(jìn)行特征融合，最后通過(guò)一維卷積進(jìn)行特征圖融合，實(shí)現(xiàn)邊緣特征的精細(xì)化提取。

1.2 交叉壓縮注意力模塊

ACEResUNet模型進(jìn)行訓(xùn)練時(shí)其特征圖具有豐富的通道特征信息，注意力機(jī)制［23］可以為其不同維度的特征賦予權(quán)重，使模型在訓(xùn)練中更加關(guān)注重要特征，提升模型的計(jì)算效率和精度。SE注意力模塊（Squeeze-and-Excation Module）［24］是一種即插即用的通道注意力，其提升了模型對(duì)于權(quán)重較高的通道特征的感應(yīng)。但是SE注意力模塊是通過(guò)單一的全局均值池化方式進(jìn)行特征壓縮，對(duì)于某些有效區(qū)域占比很小的特征圖進(jìn)行壓縮時(shí)會(huì)產(chǎn)生較大的誤差。因此，本文基于SE模塊的實(shí)現(xiàn)原理，設(shè)計(jì)了CSA模塊，以提升模型對(duì)不同壓縮方式的通道維度特征感應(yīng)，其結(jié)構(gòu)如圖3所示。

由圖3可知：CSA模塊采用全局均值池化和全局最大池化并行的雙池化方式，通過(guò)對(duì)稱的2條通路進(jìn)行空間維度特征壓縮，從而得到2個(gè)通道特征向量。利用一維卷積將2個(gè)通道特征向量進(jìn)行擴(kuò)通道特征交互并進(jìn)行切分，充分保留不同池化方式的有效特征。切分后，通過(guò)一維卷積和Sigmoid函數(shù)進(jìn)行通道維度權(quán)重賦予，將2個(gè)通道權(quán)重向量與輸入特征圖依次進(jìn)行擴(kuò)維矩陣相乘，最后將調(diào)整通道特征權(quán)值后的特征圖與初始特征圖進(jìn)行殘差融合，有效避免出現(xiàn)特征退化現(xiàn)象。

1.3 改進(jìn)殘差卷積單元

ResUNet模型通過(guò)將UNet模型中的卷積單元替換為殘差卷積單元，解決了當(dāng)模型層數(shù)較深時(shí)會(huì)出現(xiàn)的特征損失問(wèn)題。為進(jìn)一步提升模型的性能，本文在殘差卷積單元的基礎(chǔ)上引入CSA模塊，形成改進(jìn)殘差卷積單元以提升模型特征提取能力，其結(jié)構(gòu)如圖4所示。

由圖4可知：特征圖在經(jīng)過(guò)CSA模塊后充分學(xué)習(xí)道路的通道分布特征，并與初始特征圖進(jìn)行映射跳轉(zhuǎn)連接。在提升卷積單元特征提取性能的同時(shí)，有效避免深層網(wǎng)絡(luò)退化的問(wèn)題。

1.4 全局多尺度特征融合模塊

膨脹卷積［14］是一種卷積運(yùn)算，通過(guò)在參與卷積計(jì)算的元素之間忽略一些空間元素，從而擴(kuò)大卷積核感受野的同時(shí)有效減少特征圖的分辨率損失。

特征圖在經(jīng)過(guò)多次下采樣后分辨率會(huì)大幅降低，此時(shí)需識(shí)別的目標(biāo)地物在特征圖中可能僅為1個(gè)像素所表示，若再次進(jìn)行特征圖壓縮則可能丟失目標(biāo)地物特征，無(wú)法通過(guò)上采樣操作進(jìn)行還原。因此本文基于金字塔表達(dá)［25］的思想，在改進(jìn)的ResUNet模型編解碼器之間構(gòu)建一個(gè)全局多尺度特征融合模塊，其結(jié)構(gòu)如圖5所示。

由圖5可知：全局多尺度特征融合模塊對(duì)特征圖采用1、2和4的擴(kuò)張率（r）依次序進(jìn)行膨脹卷積特征提取，并通過(guò)疊加融合的方式依次進(jìn)行多尺度特征融合，從而獲取多尺度的全局特征。相較于傳統(tǒng)金字塔表達(dá)的并行膨脹卷積方式，全局多尺度特征融合模塊可以讓不同擴(kuò)張率的膨脹卷積層實(shí)現(xiàn)特征交互，更好地實(shí)現(xiàn)全局多尺度的特征融合，捕捉上下文全局信息。

2 實(shí)驗(yàn)數(shù)據(jù)和評(píng)價(jià)指標(biāo)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

DeepGlobe道路數(shù)據(jù)集［26］是2018 年DeepGlobe道路提取挑戰(zhàn)賽提出的一套高分辨率遙感影像道路數(shù)據(jù)集，影像大小為1 024×1 024 像素，空間分辨率為0.5 m。本文從帶有標(biāo)簽的影像中隨機(jī)選擇500 張影像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中將每張影像按256×256 像素進(jìn)行裁剪，在剔除部分無(wú)道路和標(biāo)注錯(cuò)誤的影像后進(jìn)行隨機(jī)篩選，共得到5 000 張道路影像及其對(duì)應(yīng)的標(biāo)簽；將數(shù)據(jù)集按7 ∶2 ∶1分為訓(xùn)練集、測(cè)試集和驗(yàn)證集后得到3 500 張訓(xùn)練影像、1 000 張測(cè)試影像和500 張驗(yàn)證影像。

2.2 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

本實(shí)驗(yàn)采用Window10操作系統(tǒng)，在GPU NVIDA RTX2080 SUPER（8 GiB）上進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。本文采用的深度學(xué)習(xí)框架為Keras2.4，在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中采用Adam作為模型訓(xùn)練的優(yōu)化器，batchsize大小設(shè)置為4，初始學(xué)習(xí)率設(shè)置為0.000 1，學(xué)習(xí)率共進(jìn)行4 次遞減，每次遞減為原學(xué)習(xí)率的二分之一，訓(xùn)練迭代次數(shù)為100 次。

2.3 評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)采用交并比I（IoU）、召回率R、精確率P、F1指數(shù)F1和景觀破碎度指數(shù)Fg來(lái)進(jìn)行模型精度評(píng)價(jià)。其中：交并比、召回率、精確率和F1指數(shù)為精度評(píng)價(jià)指標(biāo)，用于評(píng)價(jià)模型的提取精度；景觀破碎度指數(shù)是表征景觀被分割的破碎程度，用于評(píng)價(jià)道路提取結(jié)果的連通性。各精度評(píng)價(jià)指標(biāo)的定義如下所示：

I=TT+FP+FN（1）

R=TT+FN（2）

P=TT+FP（3）

F1=2×P×RP+R（4）

Fg=NA（5）

式中：T為正確分類樣本的數(shù)量；FP 為負(fù)樣本被誤分為正樣本的數(shù)量；FN為正樣本被誤分為負(fù)樣本的數(shù)量；N為提取的道路斑塊數(shù)；A為提取的道路的總像素?cái)?shù)。

2.4 損失函數(shù)

2.4.1 邊緣檢測(cè)模型損失函數(shù)

邊緣檢測(cè)損失函數(shù)采用二分類交叉熵?fù)p失，由于邊緣像素在全部像素中所占比例較少，因此引入平衡權(quán)重β自動(dòng)平衡正負(fù)樣本之間的損失。其定義如下：

Loss（W，w）=－β∑j∈Y+logE（yj=1|X;W，w）－

（1－β）∑j∈Y+logE（yj=0|X;W，w）（6）

式中：β為平衡邊緣檢測(cè)的正負(fù)樣本不均衡的類別平衡權(quán)值，β=|Y_|/|Y|，|Y|為全部像素的個(gè)數(shù)， |Y_|為邊緣像素的個(gè)數(shù)；|Y+|為非邊緣像素的個(gè)數(shù)；E為預(yù)測(cè)的邊緣值 ；X為像素點(diǎn)的個(gè)數(shù)；W為模型總體參數(shù)值 ；w為當(dāng)前層級(jí)的參數(shù)值 。

2.4.2 改進(jìn)的ResUNet模型損失函數(shù)

本文在道路提取語(yǔ)義分割網(wǎng)絡(luò)采用二分類交叉熵?fù)p失和交并比差值相加的和作為最終損失函數(shù)。其定義如下：

Loss=－1S∑Si=1yi·logPi+（1-yi）·log（1-Pi）+1-I（7）

式中：S為輸出影像的大??；Pi為模型預(yù)測(cè)樣本是正例的概率；yi為樣本標(biāo)簽。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證ACEResUNet模型中各個(gè)模塊的效果，本文使用2.3節(jié)中的評(píng)價(jià)指標(biāo)在DeepGlobe道路數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，其中Base模型為ResUNet模型，分別與CSA模塊、全局多尺度特征融合（global multi-scale feature fusion， GMFF）模塊、邊緣特征結(jié)合進(jìn)行訓(xùn)練。消融實(shí)驗(yàn)結(jié)果見(jiàn)表1。

從表1可知：CSA模塊、GMFF模塊和邊緣特征的引入均對(duì)提取精度有不同程度的提升，其中CSA模塊和邊緣特征的引入使得景觀破碎度指數(shù)均出現(xiàn)較大程度的減??；實(shí)驗(yàn)2的結(jié)果顯示CSA模塊的引入使得IoU指數(shù)出現(xiàn)明顯提升；實(shí)驗(yàn)4的結(jié)果顯示邊緣特征的引入有效地降低了景觀破碎度指數(shù)，充分說(shuō)明邊緣特征的引入可以有效提升道路提取結(jié)果的連通性；實(shí)驗(yàn)5的結(jié)果顯示ACERes-UNet模型整體精度最高、景觀破碎度指數(shù)最低，說(shuō)明各模塊的結(jié)合可以有效提升模型的最終性能。

3.2 各模型訓(xùn)練損失曲線分析

為驗(yàn)證模型的性能，本文在DeepGlobe道路數(shù)據(jù)集上以相同的實(shí)驗(yàn)條件分別對(duì)UNet、ResUNet、VNet［10］、DAFCResUNet［11］和ACEResUNet模型進(jìn)行訓(xùn)練測(cè)試。圖6是不同模型訓(xùn)練的Loss曲線走勢(shì)圖。

從圖6可知：各個(gè)模型在道路數(shù)據(jù)集上訓(xùn)練的Loss曲線變化趨勢(shì)基本一致，隨著迭代次數(shù)的增加均處于穩(wěn)定收斂狀態(tài)；相較于其他模型，ACERes-UNet模型的Loss最低，模型的擬合效果最好。

3.3 各模型提取結(jié)果對(duì)比

為了更加直觀地展示不同模型道路提取的效果，對(duì)部分道路的提取結(jié)果進(jìn)行對(duì)比，結(jié)果如圖7所示。

圖7顯示：對(duì)區(qū)域a、b的道路提取，當(dāng)?shù)缆分車嬖谙嗨频匚锔蓴_或者道路界限比較模糊時(shí)，ACEResUNet模型可較為完整的提取出道路區(qū)域，其他模型則會(huì)出現(xiàn)不同程度的漏提、斷裂等現(xiàn)象。對(duì)區(qū)域c、d和e的道路提取，在建筑物和樹(shù)木等遮擋物密集的區(qū)域，其他模型的道路提取結(jié)果出現(xiàn)了較為嚴(yán)重的漏提現(xiàn)象，ACEResUNet模型則較為完整地提取出道路區(qū)域，有效提升了道路提取結(jié)果的連通性。

為了更加直觀地驗(yàn)證對(duì)比不同模型的性能，使用評(píng)價(jià)指標(biāo)對(duì)各模型的性能進(jìn)行測(cè)試評(píng)價(jià)，結(jié)果如表2所示。

從表2可知：ACEResUNet模型的IoU、Recall、Precision和F1-score指數(shù)均大于其他模型，相較于UNet模型分別提升了3.7%、6.6%、1.3%和2.6%，相較于ResUNet模型分別提升了2.2%、3.1%、1.4%和1.3%，相較于VNet模型分別提升了0.6%、0.5%、0.2%和0.3%，相較于DAFCRes-UNet模型分別提升了0.2%、0.1%、0%和0.1%。ACEResUNet模型的景觀破碎度指數(shù)最小，比其他模型依次下降了90%、79%、69%、56%。

因此，ACEResUNet模型可以在復(fù)雜的背景信息干擾下較完整地提取出道路分布區(qū)域，相較于DAFCResUNet模型，整體精度提升有限，但是景觀破碎度則出現(xiàn)較大幅度的下降，有效地解決了道路提取中漏提、斷裂等問(wèn)題，提升了道路提取結(jié)果的連通性。

4 結(jié)論

1）本文提出了一種適用于高分辨率遙感影像道路提取的ACEResUNet多任務(wù)融合模型，其通過(guò)級(jí)聯(lián)融合邊緣特征和語(yǔ)義特征進(jìn)行道路信息提取。邊緣特征可以有效彌補(bǔ)圖像分割中的邊緣信息，為圖像分割模型提供更多地決策依據(jù)，提升道路提取結(jié)果的連通性，實(shí)現(xiàn)語(yǔ)義特征和邊緣特征的優(yōu)勢(shì)互補(bǔ)，有效解決道路提取中的漏提、斷裂等問(wèn)題。

2）CSA模塊的雙池化的交叉壓縮方式可以最大程度保留有效區(qū)域的特征，使模型更加高效地學(xué)習(xí)不同通道維度的道路特征。全局多尺度特征融合模塊則可以實(shí)現(xiàn)多尺度全局特征的信息交互，捕捉上下文全局信息，提升道路提取結(jié)果的完整性。

3）在DeepGlobe道路數(shù)據(jù)集上的模型測(cè)試結(jié)果表明，ACEResUNet多任務(wù)融合模型提取精度相較于其他模型具有不同程度的提高，有效降低了景觀破碎度指數(shù)，使得道路提取結(jié)果較為完整，較好地完成了道路提取任務(wù)。

參考文獻(xiàn)：

賀浩， 王仕成. 基于Encoder-Decoder網(wǎng)絡(luò)的遙感影像道路提取方法［J］. 測(cè)繪學(xué)報(bào)， 2019， 48（3）： 330-338.

［2］ KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Im-ageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

［3］ 劉笑， 王光輝， 楊化超， 等. 全卷積神經(jīng)網(wǎng)絡(luò)遙感影像道路提取方法［J］. 遙感信息， 2018， 33（1）： 69-75.

［4］ RONNEBERGER O， FISCHER P， BROX T. U-Net： Convolutional networks for biomedical image segmentation［C］//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015： Part Ⅲ. Munich： Springer International Publishing， 2015： 234-241.

［5］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV： IEEE， 2016： 770-778.

［6］ ZHANG Z X， LIU Q J， WANG Y H. Road extraction by deep residual U-Net［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（5）： 749-753.

［7］ 李智， 周旭陽(yáng)， 殷昕旺， 等. 基于深度殘差網(wǎng)絡(luò)的醫(yī)學(xué)圖像魯棒可逆水印算法［J］. 貴州大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 37（3）： 58-68.

［8］ 孫若釩， 高建瓴， 陳婭先. VansNet輕量化卷積神經(jīng)網(wǎng)絡(luò)［J］. 貴州大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 37（2）： 51-56.

［9］ UCAR F， KORKMAZ D. COVIDiagnosis-Net： deep Bayes-SqueezeNet based diagnosis of the coronavirus disease 2019（COVID-19） from X-ray images［J］. Medical Hypotheses， 2020， 140： 109761.1-109761.12.

［10］ABDOLLAHI A， PRADHAN B， ALAMRI A. VNet： an end-to-end fully convolutional neural network for road extraction from high-resolution remote sensing data［J］. IEEE Access， 2020， 8： 179424-179436.

［11］陳振， 陳蕓芝， 吳婷， 等. 面向高分遙感影像道路提取的輕量級(jí)雙注意力和特征補(bǔ)償殘差網(wǎng)絡(luò)模型［J］. 地球信息科學(xué)學(xué)報(bào)， 2022， 24（5）： 949-961.

［12］ZHOU L C， ZHANG C， WU M. D-LinkNet： LinkNet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Salt Lake City： IEEE， 2018： 192-196.

［13］CHAURASIA A， CULURCIELLO E L. Exploiting encoder representations for efficient semantic segmentation［C］// 2017 IEEE Visual Communications and Image Processing （VCIP）. St. Petersburg： IEEE， 2017： 1-4.

［14］ZHANG J， LIN S F， DING L， et al. Multi-scale context aggregation for semantic segmentation of remote sensing images［J］. Remote Sensing， 2020， 12： 701.1-701.16.

［15］邵蔚元， 郭躍飛. 多任務(wù)學(xué)習(xí)及卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別中的應(yīng)用［J］. 計(jì)算機(jī)工程與應(yīng)用，2016， 52（13）： 32-37.

［16］陳嘉浩， 邢漢發(fā)， 陳相龍. 融合級(jí)聯(lián)CRFs和U-Net深度學(xué)習(xí)模型的遙感影像建筑物自動(dòng)提?。跩］. 華南師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 54（1）： 70-78.

［17］劉韻婷， 于清淞， 李紳科， 等. 基于深度學(xué)習(xí)的多模型融合圖像智能檢測(cè)方法研究［J］. 電子測(cè)量技術(shù)， 2021， 44（20）： 168-174.

［18］尹昊， 張承明， 李劍萍， 等. 融合語(yǔ)義特征與邊緣特征的枸杞空間分布提?。跩］. 測(cè)繪科學(xué)， 2022， 47（4）： 111-121.

［19］赫曉慧， 邱芳冰， 程淅杰， 等. 基于邊緣特征融合的高分影像建筑物目標(biāo)檢測(cè)［J］. 計(jì)算機(jī)科學(xué)， 2021， 48（9）： 140-145.

［20］袁春蘭， 熊宗龍， 周雪花， 等. 基于Sobel算子的圖像邊緣檢測(cè)研究［J］. 激光與紅外， 2009， 39（1）： 85-87.

［21］林卉， 趙長(zhǎng)勝， 舒寧. 基于Canny算子的邊緣檢測(cè)及評(píng)價(jià)［J］. 黑龍江工程學(xué)院學(xué)報(bào)， 2003， 17（2）： 3-6.

［22］LIU Y， CHENG M M， HU X W， et al. Richer convolutional features for edge detection［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu： IEEE， 2017： 5872-5881.

［23］張?jiān)剑?程春泉， 楊書(shū)成， 等. 融合雙注意力機(jī)制模型的遙感影像建筑物提?。跩］. 測(cè)繪科學(xué)， 2022， 47（4）： 129-136， 174.

［24］HU J， SHEN L， SUN G. Squeeze-and-Excitation Networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City： IEEE， 2018： 7132-7141.

［25］喬文凡， 慎利， 戴延帥， 等. 聯(lián)合膨脹卷積殘差網(wǎng)絡(luò)和金字塔池化表達(dá)的高分影像建筑物自動(dòng)識(shí)別［J］. 地理與地理信息科學(xué)， 2018， 34（5）： 56-62.

［26］DEMIR I， KOPERSKI K， LINDENBAUM D， et al. DeepGlobe 2018： a challenge to parse the earth through satellite images［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Salt Lake City： IEEE， 2018： 172-181.

（責(zé)任編輯：周曉南）

Road Extraction From High-Resolution Remote Sensing Images

Based on Cascade Fusion of Edge Features

LI Jiayou1，3， DONG Yan2， GUO Jun2， CHEN Yunzhi*1，3

（1.The Academy of Digital China （Fujian）， Fuzhou University， Fuzhou 350108， China; 2. Sinopec Shengli Oilfield Branch，

Dongying 257000， China; 3.National and Local Joint Engineering Research Center for Comprehensive Application of Satellite Space Information Technology， Fuzhou 350108， China）

Abstract：

Aiming at the problems of recognition errors and broken extraction results that often occur in road extraction from high-resolution remote sensing images， this paper proposes a multi-task fusion model of ACEResUNet that cascades edge features and semantic features. The model automatically extracts road edge features through the edge detection task， and fuses it with the convolution unit corresponding to the improved ResUNet model for feature cascade fusion， which provides more decision-making basis for semantic segmentation training and helps to accurately segment the road boundary. By introducing a cross-compression attention module in each model feature extraction unit， the feature extraction capability of the model is improved， and a global multi-scale feature fusion module is added between the encoders and decoders of the improved ResUNet model to obtain the target features of different scales. Also full-text feature information is obtained to improve the integrity of the final road extraction results. The experimental results on the DeepGlobe road dataset show that the road extraction accuracy and intersection ratio of this model reach 0.798 and 0.661， respectively， which are greatly improved compared to classic models such as VNet and ResUNet.

Key words：

road extraction; model fusion; multi-task; high-resolution remote sensing images; edge detection