集成注意力機制和擴張卷積的道路提取模型

王勇，曾祥強

1.中國科學(xué)院地理科學(xué)與資源研究所資源與環(huán)境信息系統(tǒng)國家重點實驗室，北京 100101；2.中國科學(xué)院大學(xué)資源與環(huán)境學(xué)院，北京 100049

0 引 言

道路作為一種基礎(chǔ)性設(shè)施，在數(shù)字城市建設(shè)、公共交通運輸和無人汽車駕駛等領(lǐng)域扮演著重要角色(Zhang等，2018)。隨著遙感數(shù)據(jù)空間分辨率的不斷提高，從高分辨率影像中提取道路成為研究熱點(Wei等，2017)。然而，基于人工的道路矢量化方法不僅提取周期長(Mttyus等，2015)，而且容易受到人的主觀因素影響(Wang等，2015)。因此，亟需一種快速、自動化的遙感影像道路信息提取方法(Guo等，2020)。學(xué)者們在利用遙感影像進行道路提取方面做了大量研究，形成了諸多提取精度不一的方法。這些傳統(tǒng)方法根據(jù)提取任務(wù)不同可分為兩類。第1類是依賴專家知識、道路幾何特征和形狀特征，通過模板匹配(template matching)(Zhang等，2011)、知識驅(qū)動(knowledge-driven)(Treash和Amaratunga，2000)等算法提取道路骨架(Sujatha和Selvathi，2015)。這類方法存在計算復(fù)雜度較高、自動化程度較低等缺點(韓潔 等，2017)。第2類是利用面向?qū)ο?object-oriented)的思想，通過圖分割(graph-based segmentation)(Alshehhi等，2017)、支持向量機(support vector machine,SVM)(Song和Civco，2004)等方法來檢測遙感影像中所有的道路區(qū)域，從而獲取道路信息。這類方法由于受到建筑物陰影遮擋、道路灰度變化不均勻等問題，導(dǎo)致存在大量道路斷裂現(xiàn)象，道路信息提取效果不佳(戴激光 等，2020)。

引起廣泛關(guān)注的人工智能(artificial intelligence，AI)、深度學(xué)習(xí)(deep learning，DL)道路提取方法逐漸成為一種快速、自動化的解決方案(Shao等，2021)。通過構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)的DL方法(Simonyan和Zisserman，2015；Shelhamer等，2017；Zhang等，2020)自主地對遙感影像進行編碼，克服了傳統(tǒng)方法(如模板匹配、知識驅(qū)動和面向?qū)ο蟮确椒?中手動選取道路特征信息的缺點。由多個卷積層、激活函數(shù)和池化層互相關(guān)聯(lián)組成的DCNN模型(Lecun等，2015)，根據(jù)輸入的遙感影像數(shù)據(jù)學(xué)習(xí)相關(guān)特征，具有局部感知和參數(shù)共享的優(yōu)點(Krizhevsky等，2017)，廣泛應(yīng)用于各種地物信息提取研究領(lǐng)域。盡管DL具有極強的局部信息提取能力(Cheng等，2017)，但在遙感影像道路提取領(lǐng)域中仍然存在提取精度低、模型訓(xùn)練困難和由于樣本數(shù)目不平衡導(dǎo)致模型訓(xùn)練不穩(wěn)定等問題。為解決上述問題，研究人員提出了不同的DCNN網(wǎng)絡(luò)模型。Zhou等人(2018)采用D-LinkNet網(wǎng)絡(luò)從衛(wèi)星圖像中提取道路，顯著提升了道路提取模型的精度；Zhang等人(2018)利用殘差學(xué)習(xí)單元(residual learning unit，RLU)(He等，2016)解決了端到端DCNN網(wǎng)絡(luò)出現(xiàn)的模型訓(xùn)練困難問題，降低了模型訓(xùn)練的復(fù)雜度。Lian和Huang(2020)使用一種加權(quán)的交叉熵損失函數(shù)訓(xùn)練模型，減輕了道路提取任務(wù)中樣本不平衡的問題，提升了模型分類的準(zhǔn)確性。

U-Net網(wǎng)絡(luò)(Ronneberger等，2015)作為流行的端到端DCNN模型，利用蘊含豐富信息的淺層特征，在生物醫(yī)學(xué)圖像分割領(lǐng)域表現(xiàn)出較好性能。然而，由于遙感影像中道路區(qū)域存在樹木遮擋以及較為復(fù)雜的背景噪聲(Zhou等，2018)，直接利用U-Net網(wǎng)絡(luò)進行道路提取仍然是一項具有挑戰(zhàn)性的任務(wù)且存在以下問題：1)U-Net網(wǎng)絡(luò)在編碼部分使用連續(xù)的卷積提取道路特征，盡管具有較強的局部信息提取能力，但是較深的卷積神經(jīng)網(wǎng)絡(luò)容易阻礙模型訓(xùn)練，造成性能退化等問題(Gao等，2019)。2)U-Net網(wǎng)絡(luò)使用4次最大池化(max-pooling)進行下采樣來聚合卷積提取的特征，有效減小了模型的計算量(Guo等，2020)，增大了特征的感受野(receptive filed, RF)，但在面臨具有較大RF的特征時，標(biāo)準(zhǔn)的卷積僅能提取局部特征，未能考慮更大范圍的道路信息。3)U-Net網(wǎng)絡(luò)使用跳躍連接(skip-connection)操作，盡管加強了對淺層特征的利用程度，但這種直接復(fù)制的方式忽視了蘊含的道路信息在空間和通道維度上的分布情況，限制了模型的分割能力。

針對存在的問題，本文提出一種基于RLU并結(jié)合擴張卷積單元(dilated convolutional unit，DCU)(Yu和Koltun，2016)和卷積注意力模塊(convolutional block attention module，CBAM)(Woo等，2018)的聚合網(wǎng)絡(luò)模型A&D-UNet(attention and DCU-UNet)進行道路提取。該模型在編碼部分使用RLU來提高模型的訓(xùn)練速度，降低深層網(wǎng)絡(luò)引起的模型退化問題；DCU在不損失特征空間分辨率以及不增加模型參數(shù)的情況下，接受更大范圍的RF，進一步整合道路特征的細節(jié)信息；CBAM沿著淺層特征的通道維度和空間維度，在抑制背景信息的同時，增強道路信息的關(guān)注程度。與現(xiàn)有的道路提取方法相比，集成了CBAM和DCU的A&D-UNet聚合網(wǎng)絡(luò)模型，不僅學(xué)習(xí)到了淺層特征中道路的位置和邊緣信息，而且整合了特征中更大范圍鄰域信息，提高了模型分類的精度，在遙感影像道路提取任務(wù)中取得了較好效果。

1 方 法

1.1 A&D-UNet網(wǎng)絡(luò)模型

A&D-UNet聚合網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖1所示，由編碼器、中心處理器和解碼器3個主要部分組成。編碼器接收輸入的遙感影像數(shù)據(jù)，利用RLU學(xué)習(xí)道路特征，并采用最大池化(max-pooling)下采樣的方式減小特征維度。經(jīng)過連續(xù)的卷積和池化操作，編碼器共提取4個含有道路邊緣、位置和空間信息的淺層特征(圖1)。中心處理器采用3個連續(xù)的擴張卷積，整合道路特征的鄰域信息。解碼器一方面通過CBAM加強對淺層特征中道路信息的關(guān)注程度，另一方面利用轉(zhuǎn)置卷積上采樣的處理方式，恢復(fù)提取道路的細節(jié)，最后輸出與輸入遙感影像具有相同空間分辨率的提取結(jié)果。該模型充分利用殘差學(xué)習(xí)、擴張卷積和注意力機制的優(yōu)點，分別簡化模型的訓(xùn)練過程、獲取更多的道路信息以及提高淺層特征的利用程度。RLU作為主干特征提取網(wǎng)絡(luò)的組成單元，避免了DCNN引起的模型訓(xùn)練困難和性能退化等問題，提升了A&D-UNet網(wǎng)絡(luò)的學(xué)習(xí)能力。DCU充分利用該模型第4次下采樣后的道路特征，通過連續(xù)但不同的擴張卷積考慮其中的上下文信息，有效整合了特征的領(lǐng)域信息。CBAM以加權(quán)賦值的形式，提高對淺層特征中道路空間信息的關(guān)注程度，減少背景噪聲信息的干擾，有效提高了道路提取模型的精度。

圖1 A&D-UNet網(wǎng)絡(luò)模型結(jié)構(gòu)

1.1.1 殘差學(xué)習(xí)單元

經(jīng)典U-Net網(wǎng)絡(luò)在編碼部分使用兩次連續(xù)的3×3卷積和線性整流激活函數(shù)(rectified linear unit，ReLU)提取目標(biāo)特征，結(jié)構(gòu)如圖2(a)所示。然而，隨著卷積層數(shù)的增加，經(jīng)典U-Net網(wǎng)絡(luò)容易出現(xiàn)阻礙模型訓(xùn)練的現(xiàn)象。為解決此類問題，本文模型采用圖2(b)所示的殘差學(xué)習(xí)單元(RLU)，通過恒等映射(identity mapping, IM)機制和批量歸一化(batch normalization, BN)(Ioffe和Szegedy，2015)操作，不僅降低了模型訓(xùn)練的復(fù)雜度，同時提高了模型訓(xùn)練的速度。

圖2 經(jīng)典卷積與殘差學(xué)習(xí)單元區(qū)別

1.1.2 擴張卷積單元

如圖3所示，標(biāo)準(zhǔn)的卷積僅能感受3 × 3范圍的局部信息(圖中藍色區(qū)域)。但本文模型采用圖3(b)所示的擴張卷積，在不增加網(wǎng)絡(luò)模型參數(shù)的基礎(chǔ)上，通過增加擴張率的方式擴大了卷積核之間的間隔，從而可以感受7 × 7更大范圍的特征信息，有效整合了道路的領(lǐng)域信息。

圖3 標(biāo)準(zhǔn)卷積和擴張卷積示意圖

為充分利用第4次下采樣后的道路特征信息，本文提出的A&D-UNet網(wǎng)絡(luò)中心部分使用擴張卷積單元(DCU)。如圖4所示，DCU在通過串聯(lián)方式提取特征的基礎(chǔ)上，以并聯(lián)相加的操作進行特征融合，完成道路信息的整合。此外，使用3個連續(xù)擴張率(1、2、3)的擴張卷積，避免了特征提取過程中出現(xiàn)的特征遺漏現(xiàn)象。

圖4 DCU結(jié)構(gòu)

1.1.3 卷積注意力模塊

卷積神經(jīng)網(wǎng)絡(luò)雖然具有很強的局部信息提取能力，但對整體特征分布情況的獲取能力相對較弱。計算機視覺領(lǐng)域的注意力機制通過自主學(xué)習(xí)的形式獲取每個特征的重要信息，忽略其他無關(guān)的特征信息，重點關(guān)注道路整體特征的分布情況，提高了模型的預(yù)測能力。

本文采用圖5所示的卷積注意力模塊(CBAM)結(jié)構(gòu)進一步處理淺層特征中的道路信息。CBAM依次在通道維度和空間維度通過分配權(quán)重的形式突出道路特征信息，在抑制背景信息的同時，增強了模型分類預(yù)測的效果。CBAM有兩個主要步驟，首先在通道維度上對淺層特征分別進行全局最大池化(global max-pooling, GMP)和全局平均池化(global average pooling, GAP)，創(chuàng)建兩個1維的特征矢量，并通過全連接層對特征矢量分配權(quán)重，完成通道域上的道路特征信息加強；其次在空間維度上對通道域提取的特征再次進行GMP和GAP壓縮，生成 2維的特征圖，然后利用卷積分配特征權(quán)重，實現(xiàn)空間域的道路特征信息加強。通過上述步驟的處理，提升了A&D-UNet網(wǎng)絡(luò)模型對淺層特征中道路信息的關(guān)注程度。CBAM結(jié)構(gòu)的參數(shù)、內(nèi)部操作和特征維度變化如表1所示。

圖5 CBAM結(jié)構(gòu)

表1 CBAM參數(shù)設(shè)置

1.2 損失函數(shù)

基于U-Net的道路提取模型一般采用二進制交叉熵(binary cross entropy, BCE)損失函數(shù)進行訓(xùn)練。具體為

(1)

式中，Pi為預(yù)測值，Ti為標(biāo)簽值，Pi∈[0,1]，N為一個樣本中像元個數(shù)的總數(shù)，i為其中任意像元，LB為BCE函數(shù)計算的損失值。BCE先通過計算預(yù)測結(jié)果與道路標(biāo)簽之間的損失大小，再應(yīng)用反向傳播的方式更新網(wǎng)絡(luò)模型的參數(shù)。

然而，遙感影像中道路與背景區(qū)域(非道路區(qū)域)的樣本數(shù)量往往是不均衡的。BCE在這種情況下會使模型陷入局部極小值(Milletari等，2016)，并且存在訓(xùn)練不穩(wěn)定的缺點。Dice損失函數(shù)通過比較預(yù)測結(jié)果和標(biāo)簽之間的相似程度，可以很好地解決正負樣本不平衡問題(Lin等，2020)。Dice損失函數(shù)具體計算為

(2)

式中，LD為Dice損失函數(shù)計算的損失值。

由式(1)和式(2)可知，在樣本數(shù)量極度不平衡情況下，BCE損失函數(shù)傾向于學(xué)習(xí)背景區(qū)域，而Dice損失函數(shù)只關(guān)注道路區(qū)域是否正確分類。本文結(jié)合BCE與Dice兩者之間的優(yōu)點，以相加的形式得到復(fù)合損失函數(shù)，提高網(wǎng)絡(luò)在道路樣本較少時的預(yù)測能力。具體為

L=LB+LD

(3)

式中，L為復(fù)合損失函數(shù)計算的損失值。

2 數(shù)據(jù)及結(jié)果

2.1 數(shù)據(jù)

美國馬薩諸塞州道路數(shù)據(jù)集(Massachusetts road dataset, MRDS)由Mnih(2013)創(chuàng)立，因覆蓋范圍廣(劉航和汪西莉，2020)、影像數(shù)據(jù)量大以及數(shù)據(jù)標(biāo)注準(zhǔn)確，得到廣泛使用(Alshehhi等，2017)。該數(shù)據(jù)集共有1 171幅遙感影像，其中含有1 108幅訓(xùn)練影像、14幅驗證影像、49幅測試影像。所有影像尺寸均為1 500 × 1 500像素，由紅、綠、藍3波段組成，空間分辨率為1.2 m。圖6展示了該數(shù)據(jù)集的遙感影像和對應(yīng)的道路標(biāo)簽，標(biāo)簽中道路區(qū)域像素值為1，背景區(qū)域為0。

圖6 MRDS示例

考慮到計算機顯存大小的限制以及該數(shù)據(jù)集中遙感影像存在大量空白區(qū)域，篩選滿足要求的數(shù)據(jù)：1)將每幅遙感影像和對應(yīng)的標(biāo)簽裁剪為256×256像素大?。?)計算裁剪之后標(biāo)簽數(shù)據(jù)的像素個數(shù)之和，保留結(jié)果大于5 000的影像。通過上述數(shù)據(jù)處理步驟后，共得到2 230幅訓(xùn)練影像和161幅測試影像。

遙感影像在輸入模型前，需要進行數(shù)據(jù)歸一化處理，以達到既能加快模型訓(xùn)練速度，又可以提升模型學(xué)習(xí)能力的目的。本文采用最值歸一化，使影像數(shù)據(jù)的像素值標(biāo)準(zhǔn)化至[0,1]范圍。具體為

(4)

式中，x代表歸一化后的像素值，x*表示原始影像的像素值。

2.2 參數(shù)設(shè)置

A&D-UNet聚合網(wǎng)絡(luò)模型基于Windows操作平臺和Pytorch深度學(xué)習(xí)框架設(shè)計，由Adam(Kingma和Ba，2017)優(yōu)化函數(shù)和復(fù)合損失函數(shù)訓(xùn)練。訓(xùn)練的硬件配置是NVIDIA GeForce RTX 2060，設(shè)置超參數(shù)學(xué)習(xí)率(learning rate)為0.000 1，數(shù)據(jù)批大小(batch size)為2。圖7顯示了模型在130個epoch內(nèi)的損失值大小和預(yù)測準(zhǔn)確率的變化情況。可以看出，損失值在逐漸減小，準(zhǔn)確率在逐漸上升，表明模型訓(xùn)練正常。

圖7 模型訓(xùn)練過程中損失值和準(zhǔn)確率

2.3 道路提取結(jié)果

根據(jù)已有的研究成果(Alshehhi等，2017；Lin等，2020)和MRDS的特點，將測試集分為道路線性特征明顯(obvious road-line characteristics，ORLC)、道路標(biāo)簽數(shù)據(jù)不完整(incomplete road label data，IRLD)和道路存在樹木遮擋(road blocked by trees，RBBT)3種情況，每種情況各挑選若干代表性的影像組成ORLC測試集、IRLD測試集和RBBT測試集，以檢測A&D-UNet模型在不同情況下的道路提取效果。

2.3.1 ORLC測試集

圖8展示了在ORLC測試集的道路提取結(jié)果。通過道路影像與真實標(biāo)簽對比可知，該測試集的道路大部分呈現(xiàn)單一線性分布的特點，樹木遮擋較少，道路區(qū)域較明顯。在這種情況下，A&D-UNet聚合網(wǎng)絡(luò)模型能夠有效地考慮道路的幾何特征和線性特征(圖中紅色橢圓圈)，尤其在小面積的弧形道路區(qū)域(圖中綠色橢圓圈)，表現(xiàn)出較好的道路提取效果。本文方法充分考慮了道路的連通性，較為完整地提取了道路信息。

圖8 ORLC測試集的道路提取結(jié)果

2.3.2 IRLD測試集

圖9是A&D-UNet模型基于IRLD數(shù)據(jù)集的道路提取結(jié)果。由圖中道路影像與真實標(biāo)簽對比可知(圖中紅色橢圓圈)，部分道路存在遺漏標(biāo)記和標(biāo)記不正確的情況。然而，A&D-UNet模型通過大量的道路影像訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)了道路的相關(guān)特征，有效避免了標(biāo)簽錯誤現(xiàn)象(圖9(c))。

圖9 IRLD測試集的道路提取結(jié)果

2.3.3 RBBT測試集

RBBT測試集的道路提取結(jié)果如圖10所示，紅色橢圓圈表示該區(qū)域的道路存在樹木遮擋情況。對比真實標(biāo)簽數(shù)據(jù)和道路提取結(jié)果可知，本文A&D-UNet模型能夠有效提取樹木遮擋區(qū)域的道路，表現(xiàn)出較強的道路提取能力。主要原因是由于A&D-UNet模型通過DCU考慮了更大范圍的道路特征信息，并利用CBAM進一步關(guān)注淺層特征中的道路信息，提高了模型分類預(yù)測的準(zhǔn)確率。

圖10 RBBT測試集的道路提取結(jié)果

對比分析3種不同情況的道路提取結(jié)果可以發(fā)現(xiàn)，A&D-UNet模型在道路線性關(guān)系明顯的情況下，提取的道路最接近道路標(biāo)簽影像。在道路標(biāo)簽不完整、不正確的情況下，能較完整地提取道路區(qū)域。在樹木遮擋情況下，能取得較好的提取結(jié)果?？傮w而言，本文A&D-UNet模型在不同情況下均能取得滿意的道路信息提取結(jié)果。

2.4 模型評估

采用總體精度(overall accuracy，OA)、精確率(precision，P)、召回率(recall，R)、F1分?jǐn)?shù)(F1-score，F(xiàn)1)和交并比(intersection over union, IOU)共5種評價指標(biāo)，綜合評價網(wǎng)絡(luò)模型的道路提取效果。對于圖像分割而言，預(yù)測結(jié)果和實際標(biāo)簽可組成TP(預(yù)測為真，標(biāo)簽為真)、TN(預(yù)測為假，標(biāo)簽為假)、FP(預(yù)測為真，標(biāo)簽為假)、FN(預(yù)測為假，標(biāo)簽為真)4種情況，不同評價指標(biāo)具體計算為

(5)

(6)

(7)

(8)

(9)

OA反映了模型預(yù)測結(jié)果的準(zhǔn)確程度，但由于圖像中含有大量背景區(qū)域，一般采用F1分?jǐn)?shù)和IOU進行綜合評價。F1分?jǐn)?shù)越高，代表模型分類預(yù)測的結(jié)果較好。IOU是道路預(yù)測區(qū)域和真實道路區(qū)域的重合程度，重合程度越高，模型性能越好。

將ORLC、IRLD和RBBT 3種測試集的提取結(jié)果與真實標(biāo)簽分別進行OA、P、R、F1和IOU指標(biāo)評估，定量分析模型道路提取的效果，結(jié)果如表2所示?？梢钥闯觯琌RLC測試集的OA、F1分?jǐn)?shù)和IOU分別為96.47%、83.45%和84.18%，一方面說明A&D-UNet模型能較好地區(qū)分背景區(qū)域，另一方面也表明在道路線性特征明顯、遮擋較少的區(qū)域，能夠高精度地提取道路信息。IRLD測試集的5個評價指標(biāo)均低于其他兩種，主要是由于該測試集下的道路預(yù)測結(jié)果中的道路區(qū)域與真實標(biāo)簽不一致。盡管如此，IRLD測試集的OA、F1分?jǐn)?shù)和IOU分別為95.22%、77.13%和79.13%，說明本文方法能夠有效提取大部分道路區(qū)域。RBBT測試集的評價指標(biāo)高于IRLD測試集，但小于ORLC測試集。其中OA高達95.88%，表明模型能有效提取被樹木遮擋的道路區(qū)域。

表2 不同測試集的評估結(jié)果

2.5 模型對比分析

為全面檢驗A&D-UNet聚合模型的性能，與其他模型進行對比。基于相同的損失函數(shù)和學(xué)習(xí)率，A&D-UNet與經(jīng)典的U-Net、LinkNet和D-LinkNet等3種網(wǎng)絡(luò)模型使用相同的道路數(shù)據(jù)集進行訓(xùn)練學(xué)習(xí)，并使用OA、P、R、F1和IOU等5種評價指標(biāo)進行定量評估。

圖11中的image1、image2和image3分別展示了4種模型在ORLC、IRLD和RBBT這3種情況下的道路提取結(jié)果。如image1所示，4種模型提取的道路結(jié)果干凈整潔，表明U-Net、LinkNet、D-LinkNet和本文模型在遮擋較少、線性關(guān)系明顯的區(qū)域都能有效提取道路。但仔細觀察發(fā)現(xiàn)，U-Net網(wǎng)絡(luò)在線性關(guān)系不明顯區(qū)域，將建筑物錯誤預(yù)測為道路(image1紅色橢圓)，而其他3種模型能夠較好地區(qū)分建筑物。對比image2的真實標(biāo)簽和道路提取結(jié)果可知，本文模型相比于其他3種模型，在真實標(biāo)簽不完整的情況下，能有效避免該情況(圖中綠色橢圓)。另外，從image2的紅色橢圓可以發(fā)現(xiàn)，加入了RLU的LinkNet、D-LinkNet和A&D-UNet提取的道路都比較完整，而U-Net網(wǎng)絡(luò)存在部分遺漏提取的現(xiàn)象。image3的道路提取結(jié)果展示了不同模型在道路遮擋區(qū)域的提取效果。由image3中紅色橢圓可知，加入RLU的LinkNet模型比U-Net模型能提取到更多的道路信息，但也存在道路信息彎曲、遺漏提取的情況。而D-LinkNet和A&D-UNet提取的道路更加筆直，主要原因是擴張卷積單元進一步整合了道路特征的鄰域信息。相比于D-LinkNet模型，A&D-UNet模型通過CBAM充分利用了淺層特征的道路信息，使提取結(jié)果更加完整?？傊?，在道路線性關(guān)系明顯、標(biāo)簽不完整和道路遮擋等不同情況下，相比于U-Net、LinkNet和D-LinkNet 3種模型，A&D-UNet模型提取的道路最為完整、準(zhǔn)確。

圖11 不同模型道路提取結(jié)果

采用評價指標(biāo)定量評估4種模型在3種情況下的道路提取性能，評價結(jié)果如表3所示?？梢钥闯?，U-Net、LinkNet、D-LinkNet和A&D-UNet的OA均在91%以上，表明4種模型都能夠有效區(qū)分道路與背景區(qū)域。在道路遮擋區(qū)域，A&D-UNet的F1分?jǐn)?shù)和IOU為78.51%和79.38%，是4種模型中最高的。A&D-UNet模型中有部分指標(biāo)(image2中的OA和P，image3的P)不如D-LinkNet模型，可能的原因是A&D-UNet模型識別了標(biāo)簽中未標(biāo)注的道路區(qū)域，而這些區(qū)域模型認定為正確的(實際上在標(biāo)簽中不存在，認為是錯誤的)，將事實上正確的信息作為錯誤的信息代入式(5)和式(6)計算，降低了OA和P。盡管如此，A&D-UNet模型的F1分?jǐn)?shù)和IOU為80.58%和80.59%，表明A&D-UNet模型依然具有較好的預(yù)測性能。此外，本文方法的F1分?jǐn)?shù)和IOU在4種模型中表現(xiàn)最優(yōu)，表明本文模型在道路提取領(lǐng)域具有較好的預(yù)測能力。

表3 不同影像的評價結(jié)果

對4種模型在所有測試集上的道路提取結(jié)果進行綜合評估，評價結(jié)果如表4所示。可以看出，相比于經(jīng)典U-Net模型，加入RLU的LinkNet模型通過IM和BN機制有效提升了模型的預(yù)測性能。融合了擴張卷積的D-LinkNet模型在不損失特征信息的基礎(chǔ)上，接收更大范圍的RF，提高了道路提取的精度。A&D-UNet模型由于集成了DCU和CBAM，在測試集上的F1分?jǐn)?shù)和IOU比LinkNet分別提高了5.12%和3.93%。通過對所有測試結(jié)果的定量分析表明，集成了DCU和CBAM的A&D-UNet模型在測試集上的OA(95.27%)、P(76.21%)、R(80.73%)、F1分?jǐn)?shù)(77.96%)和IOU(79.89%)均高于U-Net、LinkNet和D-LinkNet模型，表現(xiàn)出較好的道路提取性能。另外，相比其他模型，盡管A&D-UNet模型的訓(xùn)練時間較長(6.9 h)，但在所有測試集上的平均評價結(jié)果均為最優(yōu)，表明A&D-UNet模型是4種模型中最優(yōu)的道路提取模型。

表4 不同模型的評價結(jié)果

通過不同模型之間的對比分析，本文提出的A&D-UNet道路提取模型具有較好的提取能力。相比于經(jīng)典的U-Net網(wǎng)絡(luò)，A&D-UNet使用RLU作為編碼器的組成單元，在一定程度上減輕了卷積層數(shù)過多而引起的模型退化問題，加快了模型的訓(xùn)練速度。引入的CBAM使模型進一步關(guān)注淺層特征中的道路信息，提升了模型分類預(yù)測的準(zhǔn)確率。通過設(shè)置連續(xù)且不同擴張率的擴張卷積，克服了標(biāo)準(zhǔn)卷積感受區(qū)域較小的缺點，從而考慮了更大的范圍的感受野，進一步整合了道路特征的鄰域信息。

2.6 損失函數(shù)對比

本文采用評價指標(biāo)綜合評估BCE和復(fù)合損失函數(shù)的道路提取效果。如表5所示，兩種損失函數(shù)訓(xùn)練的模型在測試集上的OA都在95%以上，表明均能有效提取道路信息。但是使用BCE與Dice相結(jié)合的復(fù)合損失函數(shù)訓(xùn)練的模型，在測試集上的F1分?jǐn)?shù)和IOU比僅用BCE訓(xùn)練的模型，分別提高了0.26%和0.18%，說明引入的Dice損失函數(shù)能夠處理正負樣本數(shù)目不平衡的現(xiàn)象，從而提升了模型預(yù)測分類的準(zhǔn)確度。

表5 不同損失函數(shù)的評價結(jié)果

2.7 Deep Globe數(shù)據(jù)集驗證實驗

為進一步驗證A&D-UNet模型的泛化能力，選用Deep Globe道路數(shù)據(jù)集(Demir等，2018)進行訓(xùn)練及測試驗證。應(yīng)用與2.1節(jié)相同的數(shù)據(jù)預(yù)處理方式對Deep Globe道路數(shù)據(jù)集進行裁剪、處理和篩選，共得到4 770幅、尺寸為256×256像素的圖像，并按7∶3的比例隨機選取圖像，分別組成訓(xùn)練集和測試集。圖12為經(jīng)典U-Net、LinkNet、D-LinkNet和A&D-UNet網(wǎng)絡(luò)模型在Deep Globe數(shù)據(jù)集上的提取結(jié)果?？梢钥闯觯诙说蕉说?種DCNN網(wǎng)絡(luò)模型在幾何線性特征明顯的道路區(qū)域(圖中綠色橢圓)具有較好的識別效果，能正確提取大部分道路區(qū)域。經(jīng)典U-Net、LinkNet和D-LinkNet在狹窄城市道路、無清晰邊界泥濘道路、面積較大主干道路以及建筑物陰影遮擋道路等情況下(圖中紅色橢圓)，存在部分道路信息遺漏提取的現(xiàn)象。然而，A&D-UNet模型通過CBAM和DCU，可以提取較為完整的道路信息，具有較好的識別性能。在標(biāo)簽未標(biāo)記的部分道路區(qū)域(圖中黃色橢圓)，4種DCNN模型都能夠?qū)Φ缆沸畔⑦M行有效提取，但A&D-UNet模型提取結(jié)果具有更好的視覺效果。

圖12 不同模型在Deep Globe 數(shù)據(jù)集的提取結(jié)果

基于Deep Globe道路數(shù)據(jù)集的道路提取結(jié)果評價指標(biāo)及測試集的評估結(jié)果如表6所示?？梢钥闯?，4種網(wǎng)絡(luò)模型的OA、F1和IOU分別超過92%、69%和73%，表明基于端到端的DCNN模型具有較好的分類預(yù)測性能。同時，A&D-UNet模型在測試集上取得了最高的F1分?jǐn)?shù)(77.06%)和IOU(78.44%)，表現(xiàn)出良好的泛化性能。相比于經(jīng)典U-Net模型，本文構(gòu)建的道路提取模型雖然訓(xùn)練時間耗時相對較長，但F1和IOU分別提高了7.12%和5.51%，說明CBAM和DCU能顯著提高模型的預(yù)測精度。

表6 不同模型在Deep Globe數(shù)據(jù)集上的道路提取評價結(jié)果

3 結(jié) 論

針對遙感影像道路提取方法存在的自動化程度低、精度不高以及由于樣本數(shù)量不平衡導(dǎo)致的模型訓(xùn)練不穩(wěn)定等問題，本文提出一種基于RLU，帶有DCU和CBAM的A&D-UNet聚合網(wǎng)絡(luò)模型，并使用BCE和Dice進行道路信息提取實驗，與經(jīng)典U-Net、LinkNet和D-LinkNet網(wǎng)絡(luò)模型對比分析，得出以下兩點結(jié)論：1)A&D-UNet模型是一個道路信息提取精度較高的聚合網(wǎng)絡(luò)模型。在測試集上的F1分?jǐn)?shù)和IOU評價指標(biāo)分別為77.96%和79.89%，說明該方法能夠有效提取道路信息。與經(jīng)典U-Net網(wǎng)絡(luò)相比，該模型使用RLU減輕了深層卷積網(wǎng)絡(luò)引起的性能退化等問題，采用DCU整合道路特征的細節(jié)信息，利用CBAM加強了淺層信息的利用程度，提高了模型對復(fù)雜場景中道路的提取精度。2)采用BCE和Dice相結(jié)合的復(fù)合損失函數(shù)訓(xùn)練模型，有效減輕了遙感影像中樣本數(shù)量不平衡導(dǎo)致的模型不穩(wěn)定問題，提升了模型分類預(yù)測的能力。對于其他樣本數(shù)量不平衡的地物分類任務(wù)，具有一定的借鑒意義和適用性。

本文構(gòu)建的A&D-UNet模型相對其他3種模型訓(xùn)練時間較長。如何在保持模型預(yù)測精度和效果的基礎(chǔ)上減少模型的訓(xùn)練時間，優(yōu)化模型計算性能，是下一步的一個重點研究方向。