一種改進(jìn)Unet網(wǎng)絡(luò)的遙感影像分割算法

李嬌嬌，劉志強(qiáng)，宋 銳，李云松

(西安電子科技大學(xué) 綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710071)

語(yǔ)義分割是計(jì)算機(jī)視覺(jué)中的一項(xiàng)基礎(chǔ)技術(shù)，其目的是對(duì)圖像中每個(gè)像素點(diǎn)的目標(biāo)類(lèi)別進(jìn)行預(yù)測(cè)。該技術(shù)在很多具有挑戰(zhàn)性的領(lǐng)域中被廣泛應(yīng)用，如醫(yī)學(xué)影像病灶分析、精準(zhǔn)農(nóng)業(yè)地質(zhì)檢測(cè)、影視面部表情分析、時(shí)尚服裝解析和自動(dòng)駕駛等。

近年來(lái)，研究者們提出了很多基于全卷積網(wǎng)絡(luò)(Fully Convolution Networks，F(xiàn)CN)的語(yǔ)義分割算法[1]。然而，由于遙感影像分割中目標(biāo)具有復(fù)雜的幾何拓?fù)浣Y(jié)構(gòu)以及基于網(wǎng)絡(luò)的分割方法自身感受野有限，在遙感影像語(yǔ)義上下文內(nèi)容建模時(shí)，存在對(duì)邊緣語(yǔ)義信息利用不足的缺陷。為了彌補(bǔ)在語(yǔ)義上下文內(nèi)容建模中的不足，部分研究者在上下文依賴(lài)關(guān)系上進(jìn)行了廣泛且深入探索[2-5]，從而一定程度地改善了算法的分割效果。主要方法可以歸納為兩類(lèi)：一種是采用了金字塔模塊；另一種是從圖像通道或空間方面對(duì)長(zhǎng)距離的依賴(lài)關(guān)系進(jìn)行適應(yīng)性建模。采用金字塔結(jié)構(gòu)主要是利用不同尺度的卷積和池化層來(lái)擴(kuò)大模型的感受野，例如：Deeplab中的空洞空間卷積池化金字塔模塊(Atrous Spatial Pyramid Pooling，ASPP)[2]和PSPNet中的金字塔池化模塊(Pyramid Pooling Module，PPM)[3]。圖像通道或空間建模主要是根據(jù)圖像通道或空間各特征重要程度，增強(qiáng)或者抑制不同的通道或部分空間，例如，EncNet[4]在通道維度學(xué)習(xí)特征圖的權(quán)重以及Non-local[5]模塊利用注意力機(jī)制獲得周邊像素點(diǎn)的上下文信息。雖然這類(lèi)算法在一定程度上獲得了較好的分割結(jié)果，但是無(wú)論是以固定的方式還是以漸進(jìn)式的學(xué)習(xí)方式聚集上下文信息，現(xiàn)有的這類(lèi)算法的上下文內(nèi)容聚合模塊通常都缺乏對(duì)邊緣先驗(yàn)信息的充分利用，造成目標(biāo)區(qū)域的分割結(jié)果具有較大的誤差，即同一分割目標(biāo)被分割為不同對(duì)象，而不同分割目標(biāo)被分割為同一類(lèi)別。

為了解決缺乏明確邊緣先驗(yàn)信息的前提下分割區(qū)域分割結(jié)果誤差較大的問(wèn)題，一些研究者也探索了將多尺度語(yǔ)義信息和上下文內(nèi)容依賴(lài)關(guān)系導(dǎo)入到網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)中。例如，MDCCNet[6]首先在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中融合編碼模塊不同尺度的特征信息，然后通過(guò)捕捉到不同尺度的目標(biāo)邊緣來(lái)自適應(yīng)地將其納入到解碼模塊，提高了分割精度。文獻(xiàn)[7]也提出了一種帶有注意力機(jī)制的編解碼架構(gòu)，利用一種改進(jìn)的殘差模塊用于捕獲邊緣部分的特征信息。盡管這類(lèi)算法考慮了將邊緣信息融入到網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)中，但是從分割的結(jié)果中分析可知，該類(lèi)算法通常計(jì)算復(fù)雜度較高，其邊緣分割的效果依然無(wú)法滿(mǎn)足實(shí)際的應(yīng)用需求。此外，上述方法在很大程度上依賴(lài)于編碼階段邊緣提取的準(zhǔn)確性，因此容易造成邊緣區(qū)域被誤分類(lèi)。

考慮到物體的邊緣區(qū)域容易被誤分類(lèi)，筆者研究了一種邊緣二值化交叉熵?fù)p失函數(shù)用來(lái)改善遙感影像的分割性能。該方法只建模圖像內(nèi)部像素和邊緣之間的依賴(lài)關(guān)系，因此能有效地解決類(lèi)間依賴(lài)和類(lèi)內(nèi)模糊問(wèn)題，使得分割結(jié)果的邊緣更貼近真實(shí)圖像中的目標(biāo)邊緣。筆者在研究中進(jìn)一步注意到，傳統(tǒng)的語(yǔ)義分割后處理模塊將邊緣作為有效信息加入到網(wǎng)絡(luò)中可凸顯分割目標(biāo)邊緣特征。針對(duì)遙感影像語(yǔ)義分割任務(wù)的特點(diǎn)和需求，筆者提出了基于改進(jìn)Unet的端到端的遙感影像語(yǔ)義分割網(wǎng)絡(luò)。文中主要貢獻(xiàn)總結(jié)如下：

(1)為了充分利用遙感影像中邊緣特征，設(shè)計(jì)了簡(jiǎn)單高效的邊緣提取模塊。通過(guò)主干網(wǎng)絡(luò)中各層語(yǔ)義特征信息與Canny分支直接提取的影像邊緣信息融合來(lái)提高網(wǎng)絡(luò)對(duì)邊緣的學(xué)習(xí)能力。

(2)在邊緣提取模塊的基礎(chǔ)上，設(shè)計(jì)了邊緣引導(dǎo)上下文聚合模塊，有效捕捉全局信息，增強(qiáng)網(wǎng)絡(luò)在分割對(duì)象上類(lèi)內(nèi)的一致性。

(3)在邊緣提取模塊的基礎(chǔ)上，設(shè)計(jì)了二值化交叉熵?fù)p失函數(shù)，在網(wǎng)絡(luò)編碼階段進(jìn)一步約束了遙感影像邊緣，提高了網(wǎng)絡(luò)對(duì)邊緣特征信息的感知能力。

1 相關(guān)研究工作

1.1 語(yǔ)義分割網(wǎng)絡(luò)

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)的方法在語(yǔ)義分割領(lǐng)域占據(jù)主導(dǎo)地位。通過(guò)用卷積層取代全連接層的全卷積網(wǎng)絡(luò)(FCN)[1]開(kāi)創(chuàng)了CNN在語(yǔ)義分割中應(yīng)用的先河。最近，許多研究集中在捕捉更豐富的上下文信息以增強(qiáng)特征表示，其中多尺度的金字塔模塊[2]對(duì)性能有很大的提升。例如，文獻(xiàn)[8]研究了PSPNet中的PPM來(lái)聚合不同尺度的上下文信息，而文獻(xiàn)[2]則研究了ASPP模塊來(lái)聚合不同尺度的上下文信息。此外，為了克服卷積核固定大小的限制，一些基于全局池化的方法[9-10]和基于圖卷積的方法[11-12]被引入網(wǎng)絡(luò)結(jié)構(gòu)以感知全局環(huán)境。為了克服標(biāo)記的訓(xùn)練數(shù)據(jù)的限制，文獻(xiàn)[13]研究了一種半監(jiān)督的方法并獲得了比較先進(jìn)的結(jié)果。筆者的研究也利用了上下文信息，但將邊緣作為更有效且明確的約束。

1.2 語(yǔ)義分割中的邊緣信息

邊緣作為圖像中的重要元素在計(jì)算機(jī)視覺(jué)各類(lèi)任務(wù)中一直受到廣泛的關(guān)注。在早期基于FCN的語(yǔ)義分割研究中，文獻(xiàn)[14-17]利用邊緣信息導(dǎo)入網(wǎng)絡(luò)架構(gòu)末端，以此來(lái)提高分割精度。近年來(lái)，一些研究者正開(kāi)始明確地將邊緣檢測(cè)建模為一個(gè)獨(dú)立的子任務(wù)，該子任務(wù)與分割主任務(wù)并行。例如，文獻(xiàn)[13]和文獻(xiàn)[14]在分割網(wǎng)絡(luò)架構(gòu)中專(zhuān)門(mén)設(shè)計(jì)了一個(gè)邊緣分支，將邊緣和語(yǔ)義建模這兩個(gè)任務(wù)結(jié)合起來(lái)。文獻(xiàn)[17]提出，物體邊緣和目標(biāo)本體對(duì)應(yīng)于圖像的高頻和低頻信息。在此基礎(chǔ)上，他們對(duì)目標(biāo)本體和邊緣進(jìn)行了解耦。與此同時(shí)，目標(biāo)本體和邊緣有不同的監(jiān)督。文獻(xiàn)[18]研究了邊緣感知特征傳播模塊(Boundary aware Feature Propagation，BFP)來(lái)傳播物體內(nèi)部像素之間的信息。邊緣感知特征傳播模塊在物體的內(nèi)部像素中傳播信息。然而，在BFP中一旦檢測(cè)到邊緣沒(méi)有形成閉環(huán)，整個(gè)特征圖就會(huì)變得過(guò)于平滑。因此，該方法大大降低了類(lèi)間的區(qū)分度。與現(xiàn)有的研究不同，筆者的工作明確地利用邊緣信息進(jìn)行上下文聚合，用于進(jìn)一步提高語(yǔ)義表征。

1.3 語(yǔ)義分割中的注意力機(jī)制

注意力機(jī)制已經(jīng)在深度神經(jīng)網(wǎng)絡(luò)中得到了廣泛而積極的利用。對(duì)于語(yǔ)義分割，文獻(xiàn)[19]提出了一項(xiàng)開(kāi)創(chuàng)性的工作，利用注意力對(duì)多尺度特征進(jìn)行重新加權(quán)。受機(jī)器翻譯中自我注意力模塊的啟發(fā)[20-22]，文獻(xiàn)[4]提出了Non-local模塊，通過(guò)計(jì)算所有位置的像素的相關(guān)矩陣來(lái)捕捉全局依賴(lài)性，并應(yīng)用它來(lái)生成新的特征表示?；贜on-local模塊，許多方法[23-25]被提出用于更精確的語(yǔ)義分割。筆者的邊緣上下文內(nèi)容聚合模塊也受到注意力機(jī)制的啟發(fā)，在此基礎(chǔ)上提出了一個(gè)不同但更有效的網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要關(guān)注邊緣區(qū)域的位置。當(dāng)發(fā)生類(lèi)內(nèi)歧義時(shí)，這種解決方案比以前的方法能更有力地加強(qiáng)類(lèi)內(nèi)的相關(guān)性。

2 邊緣引導(dǎo)內(nèi)容聚合的遙感影像分割算法

筆者所提出的方法明確地將邊緣建模為上下文內(nèi)容，確保同一物體的內(nèi)部像素在上下文聚合后獲得類(lèi)似的增益。如圖1所示，該方法采用了殘差網(wǎng)絡(luò)作為其主干[10]，其原始卷積被空洞卷積所取代以擴(kuò)大感受野。此外，筆者設(shè)計(jì)了多尺度邊緣提取器，將邊緣預(yù)測(cè)作為一個(gè)獨(dú)立的子任務(wù)與主干網(wǎng)絡(luò)特征學(xué)習(xí)一起建模分割過(guò)程。通過(guò)聚合骨干網(wǎng)各階段的不同尺度的特征以捕捉具有不同語(yǔ)義的邊緣信息。利用多尺度邊緣提取模塊提取的語(yǔ)義信息嵌入到邊緣特征中以方便進(jìn)行語(yǔ)義聚合。筆者在語(yǔ)義特征圖中的每個(gè)像素和邊緣特征之間建立關(guān)系以產(chǎn)生一個(gè)注意力圖。該注意力圖中同一類(lèi)別的物體邊緣區(qū)域被高度激活。通過(guò)沿著邊緣聚合語(yǔ)境信息，同一類(lèi)別的像素可以獲得類(lèi)似的收益，從而增強(qiáng)語(yǔ)義的一致性。

圖1 網(wǎng)絡(luò)整體架構(gòu)圖

2.1 邊緣提取模塊

考慮到邊緣特征被用來(lái)引導(dǎo)語(yǔ)義內(nèi)容的聚合過(guò)程，并且它們與主干網(wǎng)絡(luò)相互聯(lián)系，因此邊緣提取模塊直接采用主干殘差網(wǎng)絡(luò)的中間表征作為其輸入。筆者在主干網(wǎng)絡(luò)和邊緣網(wǎng)絡(luò)之間增加了4層連接，以使低級(jí)的特征信息和高級(jí)的語(yǔ)義信息能夠在支干網(wǎng)絡(luò)中流動(dòng)，從而使低層次的細(xì)節(jié)和高層次的語(yǔ)義都能得到充分利用。如圖1所示，來(lái)自主干殘差網(wǎng)絡(luò)每個(gè)階段的最后一個(gè)剩余塊的特征圖先被送入邊緣提取器，然后經(jīng)過(guò)一個(gè)3×3的卷積層以使其通道統(tǒng)一為256。由于邊緣特征與主干殘差網(wǎng)絡(luò)相互流通，因此它們傳達(dá)了語(yǔ)義相關(guān)的信息。為了使邊緣區(qū)域更為突出，多尺度的特征直接受到從分割數(shù)據(jù)集中產(chǎn)生的二元邊緣標(biāo)簽的監(jiān)督。最后，多尺度特征和來(lái)自Canny算子及膨脹數(shù)學(xué)形態(tài)學(xué)操作的邊緣特征通過(guò)拼接操作連接在一起，用于下文中的上下文聚合模塊。

2.2 邊緣引導(dǎo)上下文聚合模塊

筆者利用邊緣自身對(duì)分割的引導(dǎo)能力，將其作為上下文語(yǔ)義來(lái)加強(qiáng)類(lèi)內(nèi)一致性。受Non-local[5]在語(yǔ)義分割中成功建模的啟發(fā)，筆者設(shè)計(jì)了一個(gè)基于注意力的模塊，即邊緣引導(dǎo)上下文聚合模塊，以聚合主干網(wǎng)絡(luò)多尺度語(yǔ)義信息和邊緣提取支干的邊緣信息。與原來(lái)計(jì)算自我注意力的Non-local模塊不同，邊緣特征作為邊緣引導(dǎo)上下文聚合模塊的關(guān)鍵，其使用了具有豐富語(yǔ)義的多尺度特征，并且只有邊緣區(qū)域是突出的。因此，來(lái)自同一物體的像素會(huì)激活相似的注意力區(qū)域，而來(lái)自不同物體的像素則相似度較低。

2.3 分割算法損失函數(shù)

筆者提出的算法主要分為兩個(gè)部分：主干網(wǎng)絡(luò)和邊緣提取支路。主干網(wǎng)絡(luò)主要用來(lái)提取語(yǔ)義信息，邊緣提取網(wǎng)絡(luò)主要提取邊緣信息。對(duì)應(yīng)這兩部分分別設(shè)計(jì)兩個(gè)損失函數(shù)。對(duì)于主干分割網(wǎng)絡(luò)，采用帶權(quán)交叉熵?fù)p失函數(shù)Lseg，可表示為

(1)

(2)

其中，N表示總的像素個(gè)數(shù)；Nc表示標(biāo)注類(lèi)別為c的像素?cái)?shù)；yc是一個(gè)one-hot向量，元素只有0和1兩種取值，如果該類(lèi)別相同就取1，否則取0；Pc表示預(yù)測(cè)樣本屬于c的概率。

對(duì)于邊緣提取分支，采用二值化交叉熵?fù)p失函數(shù)Ledge，可表示為

(3)

L=λ1Lseg+λ2Ledge。

(4)

由于訓(xùn)練過(guò)程中單獨(dú)使用Lseg和Ledge在接近收斂時(shí)其結(jié)果的數(shù)量級(jí)不一致，因此通過(guò)系數(shù)加權(quán)的方式使其度量尺度保持一致。據(jù)文中3.1節(jié)的實(shí)驗(yàn)設(shè)置，帶權(quán)交叉熵?fù)p失函數(shù)Lseg最終收斂于約0.02，而Ledge最終收斂于約0.002，因此文中根據(jù)實(shí)驗(yàn)結(jié)果，系數(shù)λ1和λ2分別設(shè)置為1和10。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集描述和實(shí)驗(yàn)基本設(shè)置

筆者在“天智杯”人工智能挑戰(zhàn)賽、ISPRS Vaihingen和Potsdam基準(zhǔn)中發(fā)布的數(shù)據(jù)集上，驗(yàn)證了文中提出的方法?！疤熘潜睌?shù)據(jù)集的標(biāo)簽包括5個(gè)不同的常見(jiàn)土地覆蓋類(lèi)別：農(nóng)場(chǎng)、道路、水源、植被以及背景。ISPRS數(shù)據(jù)集包括6種最常見(jiàn)的土地覆蓋類(lèi)別：不可滲透表面、建筑物、低矮植被、樹(shù)木、汽車(chē)和雜物/背景。

“天智杯”數(shù)據(jù)集包含23張分辨率為7 400×4 950的遙感影像(包括對(duì)應(yīng)的標(biāo)簽)。每一幅圖像包含3個(gè)通道：紅、綠和藍(lán)。根據(jù)“天智杯”人工智能挑戰(zhàn)賽比賽說(shuō)明，其數(shù)據(jù)集中12張用于訓(xùn)練，6張作為驗(yàn)證數(shù)據(jù)，其余的遙感圖像用于測(cè)試。ISPRS Vaihingen挑戰(zhàn)賽數(shù)據(jù)集包含各種獨(dú)立建筑和小型多層建筑，涉及33個(gè)不同大小的正攝影像，由Vaihingen(德國(guó))鎮(zhèn)上空的近紅外、紅色、綠色和藍(lán)色通道航空相機(jī)獲取。每張圖像的平均尺寸為2 494×2 064，空間分辨率為9 cm。筆者使用其中12張帶標(biāo)注的圖像來(lái)訓(xùn)練網(wǎng)絡(luò)，4張圖像來(lái)驗(yàn)證模型性能，其余17張圖像作為測(cè)試集來(lái)評(píng)估分割的準(zhǔn)確性。ISPRS Potsdam挑戰(zhàn)數(shù)據(jù)集包含38個(gè)正攝的同尺寸圖像塊，大小為6 000×6 000，空間分辨率為5 cm，覆蓋Potsdam(德國(guó))。該數(shù)據(jù)集提供了近紅外、紅色、綠色和藍(lán)色通道，訓(xùn)練集有20張圖片，驗(yàn)證集有4張圖片，測(cè)試集有14張圖片。

筆者實(shí)驗(yàn)的硬件和系統(tǒng)配置為別為GeForce GTX2080Ti和Ubuntu16.04。實(shí)驗(yàn)的基本軟件包括Python 3.6、CUDA 9.0、Pytorch 1.1.0等。為了提高筆者提出方法的泛化性能，在數(shù)據(jù)增強(qiáng)中隨機(jī)采用了一些圖像增強(qiáng)操作，如旋轉(zhuǎn)、翻轉(zhuǎn)等。此外，由于數(shù)據(jù)集的樣本不平衡，筆者引入了樣本均衡化來(lái)提高訓(xùn)練過(guò)程的有效性。一方面通過(guò)亮度調(diào)整、噪聲添加等數(shù)據(jù)增強(qiáng)操作，增加了樣本中占比較少的道路元素的數(shù)量；另一方面隨機(jī)從占比較多的植被、農(nóng)場(chǎng)和水源的圖像中抽取與占比較少的道路元素圖像數(shù)量相當(dāng)?shù)臄?shù)據(jù)組合成訓(xùn)練集進(jìn)行模型訓(xùn)練。為了避免硬件資源限制造成的問(wèn)題，圖像被裁剪成512×512分辨率的圖塊，其中行和列的跨度都是256像素。在訓(xùn)練過(guò)程中，Adam優(yōu)化采用批大小為8，學(xué)習(xí)率初始化為0.000 02且以系數(shù)1.5的多項(xiàng)式函數(shù)作為衰減策略。

3.2 實(shí)驗(yàn)評(píng)估指標(biāo)

筆者提出的算法的性能由以下3個(gè)指標(biāo)衡量：總體準(zhǔn)確度(Overall Accuracy，OA)、平均交并比(mean Intersection over Union，mIoU)以及F1得分。

總體準(zhǔn)確度作為語(yǔ)義分割直觀的評(píng)價(jià)指標(biāo)，計(jì)算出正確分類(lèi)的像素?cái)?shù)量與總像素?cái)?shù)量的比率，代表了總體像素的一般評(píng)估結(jié)果?？傮w準(zhǔn)確度ROA可以按以下方式計(jì)算：

(5)

其中，Pii表示將第i類(lèi)分成第i類(lèi)的像素?cái)?shù)量(正確分類(lèi)的像素?cái)?shù)量)，Pij表示將第i類(lèi)分成第j類(lèi)的像素?cái)?shù)量(所有像素?cái)?shù)量)。

平均交并比通過(guò)對(duì)除背景之外的所有標(biāo)簽類(lèi)別的交并比進(jìn)行平均而得到。假設(shè)總共有k+1個(gè)類(lèi)別(從0到k，0代表背景)，平均交并比RmIoU可以計(jì)算如下：

(6)

F1得分被定義為召回率和精確度的調(diào)和平均值，其計(jì)算方式如下：

(7)

其中，Rrecall和Rprecision分別代表召回率和精確度。

3.3 模型消融實(shí)驗(yàn)結(jié)果對(duì)比

本實(shí)驗(yàn)是在“天智杯”數(shù)據(jù)集上測(cè)試的結(jié)果。表1中，方法a代表骨干網(wǎng)絡(luò)Unet；方法b代表不加入Canny算子和膨脹數(shù)學(xué)形態(tài)學(xué)操作分支的邊緣模塊與邊緣引導(dǎo)上下文聚合模塊共同構(gòu)建的方法；方法c為使用完整邊緣提取模塊和邊緣引導(dǎo)上下文聚合模塊共同構(gòu)建的方法；方法d在方法c的基礎(chǔ)上添加了損失函數(shù)Ledge。由表1中結(jié)果可知，與骨干網(wǎng)絡(luò)Unet的結(jié)果相比，使用文中提出的模塊均能有效提升遙感影像分割的性能，方法b，c，d與方法a相比，RmIoU值分別提升了的0.61%，1.11%，2.34%。分析可知，方法c比方法b提升更為顯著的主要原因在于Canny算子和膨脹數(shù)學(xué)形態(tài)學(xué)操作能增加更細(xì)致的邊緣信息。而方法d效果最為明顯,說(shuō)明損失函數(shù)Ledge的加入進(jìn)一步加強(qiáng)了對(duì)遙感影像的邊緣約束?？梢暬Y(jié)果如圖2所示，其結(jié)果與量化分析結(jié)果一致。

表1 模型消融實(shí)驗(yàn)量化實(shí)驗(yàn)結(jié)果對(duì)比

圖2 模型消融實(shí)驗(yàn)可視化結(jié)果對(duì)比圖

3.4 與經(jīng)典語(yǔ)義分割網(wǎng)絡(luò)對(duì)比

本實(shí)驗(yàn)是在“天智杯”數(shù)據(jù)集上測(cè)試的結(jié)果。表2中第2列至第5列分別表示分割算法在各類(lèi)別中的分割I(lǐng)oU結(jié)果。從表2的結(jié)果可知，筆者的算法在農(nóng)場(chǎng)和道路上的分割效果與其他經(jīng)典算法相比是最佳的；在水源和植被上的分割效果上與最佳分割算法相比，其結(jié)果具有一定的競(jìng)爭(zhēng)力。從最后的統(tǒng)計(jì)結(jié)果分析可知，在ROA和RmIoU上均達(dá)到最佳，分別為84.5%和68.6%?？梢暬Y(jié)果如圖3所示，其結(jié)果與量化分析結(jié)果一致。

表2 與經(jīng)典分割網(wǎng)絡(luò)量化實(shí)驗(yàn)結(jié)果對(duì)比 %

圖3 與經(jīng)典網(wǎng)絡(luò)可視化實(shí)驗(yàn)結(jié)果對(duì)比圖

3.5 不同數(shù)據(jù)集分割結(jié)果

本實(shí)驗(yàn)是在ISPRS數(shù)據(jù)集上測(cè)試的結(jié)果。表3為不同分割網(wǎng)絡(luò)在ISPRS Vaihingen挑戰(zhàn)賽數(shù)據(jù)集上量化實(shí)驗(yàn)結(jié)果對(duì)比。從表3可知，筆者的算法在不可滲透表面、樹(shù)木和汽車(chē)類(lèi)別分別達(dá)到93.4%、90.2%和89.6%最佳F1值。另外，CASIA2和BKHN10在建筑物類(lèi)別上達(dá)到最佳F1值96%。而筆者的算法與最佳結(jié)果僅僅相差0.1%。因此，筆者的算法在建筑物類(lèi)別的分割上獲得了具有競(jìng)爭(zhēng)力的效果。最終，筆者的算法在ROA和F1均值兩個(gè)指標(biāo)上均取得最佳結(jié)果。不同分割網(wǎng)絡(luò)在ISPRS Vaihingen挑戰(zhàn)賽數(shù)據(jù)集上可視化結(jié)果如圖4所示，其結(jié)果與量化分析結(jié)果一致。

表3 不同分割網(wǎng)絡(luò)在ISPRS Vaihingen挑戰(zhàn)賽數(shù)據(jù)集上量化實(shí)驗(yàn)結(jié)果對(duì)比 %

圖4 不同分割網(wǎng)絡(luò)在ISPRS Vaihingen挑戰(zhàn)賽數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果可視化對(duì)比圖

表4為不同分割網(wǎng)絡(luò)在ISPRS Postdam挑戰(zhàn)賽數(shù)據(jù)集上量化實(shí)驗(yàn)結(jié)果對(duì)比。從表4可知，筆者的算法在低矮植被、樹(shù)木和汽車(chē)3個(gè)類(lèi)別分別達(dá)到89.0%、89.6%和96.3%最佳F1值。在不可滲透類(lèi)別和建筑物類(lèi)別上依然獲得具有競(jìng)爭(zhēng)力的結(jié)果。最終，筆者的算法在F1值上達(dá)到93.1%的最佳F1值。不同分割網(wǎng)絡(luò)在ISPRS Postdam挑戰(zhàn)賽數(shù)據(jù)集上可視化結(jié)果如圖5所示，其結(jié)果與量化分析結(jié)果一致。

表4 不同分割網(wǎng)絡(luò)在ISPRS Potsdam挑戰(zhàn)賽數(shù)據(jù)集上量化實(shí)驗(yàn)結(jié)果對(duì)比 %

圖5 不同分割網(wǎng)絡(luò)在ISPRS Postdam挑戰(zhàn)賽數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果可視化對(duì)比圖

從以上量化結(jié)果和可視化結(jié)果分析可知，筆者提出的算法充分利用了遙感影像中邊緣特征并增強(qiáng)了分割對(duì)象類(lèi)內(nèi)的一致性，其分割結(jié)果相比其他算法更貼近真實(shí)分割結(jié)果。尤其在圖像目標(biāo)邊緣處的分割結(jié)果相比其他算法更為精細(xì)和準(zhǔn)確。盡管在一些類(lèi)別上的分割結(jié)果未達(dá)到最佳分割精度，但是其分割效果確保了語(yǔ)義分割的整體改進(jìn)。

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有遙感影像分割算法對(duì)自身邊緣信息獲取的不足，筆者搭建了改進(jìn)Unet網(wǎng)絡(luò)的語(yǔ)義分割網(wǎng)絡(luò)。通過(guò)邊緣特征提取模塊，增強(qiáng)了網(wǎng)絡(luò)對(duì)遙感影像邊緣的學(xué)習(xí)能力；利用邊緣引導(dǎo)上下文聚合模塊捕獲了邊緣區(qū)域的像素和物體內(nèi)部的像素之間的長(zhǎng)距離依賴(lài)關(guān)系；改良了網(wǎng)絡(luò)損失函數(shù)，引入了二值化交叉熵?fù)p失函數(shù)，在網(wǎng)絡(luò)編碼器部分對(duì)遙感影像邊緣加強(qiáng)了約束。實(shí)驗(yàn)表明，相比于經(jīng)典的語(yǔ)義分割算法，筆者提出的算法顯著地提高了遙感影像的分割精度，為遙感影像領(lǐng)域提供了新的參考。由于實(shí)際的遙感影像場(chǎng)景復(fù)雜、目標(biāo)尺度多變，算法的處理效率距離實(shí)際工程需求仍有一定差距。如何優(yōu)化算法的時(shí)間復(fù)雜度，提升運(yùn)算效率，將成為日后主要的研究目標(biāo)。