改進(jìn)DeeplabV3+模型的河流水體提取

張晗濤,胡榮明,姜友誼,胡亞軒

(1.西安科技大學(xué) 測繪科學(xué)與技術(shù)學(xué)院,西安 710000;2.中國地震局第二監(jiān)測中心,西安 710054)

0 引言

隨著遙感技術(shù)在自然資源監(jiān)測的廣泛應(yīng)用,如何準(zhǔn)確地獲取河流水體信息已經(jīng)成為遙感應(yīng)用領(lǐng)域的一個關(guān)鍵研究方向。當(dāng)前,利用DeeplabV3+[1]網(wǎng)絡(luò)模型進(jìn)行遙感信息提取已取得了較多的成就,如陳前等[2]利用DeeplabV3網(wǎng)絡(luò)對高分遙感影像水體提取進(jìn)行研究,證明了深度學(xué)習(xí)方法的有效性。Li等[3]通過密集局部特征壓縮網(wǎng)絡(luò)融合遙感圖像的空間和光譜信息,從不同的遙感圖像中提取水體,并與傳統(tǒng)的水體提取方法以及U-Net、DeeplabV3+等模型進(jìn)行了對比。茍杰松等[4]通過利用DeeplabV3+方法證明了在養(yǎng)殖水體信息提取方面,DeeplabV3+方法均高于歸一化差分水體指數(shù)法和最大似然監(jiān)督分類法。Chen等[5]通過改進(jìn)LinkNet模型進(jìn)行了寒旱區(qū)河流水體提取,并與U-Net、DeeplabV3+等神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了對比。

綜上所述,DeeplabV3+網(wǎng)絡(luò)雖然在遙感信息提取領(lǐng)域有些許成就,但是針對于高分辨率遙感影像進(jìn)行河流水體信息提取仍存在研究不足。本文通過建立不同骨架網(wǎng)絡(luò)模型的DeeplabV3+網(wǎng)絡(luò),探究不同骨架網(wǎng)絡(luò)模型在河流水體提取的應(yīng)用能力,同時針對研究中所存在的小目標(biāo)河流提取精度不足的問題,對DeeplabV3+網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化,提出了一種基于改進(jìn)DeeplabV3+網(wǎng)絡(luò)的河流提取方法。

1 研究區(qū)概況與數(shù)據(jù)源

1.1 研究區(qū)概況

為了探究深度學(xué)習(xí)模型在不同遙感影像中河流提取的應(yīng)用能力,選擇山區(qū)、城市、云霧等4種不同遙感影像下的河流水體作為研究對象。

1.2 數(shù)據(jù)源

本文遙感影像數(shù)據(jù)集采用的是高分二號和高分七號影像。實驗數(shù)據(jù)集主要是由遙感影像數(shù)據(jù)以及人工經(jīng)過目視解譯,利用Labelme圖形圖像注釋工具進(jìn)行標(biāo)注的二值圖標(biāo)簽數(shù)據(jù)組成。影像標(biāo)簽數(shù)據(jù)采用的是Pascalvoc數(shù)據(jù)集格式,影像分辨率為1 024像素×1 024像素,共由7 551張訓(xùn)練數(shù)據(jù)構(gòu)成。該數(shù)據(jù)集主要由長江流域水系構(gòu)成,影像采集時間主要為第二季度,去除了結(jié)冰水面干擾。河流水體語義分割訓(xùn)練數(shù)據(jù)集如圖1所示。

圖1 河流水體語義分割訓(xùn)練集

2 研究方法

2.1 DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)主要分為編碼層和解碼層兩部分。編碼層的主體由兩部分組成,首先是深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks,DCNN)[6],其通常采用的是Xception或ResNet[7-8]等常用的分類骨架網(wǎng)絡(luò),其次是帶有空洞卷積的空間金字塔池化模塊(atrous spatial pyramid pooling,ASPP)[9]?？斩淳矸e是在不改變特征圖大小的同時控制感受野,多尺度地獲取影像關(guān)鍵信息?？臻g金字塔池化模塊則是通過采用不同空洞率的空洞卷積來進(jìn)一步提取多尺度信息。解碼層主要是通過采用1×1的卷積對提取到低層次(low-level)特征信息進(jìn)行壓縮,然后通過與高層次(high-level)特征信息進(jìn)一步融合,其次將融合后的結(jié)果通過3×3的卷積來細(xì)化特征,最后經(jīng)過一個4倍上采樣來輸出最終結(jié)果,進(jìn)而提升分割邊界準(zhǔn)確度。

2.2 改進(jìn)的DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

本文針對河流提取研究,對DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn),改進(jìn)后的模型結(jié)構(gòu)如圖2所示,網(wǎng)絡(luò)主體同樣分為編碼層和解碼層兩大部分,其中深度卷積神經(jīng)網(wǎng)絡(luò)所采用的是在本河流提取研究中表現(xiàn)較為優(yōu)秀的ResNet-50骨架網(wǎng)絡(luò),具體的改進(jìn)由編碼區(qū)改進(jìn)ASPP模塊和解碼區(qū)增加不同層次的輸入圖像特征構(gòu)成。

圖2 改進(jìn)的DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

1)編碼區(qū)改進(jìn)空間金字塔池化模塊。空間金字塔池化模塊主要作用是對輸入的特征圖進(jìn)行多尺度語義信息提取,其由多個卷積操作和全局平均池化操作并行構(gòu)成,其中除了1×1的卷積外,其余的卷積核都帶有不同的空洞率來進(jìn)行卷積操作[10]。之所以要帶有不同的空洞率進(jìn)行卷積,是因為隨著網(wǎng)絡(luò)模型逐步提取圖像特征,原始特征圖的分辨率會逐漸變小。此時,攜帶著空洞率值較大的卷積核,更加適合分割大尺寸目標(biāo)物。同樣地,攜帶著空洞率較小的卷積核更加適合分割小尺寸目標(biāo)物。因此,本研究為了增加模型分割不同大小目標(biāo)的能力,在ASPP模塊中使得網(wǎng)絡(luò)結(jié)構(gòu)具有多尺度的卷積核。如圖2所示,在該模塊,本研究為了能夠提取出小目標(biāo)的狹長河流水體,將原始DeeplabV3+網(wǎng)絡(luò)空間金字塔池化模塊中空洞率值為6、12、18的空洞卷積優(yōu)化為空洞率值分別為2、4、8、16的空洞卷積操作。

同時,本研究將空間金字塔池化模塊中原有的標(biāo)準(zhǔn)卷積替換成深度可分離卷積。深度可分離卷積中每個卷積核只考慮自己所負(fù)責(zé)的通道,而不像標(biāo)準(zhǔn)卷積那樣,每個卷積核要考慮所有通道的語義信息。首先通過在逐個通道中進(jìn)行深度卷積學(xué)習(xí)空間相關(guān)性,然后進(jìn)行點卷積操作學(xué)習(xí)特征。深度可分離卷積以其較低的參數(shù)數(shù)量和運(yùn)算成本取得了較大的優(yōu)勢,在訓(xùn)練過程中大大減少了所需參數(shù)量,同時深度可分離卷積還在對預(yù)測精度影響不大的前提下提高了網(wǎng)絡(luò)模型的訓(xùn)練效率。

2)解碼區(qū)增加不同層次的圖像特征。在解碼區(qū)部分,本文將兩個經(jīng)過編碼區(qū)骨架網(wǎng)絡(luò)不同層次的輸入圖像特征圖提取出來,相比于原始DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)了同時提取兩個特征圖映射作為解碼器的特征輸入信息,并將提取出的兩個低維特征以融合的方式使其更具有豐富的低維特征信息。然后,對融合后的低維特征和編碼器中獲取的高維特征進(jìn)行處理融合,再次豐富完善特征信息。最后,在經(jīng)過3×3卷積和4倍的上采樣處理后,將特征信息進(jìn)行細(xì)化,恢復(fù)特征所應(yīng)具有的空間信息,最終將得到的分割結(jié)果圖進(jìn)行輸出[11]。

3 實驗結(jié)果與分析

實驗程序所采用深度學(xué)習(xí)框架為PyTorch。超參數(shù)[12]設(shè)置為:初始學(xué)習(xí)率0.003,權(quán)重衰減0.000 2,總共進(jìn)行100次訓(xùn)練迭代,批尺寸大小(batch size)為12。本次研究中采用平均交并比(MIoU)為主要的評價指標(biāo)。MIoU是語義分割領(lǐng)域常用的評價指標(biāo),代表模型語義分割預(yù)測的結(jié)果與其人工創(chuàng)建的標(biāo)簽真值之間的像素重合度。本文中MIoU的取值范圍為[0,1],如果MIoU值越大,則說明預(yù)測的分割結(jié)果圖越準(zhǔn)確[13]。

3.1 不同骨架網(wǎng)絡(luò)模型對比

通過目視解譯表1中的不同骨架網(wǎng)絡(luò)結(jié)構(gòu)分類結(jié)果可以發(fā)現(xiàn),4種骨架網(wǎng)絡(luò)結(jié)構(gòu)對于大面積區(qū)域范圍的河流水體均進(jìn)行了有效的提取,但是對于小面積區(qū)域范圍的河流水體,不同骨架網(wǎng)絡(luò)結(jié)構(gòu)之間的提取能力相差較大,這一點在區(qū)域(a)和區(qū)域(b)中表現(xiàn)明顯。其中Xception骨架網(wǎng)絡(luò)的河流水體提取結(jié)果與ResNet骨架網(wǎng)絡(luò)的河流水體提取結(jié)果相比差距較大,提取結(jié)果不夠完整,存在著明顯的間斷與缺失漏提,在小面積河流水體研究區(qū)表現(xiàn)最為嚴(yán)重。縱觀4塊區(qū)域的影像分類結(jié)果,ResNet-50的河流水體提取效果相較于其他網(wǎng)絡(luò)結(jié)構(gòu)存在著小幅提高,這一點在區(qū)域(b)和區(qū)域(d)中有明顯的體現(xiàn),同時在云霧的山區(qū)河流水體研究區(qū)表現(xiàn)出較好提取效果,但在城市區(qū)域的細(xì)長河流水體區(qū)域存在明顯的漏提。

表1 不同骨架網(wǎng)絡(luò)結(jié)構(gòu)分類結(jié)果

3.2 不同方法河流水體提取對比

本文選取了最鄰近分類法、隨機(jī)森林分類法、支持向量機(jī)分類法(support vector machines,SVM)[14]、原始DeeplabV3+模型法、改進(jìn)DeeplabV3+模型法5種分類方法進(jìn)行對比,各算法提取結(jié)果如表2所示。其中區(qū)域(a)、區(qū)域(b)、區(qū)域(c)以山區(qū)河流水體為主,區(qū)域(d)以城市河流水體為主,各區(qū)域中均包含了難以提取的小目標(biāo)河流水體。區(qū)域(b)包含了云霧陰影干擾,區(qū)域(c)和區(qū)域(d)更是在河流水體顏色上與區(qū)域(a)和區(qū)域(b)進(jìn)行了區(qū)分,以此驗證本研究模型在不同河流水體的提取適用性。

表2 不同方法河流水體分類結(jié)果

通過目視解譯表2中的河流水體提取結(jié)果可以發(fā)現(xiàn),采用最鄰近分類方法進(jìn)行河流水體的提取,可以較為精確地提取到大面積區(qū)域的河流水體,但是在陰影和小面積河流水體區(qū)域的容易造成漏提,同時在光譜和紋理與河流水體相似的區(qū)域容易造成誤提。采用隨機(jī)森林分類方法和SVM方法進(jìn)行河流水體的提取,雖然能很好地區(qū)分出了水體,但是在非水體區(qū)域,尤其是山林區(qū)域、小面積河流水體和狹長狀地物區(qū)域,由于光譜和紋理相似性問題容易出現(xiàn)誤提和漏提,同時影像噪聲還會干擾分類結(jié)果,導(dǎo)致小面積河流水體提取困難。原始DeeplabV3+方法模型較好地提取出了大面積的河流水體,同時還沒有受到非水體區(qū)域的影響,很好地將河流水體和非水體區(qū)域區(qū)分了出來,河岸邊緣處的分類結(jié)果也比較理想,較隨機(jī)森林分類方法和SVM方法的分類結(jié)果更加光滑和精確,但是原始的DeeplabV3+模型方法對于小面積區(qū)域的河流水體和細(xì)長河流水體的提取能力不足,存在較為嚴(yán)重的漏提現(xiàn)象。本文針對此現(xiàn)象,提出了改進(jìn)DeeplabV3+模型方法來提取河流水體,整體效果得到了一定的提升。改進(jìn)后的DeeplabV3+方法不僅延續(xù)了原始方法能夠很好地區(qū)分水體和非水體區(qū)域,較為精確地提取到河流水體區(qū)域的同時,通過增強(qiáng)對小面積的河流水體的提取,有效地對小目標(biāo)、小面積河流和細(xì)長河流提取能力不足的問題進(jìn)行了改善。

3.3 不同方法提取結(jié)果精度評價

本文通過人工標(biāo)注的河流水體數(shù)據(jù)作為參考圖像,分別對實驗中的5種提取方法和4塊研究區(qū)域進(jìn)行了精度評價,結(jié)果如表3和表4所示。根據(jù)表中數(shù)據(jù)可以得出,在誤提率方面,隨機(jī)森林分類方法的誤提率最高,達(dá)55.74%;SVM方法和最鄰近分類方法的漏提率次之,達(dá)51.37%和45.85%,主要是因為小目標(biāo)河流水體區(qū)域的周圍存在較多的干擾以及區(qū)域(b)中河流水體和植被紋理相似,導(dǎo)致傳統(tǒng)方法提取結(jié)果不夠精確。但是在區(qū)域(b)中,原始DeeplabV3+和改進(jìn)DeeplabV3+模型方法的誤提率明顯低于傳統(tǒng)提取方法。同時在其他研究區(qū)域,深度學(xué)習(xí)的誤提率也明顯低于傳統(tǒng)方法。可以由此得出,深度學(xué)習(xí)方法在分類精確度上是明顯優(yōu)于傳統(tǒng)分類方法的。在漏提率方面,改進(jìn)DeeplabV3+模型方法的漏提率最低,達(dá)2.61%;SVM方法的漏提率最高,達(dá)42.36%。通過對比原始DeeplabV3+模型方法和改進(jìn)DeeplabV3+模型方法的漏提率,可以看出本研究DeeplabV3+模型方法的改進(jìn)取得了明顯成效,漏提率相比于原始DeeplabV3+模型方法平均降低了46.97%,明顯低于傳統(tǒng)提取方法。在總體精度和Kappa系數(shù)方面,最鄰近分類方法略優(yōu)于隨機(jī)森林分類方法和SVM方法,但都低于深度學(xué)習(xí)方法。改進(jìn)后的DeeplabV3+方法較其他4種方法在總體精度和Kappa系數(shù)指標(biāo)上均有提升,總體精度相比于傳統(tǒng)方法提升了1.22%,相比于原始DeeplabV3+模型方法提升了0.19%;Kappa系數(shù)相比于傳統(tǒng)方法提升了0.23,相比于原始DeeplabV3+模型方法提升了0.04?？梢园l(fā)現(xiàn),改進(jìn)后的DeeplabV3+模型方法的精度評價均優(yōu)于其他方法。本研究所改進(jìn)的DeeplabV3+模型方法可以有效區(qū)分河流水體和非河流水體區(qū)域,提高了原始DeeplabV3+模型方法的提取精度,對于原始DeeplabV3+模型方法進(jìn)行了一定程度上的改善。

表3 區(qū)域(a)和區(qū)域(b)河流水體提取精度評價

表4 區(qū)域(c)和區(qū)域(d)河流水體提取精度評價

4 結(jié)束語

本文基于高分辨率遙感影像,探究了DeeplabV3+模型在不同骨架網(wǎng)絡(luò)模型時的河流水體提取能力,通過構(gòu)建ResNet-50、ResNet-101、ResNet-152、Xception 4種不同骨架網(wǎng)絡(luò)的DeeplabV3+模型進(jìn)行河流水體提取研究的分析對比,得出了ResNet-50骨架網(wǎng)絡(luò)相比于其他骨架網(wǎng)絡(luò)模型具有更高的河流水體提取精度和較低的時間消耗,在河流水體提取更具有適用性。

同時本文針對小目標(biāo)的河流水體,對DeeplabV3+模型方法進(jìn)行了一定的改進(jìn),能有效地對小目標(biāo)河流水體信息進(jìn)行提取,而且具有抗云霧陰影和建筑物等干擾影響的提取適用性,且相對于原始DeeplabV3+模型方法有了小幅的精度提升,同時精度更優(yōu)于最鄰近分類法、隨機(jī)森林分類法和支持向量機(jī)分類法等分類方法。

但是本文針對于小目標(biāo)河流水體的提取研究僅獲得了一定的精度改善,未能完整地提取出小目標(biāo)河流水體信息。因此,如何完整地提取出小目標(biāo)河流水體信息,將是進(jìn)一步研究的重點。