深度語(yǔ)義分割網(wǎng)絡(luò)的遙感影像水體提取

鄭文雅

（福州大學(xué)環(huán)境與安全工程學(xué)院 福建福州 350108）

0 引言

水是生命之源，是生命存在和發(fā)展的重要資源，及時(shí)掌握水資源的時(shí)空變化對(duì)人類生產(chǎn)生活具有重要意義［1］。隨著遙感技術(shù)的發(fā)展，利用衛(wèi)星遙感影像進(jìn)行水體提取成為有效的手段，眾多學(xué)者通過(guò)遙感影像對(duì)水體提取技術(shù)進(jìn)行研究，提出許多有效的方法。目前水體提取可分為2 大類：①基于影像光譜特征的提取方法，通過(guò)分析影像的光譜特征來(lái)構(gòu)造水體運(yùn)算公式，進(jìn)行水體的提取，如水體指數(shù)法［2-3］、單波段閾值法［4］、譜間關(guān)系法［5］等，這類方法更多地用在中分辨率影像上，提取速度快且簡(jiǎn)單，但細(xì)小水體提取精度低；②綜合了影像的光譜、紋理、空間等特征的分類器方法，如支持向量機(jī)［6］、面向?qū)ο螅?］、決策樹(shù)［8］等，該類方法更常用于高分辨率影像，提取精度高，但分類過(guò)程復(fù)雜，受外界干擾大［9］。

近年來(lái)，隨著深度學(xué)習(xí)的快速發(fā)展，其優(yōu)秀的特征提取能力受到研究者的青睞，被逐漸用于水體提取。王雪等［10］利用全卷積神經(jīng)網(wǎng)絡(luò)模型有效提取水體；陳前等［11］利用卷積神經(jīng)網(wǎng)絡(luò)和DeepLabv3 語(yǔ)義分割網(wǎng)絡(luò)，對(duì)高分辨率衛(wèi)星遙感影像進(jìn)行水體提取研究，證明深度學(xué)習(xí)提取水體的可行性；張銘飛等［12］利用卷積神經(jīng)網(wǎng)絡(luò)模型提取水體，模型提取精度高達(dá)94.78%。

在LONG 等［13］提出全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）結(jié)構(gòu)后，端到端的卷積網(wǎng)絡(luò)第一次推廣到語(yǔ)義分割領(lǐng)域中。FCN 通過(guò)像素級(jí)預(yù)測(cè)實(shí)現(xiàn)語(yǔ)義分割，能準(zhǔn)確提取物體特征，但由于像素與像素之間的關(guān)系考慮不全，導(dǎo)致分割結(jié)果不夠精細(xì)［14］。為提高算法的精度，學(xué)者們?cè)贔CN 的基礎(chǔ)上提出許多改進(jìn)的方法，例如U-Net［15］、PSPNet［16］、SegNet［17］、DeepLab［18-20］等網(wǎng)絡(luò)。

因此，本文針對(duì)傳統(tǒng)方法提取水體邊緣輪廓較模糊、細(xì)小水體提取不完整、水體提取精度不高等問(wèn)題，構(gòu)建哨兵遙感影像的語(yǔ)義分割訓(xùn)練數(shù)據(jù)集，選取常用的U-Net、PSPNet、DeepLabv3 網(wǎng)絡(luò)模型來(lái)提取水體，并與歸一化差異水體指數(shù)、最大似然法、支持向量機(jī)、隨機(jī)森林進(jìn)行比較，探討語(yǔ)義分割模型提取水體的可行性。

1 研究區(qū)概況及數(shù)據(jù)

1.1 研究區(qū)概況

福州市位于福建省東部，地理坐標(biāo)為北緯25°15'～26°39'，東經(jīng)118°08′～120°31′，擁有豐富的水資源。閩江是福建省最大的水系，從武夷山流經(jīng)三明、南平、寧德等地區(qū)后，在水口鎮(zhèn)匯入福州境內(nèi)。閩江長(zhǎng)530 km，流經(jīng)福州約150 km。福州市區(qū)內(nèi)還有不少河流與閩江交匯，包括晉安河、安泰河、茶亭河、白馬河等30 多條河流，共同構(gòu)成福州市區(qū)的水系網(wǎng)絡(luò)。研究以福州市鼓樓區(qū)、臺(tái)江區(qū)、倉(cāng)山區(qū)、晉安區(qū)、馬尾區(qū)為研究區(qū)，該區(qū)域水域面積大，有大江、小河流、湖泊、池塘、溝渠等常見(jiàn)的水體類型。

1.2 數(shù)據(jù)

哨兵二號(hào)（Sentinel-2）是高分辨率多光譜成像衛(wèi)星，于2015 年6 月23 日發(fā)射。攜帶從可見(jiàn)光和近紅外到短波紅外的13 個(gè)波段信息的多光譜成像儀，幅寬為290 km，空間分辨率分別為10、20、60 m?？紤]到影像分辨率的不同，一些傳統(tǒng)的水體指數(shù)無(wú)法直接應(yīng)用。若把分辨率重采樣為10 m，其效果可能也會(huì)受到影響，所以本文選擇藍(lán)、綠、紅、近紅這4 個(gè)空間分辨率均為10 m的波段進(jìn)行研究?？紤]到云量和季節(jié)的影響，本文選擇2023 年1 月的福州市區(qū)哨兵二號(hào)影像。

2 研究方法

2.1 歸一化差異水體指數(shù)

歸一化差異水體指數(shù)（Normalized Difference Water Index，NDWI）［2］是目前應(yīng)用廣泛的水體指數(shù)，水體信息在綠光波段具有較強(qiáng)的反射，在近紅外吸收強(qiáng)。因此，可通過(guò)二者反差構(gòu)建指數(shù)，突出水體，具體計(jì)算見(jiàn)式（1）。

式中：Green、NIR 分別為綠波段和近紅外波段。

深度學(xué)習(xí)雖然具有強(qiáng)悍的特征提取能力，但是其依賴于標(biāo)簽數(shù)據(jù)，需要消耗大量的人力物力，才能得到精確的標(biāo)簽數(shù)據(jù)。因此，為減少樣本標(biāo)記時(shí)間，本文先利用NDWI 提取水體，對(duì)水體誤提、漏提的區(qū)域進(jìn)行修改，完成水體標(biāo)簽的制作，最后構(gòu)建樣本數(shù)據(jù)集。

2.2 U-Net 網(wǎng)絡(luò)模型

U-Net 模型是對(duì)FCN 網(wǎng)絡(luò)的優(yōu)化，最早應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域，模型結(jié)構(gòu)簡(jiǎn)單，適合處理小數(shù)量級(jí)的數(shù)據(jù)集。與FCN 網(wǎng)絡(luò)的像素相加不同，U-Net 采用通道連接的方式，可保留上下文信息，并加強(qiáng)像素之間的語(yǔ)義聯(lián)系，結(jié)構(gòu)如圖1 所示。主要由左側(cè)的下采樣和右側(cè)的上采樣組成。下采樣對(duì)輸入的影像進(jìn)行卷積和池化操作，作用是獲取影像上下文信息，上采樣作用則是精準(zhǔn)定位目標(biāo)。輸入的影像通過(guò)3×3 卷積與最大池化處理對(duì)圖像特征進(jìn)行提取，由于特征圖每次池化后都會(huì)縮小為原來(lái)的1/2，因此影像的細(xì)節(jié)信息也會(huì)損失。特征圖進(jìn)入解碼器后會(huì)通過(guò)3×3 卷積與上采樣恢復(fù)到原圖相同的尺寸。接著生成的特征圖會(huì)被輸入解碼器，與上采樣中生產(chǎn)的相同尺寸的特征圖進(jìn)行拼接合并，以便獲得更多的細(xì)節(jié)信息，有效恢復(fù)圖片特征信息。

圖1 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

2.3 PSPNet 網(wǎng)絡(luò)模型

PSPNet 算法引入金字塔池化模塊，能夠增大深層區(qū)域的感受野，可以將不同尺度上的上下文信息聚集起來(lái)，進(jìn)行場(chǎng)景理解。網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。首先輸入圖像，通過(guò)特征提取網(wǎng)絡(luò)得到特征圖像，接著把特征圖送入金字塔池化模塊，以便獲得不同尺寸的區(qū)域特征，然后進(jìn)行上采樣，得到原圖尺寸，最后連接融合原特征圖和不同層的特征圖并進(jìn)行卷積，輸出最終的預(yù)測(cè)結(jié)果。

圖2 PSPNet 網(wǎng)絡(luò)結(jié)構(gòu)

2.4 DeepLabv3 網(wǎng)絡(luò)模型

DeepLabv3 網(wǎng)絡(luò)［20］提出的并行和串行結(jié)構(gòu)，能夠高效地獲取多尺度的地物特征。并且通過(guò)改進(jìn)具有空洞卷積的空間金字塔池化方法，以及加入批次歸一化層和全局平均池化，使得算法的收斂性和整體性能都得到提高。DeepLabv3 網(wǎng)絡(luò)有級(jí)聯(lián)型（Cascaded Model）和多孔空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）2 種模型。本文使用常用的ASPP 模型，結(jié)構(gòu)如圖3 所示，其是由1 個(gè)1×1 的普通卷積、3 個(gè)3×3 的膨脹卷積和平均池化層組成。ASPP 模型使用4 個(gè)不同采樣率的多孔卷積對(duì)特征圖像進(jìn)行分支，然后融合各采樣率的圖像，以獲得最終圖像。全局平均池用于對(duì)模型進(jìn)行特征映射，并將圖像級(jí)特征輸入到1×1 卷積中。然后通過(guò)雙線性插值將特征上采樣到特定的空間維度。最后，通過(guò)連接這5 個(gè)分支的輸出并使用1×1 卷積層來(lái)進(jìn)一步融合信息。

圖3 ASPP 模型結(jié)構(gòu)

2.5 評(píng)價(jià)指標(biāo)

本次研究選擇混淆矩陣進(jìn)行水體提取精度的驗(yàn)證，其中常用的指標(biāo)主要有精確度（precision）、召回率（recall）、總體精度（Overall Accuracy，OA）及Kappa 系數(shù)，具體計(jì)算見(jiàn)公式（2）～（6）。

式中：TP（True Positive）表示水體像素被正確識(shí)別成水體的像素?cái)?shù)量；TN（True Negative）表示非水體像素被正確識(shí)別成非水體的像素?cái)?shù)量；FP（False Positive）表示非水體像素被錯(cuò)誤識(shí)別成水體的像素?cái)?shù)量；FN（False Negative）表示水體像素被錯(cuò)誤識(shí)別成非水體的像素?cái)?shù)量。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)參數(shù)確定

采用相同的數(shù)據(jù)集和模型訓(xùn)練參數(shù)對(duì)U-Net、PSPNet、DeepLabv3 模型進(jìn)行訓(xùn)練，實(shí)驗(yàn)通過(guò)Python 和Pytorch 實(shí)現(xiàn)。數(shù)據(jù)集影像大小設(shè)為256×256，通過(guò)圖像旋轉(zhuǎn)、鏡像翻轉(zhuǎn)等操作進(jìn)行數(shù)據(jù)增強(qiáng)，數(shù)據(jù)集中將80%數(shù)據(jù)集作為訓(xùn)練集，20%作為測(cè)試集。模型參數(shù)批次大小（Batch Size）設(shè)置為4，訓(xùn)練輪數(shù)（Epoch）設(shè)為100，基礎(chǔ)學(xué)習(xí)率（Learning rate）設(shè)為0.000 1。

3.2 不同方法實(shí)驗(yàn)結(jié)果

為探討語(yǔ)義分割模型提取水體的可行性，研究選取NDWI、最大似然法（ML）、支持向量機(jī)（SVM）、隨機(jī)森林（RF）與PSPNet、U-Net、DeepLabv3 等3 種語(yǔ)義分割方法進(jìn)行對(duì)比。其中，NDWI 閾值設(shè)置為自定義，保證在錯(cuò)提較少的情況下提取更多的水體。各方法部分提取結(jié)果如圖4 所示。圖4（a）包括小河流、湖泊、池塘，圖4（i）則為寬闊的閩江，圖中均包含大量的建筑和陰影。由圖4可以看出，NDWI 法漏提、錯(cuò)提水體嚴(yán)重，對(duì)于小面積水體提取效果較差，建筑物多且密集的區(qū)域容易被檢測(cè)成水體，結(jié)果受閾值選取的影響，閾值選取過(guò)大，水體提取完整，但是誤提嚴(yán)重。ML、SVM、MF 都能較好地提取出水體，但存在不同程度的誤提、漏提現(xiàn)象，小部分陰影和建筑被錯(cuò)誤提取以及小面積水體、水體邊緣線的提取效果較差，3 種分類器方法受到樣本的影響，不同的樣本提取結(jié)果差異較大。3 種語(yǔ)義分割方法均能較好地去除陰影和建筑對(duì)水體提取的影響，整體效果較好。其中，Deeplabv3 方法提取水體的能力最好，對(duì)小面積水體的提取能力優(yōu)于PSPNet 和U-Net，但提取的水體邊緣較平滑，提取水體邊緣線能力欠佳；PSPNet 方法零星的陰影會(huì)被提取以及細(xì)小水體未能提取到；U-Net 方法很好的區(qū)分水體和非水體，但一些小水體沒(méi)能完全提出。綜上可以看出，DeepLabv3 方法提取水體的能力最好。這是由于DeepLabv3 網(wǎng)絡(luò)引入批量歸一化層和全局平均池化，以更優(yōu)化的方式對(duì)多尺度上下文進(jìn)行編碼進(jìn)而獲得整體信息，所以整體提取效果最佳。

圖4 各方法實(shí)驗(yàn)結(jié)果

3.3 不同方法實(shí)驗(yàn)精度評(píng)價(jià)

本文采用隨機(jī)抽樣方式評(píng)估各方法提取水體的精度，結(jié)果如表1 所示。由表1 可以看出NDWI 的精確度最低，為80.33%，說(shuō)明其誤檢嚴(yán)重。ML 法的召回率最低，為80%，主要因?yàn)镸L 法分類過(guò)程中平均值和方差只計(jì)算1 次，導(dǎo)致提取結(jié)果稍差。3 種分類器方法中RF的總體精度和Kappa 系數(shù)是最高的，其次是SVM，最后是ML，均優(yōu)于NDWI 法。其中，ML 的精確度達(dá)90.57%，高于NDWI 的80.33%、SVM 的87.93%、RF 的86.89%，表明ML 提取水體的準(zhǔn)確較高，誤檢情況少，但是其提取水體的能力較差，導(dǎo)致整體提取效果差。分析表1 可知，3 種語(yǔ)義分割模型總體精度和Kappa 系數(shù)都高于其他4 種方法，這說(shuō)明語(yǔ)義分割網(wǎng)絡(luò)提取水體是可行且準(zhǔn)確的，精度優(yōu)于傳統(tǒng)方法。其中，DeepLabv3 網(wǎng)絡(luò)的總體精度大于PSPNet 網(wǎng)絡(luò)的93.5%和U-Net 網(wǎng)絡(luò)的95%，得到最高總體精度96%。DeepLabv3 的精確度為90.6%，召回率為96.67%，總體精度為96%，Kappa 系數(shù)為90.65%，相較于其他6 種方法有很高的準(zhǔn)確性。

表1 水體提取精度評(píng)價(jià)

4 結(jié)論

本文利用哨兵二號(hào)影像提取水體，探討語(yǔ)義分割網(wǎng)絡(luò)提取水體的可行性，結(jié)果表明語(yǔ)義分割模型精度優(yōu)于NDWI、最大似然法、支持向量機(jī)、隨機(jī)森林。其中，DeepLabv3 整體效果最好，提取精度最高。

（1）各個(gè)方法在提取大面積水域時(shí)效果都較好，但在提取小面積水體時(shí)均存在問(wèn)題，除DeepLabv3 網(wǎng)絡(luò)提取小面積水體較完整外，其他方法提取效果欠佳。但DeepLabv3 網(wǎng)絡(luò)提取的水體邊緣比真實(shí)的要平滑，導(dǎo)致效果稍差，需要進(jìn)一步研究。

（2）相比于傳統(tǒng)方法需要對(duì)遙感影像的光譜特征進(jìn)行分析和特征選取，深度語(yǔ)義分割模型則可以直接學(xué)習(xí)到復(fù)雜的地物特征，能夠準(zhǔn)確地提取水體，但是其提取精度依賴于樣本數(shù)據(jù)集。為減少樣本標(biāo)記時(shí)間，本文則利用NDWI 作為輔助提取水體，高效完成水體標(biāo)簽的制作，實(shí)驗(yàn)表明該方法是可靠的。