基于深度學習的黑臭水體遙感信息提取模型

邵琥翔，丁 鳳，楊 健，鄭子鋮

(1.福建師范大學 福建省陸地災害監(jiān)測評估工程技術研究中心，福州 350007； 2.福建師范大學 地理科學學院，福州 350007； 3.中國科學院 空天信息創(chuàng)新研究院，北京 100094)

1 研究背景

黑臭水體是呈現(xiàn)令人不悅的顏色和散發(fā)令人不適氣味的水體的統(tǒng)稱[1]。黑臭水體嚴重影響了群眾生活的生態(tài)環(huán)境，造成嚴峻的水環(huán)境污染[2]。近年來，隨著經濟社會的快速發(fā)展，我國的眾多城市均產生了不同程度的黑臭水體污染問題[3]。

由于利用地面監(jiān)測手段難以對具有分散性和季節(jié)性的黑臭水體進行快速識別[4]， 因此利用遙感技術十分必要[5]。 靳海霞等[6](2017)通過計算水質參數(shù)判斷北京市的河流黑臭程度； 曹紅業(yè)等[7](2017)分析了典型黑臭水體的光學特征， 提出基于實測遙感反射率的飽和度法和光譜指數(shù)法； 溫爽等[8](2018)通過黑臭水體光譜特征分析， 構建了基于特征波段的單波段閾值算法、 黑臭水體差值指數(shù)法(DBWI)、 黑臭水體斜率指數(shù)法(SBWI)和歸一化黑臭水體指數(shù)法(NDBWI)； 周寒等[9](2018)結合SIFT算法， 對遙感光學傳統(tǒng)的動態(tài)特征算法進行改進， 識別黑臭水體在遙感影像上的動態(tài)特征； 占玲驊等[10](2019)基于實測高光譜數(shù)據， 建立光譜分類體系， 定量反演上海市的水質參數(shù)， 對上海市水體特征構建指標體系實現(xiàn)對黑臭水體和非黑臭水體的區(qū)分； 姚月等[11](2019)以沈陽市城市建成區(qū)內主要河流為研究區(qū)， 發(fā)現(xiàn)黑臭水體的反射率光譜在綠光—紅光波段變化比一般水體平緩， 提出了一種基于反射率光譜指數(shù)(BOI)； Wei等[12](2019)應用了無人機載高光譜圖像， 引用Nemerow綜合污染指數(shù)(NCPI)對黑臭水體進行監(jiān)測， 李玲玲等[13](2020)分析黑臭水體與一般水體的水色和光學特征， 構建決策樹模型進行黑臭水體識別； 在水體的遙感分級方面， 楊子謙等[14](2020)構建了一種水環(huán)境遙感綜合評價方法， 可以較好地提取水質較差的水體。

以上遙感黑臭水體提取方法多為遙感影像結合水質參數(shù)進行研究，證明了黑臭水體遙感信息提取的可行性，但存在實地采樣不便、確定閾值困難、同譜異物、自動化程度低等不足，難以及時快速地獲取黑臭水體范圍[15]。同時黑臭水體多為細小水體，常因地形地貌或人為原因而在遙感影像上存在特征不明顯的問題，應用常規(guī)遙感方法準確提取黑臭水體具備一定局限性。針對以上問題，本文提出一種針對黑臭水體遙感信息提取的深度學習模型，結合遙感指數(shù)，在減少現(xiàn)場采樣數(shù)據的支持下重點關注黑臭水體和非黑臭水體的區(qū)別提取，再引入注意力機制，利用注意力機制能夠增強細小特征的優(yōu)點[16]，提高黑臭水體的識別精度。

2 技術路線

本文技術路線分為3個部分:第1部分為遙感影像預處理與數(shù)據集制作；第2部分為深度學習模型構建；第3部分為引入注意力機制改進模型。本文技術路線如圖1所示。

圖1 技術路線Fig.1 Technical routes for extracting black andodorous water body

3 研究區(qū)概況與數(shù)據集制作

3.1 研究區(qū)概況

廊坊市位于河北省中部偏東，地處海河流域中下游，北運河、泃河、引泃等河流貫穿全市，總長度400余千米；鮑邱河、普池河、武河等排瀝河道總長度接近200 km。全市河網密布、遍布河渠，幾大水系縱橫交錯[17]。近年來廊坊市社會經濟發(fā)展迅速，工業(yè)化、城鎮(zhèn)化快速發(fā)展，用水需求大量增加，進而導致水生態(tài)污染嚴重。這些問題嚴重影響了廊坊市的健康發(fā)展[18]。

3.2 黑臭水體野外考察

本研究黑臭水體考察地點為河北省廊坊市境內包括城市黑臭水體及農村黑臭水體，重點考察了廊坊市八干渠。

八干渠是廊坊市區(qū)的一條主要排水渠道，位于廊坊城區(qū)以東，整體呈南北走向，擔負城區(qū)約67%的排水任務。上游及沿途匯入水體類型復雜且攜帶大量的污染物，導致水體的受污染程度日趨嚴重，污染現(xiàn)象頻發(fā)，對周邊環(huán)境產生了種種不良影響。2016年，經廊坊市水務局、建設局、環(huán)保局、農業(yè)局聯(lián)合開展水體普查，確認廊坊市八干渠為廊坊市建成區(qū)黑臭水體，并將八干渠黑臭水體治理工作列入年度重點城建工作計劃。

通過實地調查，廊坊市黑臭水體有如下幾個特征：

(1)黑臭水體顏色與非黑臭水體差異明顯，非黑臭水體多為較純凈的綠色或藍色，而黑臭水體一般為渾濁的灰黑色或墨綠色。

(2)黑臭分布范圍廣，河寬較窄，多為細小水體，流速較慢，水面多為生活垃圾等雜質，且多為斷頭河。

(3)黑臭水體往往離工廠或養(yǎng)殖場較近，附近有排污管道注入，生活廢水、工業(yè)廢水及農業(yè)廢水直接排入河道，產生刺鼻難聞氣味[19]。

以上特征均作為本文在遙感影像上對黑臭水體的判斷依據。

3.3 數(shù)據集制作

獲取了采集于2017年的4景GF-2 PMS影像，其采集時間為2017年12月。影像無云遮蓋，圖像質量較好。本研究對GF-2的預處理主要包括輻射定標[20]、幾何校正、大氣校正[21]和影像融合等，最后獲得既有高空間分辨率，又有多光譜特征的影像。

結合地面真值數(shù)據對影像中的黑臭水體進行人工標注并制作標簽圖像，將所有地物分為黑臭水體和背景地物2類，并對圖像進行隨機數(shù)據增強。所做的數(shù)據增強過程如下：

(1)將原圖像和對應的標簽同時做隨機旋轉，保證對應的影像和標簽旋轉角度一致。

(2)將原圖像與對應的標簽同時做鏡像處理，保證對應的影像和標簽鏡像后依然對應。

(3)對圖像隨機增加噪聲，這一步可以使模型在受到一定程度的干擾下依舊保持性能的穩(wěn)定，增強了模型的魯棒性，使模型對訓練數(shù)據集的敏感性降低。

4 黑臭水體相關指數(shù)計算

為了豐富遙感影像的波段信息，使深度學習模型可以更好地學習黑臭水體相關特征，本文選擇歸一化差異植被指數(shù)(NDVI)和歸一化差異黑臭水體指數(shù)(NDBWI)進行計算。

歸一化差異植被指數(shù)(NDVI)是反映植物長勢的重要參數(shù)，可以很好地檢測植被覆蓋度，在本研究中可以更好地幫助模型對非黑臭水體的植被進行識別。歸一化差異植被指數(shù)(NDVI)公式為

(1)

式中：Rrs(NIR)為近紅外波段的遙感反射率；Rrs(R)為紅光波段的遙感反射率。

歸一化差異黑臭水體指數(shù)(NDBWI)是基于黑臭水體的光譜特征構成的，該指數(shù)可以較好地提取黑臭水體，在本研究中可以更好地幫助模型對黑臭水體進行識別。歸一化差異黑臭水體指數(shù)(NDBWI)公式為

(2)

式中Rrs(G)為GF-2綠光波段的遙感反射率。

5 深度學習模型構建

5.1 PSPnet模型

PSPnet(Pyramid Scene Parsing Network)模型中構建有金字塔池化模塊(Pyramid Pooling Modul)，該模塊通過整合不同區(qū)域的上下文，對圖像內所有的像素進行識別并提取目標[22]。本文使用的PSPnet網絡結構如圖2所示。

圖2 PSPnet網絡結構Fig.2 PSPnet structure

5.2 U-Net模型

U-Net網絡基于全卷積神經網絡(Fully Convolution Network，F(xiàn)CN)改進得到[23]。該網絡結構由收縮子網絡和擴張子網絡2部分組成，收縮子網絡部分進行特征提取，擴張子網絡部分進行上采樣。在上采樣過程中引入跳接層，把對應尺度上的特征信息引入到上采樣。本文使用的U-Net網絡結構如圖3所示。

圖3 U-Net網絡結構Fig.3 U-net structure

5.3 注意力機制模塊CBAM

遙感影像中包含建筑物、農田、道路、植被、裸地等多種地物類型，對提取結果的準確性有很強的干擾，且黑臭水體形狀一般比較細小，因此，本文提出在模型網絡中引入注意力機制、抑制模型學習與黑臭水體無關的特征，重點學習與黑臭水體相關的特征，加強網絡對黑臭水體特征的提取。本文引入的注意力機制模塊為CBAM(Convolutional Block Attention Module)，該模塊集成了通道注意力模塊(Channel Attention Module，CAM)和空間注意力模塊(Spatial Attention Module，SAM)[24]。

5.3.1 通道注意力模塊(CAM)

通道注意力模塊使卷積網絡更加關注圖像的哪些通道對網絡的最后輸出結果起更大的作用，即哪些特征對最終的預測影響最大。本文針對黑臭水體提取，在輸入影像中融合了NDVI和NDBWI，這2個指數(shù)對于模型學習黑臭水體特征或抑制非黑臭水體特征比原始影像的四波段具有更關鍵的作用。因此,引入通道注意力模塊可以使模型更關注輸入影像的NDVI指數(shù)通道和NDBWI指數(shù)通道，使模型達到更好的提取效果。

首先輸入的特征F在經過空間維度上的長度和寬度全局最大池化后進行全連接，再將F的長度和寬度進行全局平均池化并進行全連接，將以上2個池化的輸出結果輸入MLP多層感知器并相加，經過Sigmoid激活函數(shù)，生成通道注意力特征矩陣Mc，最后將輸出的結果與輸入的特征圖相乘，生成最終的通道注意力特征F′[25]。通道注意力模塊的計算公式如式(3)所示。通道注意力模塊結構如圖4所示。

圖4 通道注意力模塊Fig.4 Channel attention module

Mc(F)=σ{MLP[AvgPool(F)]+

MLP[MaxPool(F)]} 。

(3)

式中：MPL為多層感知機；σ為Sigmoid激活函數(shù)。

5.3.2 空間注意力模塊(SAM)

空間注意力模塊使卷積網絡更關注的是哪些位置的特征對網絡的最后輸出起到更大的作用，即哪些位置的信息對最終的預測影響最大，并提升關鍵區(qū)域的特征表達。根據野外實地考察結果，黑臭水體一般為細小水體，河道狹窄，多斷頭河，附近常有工廠或養(yǎng)殖場，這些空間特征對于黑臭水體的識別影響更大?？臻g注意力模塊將原始圖片中的空間信息變換到另一個空間中并保留關鍵信息，為每個位置生成權重掩膜(mask)并加權輸出，從而增強感興趣的特定目標區(qū)域，同時弱化不相關的背景區(qū)域。因此引入空間注意力模塊，能使模型更關注與黑臭水體相關的空間特征。

首先對加權后的特征F′進行全局最大池化與平均池化，將所生成的特征進行通道串接，再進行卷積操作，然后利用 Sigmoid 函數(shù)激活輸出空間特征矩陣Ms，將該權重矩陣與特征圖F′進行點乘運算得到最終所需的空間特征圖F″?？臻g注意力模塊的計算公式如式(4)所示,空間注意力模塊結構如圖5所示。

圖5 空間注意力模塊Fig.5 Spatial attention module

Ms(F)=σ{f7×7[AvgPool(F);MaxPool(F)]}。

(4)

式中:f為卷積層，f7×7為一個濾波器大小為7×7的卷積運算; “;”為通道串接。

將通道注意力模塊與空間注意力模塊順序組合，構成完整的注意力機制模塊，如圖6所示。

圖6 注意力機制模塊Fig.6 Convolutional block attention module

6 黑臭水體提取對比實驗

6.1 深度學習精度評價指標

本實驗為二分類實驗，選用F1-score、MIoU(Mean Intersection over Union)和混淆矩陣圖作為評定各模型精度的指標。

F1-score是深度學習分類問題的常見衡量指標，表示精確率(precision)和召回率(recall)的調和平均數(shù)。本研究中精確率表示被模型認為是黑臭水體的數(shù)量中實際確實是黑臭水體的數(shù)量的比例，召回率表示在模型預測中預測結果正確的占所有黑臭水體的比例，與混淆矩陣中的靈敏度(sensitive)相等。F1-score的公式為

(5)

MIoU即為均交并比，是真實值與預測值之間的交集平均值，MIoU公式為

(6)

式中：K為提取類別的數(shù)目；Pii為匹配像素的數(shù)量；Pij為i被分為j的數(shù)量；Pji為j被分為i的數(shù)量。

本研究中的混淆矩陣中第一象限為真實值是非黑臭水體，預測值是黑臭水體的比例；第二象限為真實值是非黑臭水體，預測值也是非黑臭水體的比例，即特效度(specificity)，可以衡量模型對非黑臭水體的識別能力；第三象限為真實值是黑臭水體，預測值是非黑臭水體的比例；第四象限為真實值是黑臭水體，預測值也是黑臭水體的比例，即靈敏度(sensitive)或召回率(recall)，可以衡量模型對黑臭水體的識別能力。

6.2 原始模型提取黑臭水體遙感信息對比

分別在PSPnet模型和U-Net模型中輸入RGB+NIR+NDVI+ NDBWI六通道組合影像，選取部分同時存在黑臭水體與非黑臭水體的區(qū)域展示提取結果。原始遙感影像與地面真值標簽如圖7所示，其中原始遙感影像中方框位置為正常水體，真值標簽圖中的深色標簽為黑臭水體。原始PSPnet模型提取的黑臭水體結果如圖8所示，定量精度如表1所示。原始U-Net模型提取的黑臭水體結果如圖9所示，定量精度如表2所示。

圖7 原始遙感影像與地面真值標簽Fig.7 Original remote sensing image and ground truthlabel

圖8 PSPnet模型提取結果Fig.8 Extraction results of PSPnet model

表1 PSPnet模型提取精度Table 1 Accuracy of PSPnet model extraction

圖9 U-Net模型提取結果Fig.9 Extraction results of U-Net model

表2 U-Net模型提取精度Table 2 Accuracy of U-Net model extraction

從以上提取結果中可以看出，2種原始模型輸入RGB+NIR+NDVI+NDBWI六通道組合影像時對非黑臭水體有較好的區(qū)別效果，但對細小形狀的黑臭水體提取效果較差，與真值標簽差異較大；且有較多黑臭水體未被提取且提取結果不連續(xù)，精度指標較低，其中U-Net模型提取結果優(yōu)于PSPNet模型。

針對以上問題，為了進一步提升黑臭水體的提取精度，在模型中引入注意力機制，在通道注意力和空間注意力兩方面加強模型對黑臭水體的識別。

6.3 引入注意力機制模塊的改進模型提取黑臭水體遙感信息對比

在PSPnet模型中引入注意力機制模塊，結果如圖10所示，定量精度如表3所示。在U-Net模型中引入注意力機制模塊，結果如圖11所示，定量精度如表4所示。

圖10 引入注意力機制模塊的PSPnet模型提取結果Fig.10 Extraction results of PSPnet model with CBAM

表3 引入注意力機制模塊的PSPnet模型提取精度Table 3 Accuracy of PSPnet model extraction with CBAM

圖11 引入注意力機制模塊的U-Net模型提取結果Fig.11 Extraction results of U-Net model with CBAM

表4 引入注意力機制模塊的U-Net模型提取結果Table 4 Accuracy of U-Net model extraction with CBAM

由結果可知，引入注意力機制的模型對黑臭水體的提取效果要顯著高于原始模型，注意力機制良好改善了對黑臭水體的漏檢與錯檢問題，且提取的圖形連貫，與真值形狀接近。在模型對比方面，輸入RGB+NIR+NDVI+NDBWI六通道組合影像并引入了注意力機制的U-Net模型對黑臭水體的提取效果最佳，各項指標均為最優(yōu)，為本文中黑臭水體提取最優(yōu)模型。

7 結 論

本文基于GF-2遙感影像，利用ENVI、ArcGIS等軟件手動標注真值標簽，將將標注圖像隨機分為訓練集和驗證集，分別進行數(shù)據集增強，實現(xiàn)黑臭水體數(shù)據集的建立?；诮⒌暮诔羲w數(shù)據集，利用PSPNet和U-Net網絡模型進行訓練；針對黑臭水體與非黑臭水體區(qū)別難的問題，將原始遙感影像與NDVI指數(shù)波段和NDBWI指數(shù)波段進行融合；針對形狀細小的黑臭水體難以被識別的問題，對模型進行改進，引入注意力機制模塊，結果表明可以較好地改善對黑臭水體的漏檢和錯檢并且可以較好地提取形狀細小的黑臭水體。

本研究主要研究結論如下：

(1)在各模型中引入注意力機制，可以很好地幫助模型學習與黑臭水體相關的像素，在通道注意力和空間注意力2個方面抑制模型學習與黑臭水體無關的像素，并且對細小形狀黑臭水體提取困難的問題改善明顯。

(2)在本文所有模型中，引入注意力機制的U-Net網絡模型輸入RGB+NIR+NDVI+NDBWI六通道組合影像時具有最優(yōu)異的提取效果，其精度評價指標F1-srore、MIoU、Recall分別達到了0.864 5、0.868 1、0.835 9，在研究區(qū)細小目標黑臭水體提取精度、黑臭水體提取完整度、與非黑臭水體區(qū)分及邊界分割中相較于其他模型具有明顯優(yōu)勢。