全卷積神經(jīng)網(wǎng)絡用于遙感影像水體提取

王 雪，隋立春,2,鐘棉卿,李頂萌,黨麗麗(. 長安大學，陜西 西安 7005； 2. 地理國情監(jiān)測國家測繪地理信息局工程技術研究中心,陜西 西安 7005； . 西安國際港務區(qū)規(guī)劃局，陜西 西安 70026； . 咸陽職業(yè)技術學院，陜西 咸陽 72000)

隨著遙感技術的發(fā)展，利用遙感影像提取水體信息是進行水資源調(diào)查和監(jiān)測的重要手段和方法。水體提取的方法較多：基于影像光譜特征的提取方法，如畢海蕓等[1]利用的單波段閾值法、基于閾值的多波段譜間關系法、基于閾值的水體指數(shù)法等；基于影像紋理特征的提取方法,如李小濤等[2]利用變差函數(shù)來描述影像的紋理特征，根據(jù)水體的紋理特征對水體進行提?。贿€有一類綜合考慮影像的光譜特征、空間特征和紋理特征的面向?qū)ο蟮奶崛》椒ǎ缫髞喦锏萚3]把影像分割成不同的對象，利用影像的光譜信息和空間信息，在對象層次上進行水體的提取。

近年來，隨著人工智能、大數(shù)據(jù)、機器學習技術的發(fā)展，一些新型目標提取算法和技術不斷出現(xiàn)，基于全卷積神經(jīng)網(wǎng)絡(FCN)的遙感影像水體的提取就是其中之一。卷積神經(jīng)網(wǎng)絡(CNN)[4]的優(yōu)點在于其多層結(jié)構(gòu)能自動學習的特征，并且可以學習到多個層次的特征；較淺的卷積神經(jīng)網(wǎng)絡感知域較小，可以學習到一些局部區(qū)域的特征，較深的卷積層具有較大的感知域，能夠?qū)W習到更加抽象的特征。目前,卷積神經(jīng)網(wǎng)絡不僅在全圖式的分類上有所提高[5-7],也在局部任務上,如目標檢測上取得了進步[8-11]。

本文提出的全卷積神經(jīng)網(wǎng)絡算法用于水體目標提取，可以從抽象的特征中恢復出每個像素所屬的類別，使從圖像級別的分類進一步延伸到像素級別的分類。因此，本文提出的算法相對于傳統(tǒng)的目標提取算法有更高的可信度和穩(wěn)健性。

1 全卷積神經(jīng)網(wǎng)絡的基本原理

卷積神經(jīng)網(wǎng)絡是包含卷積層的深度神經(jīng)網(wǎng)絡模型。卷積神經(jīng)網(wǎng)絡模型較多，經(jīng)典的模型有2012年ImageNet比賽冠軍的模型AlexNet[5]、2014年ImageNet競賽的雙雄VGG[6]模型和GoogleNet模型[7]。這些典型的CNN模型中，開始幾層都是卷積層(CONV)和池化層(pool，即下采樣)的交替，然后在最后一些層(靠近輸出層)則是全連接(FC)的一維網(wǎng)絡，這樣將卷積層產(chǎn)生的特征圖就映射成一個固定長度的特征向量。這些典型CNN結(jié)構(gòu)適合于圖像級的分類和回歸任務。由于最后得到的是整個輸入圖像的一個數(shù)值描述的概率值，它會將原來二維的矩陣(圖像)壓扁成一維的，從而使后半段沒有空間信息。那么,如何從抽象的特征中恢復出每個像素的所屬類別，即從圖像級別的分類進一步延伸到像素級別的分類，Jonathan Long等提出了全卷積神經(jīng)網(wǎng)絡(FCN)[12]。

FCN模型將傳統(tǒng)的CNN模型的全連接層轉(zhuǎn)化成一個個卷積層，這樣所有的層都是卷積層，故稱為全卷積網(wǎng)絡。FCN的構(gòu)建包括卷積化、上采樣(反卷積)和跳層結(jié)構(gòu)。

1.1 卷積化

卷積化即將傳統(tǒng)的CNN全連接層轉(zhuǎn)化成一個個卷積層，輸出低分辨率的分割圖像。如圖1所示，以AlexNet模型為例。

圖1 卷積神經(jīng)網(wǎng)絡構(gòu)建全卷積神經(jīng)網(wǎng)絡示意圖

圖1中，CONV1—CONV5為卷積層，同時每層下采樣，圖像尺寸每層降2倍，全連接層FC6、FC7、FC8分別進行了1×1的卷積，卷積化后的核尺寸(通道數(shù)、寬、高)分別變?yōu)?4096,1,1)、(4096,1,1)和(類別數(shù)N，1,1)。

在卷積神經(jīng)網(wǎng)絡中，卷積計算需要矩陣化[13]，若卷積參數(shù)輸入為4×4圖像，輸出為2×2圖像，卷積核尺寸為3×3，邊界填充補零為0，步長為1。則矩陣乘就是將輸入展開為16維向量x，輸出展開為4維向量y，則卷積計算公式如下

y=Cx

(1)

變換后的稀疏陣C由卷積核C′變換而來，C和C′的表達式如下

通過式(1)即可以進行卷積計算。

1.2 上采樣(反卷積)

由于卷積化后輸出的為低分辨率的圖像，前五卷積層降采樣下降32倍，為了解決低分辨率的問題，將低分辨率圖像進行上采樣，輸出同分辨率的分割圖像。上采樣的方法選用雙線性插值反卷積[14]計算。圖2為上采樣示意圖。

圖2 上采樣示意圖

與卷積化一樣，反卷積操作也需要矩陣化，若卷積參數(shù)輸入為2×2圖像，輸出為4×4圖像，卷積核尺寸為3×3，邊界填充補零為2，步長為1，則矩陣乘就是輸出展開為4維的向量y，輸入展開為16維的向量x，反卷積計算公式如下

x=CTy

(2)

1.3 跳層結(jié)構(gòu)

由于從32倍下采樣的圖像直接上采樣插值到原始圖像大小，信息量損失較大，結(jié)果較粗糙，只能表示出對象的大致形狀。為了解決這個問題，本文提出跳層結(jié)構(gòu)，以精化分割提取的圖像。

3種模型的構(gòu)建如圖3所示。第1種模型是FCN-32s，是在第7卷積層(CONV7)后直接采用上采樣32倍的結(jié)果；第2種模型是FCN-16s，是在第4池化層(pool4)后增一個1×1的卷積層，同時把第7層上采樣2倍，再將二者融合。融合方法是直接進行矩陣對應位置相加，然后對融合的結(jié)果Sum(1)進行16倍的上采樣，獲得FCN-16模型；第3種模型是FCN-8s，是在第3池化層(pool3)后增加一個1×1的卷積層，同時對Sum(1)進行2倍上采樣，二者再進行融合得到Sum(2)，對Sum(2)再進行8倍上采樣獲得FCN-8s模型。

2 全卷積神經(jīng)網(wǎng)絡的模型構(gòu)建和試驗數(shù)據(jù)

本文選用VGG16為基本網(wǎng)絡模型來構(gòu)建FCN模型，使用VGG16作為初始網(wǎng)絡，保留參數(shù)；舍棄最后的2個全連接層換為全卷積層，同時追加一個預測卷積層，按照跳層結(jié)構(gòu)的原理，分別構(gòu)建出FCN-32s網(wǎng)絡模型、FCN-16s網(wǎng)絡模型和FCN-8s網(wǎng)絡模型。

本文的試驗數(shù)據(jù)包括訓練數(shù)據(jù)和測試數(shù)據(jù)。訓練數(shù)據(jù)是從遙感影像中裁剪出帶有水體的187幅約為500×500像素大小的影像，分辨率約為4 m，為了增加樣本量，進行90°、180°、270°旋轉(zhuǎn)，總共獲取748幅影像；同時對這748幅影像的水體進行標注，除水體外其他標注為背景，共兩類目標，作為標簽數(shù)據(jù)；然后對748幅影像數(shù)據(jù)和標簽數(shù)據(jù)的70%作為訓練集，30%作為驗證集，引入VGG16構(gòu)建的FCN-32s、FCN-16s和FCN-8s網(wǎng)絡模型，進行推理和學習，通過參數(shù)微調(diào)，獲取3種先驗模型，迭代次數(shù)均為50 000次。

測試數(shù)據(jù)是在遙感地圖上裁剪的2幅圖像，這兩幅圖像與訓練數(shù)據(jù)來自不同區(qū)域。一幅背景較簡單，水體形狀比較規(guī)則；另外一幅背景比較復雜，水體形狀不規(guī)則，如圖4(a)所示。

圖3 FCN 3種模型的構(gòu)建

3 試驗結(jié)果及分析

全卷積神經(jīng)網(wǎng)絡由前文直接獲取的3種先驗模型進行測試；閾值法的閾值通過隨機在水體區(qū)域選取分布均勻的15個點，確定出閾值的范圍進行水體提??；Grabcut[15]通過人機交互界面粗略地畫出前景和背景線，來自動構(gòu)建高斯混合模型，進行水體提取。幾種方法提取結(jié)果如圖4所示。

圖4 幾種方法試驗結(jié)果

圖4所列為試驗結(jié)果，其中圖4(a)為原始影像，圖4(b)為人工判讀的結(jié)果，作為理想的水體區(qū)域參考值，圖4(c)為閾值法結(jié)果，雖然能提取出水體，速度比較快，方法簡單，但是噪聲比較多,邊緣也不是特別明顯。另外不同的影像閾值是不固定的，每幅影像要重新選擇閾值,通用性差。圖4(d)和(e)均為全卷積神經(jīng)網(wǎng)絡提取水體，選擇FCN8s和FCN32s兩種模型的測試結(jié)果，可以看出FCN8s提取的邊界更清晰，提取得更精細一些，而FCN32s提取結(jié)果雖然位置正確，但是比較粗略。圖4(f)為GrabCut提取結(jié)果，GrabCut對背景簡單的提取效果比對背景復雜的要好，但是在提取時需要人工交互選取前景和背景，工作量大，泛化能力較差，精度也不是很高，漏掉的比較多，對于水體提取，該方法還需要改進。因此，全卷積神經(jīng)網(wǎng)絡尤其是FCN8s模型提取水體自動化程度高，效果較好。

4 結(jié)論與展望

本文提出了一種全卷積神經(jīng)網(wǎng)絡模型用于水體目標提取的方法，通過3種模型FCN32s、FCN16s和FCN8s，對遙感影像上的水體目標進行分割提取試驗，通過與傳統(tǒng)的閾值法和基于圖論的GrabCut算法提取水體對比，全卷積神經(jīng)網(wǎng)絡的FCN8s模型提取結(jié)果穩(wěn)健性較強，泛化能力較好。

隨著人工智能和大數(shù)據(jù)的崛起，若能利用遙感影像的高光譜數(shù)據(jù)的特征，并增加基礎地理信息的面狀和線狀地圖信息，構(gòu)成大數(shù)據(jù)進行訓練，筆者相信深度卷積神經(jīng)網(wǎng)絡將在測繪遙感領域發(fā)揮出更大的優(yōu)勢。

參考文獻：

[1] 畢海蕓，王思遠，曾江源,等.基于TM影像的幾種常用水體提取方法的比較和分析[J].遙感信息，2012，27(5):77-82.

[2] 李小濤，黃詩峰，郭懷軒.基于紋理特征的SPOT5影像水體體取方法研究[J].人民黃河，2010，32(12)：5-6.

[3] 殷亞秋，李家國，余濤,等.基于高分辨率遙感影像的面向?qū)ο笏w提取方法研究[J].測繪通報，2015(1):81-85.

[4] 吳岸城.神經(jīng)網(wǎng)絡與深度學習[M].北京：電子工業(yè)出版社，2016.

[5] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet Classification with Deep Convolutional Neural Networks[C]∥International Conference on Neural Information Processing Systems.Nevada：Curran Associates Inc，2012:1097-1105.

[6] SIMONYAN K，ZISSERMAN A.Very Deep Convolutional Networks for Large-scale Image Recognition[J].Computer Science,2014(9):1409-1456.

[7] SZEGEDY C，LIU W，JIA Y，et al.Going Deeper with Convolutions[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Santiago：IEEE Computer Society，2015:1-9.

[8] GIRSHICK R，DONAHUE J，DARREL T，et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J].Computer Science，2013(6):580-587.

[9] GIRSHICK R.Fast R-CNN[C]∥International Conference on Computer Vision.Santiago：IEEE，2015：1440-1448.

[10] REN S，HE K，GIRSHICK R，et al.Faster R-CNN：Towards Real-time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39(6)：1137-1149.

[11] HE K，ZHANG X，REN S，et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(9)：1904-1916.

[12] LONG J，SHELHAMER E，DARREL T.Fully Convolutional Networks for Semantic Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39(4)：640-651.

[13] DUMOULIN V，VISIN F.A Guide to Convolution Arithmetic for Deep Learning[J].Stat，2016，1050：23.

[14] ZEILER M D，F(xiàn)ERGUS R.Visualizing and Understanding Convolutional Networks[C]∥European Conference on Computer Vision.Zurich ：Springer， 2014：818-833.

[15] ROTHER C，KOLMOGOROV V，BLAKE A.“GrabCut”：Interactive Foreground Extraction Using Iterated Graph Cuts[J].IEEE Transactions on Graphics，2004，23(3):309-314.

[16] GARCIAGARCIA A，ORTSESCOLANO S，OPREA S，et al.A Review on Deep Learning Techniques Applied to Semantic Segmentation[J].Computer Science，2017(4):1704.