基于全卷積神經(jīng)網(wǎng)絡(luò)的灌區(qū)無人機(jī)正射影像渠系提取

張宏鳴 王 斌 韓文霆 楊江濤 蒲 攀 蔚繼承

(1.西北農(nóng)林科技大學(xué)信息工程學(xué)院， 陜西楊凌 712100； 2.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院, 陜西楊凌 712100；3.西北農(nóng)林科技大學(xué)水利與建筑工程學(xué)院， 陜西楊凌 712100)

0 引言

灌溉渠系作為現(xiàn)代農(nóng)業(yè)最主要的水利設(shè)施，對(duì)農(nóng)業(yè)高效節(jié)水灌溉具有重要意義。隨著農(nóng)業(yè)節(jié)水理論研究的不斷深入，農(nóng)業(yè)節(jié)水正趨于精準(zhǔn)化和可控化。多級(jí)灌溉渠系(干、支、斗、農(nóng)、毛)作為灌區(qū)農(nóng)田重要的輸、配水設(shè)施是實(shí)現(xiàn)灌區(qū)精細(xì)化管理的關(guān)鍵[1]。因此，快速準(zhǔn)確獲取大范圍渠系分布情況顯得尤為重要，完善渠系信息的分布研究也是解決我國水資源短缺和節(jié)水問題的先決條件[2]。無人機(jī)技術(shù)作為獲取地理信息的前沿技術(shù)，具有數(shù)據(jù)客觀、現(xiàn)實(shí)性好等優(yōu)點(diǎn)，能夠在短時(shí)間內(nèi)獲取較大面積的精準(zhǔn)地形數(shù)據(jù)?？梢酝ㄟ^無人機(jī)獲取高分辨率遙感影像資料[3]，為后期的數(shù)字化技術(shù)提供豐富的地理信息，以實(shí)現(xiàn)農(nóng)業(yè)的精準(zhǔn)灌溉[4]。

通常，主要通過數(shù)字高程模型(Digital elevation model，DEM)[5]或遙感圖像進(jìn)行灌溉渠系的提取[6-8]。文獻(xiàn)[9]基于DEM數(shù)據(jù)通過改進(jìn)霍夫變換方法進(jìn)行渠系輪廓提取，但僅在渠系特征明顯地區(qū)提取效果較好，較難提取人造渠系網(wǎng)絡(luò)。并且，使用DEM作為數(shù)據(jù)源是通過模擬水流的方式進(jìn)行渠系提取，該方法需要人為預(yù)設(shè)渠系的起點(diǎn)位置，結(jié)合水流流向獲取匯水面積進(jìn)而劃分流域信息，達(dá)到渠系提取目的。而河套灌區(qū)渠系在凍土?xí)r期處于少水或無水狀態(tài)，因此該提取方法受季節(jié)環(huán)境影響，存在一定的局限性。遙感圖像分類的常用算法[10-12]包括最大似然法、K-means算法、支持向量機(jī)(Support vector machine，SVM)等。文獻(xiàn)[13]在DEM基礎(chǔ)上通過SVM模型提取灌區(qū)渠系輪廓，該方法對(duì)大部分支渠、斗渠提取效果良好，但對(duì)農(nóng)渠提取效果較差，并且在圖像預(yù)處理(樣本點(diǎn)選取、閾值尋優(yōu))、后處理(斷線連接)過程中人工干預(yù)較多。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，CNN)是深度學(xué)習(xí)模型中一種包含多個(gè)卷積層的人工神經(jīng)網(wǎng)絡(luò)模型，主要用來識(shí)別二維圖像[14]。CNN模型的優(yōu)勢(shì)在于權(quán)值共享，自動(dòng)學(xué)習(xí)多層次特征并調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，比傳統(tǒng)的機(jī)器學(xué)習(xí)具有更強(qiáng)的特征學(xué)習(xí)和特征表達(dá)能力[15-19]。近年來，CNN模型憑借特征自提取的特點(diǎn)在圖像領(lǐng)域中廣泛應(yīng)用，一些學(xué)者已經(jīng)將其應(yīng)用在遙感領(lǐng)域當(dāng)中[14-19]。文獻(xiàn)[20]提出在開放街道地圖(Open street map，OSM)中應(yīng)用CNN模型進(jìn)行立交橋交叉結(jié)構(gòu)分類。該方法將矢量數(shù)據(jù)與柵格圖像相結(jié)合，利用CNN模型學(xué)習(xí)立交橋類型的高層次模糊性特征，并對(duì)OSM中的復(fù)雜交叉結(jié)構(gòu)進(jìn)行分類，取得了較好的效果。但由于灌區(qū)正射影像中渠系、田間小路交錯(cuò)分布，且特征相似，同譜異物現(xiàn)象較為嚴(yán)重，使用CNN模型不能對(duì)二者進(jìn)行有效區(qū)分。文獻(xiàn)[21]在CNN模型的基礎(chǔ)上，提出用全卷積神經(jīng)網(wǎng)絡(luò)(Fully convolutional networks，F(xiàn)CN)模型進(jìn)行像素級(jí)別的分類，從而有效地解決了語義級(jí)別的圖像分割問題。基于該網(wǎng)絡(luò)可從抽象的特征中恢復(fù)出每個(gè)像素所屬的類別，即從圖像級(jí)別的分類進(jìn)一步延伸到像素級(jí)別的分類，從而完成對(duì)目標(biāo)圖像的分類提取[22-27]。

本文將FCN模型引入到渠系提取領(lǐng)域，以無人機(jī)采集的高分辨率正射影像為研究對(duì)象，通過FCN模型進(jìn)行渠系輪廓提取，并將提取結(jié)果與改進(jìn)霍夫變換模型、SVM模型的提取結(jié)果作對(duì)比，最后進(jìn)行精度評(píng)價(jià)，實(shí)現(xiàn)灌區(qū)渠系輪廓的精確提取。在土地整理規(guī)劃時(shí)通常不考慮毛渠信息[9]，因此主要對(duì)灌區(qū)支渠、斗渠和農(nóng)渠輪廓進(jìn)行提取，不考慮渠寬小于1 m的毛渠。

1 研究區(qū)域及實(shí)驗(yàn)樣本

1.1 研究區(qū)域概況

研究區(qū)域位于內(nèi)蒙古自治區(qū)臨河市海豐縣河套灌區(qū)，地理坐標(biāo)范圍為41°6′52″～41°8′27″N，107°51′29″～107°53′4″E，海拔范圍為973.76～1 037.01 m。研究區(qū)域灌溉面積約為688萬m2。2016年3月，首先在能見度高、風(fēng)速小于10 m/s的晴朗天氣，使用T-EZ AF1000型無人機(jī)在400 m的飛行高度搭載索尼A5100型相機(jī)獲取該區(qū)域正射影像信息，飛行速度14 m/s。然后使用Agisoft Photoscan軟件拼接生成空間分辨率為0.25 m的正射影像。研究區(qū)域正射影像如圖1所示。

圖1 研究區(qū)域正射影像Fig.1 DOM data of study area

圖2 各實(shí)驗(yàn)區(qū)域正射影像Fig.2 DOM data of each experimental area

從研究區(qū)域選取3塊實(shí)驗(yàn)區(qū)，其正射影像如圖2所示。實(shí)驗(yàn)區(qū)1(圖2a)圖像分辨率為10 000像素×7 000像素，覆蓋面積約67.9萬m2，作為本次實(shí)驗(yàn)的訓(xùn)練、驗(yàn)證樣本，范圍最大，包含信息最為全面。實(shí)驗(yàn)區(qū)2(圖2b)圖像分辨率為4 000像素×3 000像素，覆蓋面積約12.5萬m2，作為本次實(shí)驗(yàn)測(cè)試樣本。實(shí)驗(yàn)區(qū)3(圖2c)圖像分辨率為5 000像素×4 000像素，覆蓋面積約為27.5萬m2，作為本次實(shí)驗(yàn)的測(cè)試樣本，環(huán)境最為復(fù)雜。

1.2 實(shí)驗(yàn)樣本

在深度學(xué)習(xí)的分類算法中，實(shí)驗(yàn)樣本的品質(zhì)直接決定了訓(xùn)練的結(jié)果。由于本文實(shí)驗(yàn)使用的正射影像數(shù)據(jù)空間分辨率較高(0.25 m)、細(xì)節(jié)清晰、特征豐富，因此基于目視解譯的方法使用Photoshop軟件制作標(biāo)簽圖像，設(shè)置渠系的灰度為255，其他區(qū)域灰度設(shè)置為0。為防止過擬合，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，數(shù)據(jù)增強(qiáng)的方法包括：對(duì)圖像進(jìn)行水平、垂直翻轉(zhuǎn)和90°、180°、270°旋轉(zhuǎn)。為節(jié)省內(nèi)存空間并且保證渠系的分割效果，將3塊實(shí)驗(yàn)區(qū)正射影像和標(biāo)簽圖像分割成若干組500像素×500像素的圖像。經(jīng)過數(shù)據(jù)增強(qiáng)并分割后，訓(xùn)練集1 600組(剔除實(shí)驗(yàn)區(qū)1和實(shí)驗(yàn)區(qū)3中重復(fù)樣本)，驗(yàn)證集400組，測(cè)試集1 024組。隨機(jī)選取的實(shí)驗(yàn)樣本正射影像和標(biāo)簽圖像如圖3所示。

圖3 實(shí)驗(yàn)樣本圖像Fig.3 Experimental sample images

2 FCN算法

FCN模型與CNN模型最大的區(qū)別在于卷積層之后的結(jié)構(gòu)不同。FCN模型是將CNN模型中的全連接層轉(zhuǎn)換為卷積層，可以接受任意尺寸的圖像輸入，并加入反卷積層[28]。

本文使用的FCN模型基于VGG-19網(wǎng)絡(luò)改進(jìn)而來，前16層為卷積層，后3層為反卷積層，共19層。

基于FCN模型進(jìn)行渠系輪廓提取的方法流程如圖4所示。主要過程描述如下：①利用無人機(jī)獲取高分辨率正射影像，形成訓(xùn)練集、驗(yàn)證集和測(cè)試集。②標(biāo)注訓(xùn)練集、驗(yàn)證集、測(cè)試集。③對(duì)訓(xùn)練集、驗(yàn)證集、測(cè)試集進(jìn)行數(shù)據(jù)增強(qiáng)并分割。④以改進(jìn)的VGG-19網(wǎng)絡(luò)為基礎(chǔ)，采用FCN-8s結(jié)構(gòu)，使用Tensorflow框架構(gòu)建FCN渠系提取模型。⑤將訓(xùn)練集、驗(yàn)證集放入FCN模型中進(jìn)行訓(xùn)練、驗(yàn)證，獲得FCN渠系輪廓提取模型。⑥將測(cè)試集放入訓(xùn)練好的FCN模型中進(jìn)行測(cè)試。⑦將測(cè)試結(jié)果拼接并進(jìn)行精度評(píng)價(jià)。⑧和其他提取模型對(duì)比，最終完成渠系輪廓提取。

圖4 方法流程圖Fig.4 Flow chart of method

2.1 卷積層

卷積層的主要目的是提取圖像特征信息，減少不必要的權(quán)值連接，降低噪聲對(duì)圖像的影響。卷積層常用的激活函數(shù)包括Sigmod函數(shù)、Tanh函數(shù)和ReLu函數(shù)。由于ReLu函數(shù)只包含線性關(guān)系，無論正向傳播還是反向傳播，ReLu函數(shù)的收斂速度都比Sigmod函數(shù)和Tanh函數(shù)快很多。因此本文選擇ReLu作為激活函數(shù)，其數(shù)學(xué)表達(dá)式為

f(x)=max(0,x)

(1)

式中x——輸入的神經(jīng)元

2.2 池化層

下采樣作為池化層的主要操作，其主要目的是對(duì)輸入的特征圖進(jìn)行壓縮，減少模型參數(shù)，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算的復(fù)雜度，同時(shí)防止過擬合。

圖5 FCN-8s模型結(jié)構(gòu)Fig.5 Structure of FCN-8s model

2.3 反卷積層

反卷積層是卷積的逆過程，通過反卷積層對(duì)最后一個(gè)卷積層的特征圖進(jìn)行上采樣，使其恢復(fù)到輸入圖像的原始尺寸，從而可以對(duì)每個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè)，同時(shí)保留了原始輸入圖像中的空間信息。在相同尺寸的特征圖上對(duì)每個(gè)像素進(jìn)行分類，利用softmax交叉熵函數(shù)作為損失函數(shù)逐像素地計(jì)算損失[29]，其數(shù)學(xué)表達(dá)式為

(2)

(3)

(4)

式中L——損失函數(shù)

yi——真實(shí)分類結(jié)果

ai——softmax的第i個(gè)輸出值

zi——網(wǎng)絡(luò)第i個(gè)輸出

wij——第i個(gè)神經(jīng)元的第j個(gè)權(quán)重

xij——第i個(gè)神經(jīng)元在第j個(gè)維度上的值

b——偏移值

2.4 跳躍結(jié)構(gòu)

實(shí)驗(yàn)樣本圖像經(jīng)過一系列的卷積、下采樣操作，得到的特征圖尺寸為原圖像尺寸的1/32，此時(shí)的特征圖稱為heat map。

此時(shí)FCN模型有3種不同的融合方式：①FCN-32s模型，直接對(duì)heat map進(jìn)行32倍上采樣。②FCN-16s模型，將FCN-32s模型得到的heat map進(jìn)行2倍上采樣后與第4次下采樣后的特征圖融合，再進(jìn)行16倍上采樣。③FCN-8s模型，將FCN-16s模型得到的heat map進(jìn)行2倍上采樣后與第3次下采樣后的特征圖融合，再進(jìn)行8倍上采樣。

實(shí)驗(yàn)中渠系在實(shí)驗(yàn)樣本圖像中趨于細(xì)長(zhǎng)，在模型提取過程中經(jīng)過多次下采樣后再經(jīng)過上采樣會(huì)造成特征信息丟失，因此FCN-32s模型和FCN-16s模型的上采樣結(jié)果很難提取出有用信息。綜上所述，主要依據(jù)FCN-8s模型的上采樣結(jié)果進(jìn)行渠系提取，其結(jié)構(gòu)如圖5所示。

楊琳是歐陽橘紅的救命恩人，他是代歐陽橘紅護(hù)理、照顧楊琳。歐陽橘紅的救命恩人，就是他的救命恩人。歐陽橘紅不知道救命恩人的癌細(xì)胞開始擴(kuò)散，在世日子可用手指頭來算了，如果知道，她一定會(huì)回濱湖。歐陽橘紅離開濱湖十二年了，楊琳記得，歐陽橘紅走前，說是南京化工廠，她沒問詳細(xì)地址，現(xiàn)在還在不在南京化工廠，楊琳也不知道了。他往南京化工廠發(fā)了四十多封信，有三十多封退回來了，有十來封沒退回來，估計(jì)是在路上丟了。所有退信簽上，都是“查無此人”。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 FCN模型訓(xùn)練

將訓(xùn)練集、驗(yàn)證集放入FCN模型進(jìn)行訓(xùn)練、驗(yàn)證，設(shè)置批大小為4，訓(xùn)練速率初值設(shè)置為1×10-6，訓(xùn)練過程中損失函數(shù)曲線如圖6所示。前10 000次迭代過程中損失函數(shù)迅速減小，經(jīng)過45 000次迭代后損失函數(shù)基本收斂，損失函數(shù)值穩(wěn)定在9.725×10-3，雖然仍有波動(dòng)出現(xiàn)，但隨著迭代次數(shù)的增加，波動(dòng)的頻率逐漸減小。FCN模型訓(xùn)練結(jié)構(gòu)如圖7所示。

3.2 精度評(píng)估

將測(cè)試集放入訓(xùn)練好的FCN模型進(jìn)行測(cè)試，并將測(cè)試結(jié)果拼接顯示。然后進(jìn)行精度評(píng)估。

為了進(jìn)一步量化該方法的提取效果，需要統(tǒng)計(jì)提取結(jié)果的像元數(shù)據(jù)，將提取結(jié)果保存為以空格符分隔的RGB三元組文本文件，通過遍歷獲得統(tǒng)計(jì)結(jié)果。在實(shí)際地形中，渠系一般為具有一定寬度的線狀結(jié)構(gòu)，因此判讀渠系提取正確與否應(yīng)設(shè)置緩沖半徑R，若緩沖半徑R過大，錯(cuò)誤提取的渠系像元會(huì)被誤判，從而造成渠系提取準(zhǔn)確率虛高；同樣，緩沖半徑R過小也會(huì)影響真實(shí)結(jié)果。

圖6 損失函數(shù)曲線Fig.6 Curve of loss function

圖7 FCN模型訓(xùn)練結(jié)構(gòu)Fig.7 Training structure of FCN model

通常渠系寬度最窄為0.5 m，設(shè)緩沖半徑為0.25 m用以統(tǒng)計(jì)正確像元數(shù)，如果該點(diǎn)左右緩沖半徑內(nèi)有識(shí)別出來的像元，則認(rèn)為是正確提取。

通過3項(xiàng)精度評(píng)估指標(biāo)：準(zhǔn)確度P(Precision)、完整度C(Completion)、精度A(Accuracy)對(duì)渠系輪廓提取結(jié)果進(jìn)行量化評(píng)價(jià)[30]，其計(jì)算公式為

(5)

(6)

(7)

式中TP——正確識(shí)別的渠系數(shù)量

FP——非渠系識(shí)別為渠系數(shù)量

TN——正確識(shí)別的非渠系數(shù)量

3.3 結(jié)果與分析

通過FCN模型進(jìn)行渠系輪廓提取，并與文獻(xiàn)[13]采用的SVM模型以及文獻(xiàn)[9]采用的改進(jìn)霍夫變換模型進(jìn)行對(duì)比，3種提取模型的準(zhǔn)確度、完整度、精度均值如表1所示。

兩塊測(cè)試區(qū)域渠系輪廓提取結(jié)果如圖8所示，標(biāo)簽圖(圖8a、8e)中支渠、斗渠用白色線條表示，農(nóng)渠用紅框標(biāo)出。結(jié)果表明：

(1)3種模型在環(huán)境良好、干擾信息較少的測(cè)試區(qū)1上對(duì)支渠、斗渠提取效果均較為良好，但SVM模型(圖8c)對(duì)農(nóng)渠的提取效果較差；改進(jìn)霍夫變換模型(圖8d)則出現(xiàn)部分錯(cuò)提、漏提現(xiàn)象，F(xiàn)CN模型(圖8b)對(duì)農(nóng)渠提取效果較好，在整個(gè)測(cè)試區(qū)1提取準(zhǔn)確度、完整度、精度均值分別為98.37%、96.22%、94.21%。

表1 精度評(píng)價(jià)及對(duì)比Tab.1 Performance evaluation and comparison of proposed method %

圖8 測(cè)試區(qū)渠系輪廓提取結(jié)果Fig.8 Extraction maps of test area irrigation networks

(2)環(huán)境復(fù)雜的測(cè)試區(qū)2中存在大面積房屋、焚燒秸稈的殘留物、樹木陰影以及人為活動(dòng)等干擾信息，可驗(yàn)證FCN模型在環(huán)境復(fù)雜區(qū)域的魯棒性。結(jié)果顯示，針對(duì)環(huán)境復(fù)雜、同譜異物現(xiàn)象嚴(yán)重的區(qū)域，SVM模型(圖8g)出現(xiàn)較多錯(cuò)提取現(xiàn)象；改進(jìn)霍夫變換模型(圖8h)出現(xiàn)大范圍漏提取現(xiàn)象；FCN模型(圖8f)對(duì)支渠、斗渠、農(nóng)渠的整體提取效果均優(yōu)于其他兩種模型，其準(zhǔn)確度、完整度、精度均值分別為93.18%、88.36%、84.69%，均高于SVM模型和改進(jìn)霍夫變換模型。

綜上所述，通過改進(jìn)霍夫變換模型對(duì)灌區(qū)渠系輪廓的提取主要集中在環(huán)境良好、干擾信息較少區(qū)域的高級(jí)別渠系，而對(duì)環(huán)境復(fù)雜區(qū)域的斗渠、農(nóng)渠等低級(jí)別渠系的提取效果不佳，在整個(gè)測(cè)試區(qū)提取的準(zhǔn)確度、完整度、精度均值分別為93.98%、87.22%、80.94%。通過SVM模型訓(xùn)練分類得到渠系和非渠系結(jié)果，該方法對(duì)大部分支渠、斗渠提取效果良好，但是對(duì)農(nóng)渠提取效果不佳，在整個(gè)測(cè)試區(qū)提取的準(zhǔn)確度、完整度、精度均值分別為92.96%、89.08%、84.89%。通過FCN模型對(duì)灌區(qū)渠系輪廓進(jìn)行提取，該方法對(duì)灌區(qū)支渠、斗渠、農(nóng)渠提取效果均較為良好，在整個(gè)測(cè)試區(qū)提取的準(zhǔn)確度、完整度、精度均值分別為95.78%、92.29%、89.45%，各項(xiàng)指標(biāo)均優(yōu)于SVM模型以及改進(jìn)霍夫變換模型。因此，該方法針對(duì)不同復(fù)雜程度的測(cè)試區(qū)域，均能得到更加完整精確的渠系分布信息，具有較好的泛化性和魯棒性。然而，本文提取結(jié)果的主要誤差由同譜異物現(xiàn)象造成，對(duì)圖像特征與渠系相近的田間小路、空地等干擾區(qū)域未能較好地區(qū)分，有待在今后的研究中改進(jìn)。

4 結(jié)論

(1)以無人機(jī)采集的高分辨率渠系正射影像為研究對(duì)象，通過FCN語義分割模型進(jìn)行灌區(qū)渠系輪廓提取，針對(duì)不同復(fù)雜程度的測(cè)試區(qū)域，F(xiàn)CN模型的提取準(zhǔn)確度、完整度、精度均高于支持向量機(jī)方法和改進(jìn)霍夫變換方法，均值分別為95.78%、92.29%、89.45%。

(2)采用FCN模型進(jìn)行渠系輪廓提取，簡(jiǎn)化了傳統(tǒng)識(shí)別方法中復(fù)雜的圖像預(yù)處理和后處理過程，避免了傳統(tǒng)分類方法復(fù)雜的特征選擇過程，實(shí)現(xiàn)了渠系輪廓特征的自動(dòng)提取，在人工干預(yù)較少的情況下，能夠較為完整、精確地提取渠系輪廓信息，為進(jìn)一步實(shí)現(xiàn)農(nóng)業(yè)的精準(zhǔn)灌溉提供了良好的技術(shù)支持。