深度學(xué)習(xí)在多時(shí)相大棚提取應(yīng)用研究

宋廷強(qiáng)，張信耶，李繼旭，范海生，孫媛媛，宗 達(dá)，劉童心

1.青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島266000

2.廣州歐比特人工智能研究院，廣東 珠海519080

1 引言

蔬菜大棚作為重要的農(nóng)業(yè)設(shè)施，可以延長(zhǎng)蔬菜供應(yīng)周期，提高農(nóng)業(yè)產(chǎn)量。早期通過(guò)人工的方法獲取種植分布以及種植面積，這種方法效率低下，可靠性較低。現(xiàn)代地球觀(guān)測(cè)設(shè)備如衛(wèi)星、無(wú)人機(jī)每天都會(huì)產(chǎn)生大量的遙感數(shù)據(jù)。如何準(zhǔn)確、自動(dòng)化進(jìn)行遙感解譯（如大棚分布信息），進(jìn)而輔助政府決策具有重要的研究意義。

遙感影像解譯的準(zhǔn)確性依賴(lài)于圖像分類(lèi)技術(shù)[1-2]。在過(guò)去研究中，針對(duì)單時(shí)間觀(guān)測(cè)影像，使用最大似然法（maximum likelihood）、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)（SVM）以及面向?qū)ο蟮确诸?lèi)算法完成城市、道路提取等任務(wù)[3-8]。然而，植被、蔬菜大棚等地物受時(shí)間變化影響，光譜和紋理會(huì)發(fā)生改變。為解決時(shí)相問(wèn)題，研究學(xué)者做了大量研究，其中Whitcraft 和Valero 等人根據(jù)物候?qū)W知識(shí)，構(gòu)建時(shí)序系統(tǒng)用于時(shí)間特征的提取[9-10]。Guo借助NDVI（植被指數(shù)）構(gòu)建時(shí)間序列進(jìn)行糧食產(chǎn)量預(yù)估[11-12]。雖然這些方法取得不錯(cuò)的結(jié)果，受限于傳統(tǒng)模式識(shí)別方法特征設(shè)計(jì)繁瑣、泛化能力不足[13]，如何充分利用時(shí)間、空間以及光譜信息提高遙感分類(lèi)精度仍然面臨挑戰(zhàn)。

近年來(lái)，深度學(xué)習(xí)快速發(fā)展，F(xiàn)CN[14]、CRF-FCN[15]、U-net[16]以及Segnet[17]等語(yǔ)義分割網(wǎng)絡(luò)在無(wú)人駕駛[18]、地理信息系統(tǒng)、醫(yī)學(xué)圖像分析[19]、遙感影像地物識(shí)別[20-24]等領(lǐng)域得到了廣泛應(yīng)用。特別的，針對(duì)小數(shù)據(jù)集，楊建宇等人選用Segnet 網(wǎng)絡(luò)在遙感數(shù)據(jù)集上獲得不錯(cuò)的效果[25]。基于U-net網(wǎng)絡(luò)分割方法同樣在遙感圖像上有著不錯(cuò)的表現(xiàn)[26-27]。2017 年Chen 等人提出Deeplabv3+網(wǎng)絡(luò)[28]，該模型嘗試編解碼結(jié)構(gòu)，在PASCAL VOC 2012取得最高準(zhǔn)確率，針對(duì)遙感影像分類(lèi)同樣具有很高的準(zhǔn)確率[29-31]。針對(duì)時(shí)序問(wèn)題，具有代表性的RNN、LSTM網(wǎng)絡(luò)成功應(yīng)用在語(yǔ)言翻譯、天氣預(yù)測(cè)等領(lǐng)域[32-33]。但是到目前為止，使用多時(shí)相深度學(xué)習(xí)模型用于遙感地物提取的研究并不成熟，雖然Ru?wurm 等人嘗試使用LSTM實(shí)現(xiàn)多時(shí)相的遙感分類(lèi)，在公共數(shù)據(jù)集上取得了不錯(cuò)的效果[34]。但是，遙感影像包含信息豐富，多時(shí)相、空間、光譜等信息并沒(méi)有充分利用，并且公共數(shù)據(jù)集并不能很好地反映實(shí)際應(yīng)用情況?？紤]到地物類(lèi)型、復(fù)雜環(huán)境、時(shí)間等影響因素，本文提出了一種多時(shí)相語(yǔ)義分割網(wǎng)絡(luò)用于蔬菜大棚提取，除了考慮時(shí)間特性，還融合空間信息和光譜信息以提高分類(lèi)精度。該模型在經(jīng)過(guò)變換后的多時(shí)相GF-2 衛(wèi)星影像數(shù)據(jù)集上訓(xùn)練，與傳統(tǒng)方法以及流行的深度學(xué)習(xí)分割模型相比，本模型識(shí)別精度較高。

圖1 GF-2圖像融合

2 相關(guān)工作

2.1 數(shù)據(jù)源

數(shù)據(jù)源選擇空間分辨率為0.8 m的GF-2衛(wèi)星影像，GF-2 影像主要由全色圖像和多光譜影像組成，預(yù)處理包括輻射校正、大氣校正、正射校正以及融合。其中，輻射校正和大氣校正將灰度值轉(zhuǎn)換為光譜反射率。正射校正用于糾正偏差引起的幾何和環(huán)境影響。以上使用ENVI5.3（The Environment for Visualizing Images）軟件完成。融合過(guò)程采用Pan sharpening算法，通過(guò)Python編程實(shí)現(xiàn)，融合后為4通道的高分辨率圖像（如圖1所示）。

2.2 數(shù)據(jù)集

根據(jù)野外調(diào)查獲取的經(jīng)緯度信息截取感興趣區(qū)域，數(shù)據(jù)包含高密市的7組共21張影像（每組包含3張多時(shí)相影像，分別為1月份、4月份和11月份拍攝）。每張影像2 000×2 000 像素，背景像素標(biāo)記為0，蔬菜大棚像素標(biāo)記為1。

數(shù)據(jù)擴(kuò)充提供深度學(xué)習(xí)所需的不變性和魯棒性。對(duì)影像進(jìn)行翻轉(zhuǎn)、顏色增強(qiáng)、添加噪聲等操作。每張影像裁剪成512×512大小，由于高空間分辨率影像對(duì)噪聲敏感，下采樣到256×256 尺寸模糊噪聲，標(biāo)簽也進(jìn)行相應(yīng)的變換。擴(kuò)充后的影像和標(biāo)簽根據(jù)序號(hào)和拍攝時(shí)間保存到相應(yīng)文件夾中。最終訓(xùn)練數(shù)據(jù)包含12 039 張影像（256×256），按7∶3的比例劃分為訓(xùn)練集和測(cè)試集。

3 方法

3.1 LSTM

流行的前饋網(wǎng)絡(luò)主要由卷積層或者全連接層組成，輸入數(shù)據(jù)為xt，經(jīng)過(guò)前向傳播，仿射變換得到h(z)，其中h(z)=h(θTxi+b)，對(duì)于時(shí)序數(shù)據(jù)，這樣的結(jié)構(gòu)對(duì)于上下文信息的特征表達(dá)能力差。許多研究者證明了RNN在處理多時(shí)序數(shù)據(jù)上的有效性[35-36]，但是隨著網(wǎng)絡(luò)的不斷加深，梯度爆炸和梯度消失問(wèn)題使得網(wǎng)絡(luò)記憶的信息越來(lái)越少，Hochreiter和Schmidhube等人提出的RNN的變體LSTM網(wǎng)絡(luò)[37-38]，通過(guò)‘門(mén)’控制記憶的時(shí)間，使得整個(gè)網(wǎng)絡(luò)可以長(zhǎng)時(shí)間記憶信息，其整體結(jié)構(gòu)如圖2所示。

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

圖2 顯示LSTM 單元網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)LSTM 單元由輸入門(mén)、遺忘門(mén)、輸出門(mén)組成。首先，yt-1和xt經(jīng)過(guò)一個(gè)Sigmoid函數(shù)與內(nèi)部狀態(tài)信息Ct-1相乘，當(dāng)值為0時(shí)，表示完全舍棄，當(dāng)值為1 時(shí)，表示完全保留。該網(wǎng)絡(luò)內(nèi)部數(shù)學(xué)關(guān)系表示為：

其中，yt-1表示上一個(gè)單元的輸出，θf(wàn)表示學(xué)習(xí)的參數(shù)。然后yt-1和xt分別經(jīng)過(guò)tanh 和sigmoid 來(lái)決定信息是否需要更新，與內(nèi)部狀態(tài)信息Ct-1呈加性關(guān)系，其數(shù)學(xué)表達(dá)式為：

Ct表示更新后的內(nèi)部狀態(tài)信息。最后，更新后的內(nèi)部狀態(tài)信息與yt-1和xt共同計(jì)算出LSTM 單元的輸出，表示為：

yt和狀態(tài)信息Ct作為輸入傳入到下一個(gè)LSTM單元中以此不斷更新所提取的信息，通過(guò)反向傳播來(lái)更新參數(shù)。

3.2 基于Patch-LSTM的時(shí)序網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積加和運(yùn)算可以有效地融合圖像的光譜信息（遙感影像由多個(gè)光譜疊加而成）。3.1節(jié)介紹的LSTM可以通過(guò)記憶的方式保留時(shí)序信息，但是在壓縮圖像生成時(shí)序向量過(guò)程中空間信息被破壞。因此，為解決LSTM無(wú)法充分利用圖像的空間信息的局限性，本文設(shè)計(jì)了一種基于補(bǔ)丁的Patch-LSTM 結(jié)構(gòu)（如圖3所示）。

圖3 Patch-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的輸入是時(shí)序圖像，分別對(duì)應(yīng)不同拍攝時(shí)間。針對(duì)每一組時(shí)序圖像，截取Patch區(qū)域（不同時(shí)序相同區(qū)域），生成時(shí)序向量x1、x2、x3?？紤]計(jì)算量，每個(gè)Patch區(qū)域的尺寸設(shè)為5×5 大小，因此生成時(shí)序向量長(zhǎng)度為（25，1）。LSTM 采用多對(duì)1 的結(jié)構(gòu)，即多個(gè)輸入1 個(gè)輸出，時(shí)序向量x1,x2,x3分別輸入到LSTM 單元，輸出向量經(jīng)過(guò)Reshape生成區(qū)域特征圖。每一塊區(qū)域特征圖信息包含對(duì)應(yīng)時(shí)序圖像Patch 區(qū)域的疊加信息，重復(fù)操作直到獲得完整的輸出特征圖。為直觀(guān)展示時(shí)相特征，特征圖進(jìn)行了可視化（如圖4所示），第一列是不同時(shí)期的時(shí)序圖像，后面是對(duì)應(yīng)不同階段的特征圖可視化結(jié)果（特征圖可視化結(jié)果通過(guò)時(shí)序向量Reshape保存輸出），可以看出不同時(shí)期蔬菜大棚的特征差異明顯。通過(guò)Patch-LSTM 時(shí)序網(wǎng)絡(luò)可以將不同時(shí)相特征進(jìn)行融合，充分保留各個(gè)時(shí)相的特征，提升特征表達(dá)能力。

圖4 特征圖可視化

3.3 基于Patch-LSTM的時(shí)序的語(yǔ)義分割網(wǎng)絡(luò)

基于3.2節(jié)介紹Patch-LSTM，本文的語(yǔ)義分割模型（MSSN）如圖5所示。

圖5 MSSN語(yǔ)義分割網(wǎng)絡(luò)

整體結(jié)構(gòu)分為Patch-LSTM、CNN 和ASSP 組成的編碼器以及反卷積和skip-layer組成的解碼器。

和全連接層一樣，Patch-LSTM 可以看做特征的線(xiàn)性表達(dá)，因此信息的表達(dá)能力不如CNN。編碼階段，在Patch-LSTM 模塊后接CNN 模塊以提高網(wǎng)絡(luò)的特征表達(dá)能力。研究證明CNN 的池化層會(huì)導(dǎo)致分辨率的下降，不利于特征的保留而且CNN對(duì)微小平移和變形的穩(wěn)定性與池化層無(wú)關(guān)[39-40]。因此，本文嘗試使用stride=2的卷積替代池化層，實(shí)現(xiàn)特征圖尺寸的減小。

多尺度指的是圖像的局部特征在不同尺度上的描述。通過(guò)單一尺寸特征圖預(yù)測(cè)，網(wǎng)絡(luò)對(duì)于目標(biāo)的大小較為敏感。ASPP 模塊受到空間金字塔啟發(fā)，它將不同大小的區(qū)域重新采樣到任意大小，以解決網(wǎng)絡(luò)對(duì)目標(biāo)大小的敏感性[41]。結(jié)構(gòu)上，ASSP 由四個(gè)不同膨脹率的空洞卷積級(jí)聯(lián)而成，后接全局平均池化層（GAP）融合尺度信息。Yu 等人證明，空洞卷積有效增加神經(jīng)元的感受野[42]。感受野的計(jì)算公式如下：

其中，rk為第k層的感受野大小，si代表步長(zhǎng)。假定卷積核為3×3，經(jīng)過(guò)空洞率分別為[1，2，4]的三個(gè)空洞卷積操作之后，共獲得15×15感受野，而經(jīng)過(guò)3個(gè)常規(guī)卷積操作只有7×7感受野。因此，使用空洞卷積具有更大的感受野，意味著神經(jīng)元包含更多的特征信息。

在解碼階段，低分辨率的語(yǔ)義信息可以投影到高分辨率像素上，實(shí)現(xiàn)密集分類(lèi)。通常編碼階段下采樣過(guò)程會(huì)導(dǎo)致信息的丟失，跳連結(jié)構(gòu)可有效融合編解碼特征。具體的，ASSP 生成的特征圖經(jīng)過(guò)反卷積層（上采樣）之后與編碼器（相同尺寸）的特征圖進(jìn)行拼接（concatenc），融合后的特征圖通道數(shù)增加并且同時(shí)包含解碼的特征以及編碼丟失的特征，使得特征圖還原更加準(zhǔn)確。另外，多次實(shí)驗(yàn)發(fā)現(xiàn)參數(shù)學(xué)習(xí)的反卷積層相比簡(jiǎn)單的雙線(xiàn)性插值計(jì)算更適合高精度的特征圖還原。因此，上采樣采用反卷積層。

3.4 網(wǎng)絡(luò)訓(xùn)練

Softmax分類(lèi)器可將數(shù)值轉(zhuǎn)化概率向量[43]。對(duì)圖像而言，每個(gè)像素通過(guò)前向傳播計(jì)算對(duì)應(yīng)數(shù)值Softmax 分類(lèi)器分別對(duì)每個(gè)像素計(jì)算類(lèi)別概率，生成和類(lèi)別數(shù)量相同的概率特征圖。最后選取最大概率輸出即為真實(shí)預(yù)測(cè)類(lèi)別。Softmax函數(shù)定義如下：

其中，zi表示網(wǎng)絡(luò)的輸出。公式（5）表明Softmax 函數(shù)輸出多個(gè)類(lèi)別概率（0～1 之間）并且概率的總和為1，這意味著類(lèi)別之間有更好的對(duì)抗學(xué)習(xí)能力。損失函數(shù)反映網(wǎng)絡(luò)的誤差，像素級(jí)的交叉熵?fù)p失函數(shù)（categorical_crossentropy）廣泛應(yīng)用在分割網(wǎng)絡(luò)中[44-45]。交叉熵?fù)p失函數(shù)定義為：

其中，ypre(x(i),θ)是網(wǎng)絡(luò)的輸出，是真實(shí)標(biāo)簽。梯度下降算法通過(guò)反向傳播計(jì)算梯度，從而優(yōu)化損失函數(shù)[46-47]。選擇目前應(yīng)用最廣泛的自適應(yīng)的Adam優(yōu)化算法進(jìn)行權(quán)重更新[48]。進(jìn)一步探討交叉熵?fù)p失函數(shù)利于反向傳播過(guò)程，對(duì)公式（6）求導(dǎo)得到公式（7）：

從公式（7）中可以看出，當(dāng)輸出與真實(shí)標(biāo)簽有較大差異時(shí)，梯度更新較快，反之則較慢。另外，梯度計(jì)算非常簡(jiǎn)單，反向傳播更加迅速。其他參數(shù)設(shè)置如表1所示。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置

4 實(shí)驗(yàn)討論

該模型在ubuntu16.04 系統(tǒng)上進(jìn)行了訓(xùn)練，使用NVIDIA GeForce Titan X圖形設(shè)備，圖形內(nèi)存為12 GB。該網(wǎng)絡(luò)由開(kāi)源框架Keras和Tensorflow實(shí)現(xiàn)。為了證明所設(shè)計(jì)網(wǎng)絡(luò)的有效性，本文建立了兩組實(shí)驗(yàn)，一組是和傳統(tǒng)遙感分類(lèi)方法的比較，另一組是和基于深度學(xué)習(xí)的語(yǔ)義分割模型方法的比較。

目前傳統(tǒng)分類(lèi)算法SVM 廣泛應(yīng)用于遙感分類(lèi)，該算法通過(guò)核函數(shù)將數(shù)據(jù)映射到高維空間從而進(jìn)行分類(lèi)。另外，多尺度分割結(jié)合閾值分割算法是目前通用的面向?qū)ο蠓椒?，首先采用多尺度分割算法獲得連通區(qū)域，再選擇像素點(diǎn)、紋理、形狀等信息進(jìn)行閾值分割。以上兩種方法在Envi 和易康軟件上實(shí)現(xiàn)。表2 給出了本文方法（MSSN）、SVM 以及面向?qū)ο蠓椒ǖ木仍u(píng)估對(duì)比。

表2 傳統(tǒng)遙感分類(lèi)方法比較

表2列出了不同方法的精度評(píng)價(jià)。結(jié)果表明，本文方法（MSSN）在Precision、F1 以及Kappa 都獲得最高的數(shù)值。F1 為95%，比面向?qū)ο蠓椒ㄌ岣吡?%，比SVM提高了13%。

U-net 和Deeplabv3+是目前流行的語(yǔ)義分割模型，在各種衛(wèi)星圖像數(shù)據(jù)集上都取得了良好的成績(jī)。深度學(xué)習(xí)與傳統(tǒng)的遙感分割方法有著不同的工作原理。因此，為了從多角度驗(yàn)證所提方法的有效性，將本文方法與U-net（vgg16）和Deeplabv3+（Xception）深度語(yǔ)義分割模型進(jìn)行比較。為保證測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)不同，測(cè)試數(shù)據(jù)中選取了1 張尺寸為5 000×5 000 的2017 年GF-2影像，裁剪到256尺寸用于網(wǎng)絡(luò)預(yù)測(cè)。隨機(jī)選取三張用于測(cè)試，預(yù)測(cè)結(jié)果如圖6所示。

圖6 深度學(xué)習(xí)分割網(wǎng)絡(luò)結(jié)果

從圖6 可以看出本文方法在信息的完整度和邊緣提取效果上都優(yōu)于U-net 和Deeplabv3+原版，針對(duì)分割任務(wù)，除了Precision和F1指數(shù)之外，還加入前景交并比（IoU）評(píng)價(jià)模型以及預(yù)測(cè)時(shí)間（256×256）。由表3所示，本文的Precision、F1和IoU最高，分別為0.952 5、0.925 6和0.938 6。與U-net 網(wǎng)絡(luò)相比，U-net 網(wǎng)絡(luò)預(yù)測(cè)用時(shí)更快，但本文方法Precision提高了3%，IoU提高了4%。與原始Deeplabv3+網(wǎng)絡(luò)相比，預(yù)測(cè)速度相同，由于本文模型充分利用了空間信息、時(shí)序信息以及光譜信息，所以Precision、F1和IoU都得到很大的提升。

表3 深度學(xué)習(xí)模型的對(duì)比評(píng)價(jià)

5 結(jié)束語(yǔ)

本文提出了一種改進(jìn)的多時(shí)相語(yǔ)義分割網(wǎng)絡(luò)（MSSN）用于蔬菜大棚提取。針對(duì)季節(jié)性對(duì)蔬菜大棚的影響以及空間信息丟失問(wèn)題，本文設(shè)計(jì)了Patch-LSTM模型，針對(duì)單一尺度問(wèn)題，網(wǎng)絡(luò)采用ASSP 可以實(shí)現(xiàn)不同尺度的特征提取。由于模型充分利用了圖像的空間信息、時(shí)序信息以及光譜信息，在與傳統(tǒng)遙感分割方法以及流行的深度學(xué)習(xí)方法比較中，該模型在大棚提取任務(wù)中具有出色的表現(xiàn)。該模型并不針對(duì)大棚這一類(lèi)地物，可以作為地物提取的基準(zhǔn)模型。但是面對(duì)更大的范圍，例如全國(guó)范圍的遙感影像的大棚提取，構(gòu)建樣本數(shù)據(jù)庫(kù)顯得尤為重要。到目前為止很少有公開(kāi)的遙感數(shù)據(jù)集，遙感數(shù)據(jù)集的制作需要實(shí)地探測(cè)和人工標(biāo)注，需要耗費(fèi)大量時(shí)間和人力。數(shù)據(jù)回灌技術(shù)即標(biāo)注一部分?jǐn)?shù)據(jù)，通過(guò)小型網(wǎng)絡(luò)訓(xùn)練獲得輔助標(biāo)簽，也是一種未來(lái)可以嘗試的方法。另外，面對(duì)巨大的數(shù)據(jù)量，網(wǎng)絡(luò)的耗時(shí)也是未來(lái)考慮的問(wèn)題。