基于深度特征學(xué)習(xí)的冬小麥生育階段分類識(shí)別研究

姚建斌, 劉建華, 張英娜, 李元好

(華北水利水電大學(xué) 信息工程學(xué)院, 河南 鄭州 450046)

精準(zhǔn)識(shí)別農(nóng)作物生長(zhǎng)階段不僅對(duì)農(nóng)作物的科學(xué)施肥、按需灌溉、合理施藥、保產(chǎn)增產(chǎn)具有重要意義,而且對(duì)實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)過(guò)程的智能化管理具有促進(jìn)作用。傳統(tǒng)的冬小麥生育階段識(shí)別需要不間斷地觀測(cè)農(nóng)作物長(zhǎng)勢(shì),且依賴于專業(yè)人士的經(jīng)驗(yàn)判斷,無(wú)法適應(yīng)當(dāng)前日益擴(kuò)大的種植規(guī)?，F(xiàn)狀,難以保證有效生產(chǎn)和科學(xué)增產(chǎn)。隨著深度學(xué)習(xí)技術(shù)在圖像處理和識(shí)別領(lǐng)域中的不斷發(fā)展[1-4],其在農(nóng)業(yè)信息化管理方面的應(yīng)用也越來(lái)越廣泛[5-7]。如:2011年,陸明等[8]在識(shí)別玉米生長(zhǎng)期的研究中,根據(jù)玉米不同時(shí)期顏色和其圖像像素值不同的特點(diǎn),利用RGB(Red、Green、Blue)和HSL(Hue、Saturation、Lightness)分別提取了綠色和黃色特征,從而獲取了不同顏色的像素值所占的比重,并根據(jù)其差異實(shí)現(xiàn)了對(duì)玉米生長(zhǎng)期的分類識(shí)別;2015年,權(quán)文婷等[9]采用S-G濾波分析方法處理遙感SAR影像,利用歸一化差分植被指數(shù)方法,實(shí)現(xiàn)了對(duì)冬小麥幼苗期和抽穗期遙感圖像的歸一化識(shí)別;2017年,陳玉青等[10]通過(guò)機(jī)器學(xué)習(xí)的方式對(duì)得到的冬小麥葉面積指數(shù)進(jìn)行分析,根據(jù)分析結(jié)果開發(fā)了一個(gè)基于Android手機(jī)平臺(tái)的冬小麥葉面積指數(shù)自動(dòng)檢測(cè)系統(tǒng);2018年,張蕓德等[11]利用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)提取了玉米不同生長(zhǎng)期的特征,結(jié)合粒子群優(yōu)化算法優(yōu)化了支持向量機(jī)參數(shù),構(gòu)造了多級(jí)支持向量機(jī)分類識(shí)別模型,最終實(shí)現(xiàn)了玉米生長(zhǎng)期識(shí)別;2019年,賈少鵬等[12]針對(duì)農(nóng)作物病蟲害問(wèn)題,提出了一種膠囊網(wǎng)絡(luò)與CNN相融合的模型,該模型對(duì)病蟲害的識(shí)別正確率達(dá)93.75%,比傳統(tǒng)CNN模型提高了3.55個(gè)百分點(diǎn);2020年,宋余慶等[13]提出了一個(gè)多層次增強(qiáng)高效空間金字塔(Extremely efficient spatial pyramid,EESP)的深度學(xué)習(xí)模型,該模型先逐層計(jì)算不同空洞率對(duì)應(yīng)的空洞卷積,然后再融合不同層次的信息,進(jìn)而提取出不同病蟲害的特征,最終實(shí)現(xiàn)了農(nóng)作物病蟲害識(shí)別;2022年,周文進(jìn)等[14]提出了一種基于YOLOv3的內(nèi)嵌通道注意力MultiSE1D識(shí)別網(wǎng)絡(luò),通過(guò)提取不同尺度下的高維特征有效提高了模型提取蝴蝶圖像特征的準(zhǔn)確率及細(xì)節(jié)特征的學(xué)習(xí)能力。

鑒于深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)信息化方面的優(yōu)秀表現(xiàn),為了解農(nóng)作物各個(gè)生育階段的時(shí)間長(zhǎng)短與播種早晚、生態(tài)條件、品種特性等因素間的關(guān)系,明確農(nóng)作物不同生育階段的管理方法和重點(diǎn)管理任務(wù),以華北平原的冬小麥為研究對(duì)象,構(gòu)建了田間圖像分割模型,通過(guò)對(duì)圖像中冬小麥、土壤及雜草的分割、過(guò)濾,獲取到了冬小麥樣本圖像;然后,基于VGG16提取的圖像特征以及區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network,RPN)模型,構(gòu)建了可生成候選框的改進(jìn)Faster R-CNN分類識(shí)別模型,通過(guò)對(duì)候選框的分類訓(xùn)練和回歸訓(xùn)練,實(shí)現(xiàn)了冬小麥目標(biāo)候選區(qū)域的提取以及生育階段的精準(zhǔn)分類識(shí)別(研究流程如圖1所示),以期為農(nóng)業(yè)智能化管理提供科學(xué)支撐。

圖1 冬小麥生育階段識(shí)別的研究流程

本文中冬小麥生育階段的圖像數(shù)據(jù)來(lái)源于華北水利水電大學(xué)農(nóng)水教學(xué)實(shí)踐基地,共900張不同生育階段的圖像樣本。將冬小麥生育期劃分為3個(gè)主要階段[15]：第1個(gè)階段是營(yíng)養(yǎng)生長(zhǎng)階段,稱為幼苗期(9月下旬—次年2月中下旬),該階段生育特點(diǎn)是生根、長(zhǎng)葉和分蘗;第2個(gè)階段是營(yíng)養(yǎng)生長(zhǎng)和生殖生長(zhǎng)并進(jìn)階段,稱為抽穗期(2月下旬—4月下旬),該階段生育特點(diǎn)是麥根、麥莖、麥葉持續(xù)生長(zhǎng)和結(jié)實(shí)器官分化;第3個(gè)階段是生殖生長(zhǎng)階段,稱為成熟期(4月下旬—6月上中旬),該階段是決定粒重的重要時(shí)期。

1 圖像分割模型

冬小麥圖像分類識(shí)別一般直接將原始圖像作為各類模型的輸入,這種方式雖然簡(jiǎn)單,但是受環(huán)境噪聲以及光照等因素的影響,提取到的樣本圖像難免存在特征模糊和不精確的問(wèn)題,若不處理直接進(jìn)行分類識(shí)別,不僅會(huì)影響準(zhǔn)確率,也會(huì)降低模型的泛化能力。針對(duì)該問(wèn)題,設(shè)計(jì)了基于深度可分離卷積的冬小麥分割模型,對(duì)原始樣本進(jìn)行分割。

本模塊主要分為樣本標(biāo)注、圖像初步分割以及分割圖像提取3個(gè)環(huán)節(jié)。研究中采用LabelImage軟件對(duì)冬小麥生育階段的圖像樣本數(shù)據(jù)進(jìn)行標(biāo)記,按照經(jīng)典數(shù)據(jù)集劃分比例8∶2將樣本數(shù)據(jù)分為2個(gè)數(shù)據(jù)集。為便于計(jì)算,將兩個(gè)數(shù)據(jù)集的數(shù)量做取整處理,最終取750張(3個(gè)生育階段各250張)圖像作為訓(xùn)練集樣本,其余150張(3個(gè)生育階段各50張)圖像作為測(cè)試集樣本。LabelImage軟件能夠提供可視化界面,在樣本上可以直接使用矩形框標(biāo)示出冬小麥、土壤以及雜草等信息,最后生成XML文件參與后續(xù)的分割模型訓(xùn)練。

在圖像分割模型的選取上,選擇深度可分離卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)樣本中冬小麥、土壤及雜草的有效分割。傳統(tǒng)的卷積操作將每個(gè)卷積核逐通道與輸入特征圖進(jìn)行卷積,由于每個(gè)卷積核只能提取到一種特征,因此,每增加檢測(cè)圖片的一個(gè)屬性,卷積核就要增加一個(gè)。深度可分離卷積將傳統(tǒng)卷積分為深度卷積和點(diǎn)卷積兩個(gè)操作,能夠?qū)崿F(xiàn)卷積通道相關(guān)性和空間相關(guān)性的聯(lián)合映射,可更好地在每層卷積操作中對(duì)通道信息進(jìn)行融合,顯著提高模型的準(zhǔn)確率,同時(shí)可有效減少參數(shù)量,提高運(yùn)算速度。傳統(tǒng)卷積和深度可分離卷積的操作示意圖分別如圖2和圖3所示。

圖2 傳統(tǒng)卷積操作示意

圖3 深度可分離卷積操作示意

本文構(gòu)建的端到端圖像分割網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖4所示。模型的輸入是經(jīng)過(guò)標(biāo)注的224像素×224像素的原始RGB圖像;編碼器是去掉了全連接層的MobileNets,目的是壓縮圖像尺寸容量,以便獲得圖像的局部信息值并進(jìn)行歸類和分析;解碼器由深度可分離卷積及反卷積模塊組成,其中,深度可分離卷積核大小為3×3,反卷積核大小為2×2,步長(zhǎng)為2;解碼器之后是BN層和ReLu激活函數(shù)層,以確保與MobileNets相應(yīng)層中的特征圖尺度一致;模型輸出為標(biāo)注原始圖像的分割圖像,分別為提取到的冬小麥、土壤及雜草圖像。該模型可執(zhí)行快速的分割任務(wù),實(shí)現(xiàn)冬小麥、土壤及雜草的有效分割[16]。

與傳統(tǒng)的CNN結(jié)構(gòu)相比,深度可分離CNN模型的參數(shù)數(shù)量大大減少,運(yùn)算規(guī)模和計(jì)算復(fù)雜度也同比減少。同時(shí),訓(xùn)練階段模型權(quán)重的調(diào)整時(shí)間和計(jì)算速度大幅提高。

2 改進(jìn)的Faster R-CNN檢測(cè)模型

2.1 Faster R-CNN檢測(cè)模型

基于VGG16及RPN的Faster R-CNN目標(biāo)檢測(cè)模型,是在Fast R-CNN的基礎(chǔ)上優(yōu)化而來(lái)的。一般來(lái)說(shuō),Fast R-CNN通常采用選擇性搜索方法獲取候選框,一張圖片約產(chǎn)生2 000個(gè)候選框,然后通過(guò)感興趣區(qū)域池化(Region of interest pooling,ROI Pooling)把候選區(qū)域調(diào)整為固定尺寸,輸入到最后的全連接層。Faster R-CNN在Fast R-CNN的基礎(chǔ)上放棄了選擇性搜索方法,而選用RPN卷積網(wǎng)絡(luò)自行產(chǎn)生候選框進(jìn)而進(jìn)行目標(biāo)檢測(cè),這不僅提高了候選框的質(zhì)量,還極大減少了候選框的數(shù)量,降低了計(jì)算復(fù)雜度。

2.2 改進(jìn)的Faster R-CNN檢測(cè)模型

本文對(duì)Faster R-CNN檢測(cè)模型的改進(jìn)包括以下幾個(gè)方面:

1)修改特征提取網(wǎng)絡(luò)VGG16的激活函數(shù)。Faster R-CNN在使用VGG16進(jìn)行圖像特征提取時(shí),一般采用ReLu激活函數(shù),有研究[17]表明,Swish激活函數(shù)能夠提高分類準(zhǔn)確率。因此,引入Swish激活函數(shù)進(jìn)行圖像特征提取,整體提取過(guò)程如圖5所示。

圖5 改進(jìn)的VGG16提取冬小麥圖像特征的過(guò)程

2)修改RPN網(wǎng)絡(luò)錨點(diǎn)的尺寸。為有效減少相鄰區(qū)域出現(xiàn)漏檢情況,提高檢測(cè)準(zhǔn)確率,對(duì)候選框的大小和比例進(jìn)行調(diào)整,通過(guò)聚類方法對(duì)冬小麥數(shù)據(jù)集重新聚類生成適合的錨點(diǎn)尺寸,聚類后的錨點(diǎn)尺寸見表1。

表1 重新設(shè)置后的錨點(diǎn)尺寸

3)改進(jìn)的非極大值抑制算法。RPN模塊在檢測(cè)某一目標(biāo)時(shí),可能會(huì)出現(xiàn)多個(gè)候選框被重復(fù)選中的情況。針對(duì)該問(wèn)題,Faster R-CNN采用非極大值抑制(Non-Maximum Suppression,NMS)方法篩選最佳候選框。NMS具體步驟為:首先,設(shè)定一個(gè)定位精確評(píng)價(jià)公式IoU(Intersection Over Union)的閾值;其次,將選擇出的區(qū)域框按照與真實(shí)框重合的分?jǐn)?shù)(計(jì)算公式見式(1)和式(2))大小排序;最后,丟棄那些重疊度小于預(yù)先設(shè)置閾值的候選框,得到更為有用的候選框。抑制的過(guò)程實(shí)質(zhì)上是一個(gè)迭代-遍歷-消除反復(fù)循環(huán)的過(guò)程[18]。

(1)

IoU=SA∩B/SA∪B。

(2)

式中:Si為當(dāng)前類別的得分;Nt為第t次迭代設(shè)定的閾值;A為選擇出的區(qū)域框;B為真實(shí)候選框;SA∩B為候選框A與候選框B重疊的面積;SA∪B為候選框A與候選框B的總面積。

NMS方法在單個(gè)目標(biāo)檢測(cè)模型中的效果最好,對(duì)多目標(biāo)的檢測(cè)效果較不理想。然而,冬小麥生育階段識(shí)別存在多目標(biāo)的情況。此外,由于冬小麥植株比較密集,在生育階段分類識(shí)別中會(huì)出現(xiàn)檢測(cè)框定位不準(zhǔn)確以及相鄰識(shí)別區(qū)域漏檢、誤檢的情況。高斯加權(quán)法具有相對(duì)連續(xù)性,其所得曲線平滑、沒有跳躍點(diǎn)等。因此,采用高斯加權(quán)法懲罰函數(shù)對(duì)非極大值抑制算法進(jìn)行改進(jìn),改進(jìn)后的算法對(duì)小于閾值的候選框不是直接刪除而是通過(guò)一定的懲罰因子重新判斷重疊區(qū)域,改進(jìn)后的候選框重疊度分?jǐn)?shù)的計(jì)算公式見式(3):

(3)

式中:bm為當(dāng)前得分最高的預(yù)測(cè)結(jié)果;bi為當(dāng)前第i個(gè)候選框的預(yù)測(cè)結(jié)果;θ為高斯加權(quán)懲罰因子,其取值不同會(huì)影響懲罰函數(shù)的懲罰力度;D為包含所有邊框的集合。

改進(jìn)的Faster R-CNN模型的核心結(jié)構(gòu)如圖6所示。模型應(yīng)用時(shí),首先對(duì)前期由圖像分割模型得到的冬小麥樣本數(shù)據(jù)進(jìn)行前景和后景標(biāo)注;然后基于VGG16網(wǎng)絡(luò)提取冬小麥生育階段特征,并將特征圖輸入到RPN網(wǎng)絡(luò)中,分別進(jìn)行原始候選框的篩選和邊框回歸糾正訓(xùn)練;最后采用改進(jìn)的Faster R-CNN模型進(jìn)行冬小麥生育階段的識(shí)別和分類。

圖6 改進(jìn)的Faster R-CNN網(wǎng)絡(luò)的核心結(jié)構(gòu)

2.3 試驗(yàn)環(huán)境

試驗(yàn)均在同一設(shè)備上運(yùn)行,硬件設(shè)備為Windows-10環(huán)境的聯(lián)想筆記本,計(jì)算機(jī)硬件配置為Intel(R) Core(TM)i5-7300HQ;CPU為16 GB內(nèi)存,GTX1050顯卡;深度學(xué)習(xí)框架為TensorFlow2.0。

2.4 評(píng)價(jià)指標(biāo)

評(píng)價(jià)圖像分割模型的指標(biāo)主要有準(zhǔn)確率(A)、查準(zhǔn)率(P)和召回率(R)3個(gè),評(píng)價(jià)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型的指標(biāo)為準(zhǔn)確率(A),各評(píng)價(jià)指標(biāo)如下:

1)準(zhǔn)確率(A)。其表示數(shù)據(jù)集總樣本中被分類正確的樣本的比例,計(jì)算公式為:

(4)

式中:Tp為該類別中正樣本被分類為正樣本的數(shù)量;TN為負(fù)樣本被分類為負(fù)樣本的數(shù)量;T為測(cè)試集樣本總數(shù)量。

2)查準(zhǔn)率(P)。其表示每個(gè)類別中被預(yù)測(cè)為正樣本的樣本中實(shí)際為正樣本的比例,計(jì)算公式為:

(5)

式中Fp為負(fù)樣本被分類為正樣本的數(shù)量。

3)召回率(R)。其表示每個(gè)類別的正樣本中被預(yù)測(cè)為正樣本的比例,計(jì)算公式為:

(6)

式中FN為正樣本被分類為負(fù)樣本的數(shù)量。

3 試驗(yàn)結(jié)果與分析

3.1 圖像分割模型結(jié)果與分析

對(duì)冬小麥的RGB圖像進(jìn)行分割,并通過(guò)試驗(yàn)選取準(zhǔn)確率最高的一組參數(shù)作為最終的圖像分割模型的超參數(shù)。最終模型對(duì)應(yīng)的參數(shù)優(yōu)化器采用隨機(jī)梯度下降算法,學(xué)習(xí)率設(shè)置為0.001,batchSize設(shè)置為5,Dropout比率設(shè)置為0.3,最后一層的激活函數(shù)采用Sigmoid激活函數(shù)。

對(duì)同一批次的冬小麥測(cè)試集樣本,分別采用SegNet模型、U-Net模型和本文提出的圖像分割模型進(jìn)行試驗(yàn),各模型對(duì)應(yīng)的準(zhǔn)確率、查準(zhǔn)率和召回率見表2。以幼苗期的冬小麥樣本為例,各模型的輸出結(jié)果如圖7所示,圖中黑色的是土壤,綠色的是小麥。

表2 基于冬小麥測(cè)試集樣本的不同模型評(píng)價(jià)指標(biāo)值 %

圖7 基于測(cè)試數(shù)據(jù)的不同分割模型的輸出結(jié)果對(duì)比圖

結(jié)合表2及圖7可以看出:SegNet模型的輸出圖像大體上可以反映出分割的基本效果,但圖像邊緣部分模糊;U-Net模型的輸出圖像較為清晰、準(zhǔn)確,但模型對(duì)雜草的切割精度較本文模型的低;本文所構(gòu)建的圖像分割模型對(duì)冬小麥、雜草及土壤的分割準(zhǔn)確率、查準(zhǔn)率、召回率均優(yōu)于另外兩種模型的。

3.2 改進(jìn)的Faster R-CNN試驗(yàn)結(jié)果與分析

3.2.1 改進(jìn)的VGG16模型試驗(yàn)結(jié)果

在TensorFlow框架下搭建VGG16模型,分別采用ReLU(改進(jìn)前)與Swish(改進(jìn)后)的激活函數(shù)提取冬小麥特征圖,并訓(xùn)練30次。改進(jìn)前后VGG16模型提取的冬小麥特征圖如圖8所示,準(zhǔn)確率見表3。由圖8和表3可以看出,改進(jìn)后VGG16模型提取的特征圖較改進(jìn)前的更為清晰,各個(gè)生育階段的識(shí)別準(zhǔn)確率也較高。

表3 改進(jìn)前后VGG16模型準(zhǔn)確率 %

圖8 基于測(cè)試集數(shù)據(jù)的改進(jìn)前后VGG16模型提取出的冬小麥可視化特征圖

3.2.2 修改RPN錨點(diǎn)尺寸后的試驗(yàn)結(jié)果

通過(guò)聚類方法對(duì)冬小麥數(shù)據(jù)集進(jìn)行重新聚類,生成適合的錨點(diǎn)尺寸。錨點(diǎn)尺寸修改前后的試驗(yàn)結(jié)果對(duì)比如圖9所示。由圖9可以看出,錨點(diǎn)尺寸修改后的RPN可有效減少相鄰區(qū)域漏檢情況的發(fā)生。

圖9 錨點(diǎn)尺寸修改前后的可視化特征圖

3.2.3 改進(jìn)的非極大值抑制算法試驗(yàn)結(jié)果

采用前述的改進(jìn)非極大值抑制算法對(duì)各生育階段的冬小麥圖像進(jìn)行檢測(cè),其結(jié)果如圖10所示。由圖10可以看出,在冬小麥圖像檢測(cè)中引入懲罰因子后,冬小麥成熟期的目標(biāo)檢測(cè)試驗(yàn)效果更顯著。

圖10 冬小麥成熟期的檢測(cè)效果

3.2.4 改進(jìn)Faster R-CNN的試驗(yàn)結(jié)果

對(duì)RPN模型生成的目標(biāo)框分別采用傳統(tǒng)的Faster R-CNN及改進(jìn)的Faster R-CNN進(jìn)行冬小麥生育階段的分類識(shí)別,其識(shí)別準(zhǔn)確率見表4。

表4 基于改進(jìn)前后的Faster R-CNN的冬小麥測(cè)試集準(zhǔn)確率對(duì)比

由表4可以看出,模型改進(jìn)前的平均分類識(shí)別準(zhǔn)確率為84.67%,模型改進(jìn)后的平均分類識(shí)別準(zhǔn)確率達(dá)96.00%,較改進(jìn)前的提高了11.33%,且各生育階段的分類識(shí)別準(zhǔn)確率均有較大提高。

4 結(jié)論與展望

本文選擇實(shí)際拍攝的華北平原冬小麥生育階段圖像作為試驗(yàn)樣本,構(gòu)建了一種基于深度可分離卷積的冬小麥、土壤及雜草的分割模型,獲取了背景單純的冬小麥樣本,進(jìn)而設(shè)計(jì)了基于改進(jìn)的Faster R-CNN目標(biāo)檢測(cè)模型,通過(guò)對(duì)候選框的分類訓(xùn)練和回歸訓(xùn)練,實(shí)現(xiàn)了冬小麥生育階段的準(zhǔn)確識(shí)別。試驗(yàn)結(jié)果表明,本文設(shè)計(jì)的研究流程及網(wǎng)絡(luò)模型能夠有效提高冬小麥生育階段分類識(shí)別的準(zhǔn)確率,對(duì)農(nóng)業(yè)生產(chǎn)活動(dòng)的指導(dǎo)具有一定研究意義。

受數(shù)據(jù)集的限制,本文將冬小麥的生育階段分為幼苗期、抽穗期,成熟期3個(gè)時(shí)期,后續(xù)有待進(jìn)一步擴(kuò)充數(shù)據(jù)集,細(xì)化生育階段(如播種期、出苗期、分葉期、越冬期、返青期、起身期、拔節(jié)期、孕穗期、抽穗期、開花期、灌漿期、成熟期),并優(yōu)化所構(gòu)建的模型,實(shí)現(xiàn)更精細(xì)的冬小麥生育階段分類識(shí)別研究。