基于優(yōu)化Faster R-CNN的棉花苗期雜草識(shí)別與定位

樊湘鵬 周建平,2 許 燕,2 李開(kāi)敬 溫德圣

(1.新疆大學(xué)機(jī)械工程學(xué)院，烏魯木齊 830047;2.新疆維吾爾自治區(qū)農(nóng)牧機(jī)器人及智能裝備工程研究中心，烏魯木齊 830047)

0 引言

我國(guó)棉花的生產(chǎn)量和消費(fèi)量均位居世界前列[1]。新疆作為中國(guó)最大的優(yōu)質(zhì)商品棉生產(chǎn)基地，其棉花產(chǎn)量占全國(guó)棉花產(chǎn)量的60%～70%[2]，棉花已成為新疆地區(qū)國(guó)民經(jīng)濟(jì)的重要支柱。棉田中的雜草與棉花爭(zhēng)奪水分、養(yǎng)分和生長(zhǎng)空間，造成棉花產(chǎn)量和品質(zhì)下降[3]，雜草也為病蟲(chóng)害滋生和蔓延提供了生存條件，導(dǎo)致作物病蟲(chóng)害頻發(fā)。傳統(tǒng)的人工除草方式成本高、效率低，大面積噴灑除草劑雖然可以控制雜草，但藥物殘留會(huì)造成土壤肥力下降和嚴(yán)重的環(huán)境污染[4]，干擾生態(tài)平衡[5]，降低棉花品質(zhì)[6]。采用智能裝備進(jìn)行精準(zhǔn)施藥或智能機(jī)械除草具有廣闊的應(yīng)用前景，利用機(jī)器視覺(jué)技術(shù)進(jìn)行雜草精準(zhǔn)快速識(shí)別和定位是田間雜草精準(zhǔn)防控管理的前提和核心技術(shù)之一[7-8]。

傳統(tǒng)的目標(biāo)檢測(cè)主要從機(jī)器視覺(jué)獲取的圖像特征入手，借助作物與雜草乃至農(nóng)田背景等對(duì)象在顏色、形狀或紋理方面的差異性進(jìn)行圖像處理，通過(guò)手動(dòng)提取特征來(lái)實(shí)現(xiàn)雜草目標(biāo)的識(shí)別[9-10]。在自然條件下，由于雜草種類(lèi)多、生長(zhǎng)狀態(tài)多樣(如伴生等)和天氣條件多變等復(fù)雜的田間環(huán)境，傳統(tǒng)雜草檢測(cè)方法泛化能力有限，嚴(yán)重降低了檢測(cè)方法的實(shí)用性。深度學(xué)習(xí)方法與傳統(tǒng)圖像處理方法有著本質(zhì)的不同，它可以學(xué)習(xí)數(shù)據(jù)的深層次特征，實(shí)現(xiàn)密集型圖像計(jì)算任務(wù)，解決復(fù)雜環(huán)境下的應(yīng)用問(wèn)題。在深度學(xué)習(xí)算法中，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)模型在作物表型信息解析和植物檢測(cè)分類(lèi)中取得了較好效果[11-16]。文獻(xiàn)[17-21]研究了基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識(shí)別方法，雖然這些方法獲得了較高的準(zhǔn)確率，但識(shí)別對(duì)象多為背景簡(jiǎn)單、類(lèi)型單一的雜草。針對(duì)作物和多種雜草共存、目標(biāo)相似、雜草分布不均的雜草識(shí)別與定位問(wèn)題沒(méi)有得到很好的解決，導(dǎo)致深度學(xué)習(xí)方法在田間實(shí)際應(yīng)用中嚴(yán)重受限。自然條件下的棉田中具有雜草種類(lèi)多、目標(biāo)較小、生長(zhǎng)形態(tài)多樣(如伴生等)和天氣條件復(fù)雜等特點(diǎn)，雜草與棉花幼苗具有某種程度的相似性。以區(qū)域特征為基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN模型識(shí)別錯(cuò)誤率和漏檢率低，能夠直接輸出識(shí)別與定位的檢測(cè)結(jié)果，且可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)[22-23]，在農(nóng)田小目標(biāo)檢測(cè)中具有一定的優(yōu)勢(shì)[24-25]。

為解決自然環(huán)境下的棉花苗期雜草識(shí)別問(wèn)題，推進(jìn)深度學(xué)習(xí)方法在農(nóng)田目標(biāo)檢測(cè)中的應(yīng)用，本文以新疆棉田實(shí)際環(huán)境多種天氣條件下棉花幼苗與多種伴生雜草為研究對(duì)象，對(duì)獲取的數(shù)據(jù)進(jìn)行增強(qiáng)處理，根據(jù)雜草特點(diǎn)設(shè)計(jì)最佳錨尺度，選取合適的特征提取網(wǎng)絡(luò)，優(yōu)化訓(xùn)練策略，建立基于優(yōu)化Faster R-CNN的雜草檢測(cè)方法，以期實(shí)現(xiàn)復(fù)雜田間環(huán)境下的棉花幼苗與雜草的快速準(zhǔn)確識(shí)別與定位，為后期智能除草提供理論依據(jù)。

1 試驗(yàn)數(shù)據(jù)

1.1 圖像數(shù)據(jù)獲取

試驗(yàn)所需數(shù)據(jù)在2019年5—7月在新疆五家渠市102團(tuán)農(nóng)場(chǎng)棉田，分12個(gè)階段(每階段相差5～8 d)使用索尼IMX386型相機(jī)垂直拍攝獲得，相機(jī)距離地面70 cm左右，圖像分辨率為1 079像素×1 157像素，格式為JPEG。為了研究不同天氣影響下的多種雜草圖像識(shí)別問(wèn)題，分別在晴天、多云和雨天進(jìn)行采集，選擇的雜草類(lèi)型有田旋花、灰綠藜、小薊、硬草、馬唐、馬齒莧、播娘篙7類(lèi)，保證任意2種雜草之間的數(shù)量比例處于均衡狀態(tài)[20]。采集到的圖像中，雜草的生長(zhǎng)狀態(tài)包含：雜草單獨(dú)存在、棉花幼苗與雜草伴生、雜草分布密集、分布稀疏等多種情況。期間總共拍攝4 694幅有效圖像。新疆棉田的棉花幼苗和雜草生長(zhǎng)分布情況如圖1所示。卷積神經(jīng)網(wǎng)絡(luò)需要進(jìn)行有監(jiān)督的訓(xùn)練，因此利用Lableme工具對(duì)圖像中的目標(biāo)進(jìn)行標(biāo)注，并保存為Pascal VOC格式。

1.2 數(shù)據(jù)增強(qiáng)

卷積神經(jīng)網(wǎng)絡(luò)模型需要大量樣本圖像才能訓(xùn)練出好的識(shí)別效果[26]。利用幾何變換和顏色變換的方法對(duì)樣本圖像進(jìn)行數(shù)據(jù)增強(qiáng)，每幅圖像的標(biāo)注文件也同步變換。在樣本圖像數(shù)量較少的情況下，通過(guò)基本變換可以增加樣本數(shù)量，而且還可以避免因?yàn)闃颖咎倩蛘叱叨忍〉葐?wèn)題造成識(shí)別過(guò)程中出現(xiàn)的失真或過(guò)擬合等問(wèn)題，改變樣本圖像的亮度和飽和度，可以消除一些圖像噪聲來(lái)改變圖像的視覺(jué)效果，以緩解模型的過(guò)擬合現(xiàn)象。數(shù)據(jù)增強(qiáng)后，樣本數(shù)量擴(kuò)大到原來(lái)的4倍，變?yōu)?8 776幅。以棉花幼苗與小薊交叉生長(zhǎng)的圖像為例，數(shù)據(jù)增強(qiáng)后得到的圖像效果如圖2所示。

2 優(yōu)化Faster R-CNN雜草識(shí)別與定位模型

2.1 Faster R-CNN目標(biāo)檢測(cè)算法

Faster R-CNN誕生于2015年[22]，是Two-stage檢測(cè)算法的典型代表，具有識(shí)別漏檢率低、準(zhǔn)確率高、實(shí)時(shí)性強(qiáng)的特點(diǎn)。One-stage算法的典型代表是YOLO(You only look once)系列和SSD(Single shot multibox detector)系列算法，One-stage算法是通過(guò)在一個(gè)步驟中完成目標(biāo)分類(lèi)和定位來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)。

Faster R-CNN的提出是為了解決Select search方法找尋目標(biāo)區(qū)域速度太慢的問(wèn)題，即用區(qū)域建議網(wǎng)絡(luò)代替費(fèi)時(shí)的Select search。Faster R-CNN的基本結(jié)構(gòu)如圖3所示，該網(wǎng)絡(luò)主要包括共享卷積層單元、區(qū)域建議網(wǎng)絡(luò)和Fast R-CNN這3個(gè)模塊。共享卷積層單元是Faster R-CNN中的特征提取網(wǎng)絡(luò)，用于提取圖像特征；區(qū)域建議網(wǎng)絡(luò)通過(guò)借助錨(Anchor)，在單一尺度的特征圖上高效地生成多種尺度和多種長(zhǎng)寬比的感興趣區(qū)域；Fast R-CNN部分包含ROI Pooling單元、Softmax分類(lèi)單元和邊界框回歸單元(Bbox regression)，ROI Pooling單元用于池化提取每個(gè)感興趣區(qū)域的特征，Softmax分類(lèi)器單元實(shí)現(xiàn)類(lèi)別預(yù)測(cè)，邊界框回歸單元實(shí)現(xiàn)位置回歸。Faster R-CNN對(duì)輸入圖像中的雜草進(jìn)行檢測(cè)的流程可以分為3步：首先輸入圖像經(jīng)過(guò)預(yù)訓(xùn)練的特征提取網(wǎng)絡(luò)后提取圖像中的目標(biāo)特征；之后區(qū)域建議網(wǎng)絡(luò)利用提取到的特征找出一定數(shù)量的感興趣區(qū)域來(lái)估計(jì)可能包含雜草目標(biāo)的類(lèi)別和位置；圖像特征和感興趣區(qū)域輸入到Fast R-CNN中的ROI Pooling單元中提取特征，Softmax回歸對(duì)感興趣區(qū)域進(jìn)行分類(lèi)，判斷雜草目標(biāo)的類(lèi)別，同時(shí)使用邊界框回歸對(duì)這些RoIs的位置進(jìn)行微調(diào)(fine-tune),最終獲得檢測(cè)框的最終精確位置，即對(duì)雜草進(jìn)行定位。

2.2 Faster R-CNN算法優(yōu)化

2.2.1特征提取網(wǎng)絡(luò)優(yōu)選

在Faster R-CNN中最初使用的是ZFNet和VGG16這2種特征提取網(wǎng)絡(luò)，但ZFNet的精度較低，VGG16特征提取器網(wǎng)絡(luò)成為卷積神經(jīng)網(wǎng)絡(luò)中性能優(yōu)秀的結(jié)構(gòu)類(lèi)型。VGG16中包含了16個(gè)權(quán)重層，分別為13個(gè)卷積層和3個(gè)全連接層，其最大的特點(diǎn)是使用了3×3的卷積核以及2×2的池化核，能夠提取出輸入域中更多細(xì)小的特征。經(jīng)過(guò)發(fā)展，雖然一些更深層次的特征提取網(wǎng)絡(luò)如VGG19、ResNet50和ResNet101等出現(xiàn)，但隨著網(wǎng)絡(luò)結(jié)構(gòu)的增加，其深度和參數(shù)也不斷增多，會(huì)占用更多的存儲(chǔ)資源和計(jì)算單元，導(dǎo)致訓(xùn)練退化，降低模型的性能。在對(duì)棉花苗期的幼苗和雜草進(jìn)行檢測(cè)時(shí)，需要設(shè)計(jì)能同時(shí)保證識(shí)別精度和識(shí)別速度的卷積網(wǎng)絡(luò)結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)。本文的試驗(yàn)思路為：選取預(yù)訓(xùn)練的VGG16結(jié)構(gòu)作為Faster R-CNN模型的特征提取網(wǎng)絡(luò)，提取雜草圖像的特征，同時(shí)分別選擇VGG19、ResNet50和ResNet101這3種結(jié)構(gòu)的特征提取網(wǎng)絡(luò)作為對(duì)比，驗(yàn)證不同特征提取網(wǎng)絡(luò)對(duì)模型識(shí)別性能的影響。

2.2.2Dropout優(yōu)化算法

VGG16、VGG19、ResNet50和ResNet101這4種特征提取網(wǎng)絡(luò)均是在ImageNet等大型數(shù)據(jù)集上進(jìn)行了充分的訓(xùn)練后才有較好的效果。在ImageNet中有上百萬(wàn)幅圖像[26]，試驗(yàn)中獲取的雜草圖像數(shù)據(jù)規(guī)模相對(duì)較小，因此為避免模型產(chǎn)生過(guò)擬合現(xiàn)象，選擇Dropout優(yōu)化算法來(lái)提高模型的性能。Dropout算法的作用在于根據(jù)設(shè)定概率使網(wǎng)絡(luò)訓(xùn)練過(guò)程中的神經(jīng)元輸出值隨機(jī)丟棄，即使一部分神經(jīng)元“失活”，可以避免網(wǎng)絡(luò)訓(xùn)練過(guò)程中產(chǎn)生的過(guò)擬合現(xiàn)象。本文在特征提取網(wǎng)絡(luò)的后2個(gè)全連接層設(shè)定Dropout訓(xùn)練策略。

2.2.3錨框的改進(jìn)設(shè)計(jì)

區(qū)域建議網(wǎng)絡(luò)的作用在于提供候選區(qū)域即感興趣區(qū)域，每幅圖像可生成大約2 000個(gè)候選框。在生成區(qū)域建議之前需要確定圖像的最佳錨尺度。RPN以16像素的步幅評(píng)估圖像每個(gè)位置的不同邊界框，產(chǎn)生的不同邊界框形成的盒子稱(chēng)為錨，其特征是由它們的比例(盒子面積)和縱橫比決定。本研究中的雜草對(duì)象大小不一且種類(lèi)多，為了使模型能快速檢測(cè)到目標(biāo)，本文測(cè)試了3種不同縱橫比的Anchor，確定了縱橫比為1∶2與1∶1的錨最佳尺度。輸入圖像的尺寸為500像素×375像素，但網(wǎng)絡(luò)會(huì)在最短的一側(cè)將輸入圖像的尺寸調(diào)整為400像素。因此，將最短邊設(shè)定為400像素，錨框的尺寸與圖像中目標(biāo)比較情況如圖4所示。

2.3 雜草識(shí)別與定位方法

本文研究的目的是建立適用于自然條件下棉田苗期雜草識(shí)別和定位的模型，并具備實(shí)時(shí)性檢測(cè)的能力。為了實(shí)現(xiàn)對(duì)雜草目標(biāo)的檢測(cè)，需要準(zhǔn)確定位包含識(shí)別對(duì)象的Anchor位置，并對(duì)雜草的種類(lèi)進(jìn)行判別。采用Faster R-CNN架構(gòu)下的4種特征提取網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)，通過(guò)比較其精確率得到最適合于本研究的特征提取網(wǎng)絡(luò)。在所選最優(yōu)的特征提取網(wǎng)絡(luò)下，將Faster R-CNN模型算法與SSD和YOLO這2種主流目標(biāo)檢測(cè)算法進(jìn)行對(duì)比，驗(yàn)證所提方法在雜草識(shí)別與定位中的性能。

3 模型訓(xùn)練

3.1 試驗(yàn)平臺(tái)

整個(gè)試驗(yàn)過(guò)程的運(yùn)行環(huán)境為：Windows 7(64位)操作系統(tǒng)，Anaconda 3.5.0，CUDA 8.0和cuDNN 6.0庫(kù)，搭載Intel(R)Xeon(R)CPU E5-2630 v4 @2.20 GHz處理器，使用開(kāi)源深度學(xué)習(xí)框架TensorFlow作為開(kāi)發(fā)環(huán)境，計(jì)算機(jī)內(nèi)存16 GB，所用Python版本為3.5.6。

3.2 網(wǎng)絡(luò)模型訓(xùn)練

以Faster R-CNN作為雜草檢測(cè)識(shí)別的基礎(chǔ)網(wǎng)絡(luò)框架，選擇ImageNet預(yù)訓(xùn)練的模型初始化權(quán)值，采用交替優(yōu)化訓(xùn)練方式，在VGG16、VGG19、ResNet50和ResNet101這4種特征提取網(wǎng)絡(luò)下進(jìn)行訓(xùn)練。為提升模型性能，減少過(guò)擬合，選擇帶動(dòng)量(Momentum)的隨機(jī)梯度下降法(Stochastic gradient descent，SGD)改善模型。動(dòng)量因子設(shè)置為0.9，最大迭代次數(shù)為 60 000，學(xué)習(xí)率最初設(shè)為0.01，迭代次數(shù)達(dá)到20 000，學(xué)習(xí)率降為0.001，當(dāng)?shù)螖?shù)達(dá)到40 000時(shí)學(xué)習(xí)率降為0.000 25，直到迭代次數(shù)達(dá)到最大值后停止訓(xùn)練。在本試驗(yàn)中采用在Dropout的訓(xùn)練策略，Dropout參數(shù)值設(shè)置為0.6。從18 776幅樣本圖像中隨機(jī)選擇其中的70%作為樣本訓(xùn)練集，剩余30%為測(cè)試集，測(cè)試集用于對(duì)模型驗(yàn)證并輸出識(shí)別結(jié)果。

3.3 評(píng)價(jià)指標(biāo)

采用平均精確率(Average precision，AP)作為目標(biāo)檢測(cè)性能的評(píng)價(jià)指標(biāo)。AP與精度P和召回率R有關(guān)，AP是對(duì)精度-召回率曲線(P-R)的積分，AP反映模型識(shí)別雜草的效果，其值越接近100%，識(shí)別效果越好。

4 結(jié)果與分析

4.1 不同特征提取網(wǎng)絡(luò)對(duì)模型性能的影響

在Faster R-CNN網(wǎng)絡(luò)的共享卷積層單元有多種預(yù)訓(xùn)練網(wǎng)絡(luò)可供選擇來(lái)提取圖像特征，在選擇網(wǎng)絡(luò)時(shí)必須考慮特征提取網(wǎng)絡(luò)的特點(diǎn)，特征提取網(wǎng)絡(luò)的結(jié)構(gòu)尺寸、速度和特提取效果都是影響目標(biāo)識(shí)別性能的因素。VGG16、VGG19、ResNet50和ResNet101 4種特征提取網(wǎng)絡(luò)是常用的結(jié)構(gòu)，VGG16和VGG19特征提取網(wǎng)絡(luò)的最后一個(gè)最大池化層是由ROI最大池化層替換，而ResNet50和ResNet101網(wǎng)絡(luò)是在特征提取層之后插入ROI池化層，且有更深層次的結(jié)構(gòu)。為選取更適合本文研究對(duì)象的特征提取網(wǎng)絡(luò)，分別選取VGG16、VGG19、ResNet50和ResNet101 4種特征提取網(wǎng)絡(luò)進(jìn)行試驗(yàn)對(duì)比，繪制P-R曲線。召回率反映了分類(lèi)器對(duì)正樣本的覆蓋能力，精度反映了分類(lèi)器預(yù)測(cè)正樣本的精準(zhǔn)度，得到4種特征提取網(wǎng)絡(luò)的P-R曲線如圖5所示，模型性能對(duì)比結(jié)果如表1所示。

從圖5可以看出，在Faster R-CNN框架下的4種特征提取網(wǎng)絡(luò)中，VGG16結(jié)構(gòu)的P-R曲線與坐標(biāo)軸所圍成的區(qū)域面積最大，在保持相同召回率的同時(shí)能夠保持較高的檢測(cè)精度。結(jié)合表1可以看出，VGG16結(jié)構(gòu)的平均識(shí)別時(shí)間雖不是最少，但平均識(shí)別精確率達(dá)到94.21%，均高于VGG19、ResNet50和ResNet101模型，表明VGG16特征提取網(wǎng)絡(luò)結(jié)構(gòu)在Faster R-CNN的配置優(yōu)于其他3種特征提取網(wǎng)絡(luò)。其原因在于，VGG16模型的卷積層采用3×3的濾波器，經(jīng)連續(xù)堆疊組成的卷積序列能夠模仿出更大的感受野效果，可有效提取細(xì)小特征并擬合更加復(fù)雜的特征，因此具有較高的精確率；VGG19采用19層卷積層，大部分參數(shù)集中在全連接層，負(fù)載增加，導(dǎo)致過(guò)擬合現(xiàn)象嚴(yán)重，精確率有所降低；ResNet50和ResNet101由于網(wǎng)絡(luò)層級(jí)更深，雖然能夠提取到更多深層次特征，但神經(jīng)網(wǎng)絡(luò)在反向傳播過(guò)程中梯度衰減，導(dǎo)致部分權(quán)重調(diào)整失效，精確率和檢測(cè)速度有所下降。ResNet101結(jié)構(gòu)的平均精確率高于ResNet50結(jié)構(gòu)，但低于VGG16結(jié)構(gòu)。在本試驗(yàn)中，層數(shù)較淺的VGG16特征提取網(wǎng)絡(luò)比更深層次的特征提取網(wǎng)絡(luò)對(duì)雜草檢測(cè)性能更好?；跈z測(cè)速度、樣本數(shù)量及復(fù)雜特點(diǎn)和分類(lèi)精確率的綜合考量，VGG16特征提取網(wǎng)絡(luò)更適用于本研究項(xiàng)目的需求。本文后續(xù)試驗(yàn)均采用VGG16特征提取網(wǎng)絡(luò)構(gòu)建Faster R-CNN雜草識(shí)別模型。

表1 不同特征提取器試驗(yàn)結(jié)果對(duì)比

4.2 不同生長(zhǎng)狀況的雜草識(shí)別與定位效果

新疆棉田多采用滴灌方式，棉花根部附近的水分較多，會(huì)出現(xiàn)不同密集程度的棉花與雜草交叉生長(zhǎng)現(xiàn)象，相互交叉混合生長(zhǎng)的雜草會(huì)使得雜草葉片有不同程度的遮擋，在雜草識(shí)別中容易帶來(lái)無(wú)法識(shí)別或者識(shí)別錯(cuò)誤等問(wèn)題，導(dǎo)致雜草識(shí)別精度下降。如圖6a僅針對(duì)雜草進(jìn)行識(shí)別與定位，圖6b對(duì)棉花幼苗和雜草同時(shí)識(shí)別與定位，將棉花幼苗作為檢測(cè)對(duì)象可以在識(shí)別定位過(guò)程中區(qū)別于雜草，避免錯(cuò)誤識(shí)別現(xiàn)象。因此，通過(guò)對(duì)棉花幼苗的識(shí)別和定位，可間接提高雜草的識(shí)別率。

使用訓(xùn)練好的模型對(duì)不同分布密度的雜草檢測(cè)效果如圖7所示?？梢园l(fā)現(xiàn)，基于Faster R-CNN的識(shí)別模型針對(duì)各種分布情況的雜草都具有很好的識(shí)別效果，且能夠通過(guò)邊界框回歸對(duì)棉花幼苗和多個(gè)雜草目標(biāo)進(jìn)行準(zhǔn)確定位。不論是雜草分布稀疏還是密集的情況，區(qū)域建議網(wǎng)絡(luò)可以通過(guò)Anchor對(duì)目標(biāo)進(jìn)行單獨(dú)定位，在圖7a中，棉花幼苗與雜草伴生緊鄰的條件下，模型也能使棉花幼苗和雜草目標(biāo)分離開(kāi)，并對(duì)其準(zhǔn)確定位。在檢測(cè)目標(biāo)較多時(shí)，出現(xiàn)概率降低的現(xiàn)象。這種情況一是由于棉花幼苗生長(zhǎng)間距較小，造成形狀特征交叉擬合，降低了識(shí)別效果；二是由于部分棉花幼苗葉面存在斑點(diǎn)，如圖7c左下角識(shí)別概率為0.162的棉花幼苗。上述問(wèn)題可通過(guò)增加棉花與雜草互生狀態(tài)下以及帶有斑點(diǎn)的棉花幼苗樣本圖像來(lái)提高識(shí)別效果。Faster R-CNN中的區(qū)域建議網(wǎng)絡(luò)可以借助Anchor 的形式在圖像的不同位置生成邊框，并提取相應(yīng)區(qū)域的特征，高效生成不同的感興趣區(qū)域，在Fast R-CNN結(jié)構(gòu)中邊界回歸框的微調(diào)作用下實(shí)現(xiàn)對(duì)雜草的精確定位?？傮w而言，所提方法可以實(shí)現(xiàn)自然環(huán)境下幼苗與雜草伴生、多種雜草不同分布密度的目標(biāo)識(shí)別與定位。

4.3 不同天氣條件雜草圖像對(duì)模型的影響

為研究在雜草識(shí)別過(guò)程中天氣條件對(duì)識(shí)別率的影響，將晴天、多云和雨天條件下的相同雜草進(jìn)行同等數(shù)量劃分，晴天、陰天和雨天的不同雜草圖像各1 000幅。將這些圖像分別采用訓(xùn)練好的模型進(jìn)行識(shí)別，模型在3種天氣條件下的識(shí)別時(shí)間分別為260.1、345.2、359.8 s，平均識(shí)別精確率分別為97.02%、93.77%、90.34%。結(jié)果表明，在雨天環(huán)境獲取的圖像樣本的識(shí)別時(shí)間最長(zhǎng)且識(shí)別精度最低。因此，為提高模型在實(shí)際應(yīng)用中的效果，應(yīng)增加在極端天氣條件下的樣本數(shù)量。

4.4 與其他模型算法對(duì)比

為了顯示所提方法的優(yōu)越性，在保證相同的試驗(yàn)條件和圖像處理方法條件下，將所提Faster R-CNN算法與主流目標(biāo)檢測(cè)算法SSD和YOLO網(wǎng)絡(luò)模型進(jìn)行對(duì)比試驗(yàn)。為保證對(duì)比試驗(yàn)有效性，3種方法均基于TensorFlow環(huán)境，都采用VGG16結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)，訓(xùn)練方式均為SGD，學(xué)習(xí)率設(shè)置規(guī)則保持一致，Dropout值為0.6，最大迭代次數(shù)為60 000，使用相同的數(shù)據(jù)集訓(xùn)練模型并對(duì)棉花幼苗和雜草進(jìn)行識(shí)別測(cè)試。3種方法最終得到的損失值和精度如圖8所示。

結(jié)合圖8和表2可以看出，3種方法損失值均隨著迭代次數(shù)的增加而遞減，一開(kāi)始損失值下降較快，這是因?yàn)槌跏紝W(xué)習(xí)率設(shè)置較大的原因，隨著迭代次數(shù)的增加，學(xué)習(xí)率逐漸變小，曲線變化趨于平緩直到收斂。YOLO算法在整個(gè)試驗(yàn)過(guò)程中損失值一直高于SSD方法和Faster R-CNN方法，平均檢測(cè)耗時(shí)為0.314 s，最終獲得的平均精確率在3種方法中最低，為84.97%。其原因在于YOLO算法在回歸過(guò)程中網(wǎng)格回歸單一，使得對(duì)雜草的定位不夠精準(zhǔn)，單網(wǎng)格空間約束限制了模型在雜草分布密集、相鄰較近的預(yù)測(cè)，漏檢率較高，導(dǎo)致其檢測(cè)精度較低。在迭代次數(shù)10 000之前，SSD方法的損失值與Faster R-CNN方法損失值相差不大，但隨著迭代次數(shù)的不斷增加直到收斂，F(xiàn)aster R-CNN方法的損失值一直低于SSD方法，在檢測(cè)精度上SSD方法最終達(dá)到的平均精確率為87.23%，F(xiàn)aster R-CNN平均精確率為94.21%，在3種方法中最高。在識(shí)別速度上，SSD相對(duì)于YOLO有所提升，處理單幅圖像時(shí)間為0.297 s，高于Faster R-CNN方法。SSD算法結(jié)合了YOLO中的回歸思想和Faster R-CNN中的Anchor機(jī)制，使用全圖各個(gè)位置的多尺度區(qū)域特征進(jìn)行回歸，因此速度和精確率有所提升。但SSD方法對(duì)于目標(biāo)較小、雜草特征和分布復(fù)雜的較小目標(biāo)識(shí)別時(shí)，由于Anchor對(duì)特征圖中的覆蓋范圍大，導(dǎo)致對(duì)小目標(biāo)的訓(xùn)練不充分，因而對(duì)雜草目標(biāo)較小時(shí)的檢測(cè)精度降低。Faster R-CNN算法由于采用了區(qū)域建議網(wǎng)絡(luò)RPN代替原來(lái)的比較費(fèi)時(shí)的Select search算法，從而將候選區(qū)域提取的時(shí)間代價(jià)降為0.2 s左右，同時(shí)由于Anchor的存在，在訓(xùn)練樣本的過(guò)程中，通過(guò)將真實(shí)的邊框位置相對(duì)于預(yù)設(shè)邊框的偏移來(lái)構(gòu)建訓(xùn)練樣本，RPN生成的2 000多個(gè)框能夠快速準(zhǔn)確地找到雜草圖像中的感興趣區(qū)域ROI，大大提高了目標(biāo)檢測(cè)的精度。這說(shuō)明，在自然條件下小目標(biāo)檢測(cè)中，F(xiàn)aster R-CNN比YOLO算法和SSD算法更具有優(yōu)勢(shì)，其檢測(cè)精度更高，實(shí)時(shí)性更好，尤其是在棉花苗期，當(dāng)棉花幼苗與雜草同時(shí)存在較小目標(biāo)的情況下，應(yīng)當(dāng)首選Faster R-CNN算法。

表2 3種方法試驗(yàn)結(jié)果對(duì)比

4.5 大田環(huán)境下的應(yīng)用驗(yàn)證

為了驗(yàn)證本文方法在實(shí)際場(chǎng)景下的可行性，在新疆石河子133團(tuán)農(nóng)場(chǎng)棉田，采用馳龍植保拖拉機(jī)搭載攝像頭作為圖像拍攝平臺(tái)和計(jì)算機(jī)平臺(tái)，對(duì)所提方法進(jìn)行實(shí)際環(huán)境驗(yàn)證，如圖9所示。試驗(yàn)過(guò)程中，計(jì)算機(jī)運(yùn)行環(huán)境為T(mén)ensorFlow-GPU，所搭載相機(jī)為順華利SHL-200W/N型工業(yè)USB數(shù)碼相機(jī)，最高分辨率1 600像素×1 200像素，幀速率為6 f/s。將相機(jī)調(diào)整到離地面120 cm的高度，垂直向下拍攝，拍攝好的圖像通過(guò)USB數(shù)據(jù)線傳輸?shù)接?jì)算機(jī)指定的文件夾中，調(diào)用模型對(duì)圖像進(jìn)行檢測(cè)，輸出識(shí)別結(jié)果。識(shí)別過(guò)程對(duì)采集到的150幅有效圖像進(jìn)行驗(yàn)證，將棉花誤識(shí)別為雜草和將雜草誤識(shí)別為棉花的圖像有17幅，實(shí)現(xiàn)了88.67%的平均識(shí)別精確率，單幅圖像平均耗時(shí)0.385 s。實(shí)際應(yīng)用中只輸出識(shí)別結(jié)果是不夠的，為更好將識(shí)別結(jié)果應(yīng)用于智能除草裝備或植保機(jī)械，使得在實(shí)際作業(yè)中能夠區(qū)分作物和雜草并進(jìn)行定位，可將作物和雜草分別標(biāo)以紅色和黃色，如圖10所示。在大田環(huán)境下的試驗(yàn)表明了所提方法在田間自然條件下的雜草識(shí)別與定位具有一定的可行性和實(shí)用性。

5 結(jié)論

(1)采用數(shù)據(jù)增強(qiáng)方法增加雜草樣本的多樣性和數(shù)量，設(shè)計(jì)了符合雜草特點(diǎn)的Faster R-CNN模型錨框，并加入Dropout策略訓(xùn)練模型，利用本文方法能夠?qū)崿F(xiàn)自然條件下與棉花幼苗伴生的7種雜草定位、識(shí)別和分類(lèi)，平均精確率為94.21%。

(2)通過(guò)對(duì)VGG16、VGG19、ResNet50和ResNet101 4種特征提取網(wǎng)絡(luò)的對(duì)比試驗(yàn)，確定了VGG16結(jié)構(gòu)為最佳特征提取網(wǎng)絡(luò)。對(duì)比了不同天氣條件下的雜草識(shí)別效果，雨天環(huán)境對(duì)雜草識(shí)別率的影響最大。通過(guò)調(diào)整樣本數(shù)量訓(xùn)練出識(shí)別精度較高、魯棒性較好的Faster R-CNN網(wǎng)絡(luò)模型，該模型可實(shí)現(xiàn)多種伴生狀態(tài)、不同分布密度特點(diǎn)的雜草檢測(cè)。

(3)將Faster R-CNN與YOLO、SSD進(jìn)行比較，F(xiàn)aster R-CNN平均識(shí)別時(shí)間為0.261 s，平均識(shí)別精確率比YOLO算法高9.24個(gè)百分點(diǎn)，比SSD算法高6.98個(gè)百分點(diǎn)，針對(duì)雜草這類(lèi)較小目標(biāo)的檢測(cè)，優(yōu)化后的Faster R-CNN算法綜合性能優(yōu)于YOLO和SSD方法。通過(guò)大田試驗(yàn)驗(yàn)證，實(shí)現(xiàn)了自然條件下88.67%的平均識(shí)別精確率，平均耗時(shí)為0.385 s，說(shuō)明本文方法具有一定的實(shí)用性和可推廣性，可為后期采用智能裝備除草或精準(zhǔn)噴施提供依據(jù)。