基于Faster R-CNN的新疆棉花幼苗與雜草識(shí)別方法

許燕，溫德圣，周建平，樊湘鵬，劉洋

(新疆大學(xué)機(jī)械工程學(xué)院，新疆 烏魯木齊 830046)

新疆是中國(guó)最大的產(chǎn)棉基地，根據(jù)國(guó)家統(tǒng)計(jì)局的數(shù)據(jù)，2016年新疆棉花產(chǎn)量占全國(guó)總產(chǎn)量的67%[1].除草是棉花生產(chǎn)中的重要問(wèn)題，主要是因?yàn)殡s草搶奪棉花田間的營(yíng)養(yǎng)來(lái)源，造成棉花產(chǎn)量的下降[2].大面積的除草劑噴灑不僅帶來(lái)環(huán)境污染、農(nóng)業(yè)成本增加，對(duì)食品安全也會(huì)造成威脅[3-4].為了推動(dòng)棉花產(chǎn)業(yè)發(fā)展，避免環(huán)境污染等問(wèn)題，可將機(jī)器視覺(jué)與農(nóng)業(yè)結(jié)合，實(shí)現(xiàn)圖像處理和圖像分析[5].通過(guò)對(duì)棉花幼苗的識(shí)別，可以更好地辨別雜草與棉花，實(shí)現(xiàn)農(nóng)業(yè)中除草劑的快速準(zhǔn)確噴灑.

近年來(lái)，越來(lái)越多的學(xué)者在雜草識(shí)別方向展開(kāi)了研究，其中鄧向武等[6]以稻田苗期雜草為對(duì)象，為解決雜草識(shí)別的單一性，提取多個(gè)特征進(jìn)行融合，利用DBN建立雜草識(shí)別模型，實(shí)現(xiàn)了91.13%的雜草精確率.BAKHSHIPOUR等[7]提出了一種融合幾種形狀特征以建立每種植物的識(shí)別模型，利用不變矩和傅里葉2種方法對(duì)形狀特征進(jìn)行描述，獲得了95.00%的精確率.沈?qū)殗?guó)等[8]提出基于顏色特征開(kāi)展棉田中綠色雜草與棉苗的自動(dòng)識(shí)別，對(duì)圖像的紅綠特征灰度圖像進(jìn)行動(dòng)態(tài)閾值分割，通過(guò)信息融合確定綠色植物二值圖像中的棉苗區(qū)域，確定其區(qū)域質(zhì)心和面積，精度可達(dá)到74.00%以上.孫哲等[9]以西蘭花幼苗為研究對(duì)象，提出了一種基于 Faster R-CNN 模型的作物檢測(cè)方法，在Dropout 值為0.6的基礎(chǔ)上以ResNet101網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)，達(dá)到了91.73%的平均精度. QUAN等[10]提出了基于改進(jìn)Faster R-CNN在不同生長(zhǎng)階段和復(fù)雜野外環(huán)境下的玉米幼苗識(shí)別，使用10個(gè)選定的預(yù)訓(xùn)練網(wǎng)絡(luò)來(lái)代替經(jīng)典Faster R-CNN的CNN特征計(jì)算組件的網(wǎng)絡(luò)，利用VGG19作為預(yù)訓(xùn)練網(wǎng)絡(luò)對(duì)玉米幼苗和雜草進(jìn)行了目標(biāo)檢測(cè)，精確率為97.71%.

新疆棉苗大多采用滴灌加地膜來(lái)減少水分蒸發(fā).因此，棉田中雜草多為伴生雜草.上述方法針對(duì)的識(shí)別目標(biāo)相互之間位置間距較大.雜草多為獨(dú)立個(gè)體，對(duì)于新疆棉田中雜草的伴生特點(diǎn)易造成識(shí)別特征過(guò)擬合、識(shí)別精度低和定位不準(zhǔn)確等問(wèn)題.為了準(zhǔn)確快速地識(shí)別棉花與雜草目標(biāo)，文中擬通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)中的特征提取，采用Faster R-CNN模型[11]對(duì)不同自然環(huán)境下的棉花幼苗與雜草進(jìn)行識(shí)別.Faster R-CNN能夠直接將圖像數(shù)據(jù)作為輸入，依據(jù)田間環(huán)境下棉花與雜草圖像特點(diǎn)，通過(guò)優(yōu)化特征提取網(wǎng)絡(luò)，減少圖像預(yù)處理和特征抽取等復(fù)雜操作，加快特征提取的速度，有效提高識(shí)別效率.

1 數(shù)據(jù)采集與處理

1.1 圖像采集

以棉花幼苗與其附帶雜草為圖像采集對(duì)象，時(shí)間地點(diǎn)為2019年5—7月新疆五家渠市某建設(shè)兵團(tuán)某連的試驗(yàn)田，分5個(gè)階段(每階段相差10～12 d)采集，分辨率為4 000像素×3 000像素，格式為JPEG.為保證圖像樣本的多樣性，圖像樣本包含不同光照強(qiáng)度和不同密集程度的伴生雜草等情況.為了使研究?jī)?nèi)容更加貼合實(shí)際，在采集樣本圖像前未對(duì)作物周?chē)h(huán)境做任何人工處理.

1.2 顏色遷移與數(shù)據(jù)增強(qiáng)

顏色是識(shí)別雜草的重要特征，由于不同的光照影響，尤其是新疆地區(qū)光照時(shí)間強(qiáng)而久，且地膜易反光，容易造成圖像特征缺失.為了更準(zhǔn)確地識(shí)別雜草并保證識(shí)別算法的準(zhǔn)確性，在特征網(wǎng)絡(luò)中加入顏色遷移算法[12].

顏色遷移目的是增強(qiáng)目標(biāo)圖像的顏色特征，方便對(duì)圖像的顏色特征提取.由于圖像的RGB顏色空間是各分量之間線性相關(guān)的三維空間，顏色變化過(guò)程復(fù)雜，不利于色彩遷移.于是提出將RGB顏色空間轉(zhuǎn)移到lαβ顏色空間，以削弱各分量的線性相關(guān)性，來(lái)減少遷移過(guò)程對(duì)圖像質(zhì)量的影響.首先把每幅圖像的RGB顏色空間轉(zhuǎn)換為L(zhǎng)MS空間.具體公式為

(1)

LMS空間3個(gè)通道間的相關(guān)性很大，但轉(zhuǎn)換后的數(shù)據(jù)在該空間中是分散的.為使數(shù)據(jù)分布更加聚斂，先將其轉(zhuǎn)換到以10為底的對(duì)數(shù)空間中，再將圖像從LMS空間轉(zhuǎn)換到lαβ空間，即

(2)

式中：在lαβ顏色空間中，l為圖像的亮度分量；α為黃-藍(lán)通道分量；β為紅-綠通道分量.

優(yōu)化后Reinhard算法公式為

(3)

本次試驗(yàn)共采集棉花與雜草(小薊、灰綠藜、馬齒莧、田旋花)圖像 5 370 張，其中采集單株棉花1 040張、單株雜草 2 614張、棉花與雜草混合 1 716 張.由于新疆天氣多風(fēng)，特在晴天和陰天時(shí)采集了多風(fēng)時(shí)的樣本圖像作為研究特征.單株棉花幼苗與雜草對(duì)應(yīng)樣本集數(shù)量如表1所示，其中m為樣本數(shù)量.

表1 不同環(huán)境下棉花與雜草對(duì)應(yīng)的樣本數(shù)量

圖像采集過(guò)程中雖然已考慮樣本所處環(huán)境的多樣性，但棉花幼苗與雜草的生長(zhǎng)以及成像角度具有隨機(jī)性，因此對(duì)樣本圖像進(jìn)行隨機(jī)剪切，噪聲添加，旋轉(zhuǎn)和平移，進(jìn)行數(shù)據(jù)增強(qiáng)，將總樣本數(shù)擴(kuò)大至4倍，提高訓(xùn)練模型的泛化能力.所有樣本按照PASCAL VOC數(shù)據(jù)集格式以6∶2∶2的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，訓(xùn)練集進(jìn)行模型訓(xùn)練，驗(yàn)證集用于參數(shù)調(diào)整，測(cè)試集主要進(jìn)行模型性能的評(píng)估.部分樣本圖像如圖1所示.

2 識(shí)別方法

2.1 Faster R-CNN深度網(wǎng)絡(luò)模型框架

Faster R-CNN網(wǎng)絡(luò)是將RPN檢測(cè)對(duì)象的感興趣區(qū)域進(jìn)行分類(lèi)，主要通過(guò)2個(gè)核心模塊完成: ① 區(qū)域候選網(wǎng)絡(luò)(RPN)，用于識(shí)別可能包含對(duì)象的感興趣區(qū)域(ROI);② Fast R-CNN檢測(cè)器，用于對(duì)提取的區(qū)域候選進(jìn)行分類(lèi)并細(xì)化相應(yīng)對(duì)象的邊界框.這2個(gè)部分共享1組基本卷積層(轉(zhuǎn)換層)，激活函數(shù)ReLU和池化層用來(lái)提取圖像特征映射，產(chǎn)生感興趣的ROI.然后RPN輸出到第1卷積層，再?gòu)牡?卷積層產(chǎn)生的特征圖中裁剪出相應(yīng)的區(qū)域.使用SoftMax回歸來(lái)確定錨點(diǎn)是屬于前景或者背景，然后使用邊界框回歸來(lái)糾正錨點(diǎn)，以獲得準(zhǔn)確的建議，同時(shí)使用邊界框回歸來(lái)獲得檢測(cè)框的最終精確位置.圖2為使用的Faster R-CNN模型結(jié)構(gòu)圖.

圖2 棉田Faster R-CNN識(shí)別模型結(jié)構(gòu)

2.2 區(qū)域候選網(wǎng)絡(luò)(RPN)和錨(Anchor)

Faster R-CNN端到端的目標(biāo)檢測(cè)是通過(guò)RPN網(wǎng)絡(luò)提取候選框?qū)崿F(xiàn)的.RPN網(wǎng)絡(luò)是全卷積網(wǎng)絡(luò)，當(dāng)特征圖傳入RPN后，由3×3的滑窗生成1個(gè)n維長(zhǎng)度的特征向量，然后將此特征向量分別傳入分類(lèi)層與回歸層，在分類(lèi)層中，使用Softmax分類(lèi)器對(duì)錨點(diǎn)進(jìn)行前景與背景的判斷.在回歸層中，通過(guò)調(diào)整錨點(diǎn)邊框的中心坐標(biāo)與長(zhǎng)寬，擬合出候選框位置.生成區(qū)域候選之前需要確定圖像的最佳錨尺度，RPN以16像素的步幅評(píng)估圖，向每個(gè)位置的不同邊界框形成的盒子稱(chēng)為錨.

3 試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)平臺(tái)

試驗(yàn)整個(gè)過(guò)程的運(yùn)行環(huán)境為Windows7(64位)操作系統(tǒng)，NVIDIA Quadro M2000 顯卡，Anaconda 3.5.0，Python 3.5.6，CUDA 8.0，cuDNN 6.0，搭載Intel(R) Xeon(R) CPU E5-2630 v4 @2.20GHz處理器.使用開(kāi)源深度學(xué)習(xí)框架Tensorflow作為開(kāi)發(fā)環(huán)境，計(jì)算機(jī)內(nèi)存16 GB.

3.2 試驗(yàn)設(shè)計(jì)

為提升模型性能，減少過(guò)擬合，以預(yù)訓(xùn)練模型進(jìn)行參數(shù)初始化設(shè)置，使用SGD(stochastic gradient descent)隨機(jī)梯度下降法改善模型.dropout設(shè)置為0.5，最大迭代次數(shù)為 60 000步，學(xué)習(xí)率最初設(shè)為0.010 0，迭代次數(shù)是20 000步時(shí)，降為0.001 0，40 000步時(shí)降為0.000 5，直到迭代次數(shù)達(dá)到最大值后停止訓(xùn)練.另外，為了提高內(nèi)存利用率，將批次大小設(shè)為256；為獲得最佳候選框，將NMS(非極大值抑制)值設(shè)為0.3.最后，得到訓(xùn)練好的網(wǎng)絡(luò)模型，使用測(cè)試集對(duì)模型效果進(jìn)一步驗(yàn)證，輸出識(shí)別結(jié)果.

預(yù)訓(xùn)練網(wǎng)絡(luò)具有不同的特征，在選擇網(wǎng)絡(luò)時(shí)必須考慮它們的特征，例如VGG(visual geometry group network)網(wǎng)絡(luò)中VGG16[13]和VGG19[14]網(wǎng)絡(luò)的最后一個(gè)最大池化層是由ROI最大池化層替換，而ResNet(Residual Network)網(wǎng)絡(luò)中的ResNet50和ResNet101網(wǎng)絡(luò)[15]是在特征提取層之后插入ROI池化層，并且網(wǎng)絡(luò)的精度、速度和大小都是影響目標(biāo)識(shí)別精度的因素.為選取更適合文中研究對(duì)象的特征提取網(wǎng)絡(luò)，對(duì)VGG16網(wǎng)絡(luò)、VGG19網(wǎng)絡(luò)、ResNet50網(wǎng)絡(luò)和ResNet101網(wǎng)絡(luò)進(jìn)行試驗(yàn)對(duì)比，4種網(wǎng)絡(luò)的P-R曲線對(duì)比效果如圖3所示，圖中P為精確率，S為召回率.通過(guò)計(jì)算得到的試驗(yàn)對(duì)比結(jié)果如表2所示，其中t為平均識(shí)別時(shí)間，表示所有類(lèi)別識(shí)別總時(shí)間/所有類(lèi)別圖像總張數(shù)，η為平均識(shí)別精度，表示精確率-召回率的曲線積分.

圖3 特征提取網(wǎng)絡(luò)P-S曲線對(duì)比

表2 特征提取網(wǎng)絡(luò)試驗(yàn)結(jié)果對(duì)比

從圖3可以看出，VGG16網(wǎng)絡(luò)的識(shí)別性能要優(yōu)于其他網(wǎng)絡(luò)，再結(jié)合表2可以看出，特征提取網(wǎng)絡(luò)VGG16的平均識(shí)別時(shí)間雖不是最少，但識(shí)別精度最高，為91.49%.因此，在滿足識(shí)別時(shí)間的前提下，選取VGG16網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò).

3.3 結(jié)果與分析

棉田中棉花與雜草共同生長(zhǎng)在一片區(qū)域，會(huì)出現(xiàn)不同密集程度的交叉生長(zhǎng)現(xiàn)象，在雜草識(shí)別中容易帶來(lái)無(wú)法識(shí)別或者識(shí)別錯(cuò)誤等問(wèn)題，如圖4a所示.這是造成雜草識(shí)別精度低的主要原因之一.將棉花幼苗作為識(shí)別對(duì)象可以在識(shí)別過(guò)程中區(qū)別于雜草，避免錯(cuò)誤識(shí)別現(xiàn)象，如圖4b所示.因此，通過(guò)對(duì)棉花幼苗的識(shí)別，可間接提高雜草的識(shí)別率.

圖4 對(duì)雜草和棉花幼苗進(jìn)行識(shí)別

為了顯示所提出方法的有效性，在保證相同的圖像處理方法和VGG16特征提取網(wǎng)絡(luò)下進(jìn)行Faster R-CNN與SSD[16]的對(duì)比,以及文中方法和文獻(xiàn)[10]中的方法對(duì)比，結(jié)果如圖5所示，其中L′為損失，i為迭代次數(shù)，P′為精度.

從圖5可以看出，文獻(xiàn)[10]的方法在損失值和精度2個(gè)方面表現(xiàn)都不好.SSD在精度方面也不如Faster R-CNN，雖然在10 000迭代次數(shù)附近損失值好于Faster R-CNN，但是隨著迭代次數(shù)的增加，F(xiàn)aster R-CNN模型優(yōu)勢(shì)越來(lái)越大.

圖5 3種方法的損失及精度對(duì)比

4 結(jié) 論

1) 針對(duì)新疆棉田特點(diǎn)提出了一種棉花幼苗與雜草基于Faster R-CNN的識(shí)別方法，包括預(yù)處理方法和對(duì)VGG16網(wǎng)絡(luò)、VGG19網(wǎng)絡(luò)、ResNet50網(wǎng)絡(luò)和ResNet101網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)的對(duì)比試驗(yàn).確定了VGG16網(wǎng)絡(luò)為最佳特征提取網(wǎng)絡(luò).通過(guò)對(duì)樣本數(shù)量的增強(qiáng)、棉花幼苗的識(shí)別以及考慮多種天氣因素，訓(xùn)練出了識(shí)別精度較高、魯棒性較好的Faster R-CNN網(wǎng)絡(luò)模型，并將該模型與SSD、文獻(xiàn)[10]進(jìn)行了對(duì)比試驗(yàn)，結(jié)果表明文中方法在伴生特點(diǎn)的雜草中識(shí)別精度更高，表現(xiàn)出平均精度為91.49%.

2) 以VGG16為特征提取網(wǎng)絡(luò)的Faster R-CNN模型對(duì)新疆早期棉田的雜草識(shí)別具有很好的識(shí)別效果，能夠有效識(shí)別自然環(huán)境下混合生長(zhǎng)的棉花幼苗與雜草，且識(shí)別時(shí)間短，可為智能化機(jī)械除草提供有益的參考.