基于FasterR-CNN的藍(lán)莓冠層果實(shí)檢測識(shí)別分析

朱旭 馬淏 姬江濤 金鑫 趙凱旋 張開

摘要：【目的】基于Faster R-CNN模型對不同成熟度藍(lán)莓果實(shí)進(jìn)行精準(zhǔn)識(shí)別分類，為漿果類果實(shí)的自動(dòng)化采摘、產(chǎn)量預(yù)估等提供技術(shù)支撐。【方法】選取成熟果、半成熟果、未成熟果剪切圖像各4000幅和8000幅背景圖像作為訓(xùn)練集，1000幅原始圖像用于驗(yàn)證集開展試驗(yàn)，改進(jìn)Faster R-CNN算法，設(shè)計(jì)一種對背景干擾、果實(shí)遮擋等因素具有良好魯棒性和準(zhǔn)確率的藍(lán)莓果實(shí)識(shí)別模型，模型通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）、區(qū)域候選網(wǎng)絡(luò)（RPN）、感興趣區(qū)域池化（ROI Pooling）和分類網(wǎng)絡(luò)來實(shí)現(xiàn)藍(lán)莓圖像背景消除及果實(shí)識(shí)別并與DPM算法進(jìn)行對比?！窘Y(jié)果】以WOA算法優(yōu)化的訓(xùn)練參數(shù)作為參考，在藍(lán)莓?dāng)?shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)模型。在分析P-R曲線后計(jì)算F發(fā)現(xiàn)，F(xiàn)aster R-CNN算法在成熟果、半成熟果和未成熟果上的F值分別為95.48%、95.59%和94.70%，與DPM算法相比平均高10.00%。在對3類藍(lán)莓果實(shí)的識(shí)別精度方面，F(xiàn)aster R-CNN同樣有著優(yōu)秀的識(shí)別效果。對成熟果、半成熟果和未成熟果的識(shí)別準(zhǔn)確率分別為97.00%、95.00%和92.00%，平均識(shí)別準(zhǔn)確率為94.67%，比DPM算法高20.00%左右。該網(wǎng)絡(luò)模型在高精度的識(shí)別效果下，對于藍(lán)莓果實(shí)的平均識(shí)別速度依然達(dá)0.25 s/幅，能滿足實(shí)時(shí)在線識(shí)別的需求?！窘ㄗh】獲取多角度、復(fù)雜環(huán)境下的圖像用來提高模型識(shí)別率;利用遷移學(xué)習(xí)建立藍(lán)莓識(shí)別模型;數(shù)據(jù)集樣本擴(kuò)充并分類。

關(guān)鍵詞： 藍(lán)莓;冠層果實(shí);Faster R-CNN;精準(zhǔn)識(shí)別;產(chǎn)量預(yù)估;不同成熟度

Abstract：【Objective】With the help of Faster R-CNN model， accurate detection， identification and classification of blueberry canopy fruits under natural environmental conditions could be realized，which provided reference for automatic picking and yield prediction of berries. 【Method】Each 4000 images and each 8000 background images of ripe fruit， half-ripe fruit， immature fruit were as the training set， 1000 original images were used to verify test set， optimized Faster R-CNN algorithm was used to design a kind of blueberry fruit recognition model for fruits at different maturity levels which had good robustness and accuracy under the condition of background interference and fruit block. The model realized image background elimination of blueberries and recognition through convolution neural network（CNN）， regional candidate networks（RPN）， interested in regional pooling（ROI pooling） and the classification of network. 【Result】The trai-ning parameters optimized by WOA algorithm were used as a reference， and the network model was trained on the blueberry data set. After analyzing P-R curve and calculating F value， it was found that the F values of Faster R-CNN algorithm on ripe fruit， half-ripe fruit and immature fruit were 95.48%， 95.59% and 94.70%， which was 10.00% higher than that of DPM on average. In terms of the recognition accuracy of three kinds of blueberry fruits， Faster R-CNN also had excellent recognition effect. The recognition accuracy of ripe fruit， half-ripe fruit and immature fruit was 97.00%， 95.00% and 92.00% respectively， and the average recognition accuracy was 94.67%， which was about 20.00% higher than DPM algorithm on average. Under the high-precision recognition effect， the average recognition speed of the network model for blueberry fruit still reached 0.25 s/amplitude， which could meet the demand of real-time online recognition. 【Conclusion】The network model can be improved in the following aspects：to obtain images in multi-angle and complex environment to improve the model recognition rate;establish a blueberry recognition model with migration learning;data set samples should be expanded and classified.

Key words：blueberry; canopy fruit; Faster R-CNN; accurate identification; production forecast; different maturity

0 引言

【研究意義】我國自2000年開始規(guī)?；N植藍(lán)莓，2018年國內(nèi)藍(lán)莓栽培總面積達(dá)55344 ha，產(chǎn)量達(dá)18.4238萬t，分別占全世界藍(lán)莓栽培總面積和總產(chǎn)量的40.996%和28.129%（張珊珊等，2015;李亞東等，2016;劉紹金和盧煒樂，2018）。藍(lán)莓種植附加值高，但生產(chǎn)成本也高，主要原因是藍(lán)莓果實(shí)成熟度不統(tǒng)一及生長環(huán)境復(fù)雜導(dǎo)致的藍(lán)莓收獲成本較高。據(jù)統(tǒng)計(jì)，收獲季人力花費(fèi)約占藍(lán)莓整個(gè)生產(chǎn)期管理成本的一半以上（李亞東等，2018;劉慶忠等，2019）。目前藍(lán)莓的主要采摘方式有兩種：一種是依靠人力采摘，主要供應(yīng)鮮果市場;一種是振動(dòng)式機(jī)械采摘，曬制干果。而實(shí)現(xiàn)藍(lán)莓果實(shí)成熟度快速、準(zhǔn)確識(shí)別可為人力采摘提供成熟藍(lán)莓分布信息，合理安排勞動(dòng)力，從而降低收獲成本，為鮮果及時(shí)上市提供保障;在機(jī)械采摘方面，藍(lán)莓果實(shí)成熟度快速、準(zhǔn)確識(shí)別可為種植者及時(shí)提供生產(chǎn)區(qū)藍(lán)莓成熟比例，從而合理安排時(shí)間適時(shí)采摘，進(jìn)而減少未成熟果實(shí)損失?！厩叭搜芯窟M(jìn)展】目前，針對水果果實(shí)精準(zhǔn)識(shí)別、果實(shí)成熟度分類的研究。大多數(shù)仍采用機(jī)器視覺，如依據(jù)果實(shí)顏色、形狀、紋理和三維形態(tài)等特征進(jìn)行果實(shí)識(shí)別（陶華偉等，2014;賈偉寬等，2015;李龍等，2018;畢松等，2019;金保華等，2019）。在蘋果、柑橘和獼猴桃等大體積、類球型果實(shí)識(shí)別方面，Zhao等（2005）提出一種基于視覺的單幅圖像蘋果定位算法，基于紋理的邊緣檢測及紅度測量，并結(jié)合區(qū)域閾值和圓形擬合來確定蘋果在圖像平面上的位置，實(shí)現(xiàn)紅色和綠色蘋果的識(shí)別;王津京等（2009）通過矢量中值濾波、圖像分割等前期準(zhǔn)備提供穩(wěn)定有效的蘋果顏色、幾何特征，利用支持向量機(jī)對蘋果果實(shí)進(jìn)行檢測識(shí)別;詹文田等（2013）采用Adaboost算法將RGB、HIS、Lab顏色空間中多通道構(gòu)建弱分類器，并訓(xùn)練數(shù)據(jù)集生成強(qiáng)分類器識(shí)別獼猴桃果實(shí);Thendral等（2014）通過邊緣和顏色檢測兩種方法對自然光照條件下獲得的柑橘果實(shí)圖像進(jìn)行分割，并對邊緣分割和顏色分割進(jìn)行對比試驗(yàn);García-Lamont等（2015）提出了一種通過提取水果顏色的色度來表征物體顏色的方法，并測試了該方法的可行性;Liu等（2018）設(shè)計(jì)了一種從序列圖像中識(shí)別蘋果及柑橘的算法，即通過圖像分割、匈牙利算法跟蹤和運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法從視頻幀圖像中識(shí)別。針對葡萄等漿果類果實(shí)，陳英等（2011）采用鄰域輪廓跟蹤提取葡萄串輪廓曲線，并基于曲線旋轉(zhuǎn)和局部極值法搜索凹點(diǎn)位置，將曲線分割后實(shí)現(xiàn)葡萄果粒識(shí)別;馬本學(xué)等（2015）基于不同顏色空間的圖像分割方法，采用最大類間方差法和直方圖雙峰法分別獲得最佳閾值，實(shí)現(xiàn)目標(biāo)葡萄串與背景區(qū)域分割，達(dá)到對不同顏色葡萄果實(shí)快速識(shí)別，并有效降低了光照對識(shí)別效果的影響;羅陸鋒等（2017）提出使用改進(jìn)的K-means聚類分割方法，運(yùn)用形態(tài)學(xué)去噪，并提取葡萄串類圓中心對葡萄進(jìn)行識(shí)別定位。近年來，深度學(xué)習(xí)算法的應(yīng)用研究成為熱門（周云成等，2018;卞景帥等，2019;張銀松等，2019）。孫哲等（2019）采用Faster R-CNN算法對西蘭花幼苗圖像識(shí)別進(jìn)行研究，并選擇ResNet101網(wǎng)絡(luò)對西蘭花圖像特征進(jìn)行提取;張樂等（2019）利用Faster R-CNN算法識(shí)別田間雜草，用于將田間油菜與雜草區(qū)分開。上述非深度學(xué)習(xí)的方法在針對果實(shí)特征表現(xiàn)較為單一且成熟期果實(shí)顏色、大小基本一致的蘋果、柑橘時(shí)，表現(xiàn)出良好的識(shí)別效果，而藍(lán)莓果實(shí)簇生、生長環(huán)境復(fù)雜、遮擋嚴(yán)重且成熟期跨度時(shí)間長，導(dǎo)致整簇中存在藍(lán)莓果實(shí)成熟度、大小不一及顏色不同的情況，因此，非深度學(xué)習(xí)方法運(yùn)用于藍(lán)莓果實(shí)識(shí)別效果不理想?！颈狙芯壳腥朦c(diǎn)】目前，F(xiàn)aster R-CNN算法主要通過在候選區(qū)域網(wǎng)絡(luò)中進(jìn)行大量重復(fù)運(yùn)算實(shí)現(xiàn)對目標(biāo)檢測識(shí)別，耗費(fèi)時(shí)間較長，對小目標(biāo)易造成漏識(shí)別，導(dǎo)致國內(nèi)極少將該方法應(yīng)用到漿果類果實(shí)的自動(dòng)化檢測領(lǐng)域。另外，在對蘋果、柑橘等果實(shí)識(shí)別時(shí)一般只考慮顏色特征或形狀特征（司永勝等，2009;程榮花等，2014），無法有效解決藍(lán)莓等漿果類果實(shí)所面臨的問題。【擬解決的關(guān)鍵問題】針對藍(lán)莓識(shí)別中存在的問題，通過優(yōu)化訓(xùn)練參數(shù)、選取最優(yōu)窗口對目標(biāo)進(jìn)行多尺度檢測和圖像格式轉(zhuǎn)換等改進(jìn)原始Faster R-CNN算法，建立對不同成熟度藍(lán)莓圖像進(jìn)行替代訓(xùn)練的識(shí)別模型，進(jìn)而提取藍(lán)莓目標(biāo)特征并將藍(lán)莓果實(shí)識(shí)別標(biāo)定，在預(yù)測藍(lán)莓果實(shí)產(chǎn)量的同時(shí)劃分成熟藍(lán)莓果實(shí)的分布區(qū)域，為實(shí)現(xiàn)合理分配勞動(dòng)力及漿果機(jī)械自動(dòng)采摘工作中及時(shí)提供果實(shí)目標(biāo)信息提供參考依據(jù)。

1 數(shù)據(jù)采集與研究方法

1. 1 圖像采集與試驗(yàn)平臺(tái)

藍(lán)莓果實(shí)圖像采集于2019年4—5月藍(lán)莓收獲期間，采集地點(diǎn)位于美國佛羅里達(dá)大學(xué)藍(lán)莓實(shí)驗(yàn)園，藍(lán)莓品種是美國南部最具代表性的高產(chǎn)高叢藍(lán)莓Windsor、Sweetcrisp和Emerald。拍攝設(shè)備為佳能70D相機(jī)，18～200 mm變焦鏡頭，分辨率為4608×3456，圖像格式為JPG，采集設(shè)備距離每簇藍(lán)莓0.4～0.5 m。程序運(yùn)行設(shè)備為臺(tái)式計(jì)算機(jī)，操作系統(tǒng)為Win10（64位），處理器為Intel Core i7-9700，主頻3.7 GHz，運(yùn)行內(nèi)存32 G，固態(tài)硬盤1T，GPU為NVIDIA 1080Ti。采用MATLAB 2018實(shí)現(xiàn)藍(lán)莓目標(biāo)檢測識(shí)別網(wǎng)絡(luò)模型的訓(xùn)練與測試。

1. 2 樣本數(shù)據(jù)集

試驗(yàn)共采集整簇藍(lán)莓原始圖像4736幅（圖1-A），藍(lán)莓分批次成熟，通常每簇中有1～3種成熟度藍(lán)莓，即未成熟果、半成熟果和成熟果。從原始圖像中隨機(jī)選出2435幅，并從中裁剪出未成熟果（圖1-B）、半成熟果（圖1-C）和成熟果（圖1-D）各4000幅單獨(dú)圖像及8000幅背景圖像（圖1-E），用作訓(xùn)練集。從剩余的2301幅原始圖像中整理出1050幅作為測試集，用于單一成熟度藍(lán)莓檢測識(shí)別（成熟果、半成熟果和未成熟果各350幅）;另整理出1000幅作為驗(yàn)證集，用于3種成熟度藍(lán)莓檢測識(shí)別。訓(xùn)練集、測試集和驗(yàn)證集數(shù)據(jù)無重疊。

1. 3 Faster R-CNN算法

圖2為本研究建立的Faster R-CNN藍(lán)莓果實(shí)識(shí)別模型，識(shí)別過程如下：（1）原始圖像經(jīng)過特征提取網(wǎng)絡(luò)獲得特征圖，并將特征圖與候選區(qū)域網(wǎng)絡(luò)（Region proposal network，RPN）和目標(biāo)區(qū)域池化網(wǎng)絡(luò)（ROI Pooling）共享。（2）RPN通過softmax分類器執(zhí)行二分類操作區(qū)分背景與目標(biāo)藍(lán)莓，并通過Bbox回歸初步得到候選區(qū)域位置。（3）目標(biāo)區(qū)域池化網(wǎng)絡(luò)將粗篩選的特征圖池化和歸一化處理。（4）經(jīng)過全連接層整合特征圖信息，softmax分類器進(jìn)行精準(zhǔn)分類，判別藍(lán)莓成熟度;Bbox回歸對預(yù)測框位置進(jìn)行精確調(diào)整。

Faster R-CNN算法的優(yōu)點(diǎn)在于輸入圖像尺寸可以不統(tǒng)一，并且對識(shí)別精度和速度的影響無明顯波動(dòng);同時(shí)作為端到端訓(xùn)練的深度學(xué)習(xí)模型，拋棄了傳統(tǒng)的滑動(dòng)窗口和Selective Search方法，使用候選區(qū)域網(wǎng)絡(luò)RPN生成候選框，并且將目標(biāo)檢測的4個(gè)部分（特征提取、候選區(qū)域生成、目標(biāo)區(qū)域池化及目標(biāo)分類）全部歸于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN），并運(yùn)行在GPU上，有效提高了檢測效率。

1. 4 評價(jià)指標(biāo)

把Faster R-CNN算法中對特征提取網(wǎng)絡(luò)檢測出的目標(biāo)定為正樣本，未檢測出的目標(biāo)定為負(fù)樣本。本研究中使用交并比（Intersection over Union，IOU）值來對樣本正負(fù)進(jìn)行度量，設(shè)置IOU閾值為0.5，當(dāng)IOU>0.5，則認(rèn)為目標(biāo)被正確檢測，劃分為正樣本，記為TP（檢測到的IOU值大于閾值的目標(biāo)數(shù)量），當(dāng)IOU<0.5則為負(fù)樣本，記為FP（檢測到的IOU值小于閾值的目標(biāo)數(shù)量）。本研究中共有4種情況，除TP和FP外，還有兩種未被檢測出的FN和TN（檢測到的IOU值為0的目標(biāo)數(shù)量）。本研究中僅統(tǒng)計(jì)TP和FP兩類樣本。

Faster R-CNN算法采用替代訓(xùn)練方式對四分類藍(lán)莓訓(xùn)練集分別進(jìn)行訓(xùn)練，并計(jì)算3種不同成熟度藍(lán)莓在各自子測試集和子驗(yàn)證集上的精確率（Precision，P）、召回率（Recall，R）、F值（F-Measure，F(xiàn)）和準(zhǔn)確率（Accuracy，A），以F值和準(zhǔn)確率作為評價(jià)指標(biāo)。其中，精確率為正樣本占總樣本的數(shù)量比例，準(zhǔn)確率為所有分類中被正確分類的樣本數(shù)量比例，召回率和精確率計(jì)算方法為：

繪制精確率—召回率曲線圖，曲線圖x軸召回率表示對IOU>0.5的目標(biāo)覆蓋能力，y軸表示對IOU>0.5的目標(biāo)檢測精確率。當(dāng)P和R指標(biāo)出現(xiàn)矛盾情況時(shí)，需要進(jìn)行綜合考慮，而F值是P、R的加權(quán)調(diào)和平均，F(xiàn)值越高說明模型越可靠穩(wěn)定，因此引入F值對網(wǎng)絡(luò)模型進(jìn)行評價(jià)。公式如下所示：

2 結(jié)果與分析

2. 1 訓(xùn)練模型及果實(shí)識(shí)別過程

本研究訓(xùn)練參數(shù)設(shè)置以WOA算法優(yōu)化結(jié)果作為參考，在前5000次迭代中，以0.001的學(xué)習(xí)率對網(wǎng)絡(luò)進(jìn)行細(xì)化，在最后5000次迭代中，將學(xué)習(xí)率降低到0.0001，每個(gè)批次處理由兩個(gè)圖像組成，一個(gè)來自源域，一個(gè)來自目標(biāo)域，試驗(yàn)中使用0.9的動(dòng)量和0.0005的重量衰減。

模型采用VGG16網(wǎng)絡(luò)作為特征提取器，在使用大型數(shù)據(jù)集時(shí)可保證較高的檢測速度和準(zhǔn)確率。為更好地顯示CNN的檢測識(shí)別過程，將提取特征的前幾層網(wǎng)絡(luò)可視化操作，中間過程如圖3所示，隨著網(wǎng)絡(luò)深度的增加，藍(lán)莓特征圖的顆粒度明顯加強(qiáng)，且尺寸逐漸減小，細(xì)節(jié)特征逐漸丟失，而更加關(guān)注于圖像的整體信息。卷積神經(jīng)網(wǎng)絡(luò)由淺層到深層分別檢測提取圖像中目標(biāo)藍(lán)莓的邊緣特征、局部特征和整體輪廓特征，從圖3-B～圖3-I可看出，特征提取網(wǎng)絡(luò)對藍(lán)莓果實(shí)邊緣和線條等細(xì)節(jié)的描述，凸顯出了藍(lán)莓果實(shí)的局部信息。

2. 2 與DPM算法對比試驗(yàn)

2. 2. 1 F值對比 為說明Faster R-CNN算法在小目標(biāo)識(shí)別方面的優(yōu)越性，與DPM算法Deformable Part Model進(jìn)行對比試驗(yàn)，使用相同訓(xùn)練集、測試集和驗(yàn)證集，獲得其精準(zhǔn)率、召回率和準(zhǔn)確率，并繪制P-R曲線圖（圖4）。從成熟果、半成熟果和未成熟果藍(lán)莓P-R曲線圖可知，F(xiàn)aster R-CNN算法中曲線坐標(biāo)位置均在DPM算法上方。當(dāng)DPM算法召回率達(dá)最高值75%時(shí)，F(xiàn)aster R-CNN算法對應(yīng)下的成熟果、半成熟果和未成熟果精確率分別為96.0%、94.5%和95.0%，DPM算法對應(yīng)下的成熟果、半成熟果和未成熟果識(shí)別精確率分別為82.0%、83.5%和82.5%（表1）。在高召回率情況下，F(xiàn)aster R-CNN對于3種成熟度藍(lán)莓的識(shí)別精確率依然可達(dá)80.0%左右，且P-R曲線也更加平滑穩(wěn)定。為了更直接地比較兩組數(shù)據(jù)的差異，綜合分析精確率和召回率，由公式4計(jì)算F，結(jié)果如表2所示，在相同成熟度藍(lán)莓條件下，本研究的Faster R-CNN算法的F值均比DPM算法高10.00%左右。

2. 2. 2 識(shí)別精度對比 針對單一成熟度藍(lán)莓的檢測識(shí)別可看作將目標(biāo)藍(lán)莓與背景分開，即使用分類器進(jìn)行二分類操作，在對Faster R-CNN和DPM模型測試后，統(tǒng)計(jì)藍(lán)莓識(shí)別準(zhǔn)確率，并繪制準(zhǔn)確率曲線圖（圖5）。隨著訓(xùn)練圖像數(shù)量增加，2種算法針對單一成熟度藍(lán)莓的識(shí)別準(zhǔn)確率均逐漸上升，在達(dá)到本訓(xùn)練集目標(biāo)藍(lán)莓圖像數(shù)量上限4000幅時(shí)，兩種算法準(zhǔn)確率對比結(jié)果如表3所示，在同一成熟度藍(lán)莓條件下，F(xiàn)aster R-CNN算法準(zhǔn)確率比DPM算法高20.00%左右，平均準(zhǔn)確率達(dá)94.67%。通過試驗(yàn)數(shù)據(jù)對比可知，F(xiàn)aster R-CNN算法對單一成熟度藍(lán)莓具有更高的識(shí)別精度。

為更直觀對2種算法在單一成熟度藍(lán)莓之間的識(shí)別差異，故對比識(shí)別效果圖。如圖6所示，在Faster R-CNN算法中，針對成熟果、半成熟果和未成熟果的藍(lán)莓果實(shí)檢測識(shí)別均達(dá)到了分類及定位效果，無誤識(shí)別、漏識(shí)別和重復(fù)識(shí)別現(xiàn)象出現(xiàn)。DPM算法在對藍(lán)莓果實(shí)識(shí)別效果較差，不同成熟度藍(lán)莓果實(shí)均有漏識(shí)別出現(xiàn)（圖7），其中圖7-B中還存在誤識(shí)別現(xiàn)象。因此，在使用相同訓(xùn)練集建立識(shí)別模型和相同測試集檢測識(shí)別果實(shí)條件下，通過統(tǒng)計(jì)測試集數(shù)據(jù)可知，F(xiàn)aster R-CNN算法對單一成熟度藍(lán)莓的誤識(shí)別、漏識(shí)別及重復(fù)識(shí)別數(shù)量遠(yuǎn)少于DPM算法，具有更好的識(shí)別效果。

2. 3 Faster R-CNN模型對藍(lán)莓識(shí)別效果的驗(yàn)證

為驗(yàn)證Faster R-CNN算法對不同成熟度藍(lán)莓同時(shí)檢測識(shí)別時(shí)是否具有較高準(zhǔn)確率，在上述針對單一成熟度藍(lán)莓測試試驗(yàn)的基礎(chǔ)上，通過驗(yàn)證集對3種混合成熟度藍(lán)莓果實(shí)同時(shí)進(jìn)行檢測識(shí)別，所使用驗(yàn)證集為1000幅原始圖像。通過觀察圖8可知，在對藍(lán)莓果實(shí)成熟度檢測分類時(shí)，F(xiàn)aster R-CNN算法能準(zhǔn)確區(qū)分藍(lán)莓成熟果、半成熟果和未成熟果，只有未成熟果藍(lán)莓果實(shí)在遮擋嚴(yán)重和與背景過于相似時(shí)存在少量重復(fù)識(shí)別、漏識(shí)別現(xiàn)象。通過對驗(yàn)證集中3種成熟度藍(lán)莓識(shí)別數(shù)量進(jìn)行統(tǒng)計(jì)，得到成熟果、半成熟果和未成熟果藍(lán)莓在Faster R-CNN算法中的識(shí)別準(zhǔn)確率（表4）。該算法對成熟果的識(shí)別準(zhǔn)確率最高，半成熟果次之，而未成熟果由于顏色與背景色較相似，因此識(shí)別準(zhǔn)確率最低。雖然該算法在對藍(lán)莓果實(shí)識(shí)別過程中所受干擾較多，但3類果實(shí)的識(shí)別準(zhǔn)確率均在93.00%以上。通過對3種成熟度藍(lán)莓果實(shí)識(shí)別結(jié)果統(tǒng)計(jì)可知，F(xiàn)aster R-CNN算法針對藍(lán)莓果實(shí)的平均識(shí)別準(zhǔn)確率為94.05%。在對召回率和精確率進(jìn)行分析后，由公式（4）計(jì)算可得F值為84.90%。通過記錄每張圖像輸入模型到出現(xiàn)預(yù)測框的時(shí)間，計(jì)算出模型的平均識(shí)別速度為0.25 s/幅。

在識(shí)別過程中出現(xiàn)了少數(shù)未成熟果重復(fù)識(shí)別（圖8-A）和部分藍(lán)莓果實(shí)漏識(shí)別（圖8-B、圖8-C）。由試驗(yàn)數(shù)據(jù)統(tǒng)計(jì)得知，在重復(fù)識(shí)別和漏識(shí)別的藍(lán)莓果實(shí)中80%以上是未成熟果，造成這一結(jié)果的主要原因是未成熟果實(shí)顏色與葉片等背景過于相似，且未成熟果實(shí)相對于成熟果實(shí)體積較小;另外有部分藍(lán)莓果實(shí)未被識(shí)別是由于果實(shí)之間遮擋嚴(yán)重，能夠被特征提取網(wǎng)絡(luò)檢測到的藍(lán)莓果實(shí)特征有限，導(dǎo)致IOU值為0，誤劃分為FN類別。

3 討論

針對藍(lán)莓等漿果類小目標(biāo)難以有效識(shí)別的問題，本研究在深入了解藍(lán)莓果實(shí)特點(diǎn)的前提下使用改進(jìn)的Faster R-CNN算法對藍(lán)莓果實(shí)進(jìn)行檢測識(shí)別。具體改進(jìn)包含：使用WOA算法優(yōu)化超參數(shù)值，初始化訓(xùn)練模型;在候選區(qū)域網(wǎng)絡(luò)中采用9種尺度對目標(biāo)藍(lán)莓進(jìn)行檢測，選取最優(yōu)候選窗口;轉(zhuǎn)換成HSV格式，利用H通道對于亮度的敏感性來區(qū)分不同成熟度果實(shí)。由此訓(xùn)練得到的模型更適用于藍(lán)莓果實(shí)小、擁擠和分布散亂等特點(diǎn)，可為果園自動(dòng)化采摘及產(chǎn)量預(yù)估提供指導(dǎo)。利用深度學(xué)習(xí)根據(jù)不同成熟度藍(lán)莓的顏色特征和形狀特征建立藍(lán)莓果實(shí)識(shí)別模型，可有效實(shí)現(xiàn)藍(lán)莓果實(shí)精確定位及成熟度分類，縮短果實(shí)采收周期。在對果實(shí)成熟度的研究中，伍光緒等（2016）運(yùn)用數(shù)字圖像處理技術(shù)對血橙正反兩面圖片進(jìn)行全局閾值分割，通過計(jì)算出血橙的著色比例判斷血橙是否成熟;葉晉濤（2016）利用哈密瓜圖像顏色特征與紋理特征來預(yù)測哈密瓜成熟度，并實(shí)現(xiàn)基于DSP算法的哈密瓜成熟度快速實(shí)時(shí)檢測。上述采用的數(shù)字圖像處理技術(shù)對水果成熟度識(shí)別分類取得了一定效果，但由于采用的均是手工設(shè)計(jì)特征模型，工作量大，且不能做到實(shí)時(shí)性，而從數(shù)據(jù)集中自動(dòng)學(xué)習(xí)特征的深度學(xué)習(xí)方法處理速度快、準(zhǔn)確率高，更適用于田間果園的檢測識(shí)別。

本研究運(yùn)用的方法在藍(lán)莓果實(shí)識(shí)別和成熟度分類上雖取得了良好效果，但在某些方面還需進(jìn)一步改進(jìn)，如藍(lán)莓果實(shí)之間遮擋或枝葉遮擋嚴(yán)重時(shí)，目標(biāo)藍(lán)莓輪廓特征較少導(dǎo)致特征難以有效提取，從而使得模型不能準(zhǔn)確識(shí)別目標(biāo)藍(lán)莓。另外當(dāng)光線較暗時(shí)，模型使用顏色特征無法有效通過明暗程度對藍(lán)莓果實(shí)進(jìn)行檢測識(shí)別，而僅通過形狀特征來區(qū)分未成熟果與成熟果，易造成誤識(shí)別現(xiàn)象。

4 建議

4. 1 獲取多角度、復(fù)雜環(huán)境下的圖像提高模型識(shí)別率

藍(lán)莓?dāng)?shù)據(jù)集的多樣性能提高模型的穩(wěn)定性和魯棒性，因此需要對采集的原始樣本圖像進(jìn)行擴(kuò)展。建議采用高像素相機(jī)采集設(shè)備拍攝高質(zhì)量藍(lán)莓圖像，通過調(diào)整拍攝角度來減少藍(lán)莓果實(shí)遮擋，并在多個(gè)時(shí)間段、多種光照條件下采集圖像來提高檢測識(shí)別精度。比如，嘗試在白天和晚上分成多次在不同自然光或人工照明的條件下拍攝。

4. 2 利用遷移學(xué)習(xí)建立藍(lán)莓識(shí)別模型

遷移學(xué)習(xí)是使用別人在海量數(shù)據(jù)庫中建立的網(wǎng)絡(luò)模型，通過在藍(lán)莓?dāng)?shù)據(jù)集上再次訓(xùn)練得到適用于藍(lán)莓果實(shí)識(shí)別的模型。通過采用遷移學(xué)習(xí)的方法可有效避免網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的過擬合問題，并能調(diào)整超參數(shù)值，提高網(wǎng)絡(luò)的泛化效果。

4. 3 數(shù)據(jù)集樣本擴(kuò)充并分類

把原始數(shù)據(jù)集樣本中的圖像旋轉(zhuǎn)45°、90°和135°來增加樣本的多樣性，擴(kuò)充數(shù)據(jù)集的圖像數(shù)量，并將樣本分為容易檢測樣本和較難檢測樣本，在訓(xùn)練過程中自動(dòng)選擇較難樣本時(shí)可使網(wǎng)絡(luò)訓(xùn)練更加高效，且減少小目標(biāo)檢測時(shí)的信息損失，有效提高藍(lán)莓等漿果類小目標(biāo)的識(shí)別精度。

參考文獻(xiàn)：

畢松，高峰，陳俊文. 2019. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，50（5）： 181-186. [Bi S，Gao F，Chen J W. 2019. Detection method of citrus based on deep convolution neural network[J]. Transactions of The Chinese Society of Agricultural Machinery，50（5）： 181-186.]

卞景帥，盧家品，羅月童，張敏. 2019. 基于Faster-RCNN的結(jié)核桿菌自動(dòng)檢測方法研究與應(yīng)用[J]. 圖學(xué)學(xué)報(bào)，40（3）： 608-615. [Bian J S，Lu J P，Luo Y T，Zhang M. 2019. Research and application of Faster-RCNN based M. Tuberculosis detection method[J]. Journal of Graphics，40（3）： 608-615.]

陳英，李偉，張俊雄. 2011. 基于圖像輪廓分析的堆疊葡萄果粒尺寸檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，42（8）： 168-172. [Chen Y，Li W，Zhang J X. 2011. Overlapped grapes berry size inspection based on image contour analysis[J]. Transactions of The Chinese Society of Agricultural Machinery，42（8）： 168-172.]

程榮花，馬飛，石夢. 2014. 基于顏色特征的蘋果表面質(zhì)量檢測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 遼寧農(nóng)業(yè)科學(xué)，（3）： 22-24. [Cheng R H，Ma F，Shi M. 2014. Design and implementation of the quality of apple surface detection system based on color features[J]. Liaoning Agricultural Sciences，（3）： 22-24.]

賈偉寬，趙德安，劉曉洋，唐書萍，阮承治，姬偉. 2015. 機(jī)器人采摘蘋果果實(shí)的K-means和GA-RBF-LMS神經(jīng)網(wǎng)絡(luò)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，31（18）： 175-183. [Jia W K，Zhao D A，Liu X Y，Tang S P，Ruan C Z，Ji W. 2015. Apple recognition based on K-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering，31（18）： 175-183.]

金保華，殷長魁，張衛(wèi)正，張偉偉. 2019. 基于機(jī)器視覺的蘋果園果實(shí)識(shí)別研究綜述[J]. 輕工學(xué)報(bào)，34（2）： 71-81. [Jin B H，Yin C K，Zhang W Z，Zhang W W. 2019. Review on apple garden fruit recognition based on machine vision[J]. Journal of Light Industry，34（2）： 71-81.]

李龍，彭彥昆，李永玉，王凡，張捷. 2018. 基于紋理和梯度特征的蘋果傷痕與果梗/花萼在線識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，49（11）： 328-335. [Li L，Peng Y K，Li Y Y，Wang F，Zhang J. 2018. Online identification of apple scarring and stems/calyxes based on texture and edge gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery，49（11）： 328-335.]

李亞東，裴嘉博，孫海悅. 2018. 全球藍(lán)莓產(chǎn)業(yè)發(fā)展現(xiàn)狀及展望[J]. 吉林農(nóng)業(yè)大學(xué)學(xué)報(bào)，40（4）： 421-432. [Li Y D，Pei J B，Sun H Y. 2018. Status and prospect of global blueberry industry[J]. Journal of Jilin Agricultural University，40（4）： 421-432.]

李亞東，孫海悅，陳麗. 2016. 我國藍(lán)莓產(chǎn)業(yè)發(fā)展報(bào)告[J]. 中國果樹，（5）： 1-10. [Li Y D，Sun H Y，Chen L. 2016. China blueberry industry development report[J]. China Fruits，（5）： 1-10.]

劉慶忠，朱東姿，王甲威，陳明學(xué)，辛力. 2019. 世界藍(lán)莓產(chǎn)業(yè)發(fā)展現(xiàn)狀——北美篇[J]. 落葉果樹，51（2）： 4-7. [Liu Q Z，Zhu D Z，Wang J W，Chen M X，Xin L. 2019. Develop-ment of blueberry industry in the world： North America[J]. Deciduous Fruits，51（2）： 4-7.]

劉紹金，盧煒樂. 2018. 我國藍(lán)莓產(chǎn)業(yè)現(xiàn)狀和發(fā)展趨勢[J]. 現(xiàn)代園藝，（11）： 18. [Liu S J，Lu W L. 2018. Current situa-tion and development trend of blueberry industry in China[J]. Xiandai Horticulture，（11）： 18.]

羅陸鋒，鄒湘軍，王成琳，陳雄，楊自尚，司徒偉明. 2017. 基于輪廓分析的雙串疊貼葡萄目標(biāo)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，48（6）： 15-22. [Luo L F，Zou X J，Wang C L，Chen X，Yang Z S，Situ W M. 2017. Recognition method for two overlaping and adjacent grape clusters based on image contour analysis[J]. Transactions of The Chinese Society for Agricultural Machinery，48（6）： 15-22.]

馬本學(xué)，賈艷婷，梅衛(wèi)江，高國剛，呂琛，周強(qiáng). 2015. 不同自然場景下葡萄果實(shí)識(shí)別方法研究[J]. 現(xiàn)代食品科技，31（9）： 145-149. [Ma B X，Jia Y T，Mei W J，Gao G G，Lü C，Zhou Q. 2015. Study on the recognition method of grape in different natural environment[J]. Modern Food Science and Technology，31（9）： 145-149.]

司永勝，喬軍，劉剛，劉兆祥，高瑞. 2009. 基于機(jī)器視覺的蘋果識(shí)別和形狀特征提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，40（8）： 161-165. [Si Y S，Qiao J，Liu G，Liu Z X，Gao R. 2009. Reco-gnition and shape features extraction of apples based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery，40（8）： 161-165.]