基于改進(jìn)Faster R-CNN的核桃識(shí)別和定位

樊湘鵬，許 燕,2，周建平,2,3,*，劉新德，湯嘉盛

(1.新疆大學(xué) 機(jī)械工程學(xué)院，新疆 烏魯木齊 830047；2.新疆大學(xué) 新疆維吾爾自治區(qū)農(nóng)牧機(jī)器人及智能裝備工程技術(shù)研究中心，新疆 烏魯木齊 830047；3.新疆葉城縣核桃產(chǎn)業(yè)研究中心，新疆 葉城 844900)

0 引言

新疆核桃種植面積為35萬hm2，年產(chǎn)量近70萬噸，居全國第二位。核桃產(chǎn)業(yè)作為新疆特色林果業(yè)，在地方國民經(jīng)濟(jì)中占有很重要的地位[1]。當(dāng)前核桃采收方式主要為人工用長桿敲打使核桃振落，勞動(dòng)強(qiáng)度大且效率低；采用大型拖拉懸掛式振動(dòng)收獲機(jī)時(shí)，若振動(dòng)幅度和頻率過大會(huì)損傷樹枝樹體，振幅過小則無法落果。采用機(jī)器人或機(jī)械臂對(duì)果樹采摘可大大減輕果園勞動(dòng)者的負(fù)擔(dān)、提高工作效率。核桃園林環(huán)境和核桃樹長勢(shì)復(fù)雜，果實(shí)分布不均勻、葉片遮擋嚴(yán)重，果實(shí)顏色和葉片顏色極具相似性。因此，為實(shí)現(xiàn)核桃的自動(dòng)采摘，前期的精準(zhǔn)識(shí)別和定位至關(guān)重要。傳統(tǒng)機(jī)器視覺方法在復(fù)雜環(huán)境中提取特征困難、魯棒性差，且通常只能一次識(shí)別單個(gè)果實(shí)目標(biāo)，因此很難滿足工作需求。近年來隨著深度學(xué)習(xí)出現(xiàn)，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法體現(xiàn)出巨大的優(yōu)越性[2]，被廣泛應(yīng)用于圖像識(shí)別領(lǐng)域[3-6]，并在農(nóng)業(yè)病蟲害識(shí)別[7-8]、葉片檢測(cè)[9]、雜草定位[10]和果實(shí)識(shí)別[11]等方面均有較大進(jìn)展。趙德安等[12]使用YOLO模型對(duì)復(fù)雜背景下的蘋果進(jìn)行定位，其平均精度為87.71%，檢測(cè)視頻的幀率達(dá)到60幀/s。王丹丹等[13]利用R-FCN模型對(duì)蘋果進(jìn)行檢測(cè)，單張圖像檢測(cè)耗時(shí)為187 ms。Tian等[12]以改進(jìn)的YOLO v3模型研究了不同生長階段的蘋果，F(xiàn)1值達(dá)到81.7%。李善軍等[15]提出了一種基于SSD-ResNet18模型的柑橘實(shí)時(shí)分類檢測(cè)方法，可以區(qū)分正常、損傷和病變的柑橘，平均精度為87.89%。閆建偉等[16]對(duì)Faster R-CNN模型改進(jìn)，識(shí)別刺梨果的平均精度為92.01%，表明了Faster R-CNN算法有著較高的正確率。武星等[17]提出了一種基于Light-YOLO v3的蘋果檢測(cè)方法，平均精度可達(dá)94.69%。

基于卷積神經(jīng)網(wǎng)絡(luò)的多種目標(biāo)檢測(cè)方法在果實(shí)檢測(cè)方面取得了較好的效果，但是還沒有將卷積神經(jīng)網(wǎng)絡(luò)用于青皮核桃識(shí)別的相關(guān)研究。在自然環(huán)境下，核桃與背景顏色相近，易相互遮擋，因此本文提出利用改進(jìn)Faster R-CNN模型來識(shí)別核桃果實(shí)。獲取了不同天氣條件、不同光線下的核桃圖像，通過加入批歸一化處理層(Batch normalization,BN)、感興趣區(qū)域校準(zhǔn)算法改進(jìn)基礎(chǔ)Faster R-CNN網(wǎng)絡(luò)，利用4種不同的特征提取器對(duì)比試驗(yàn)，得到性能優(yōu)異的模型。

1 數(shù)據(jù)集及預(yù)處理

1.1 試驗(yàn)數(shù)據(jù)采集

試驗(yàn)圖像數(shù)據(jù)在新疆葉城縣巴仁鄉(xiāng)核桃產(chǎn)業(yè)研究示范園中采集，采集時(shí)間為2019年7月20日-8月10日，分別在晴天和陰天的早中晚不同時(shí)刻進(jìn)行。自然環(huán)境中的圖像背景較為復(fù)雜，包括順光、逆光、重疊、遮擋、密集、風(fēng)沙覆蓋等多種畫面類型，拍攝圖像尺寸為4 608像素×3 456像素(寬高比為4∶3)，獲得符合條件的圖像共3 000張，格式為JPG。

1.2 數(shù)據(jù)集預(yù)處理

卷積神經(jīng)網(wǎng)絡(luò)需要大量的標(biāo)注樣本圖像才能獲得良好的性能。利用Labelimg標(biāo)注工具標(biāo)注出目標(biāo)，按照PASCAL VOC2007標(biāo)準(zhǔn)存儲(chǔ)。為了增加圖像多樣性和樣本集的大小，采用有監(jiān)督的幾何變換、顏色變換(亮度調(diào)整)和添加噪聲等操作(圖像變換效果如圖1所示)，將相應(yīng)的數(shù)據(jù)集擴(kuò)充到原來的8倍，以減少模型訓(xùn)練的過擬合現(xiàn)象。為便于模型訓(xùn)練，將數(shù)據(jù)集中的所有圖像尺寸統(tǒng)一設(shè)為768像素×576像素。

2 Faster R-CNN檢測(cè)算法

2.1 Faster R-CNN原理

Faster R-CNN是2015年由REN等[18]提出的two-stage目標(biāo)檢測(cè)模型，該模型通過訓(xùn)練可習(xí)得圖像的深層次特征并直接輸出檢測(cè)結(jié)果。Faster R-CNN主要包括共享卷積層單元、區(qū)域建議網(wǎng)絡(luò)(Region proposal network,RPN)、Fast R-CNN結(jié)構(gòu)、ROI Pooling單元和Softmax分類回歸單元。共享卷積層單元相當(dāng)于整個(gè)網(wǎng)絡(luò)的特征提取器，能夠自動(dòng)提取圖像中的目標(biāo)特征，并將特征共享給后續(xù)的RPN和Fast R-CNN結(jié)構(gòu)，從而將RPN與Fast R-CNN組合連接在一起，提高候選框生成的速度和檢測(cè)效率。

在目標(biāo)檢測(cè)過程中，輸入圖像經(jīng)過卷積、激活與池化組合操作后得到特征圖，F(xiàn)ast R-CNN結(jié)構(gòu)和RPN共享卷積層單元的權(quán)值參數(shù)。區(qū)域建議網(wǎng)絡(luò)的滑動(dòng)窗口在特征圖上產(chǎn)生目標(biāo)候選框并提取感興趣區(qū)域，F(xiàn)ast R-CNN中的ROI Pooling單元對(duì)候選區(qū)域分成小區(qū)域塊進(jìn)行最大池化操作生成特征向量，分類與回歸單元使用Softmax來確定檢測(cè)框內(nèi)的區(qū)域是前景或者背景，最后使用邊界框回歸來獲得準(zhǔn)確的類別，同時(shí)獲得檢測(cè)框的最終位置。檢測(cè)框的存在使Faster R-CNN能夠同時(shí)檢測(cè)圖像中的多個(gè)目標(biāo)，提高檢測(cè)效率。

2.3 Faster R-CNN改進(jìn)

Faster R-CNN雖然有著較高的精確率，但是直接將其用于核桃果園的青皮核桃檢測(cè)時(shí)效果不佳，原因在于：1)Faster R-CNN雖然是主流的目標(biāo)檢測(cè)方法，但是模型訓(xùn)練耗時(shí)較長；2)Faster R-CNN區(qū)域建議網(wǎng)絡(luò)在對(duì)感興趣區(qū)域選擇后的池化操作過程中對(duì)采樣點(diǎn)的取整量化會(huì)導(dǎo)致精度損失，對(duì)區(qū)域建議框產(chǎn)生偏差，降低模型精度。因此，本文從以上兩個(gè)方面進(jìn)行改進(jìn)，加入批歸一化處理加快網(wǎng)絡(luò)收斂速度、提高模型泛化能力，加入感興趣區(qū)域校準(zhǔn)算法來提高模型精度。

2.3.1批歸一化處理

在每層卷積層后面加入BN層，對(duì)圖像特征值進(jìn)行歸一化處理，可以把逐漸在非線性函數(shù)映射后向取值區(qū)間極限飽和區(qū)靠攏的輸入分布強(qiáng)制拉回到均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布范圍，從而避免訓(xùn)練過程中的梯度消失和梯度爆炸，起到加快收斂、增益網(wǎng)絡(luò)的作用。對(duì)于一個(gè)批量數(shù)據(jù)而言，數(shù)據(jù)歸一化的過程利用它們的均值和方差計(jì)算

(1)

(2)

(3)

y=λx+β。

(4)

其中，λ和β是模型在訓(xùn)練階段可動(dòng)態(tài)調(diào)整學(xué)習(xí)的參數(shù)。

2.3.2感興趣區(qū)域校準(zhǔn)

RPN選擇感興趣區(qū)域后再由ROI Pooling單元池化操作，池化過程會(huì)經(jīng)過2次采樣點(diǎn)坐標(biāo)值取整量化，取整后會(huì)損失小數(shù)點(diǎn)后的坐標(biāo)精度，進(jìn)而使得特征圖上的區(qū)域建議框產(chǎn)生偏差，導(dǎo)致回歸定位的準(zhǔn)確性下降。因此，本文采用He等[19]提出的感興趣區(qū)域校準(zhǔn)算法中的雙線性插值法計(jì)算采樣點(diǎn)坐標(biāo)，使得浮點(diǎn)數(shù)得以保留，減少特征圖精度損失。感興趣區(qū)域校準(zhǔn)算法的實(shí)現(xiàn)原理如圖2所示，x、y軸表示矩形圖像的水平和垂直坐標(biāo)軸；對(duì)其圖像的左下角為坐標(biāo)原點(diǎn)。假定目標(biāo)區(qū)域?yàn)?20×80的圖像經(jīng)特征提取網(wǎng)絡(luò)后變?yōu)樵瓐D的1/4，形成大小為60×40的特征圖；在圖2左側(cè)區(qū)域中，將特征圖進(jìn)行4等分，形成16個(gè)面積相同的小矩形，放大后的示意如圖2右側(cè)紅色框線內(nèi)所示，對(duì)該區(qū)域采樣時(shí)通常再進(jìn)行4等分取中心點(diǎn)為采樣位置，即對(duì)M1、M2、M3和M4采樣；可得M1坐標(biāo)值為(3.75，37.5)，與M1相近鄰的4個(gè)整數(shù)坐標(biāo)點(diǎn)為P1(3，38)、P2(4，38)、P3(3，37)、P4(4，37)，利用這4個(gè)點(diǎn)的像素值結(jié)合雙線性插值法[20]計(jì)算得到P1的像素值，同理可得到4個(gè)采樣位置的像素值，經(jīng)最大池化操作可得到紅色區(qū)域池化輸出值。感興趣區(qū)域校準(zhǔn)算法使用雙線性內(nèi)插計(jì)算獲得坐標(biāo)為浮點(diǎn)數(shù)的像素點(diǎn)數(shù)值，避免了量化取整，保持了坐標(biāo)的完整性，避免了采樣點(diǎn)坐標(biāo)量化導(dǎo)致的感興趣區(qū)域位置偏移。

圖2 感興趣區(qū)域校準(zhǔn)的實(shí)現(xiàn)原理Fig 2 Realization principle of ROI Align schematic diagram

3 網(wǎng)絡(luò)訓(xùn)練和模型評(píng)價(jià)

3.1 試驗(yàn)環(huán)境與方法

試驗(yàn)整個(gè)過程的運(yùn)行環(huán)境為Windows 7(64位)操作系統(tǒng)，Anaconda 3.5.0，Python 3.6，CUDA 8.0，cuDNN 6.0，搭載Intel Xeon CPU E5-2630 v4 @2.20 GHz處理器，使用開源深度學(xué)習(xí)框架Tensorflow作為開發(fā)環(huán)境，計(jì)算機(jī)內(nèi)存為16 GB。

VGG、ResNet和ZF-Net等卷積結(jié)構(gòu)都具有很強(qiáng)的特征提取能力[16]，VGG-16在多個(gè)研究領(lǐng)域中被證明有著更好的特征提取效果[21-22]。本研究選取VGG-16卷積結(jié)構(gòu)作為 Faster R-CNN框架下的特征提取器，同時(shí)選取了ZF-Net、ResNet50和ResNet101這3個(gè)特征提取器進(jìn)行對(duì)比，以獲得性能最優(yōu)的模型。

3.2 模型訓(xùn)練

本文采用帶動(dòng)量的隨機(jī)梯度下降算法訓(xùn)練模型。學(xué)習(xí)率是SGD算法中的重要參數(shù)，為保證模型權(quán)重參數(shù)以合適的速度達(dá)到最優(yōu)值，選擇指數(shù)衰減法對(duì)學(xué)習(xí)率進(jìn)行設(shè)置。根據(jù)經(jīng)驗(yàn)[21]，由于VGG-16 等卷積結(jié)構(gòu)采用0.01的初始學(xué)習(xí)率訓(xùn)練時(shí)取得了較高的精度。本文試驗(yàn)中的初始學(xué)習(xí)率設(shè)為0.01，將衰減系數(shù)設(shè)置為0.96，動(dòng)量設(shè)置為0.9。由于數(shù)據(jù)量不是特別大，在保證訓(xùn)練充分的前提下，為避免模型訓(xùn)練后期的學(xué)習(xí)退化現(xiàn)象，將模型訓(xùn)練中的最大迭代次數(shù)設(shè)為5 000。訓(xùn)練結(jié)束后，利用測(cè)試集對(duì)模型效果進(jìn)行驗(yàn)證，在測(cè)試集的圖像中輸出核桃目標(biāo)的位置和概率。

3.3 模型評(píng)價(jià)

為了評(píng)價(jià)所提方法對(duì)核桃識(shí)別檢測(cè)結(jié)果的好壞，采用平均精確率(Average precision，AP)作為模型檢測(cè)精度的評(píng)價(jià)指標(biāo)，同時(shí)引入單張圖像檢測(cè)耗時(shí)t評(píng)價(jià)檢測(cè)速度。AP通過精度P和召回率R計(jì)算。其中，P和R的計(jì)算方法為

(5)

(6)

式中，TP為預(yù)測(cè)為正的正樣本；FP為預(yù)測(cè)為正的負(fù)樣本；FN代表預(yù)測(cè)為負(fù)的正樣本。通過計(jì)算得到精度和召回率，繪制生成精度-召回率曲線。曲線與坐標(biāo)軸圍城的面積越大表示性能越好，AP則是對(duì)該曲線進(jìn)行積分所得，即

(7)

4 結(jié)果與分析

4.1 不同特征提取器對(duì)模型性能的影響

本文在保證模型其他部分不變的情況下，分別使用ZF-Net、ResNet50和ResNet101這3種特征提取器與VGG-16結(jié)構(gòu)對(duì)比，它們的精度-召回率曲線如圖3所示，平均精確率和單張圖像平均檢測(cè)耗時(shí)情況如表1所示。結(jié)合圖3和表1可知，VGG16特征提取器的曲線與坐標(biāo)軸包圍形成的面積最大，在保持相同召回率的同時(shí)，能夠保持較高的檢測(cè)精度。VGG16雖平均檢測(cè)耗時(shí)方面比ZF-Net多0.016 s，但平均精確率為97.56%，在四者中最高。因此本文選擇VGG16結(jié)構(gòu)作為最優(yōu)特征提取器。

圖3 不同特征提取器的精度召回率曲線Fig 3 Precision-Recall curve of different feature extractors

表1 不同特征提取網(wǎng)絡(luò)的性能對(duì)比Tab.1 Comparison of different feature extraction networks

4.2 模型改進(jìn)前后的識(shí)別效果對(duì)比

為驗(yàn)證模型改進(jìn)后的識(shí)別效果，將改進(jìn)的Faster R-CNN算法與未改進(jìn)模型進(jìn)行對(duì)比試驗(yàn)，均采用VGG16特征提取器。圖4～6分別為改進(jìn)Faster R-CNN算法和未改進(jìn)Faster R-CNN算法在順光、逆光以及遮擋重疊較多條件下的識(shí)別效果。

從圖4～6中可以看出，未改進(jìn)的Faster R-CNN模型對(duì)核桃果實(shí)的檢測(cè)存在較大的偏差，且未檢測(cè)到核桃數(shù)量較多。而對(duì)Faster R-CNN利用感興趣區(qū)域校準(zhǔn)改進(jìn)后，檢測(cè)矩形框的精度有著較為明顯的改善，對(duì)核桃的定位更加精準(zhǔn)，有極少數(shù)核桃由于果實(shí)過小、遮擋較多或者是模糊不清而未能檢測(cè)到。總體而言，改進(jìn)后的Faster R-CNN模型在順光條件、逆光條件以及遮擋、重疊較多等多種光照和復(fù)雜背景條件下的檢測(cè)精度與識(shí)別效果均優(yōu)于未改進(jìn)的Faster R-CNN模型，可以滿足園林中核桃的定位檢測(cè)應(yīng)用。

圖4 順光條件下的識(shí)別效果Fig.4 Recognition effect under frontlighting condition

圖5 逆光條件下的識(shí)別效果Fig.5 Recognition effect under backlighting condition

4.3 與其他模型的比較

為進(jìn)一步驗(yàn)證利用本研究所改進(jìn)的Faster R-CNN核桃檢測(cè)算法的性能，與主流目標(biāo)檢測(cè)算法YOLO v3、SSD300以及YOLO v4分類算法相比較，采用相同的試驗(yàn)環(huán)境和數(shù)據(jù)，結(jié)果如表2所示。由表2可知，不論是檢測(cè)速度還是平均精確率，改進(jìn)后的Faster R-CNN算法都優(yōu)于原有未改進(jìn)的Faster R-CNN算法；SSD300和YOLO v3算法雖然要比原有的Faster R-CNN算法速度快，但無論是平均精確率還是平均識(shí)別速度均不及改進(jìn)后的Faster R-CNN算法；YOLO v4在檢測(cè)速度上具有非常明顯的優(yōu)勢(shì)，但對(duì)于本研究的核桃檢測(cè)，其平均精確率分別為94.89%，低于改進(jìn)后的Faster R-CNN算法。因此，通過對(duì)識(shí)別效果的綜合比較，改進(jìn)后的Faster R-CNN算法綜合性能更優(yōu)，更適合本研究核桃的實(shí)時(shí)性檢測(cè)。

4.4 試驗(yàn)驗(yàn)證

為驗(yàn)證所提方法在園林間實(shí)際環(huán)境中的應(yīng)用效果，保存訓(xùn)練好的模型，在田間布設(shè)圖像采集設(shè)備，所用設(shè)備類型為?？低旸S-2CD2356(D)WD-I，分辨率可達(dá)2 560×1 440@25fps，在該分辨率下可輸出實(shí)時(shí)圖像，將攝像頭固定在離地面3.5 m的支架上，試驗(yàn)設(shè)備和核桃園林現(xiàn)場(chǎng)圖如圖7所示。通過該設(shè)備獲取圖像200張，截取目標(biāo)區(qū)域占比較大的畫面，將圖像大小調(diào)整為768像素×576像素，利用訓(xùn)練好的模型驗(yàn)證。改進(jìn)Faster R-CNN算法對(duì)圖像中的核桃檢測(cè)平均精確率為90.76%，平均檢測(cè)耗時(shí)為0.297 s，略低于實(shí)驗(yàn)室條件下的性能。這是由于視頻截取的圖像噪聲較多、背景復(fù)雜程度增加所導(dǎo)致。后續(xù)將針對(duì)模型的抗噪能力和魯棒性展開研究。

5 結(jié)論

本文研究方法能夠?qū)ψ匀画h(huán)境中的青皮核桃進(jìn)行快速準(zhǔn)確的識(shí)別與定位，與傳統(tǒng)的果實(shí)識(shí)別方法相比較，本文方法效率更高，能夠在目標(biāo)與背景顏色相近的情況下同時(shí)檢測(cè)多個(gè)目標(biāo)。

加入BN層和感興趣區(qū)域校準(zhǔn)算法對(duì)Faster R-CNN模型進(jìn)行改進(jìn)，模型在測(cè)試集中的平均精確率為97.56%，單張圖像平均檢測(cè)耗時(shí)為0.219 s。與未改進(jìn)的Faster R-CNN算法以及其他主流檢測(cè)算法相比，在保證效率與精確率兼顧的情況下，本文方法綜合性能上更優(yōu)。在園林環(huán)境中獲取核桃影像驗(yàn)證，所建立的模型能夠保持90.76%的平均精確率，平均檢測(cè)耗時(shí)為0.297 s，具有一定的魯棒性。本研究可為自然環(huán)境中的核桃機(jī)器識(shí)別和采摘定位提供理論與實(shí)踐基礎(chǔ)。今后將進(jìn)一步提高模型魯棒性，開發(fā)基于嵌入式的移動(dòng)采摘設(shè)備，為核桃自動(dòng)化采摘提供支撐。