快速精準(zhǔn)識別棚內(nèi)草莓的改進(jìn)YOLOv4-Tiny模型

孫 俊，陳義德，周 鑫，沈繼鋒，武小紅

快速精準(zhǔn)識別棚內(nèi)草莓的改進(jìn)YOLOv4-Tiny模型

孫 俊，陳義德，周 鑫，沈繼鋒，武小紅

（江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013）

為了實現(xiàn)棚內(nèi)草莓果實的快速精準(zhǔn)識別，該研究提出一種基于改進(jìn)YOLOv4-Tiny的草莓檢測模型。首先，為了大幅度減少模型計算量，采用輕量型網(wǎng)絡(luò)GhostNet作為特征提取網(wǎng)絡(luò)，并在GhostBottleneck結(jié)構(gòu)中嵌入卷積注意力模塊以加強(qiáng)網(wǎng)絡(luò)的特征提取能力；其次，在頸部網(wǎng)絡(luò)中添加空間金字塔池化模塊和特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，融合多尺度特征提升小目標(biāo)草莓的檢測效果；最后，采用高效交并比損失作為邊界框回歸損失函數(shù)，加速網(wǎng)絡(luò)收斂并提高模型的檢測準(zhǔn)確率。結(jié)果表明，改進(jìn)YOLOv4-Tiny模型權(quán)重大小僅為4.68 MB，平均每幅圖片的檢測時間為5.63 ms，在測試集上的平均精度均值達(dá)到92.62%，相較于原YOLOv4-Tiny模型提升了5.77個百分點。與主流的目標(biāo)檢測模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比，改進(jìn)YOLOv4-Tiny模型平均精度均值分別高出9.11、4.80、2.26、1.22、1.91個百分點，并且模型權(quán)重大小和檢測速度方面均具有絕對優(yōu)勢，該研究可為后續(xù)果實智能化采摘提供技術(shù)支撐。

機(jī)器視覺；圖像處理；果實識別；YOLOv4-Tiny；注意力機(jī)制；小目標(biāo)

0 引 言

草莓果實鮮美、色澤鮮艷并且具有豐富的營養(yǎng)，被譽為“漿果皇后”[1]。中國自20世紀(jì)初開始正式生產(chǎn)和栽培草莓，隨著經(jīng)濟(jì)實力的增強(qiáng)以及社會生活水平的提高，已成為全世界草莓種植面積、產(chǎn)量最大的國家，目前國內(nèi)草莓的栽培面積已達(dá)10萬hm2，總產(chǎn)量達(dá)188萬t，草莓的采摘收獲主要依靠人工，存在勞動強(qiáng)度較大，成本高等問題[2]，據(jù)統(tǒng)計，草莓采摘所花費的人力成本占草莓生產(chǎn)總成本的50%～70%。因此研究草莓果實的快速準(zhǔn)確智能化識別方法極為重要。

近年來，國內(nèi)外的果實精確識別、果實成熟度分類等研究已取得了顯著的成果。最早的工作是針對顏色分明的水果，采用顏色濾波的方法分割果實和背景。Zhao等[3]通過閾值分割、邊緣檢測、區(qū)域增長、灰度共生矩陣等一系列圖像預(yù)處理操作，從不同的顏色空間中提取水果的外觀特征。張鐵中等[4]采用LRCD（Luminance and Red Color Difference）方法分割草莓圖像，提取分割后草莓圖像的幾何特征，從而確定草莓的重心位置和采摘點。Ouyang等[5]利用中值濾波去噪，OTSU算法，均值漂移聚類和形態(tài)學(xué)操作處理草莓圖像以獲得最具鑒別性的草莓形狀特征，但對多個草莓目標(biāo)的識別效果較差。謝志勇等[6]提出一種基于Hough變換的成熟草莓識別方法，但實際草莓果實形態(tài)各異，僅用圓形擬合成熟草莓果實誤差較大。Feng[7]等根據(jù)色調(diào)和飽和度顏色直方圖對果實進(jìn)行區(qū)分，并通過雙目視覺系統(tǒng)確定采摘點，但該方法識別僅對分布稀疏的果實有不錯的識別效果，且檢測速度較慢，單個草莓采摘需耗費31.3 s。侯貴洋等[8]結(jié)合顏色識別和特征識別，得到草莓質(zhì)心坐標(biāo)，并利用卷積神經(jīng)網(wǎng)絡(luò)輔助級聯(lián)分類器判別未成熟和成熟的目標(biāo)草莓，但在重疊密集的情況下誤差較大，導(dǎo)致定位框不能與果實完全吻合。雖然上述研究都能夠成功識別出草莓目標(biāo)，但多數(shù)識別方法僅針對草莓的單一特征展開研究，當(dāng)圖像中出現(xiàn)多個果實目標(biāo)時，上述方法檢測效果不佳，難以滿足實際棚內(nèi)復(fù)雜情景下的草莓識別需求。

隨著農(nóng)業(yè)4.0的出現(xiàn)，信息系統(tǒng)和互聯(lián)網(wǎng)技術(shù)可以用來收集、分析和處理大量農(nóng)業(yè)數(shù)據(jù)[9]。深度卷積神經(jīng)網(wǎng)絡(luò)能夠充分提取目標(biāo)高維特征信息，結(jié)合深度學(xué)習(xí)的目標(biāo)檢測算法逐漸被廣泛應(yīng)用于農(nóng)業(yè)果實識別、病害分類[10-11]和麥穗計數(shù)等研究。Sun等[12]提出了一種改進(jìn)的Faster-RCNN番茄識別方法，采用ResNet50替換VGG16作為特征提取網(wǎng)絡(luò)，并使用K-means聚類算法自動調(diào)整錨尺寸，將番茄的識別精度提升至90.7%，單張圖片檢測時間為73 ms。李就好等[13]針對苦瓜葉部的小尺寸病害，增加Faster-RCNN區(qū)域建議框的尺寸個數(shù)，并在ResNet50骨干網(wǎng)絡(luò)的基礎(chǔ)上融入特征金字塔網(wǎng)絡(luò)，顯著提升了各病害的識別能力，平均精度均值達(dá)到86.39%，單幅圖像的檢測時間為322 ms。閆建偉等[14]采用了一種基于感興趣區(qū)域校準(zhǔn)（ROI Align）的區(qū)域特征聚集方法。該方法將整個特征聚集過程轉(zhuǎn)化為一個連續(xù)的操作，解決了Faster-RCNN中區(qū)域不匹配的問題，提高了識別準(zhǔn)確率和召回率，對刺梨的平均識別精度達(dá)到92.01%，平均每幅圖檢測時間為0.2 s。這類以Faster-RCNN為代表，基于候選框建議的二階段算法，雖然檢測精度高，但是檢測速度慢。而以SSD[15]、YOLO[16-19]為代表的單階段算法，能夠經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)處理圖像，直接預(yù)測出目標(biāo)的分類結(jié)果與位置坐標(biāo)，在檢測速度上相比二階段算法占據(jù)優(yōu)勢。趙德安等[20]提出了一種改進(jìn)的YOLOv3算法，對預(yù)設(shè)錨框尺寸進(jìn)行調(diào)整，實現(xiàn)了蘋果快速精準(zhǔn)的定位，但該方法檢測密集果實時，1得分下降明顯。彭紅星等[21]設(shè)計了一種基于多重特征增強(qiáng)與特征融合的SSD算法，通過使用感受野模塊和高效空間金字塔模塊，改進(jìn)路徑聚合網(wǎng)絡(luò)，并在淺層網(wǎng)絡(luò)添加通道注意力機(jī)制，提高了荔枝識別精度，但模塊的累加降低了檢測速度。張兆國等[22]采用輕量級網(wǎng)絡(luò)MobileNetv3作為YOLOv4的特征提取網(wǎng)絡(luò)，并在殘差模塊中添加輕型注意力機(jī)制，對馬鈴薯的檢測速度有所提升，然而該方法降低了部分檢測精度。Chen等[23]提出了一種改進(jìn)的YOLOv4算法，通過修剪不重要的通道或網(wǎng)絡(luò)層，微調(diào)剪枝后的訓(xùn)練參數(shù)，減少了模型的參數(shù)量，但剪枝后的模型對每幅圖像的檢測耗時仍需60 ms。

綜上所述，多數(shù)研究僅針對模型的某一性能指標(biāo)進(jìn)行改進(jìn)，并未在模型精度、速度以及權(quán)重大小之間達(dá)到很好的平衡。在真實果園內(nèi)存在很多小目標(biāo)果實，若不進(jìn)行針對性的識別研究，實際識別過程中會出現(xiàn)漏檢現(xiàn)象。因此，本研究以實際棚內(nèi)草莓為研究對象，改進(jìn)YOLOv4-Tiny模型的特征提取方式來減少模型的參數(shù)量，引入多尺度的特征融合機(jī)制，加強(qiáng)對小目標(biāo)草莓的識別能力。

1 材料與方法

1.1 試驗數(shù)據(jù)采集

試驗草莓?dāng)?shù)據(jù)采集于江蘇省東臺市梁垛鎮(zhèn)某草莓種植園，品種為章姬。草莓的種植方式為大棚地壟式，同一莖上生長的草莓形狀類似，大多呈現(xiàn)為尖卵形，草莓的大小不一，且相互遮擋重疊。在自然光照條件下，采用手持拍攝設(shè)備（1 200萬像素）搭配伸縮桿對草莓進(jìn)行近距離（30 cm以內(nèi)）拍攝，采集的原始圖片保存為JPEG格式，分辨率為4 032×3 024（像素），共計841張。棚內(nèi)草莓果實圖像如圖1所示。

1.2 數(shù)據(jù)集構(gòu)建

本試驗采用LabelImg工具軟件對原始圖片各個目標(biāo)所在區(qū)域進(jìn)行矩形框標(biāo)注。設(shè)定成熟草莓標(biāo)簽為Ripe，未成熟草莓標(biāo)簽為Unripe，生成XML類型的標(biāo)注文件。標(biāo)注后的數(shù)據(jù)集按照 7∶1∶2 比例隨機(jī)分為訓(xùn)練集（589幅）、驗證集（84幅）、測試集（168幅）。為防止訓(xùn)練數(shù)據(jù)量過少發(fā)生過擬合現(xiàn)象，增強(qiáng)模型的抗干擾能力，使用Python腳本對數(shù)據(jù)集圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理[24]，包括隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪、隨機(jī)亮度，增加高斯噪聲，每張原始圖像都生成6張新圖像，最終草莓訓(xùn)練集圖像數(shù)量達(dá)到3 534張，驗證集數(shù)量達(dá)到504張，測試集數(shù)量達(dá)到1 008張。數(shù)據(jù)集分布如表1所示。

圖1 棚內(nèi)草莓果實圖像

表1 草莓?dāng)?shù)據(jù)集分布

2 草莓檢測模型搭建

2.1 YOLOv4-Tiny模型

YOLOv4-Tiny模型主要由3部分組成：骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)。骨干網(wǎng)絡(luò)使用CSPDarkNet53-Tiny進(jìn)行特征提取，頸部網(wǎng)絡(luò)使用2層的特征金字塔結(jié)構(gòu)進(jìn)行特征融合，頭部網(wǎng)絡(luò)則對目標(biāo)進(jìn)行分類回歸。YOLOv4-Tiny模型的結(jié)構(gòu)簡單，雖有2層的特征金字塔結(jié)構(gòu)，但對小目標(biāo)的特征提取不充分，會丟失許多小目標(biāo)的位置信息和細(xì)節(jié)信息，導(dǎo)致檢測精度偏低。

2.2 YOLOv4-Tiny網(wǎng)絡(luò)模型改進(jìn)

2.2.1 GhostNet特征提取網(wǎng)絡(luò)結(jié)構(gòu)

CSPDarkNet53-Tiny雖相比于CSPDarkNet53網(wǎng)絡(luò)參數(shù)量大大減少，但由于其卷積層使用過多，網(wǎng)絡(luò)占用內(nèi)存仍較大，所以本研究決定使用輕量級網(wǎng)絡(luò)GhostNet[25]作為新的特征提取網(wǎng)絡(luò)。該網(wǎng)絡(luò)核心是采用Ghost模塊取代標(biāo)準(zhǔn)卷積操作來減少網(wǎng)絡(luò)計算量。圖2展示了Ghost模塊運算過程。

Ghost模塊運算分為2步，首先利用少量的標(biāo)準(zhǔn)卷積對輸入圖片進(jìn)行卷積運算，生成本征特征圖，接著對本征特征圖的每個通道單獨進(jìn)行線性變換操作，即使用逐層卷積生成特征濃縮后的特征圖，最終將2部分生成的特征圖合并輸出（圖2）。整體模塊的浮點計算量FLOPs1為

式中、、分別為輸入特征圖的高、寬和通道數(shù)；1、1、分別為輸出特征圖的高、寬和通道數(shù)；為線性變換次數(shù)；為本征特征圖輸出通道數(shù)；、分別為標(biāo)準(zhǔn)卷積核大小和逐層卷積核大小。

與標(biāo)準(zhǔn)卷積浮點計算量相比，化簡如下：

式中標(biāo)準(zhǔn)卷積核和逐層卷積核屬于同一數(shù)量級，大小取近似值，即約等于，輸入特征圖通道數(shù)一般較大，而線性變換次數(shù)要遠(yuǎn)小于。由化簡結(jié)果可知，Ghost模塊的浮點計算量大約是標(biāo)準(zhǔn)卷積的1。

注：Conv和分別表示標(biāo)準(zhǔn)卷積和其卷積核尺寸；DWConv和分別表示逐層卷積和其卷積核尺寸；表示本征特征圖通道數(shù)；表示線性變換的次數(shù)；、表示輸入特征圖高、寬和通道數(shù)；1、1表示輸出特征圖高、寬和通道數(shù)。

Note: Conv andrepresent the standard convolution and its convolution kernel size; DWConv andrepresent depthwise convolution and its convolution kernel size;represents the number of channels of the Intrinsic feature map;is the number of linear transformations;,andrepresent the height, width and number of channels of the input feature map;1,1andrepresent the height, width and number of channels of the output feature map.

圖2 Ghost模塊運算過程

Fig.2 Ghost module calculation process

GhostBottleneck是由Ghost模塊組成的瓶頸結(jié)構(gòu)，如圖3a所示。圖3a展示了步長為1的GhostBottleneck結(jié)構(gòu)，主要由2個堆積的Ghost模塊構(gòu)成。第1個Ghost模塊作用是擴(kuò)展特征圖的通道數(shù)，為后面的操作做擴(kuò)展處理；第2個Ghost模塊用來降維，將通道數(shù)降至與右分支的短接路徑相匹配。該結(jié)構(gòu)可以加深網(wǎng)絡(luò)的深度，且不會對特征圖寬高進(jìn)行壓縮。圖3b為步長為2的GhostBottleneck結(jié)構(gòu)，左分支2個Ghost模塊之間添加步長為2的逐層卷積，作用是對特征層的寬高進(jìn)行壓縮，使其大小降為輸入尺寸的1/2，在右分支添加一個步長為2的逐層卷積和1×1的標(biāo)準(zhǔn)卷積，確保與左分支生成的特征圖尺寸相同，能夠完成尺度相加操作。

注：BN為批量歸一化，ReLU為激活函數(shù)，Add為相加操作。

2.2.2 卷積注意力機(jī)制模塊

在骨干網(wǎng)絡(luò)中引入卷積注意力模塊能夠有效避免模型對冗余信息的關(guān)注，更加關(guān)注圖像中起決定作用的像素區(qū)域，提升網(wǎng)絡(luò)的特征提取能力。改進(jìn)后的特征提取網(wǎng)絡(luò)結(jié)構(gòu)組成如表2所示。

注：F為輸入特征映射；F?為經(jīng)過通道注意力模塊細(xì)化的特征映射；F??表示經(jīng)卷積注意力模塊細(xì)化的特征映射。

表2 骨干GhostNet網(wǎng)絡(luò)結(jié)構(gòu)

注：CBAM代表卷積注意力模塊；“-”表示當(dāng)前的網(wǎng)絡(luò)層未使用該結(jié)構(gòu)或策略；1表示當(dāng)前網(wǎng)絡(luò)層使用該結(jié)構(gòu)或策略。

Note: CBAM represents convolution block attention module; “-”represents that the current network layer does not use the structure or policy; 1 represents that the current network layer uses the structure or policy.

2.2.3 空間金字塔池化以及特征金字塔結(jié)構(gòu)

試驗數(shù)據(jù)集中存在體型較小的草莓目標(biāo)，為提高小目標(biāo)草莓的檢測精度，本試驗在新的Ghost骨干網(wǎng)絡(luò)之后引入空間金字塔池化（Spatial Pyramid Pooling，SPP）[28]模塊，如圖5所示。SPP模塊對輸入的特征圖進(jìn)行3個并行的最大池化操作，池化核大小分別為5×5、9×9和13×13，將3個池化后的特征圖與輸入特征圖按通道進(jìn)行合并操作，得到輸出的融合特征圖。這種多重池化的融合有效地結(jié)合了草莓的全局和局部特征，增強(qiáng)了網(wǎng)絡(luò)對小目標(biāo)的識別能力。

為加強(qiáng)特征的傳遞和重用，本試驗在頸部網(wǎng)絡(luò)中引入特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）結(jié)構(gòu)[29]，如圖6所示。對輸入至頸部網(wǎng)絡(luò)的特征圖，首先進(jìn)行1×1卷積降維操作，得到分辨率為13×13（像素）的輸出特征并對其進(jìn)行上采樣，將上采樣得到的特征圖與GhostBottleneck9輸出的特征通道融合，得到分辨率為26×26（像素）的輸出特征；接著將融合后的特征圖進(jìn)行上采樣，并將上采樣的特征圖與GhostBottleneck6輸出的特征通道融合，得到分辨率為52×52（像素）的輸出特征；最后將13×13、26×26、52×52（像素）的特征圖輸出至頭部預(yù)測網(wǎng)絡(luò)。這種多尺度融合的特征金字塔結(jié)構(gòu)能夠進(jìn)一步提升對小目標(biāo)果實的檢測性能。

圖5 SPP模塊

2.3 高效交并比回歸損失函數(shù)

傳統(tǒng)的交并比（Intersection over Union，IoU）回歸損失函數(shù)只考慮了真實框和預(yù)測框的重疊面積，當(dāng)2個框不相交時，不能反映2個框距離的遠(yuǎn)近，也無法提供可傳遞的梯度。本研究采用高效交并比損失（Efficient Intersection over Union Loss，EIoU Loss）[30]作為邊界框回歸損失函數(shù)reg，包含重疊面積損失IoU，中心點距離損失dis和高寬真實差損失asp，計算式如下：

注：GB表示GhostBottleneckn；取1～11；CBL表示卷積+批量歸一化+LeakyReLU激活函數(shù)。

Note: GBrepresents GhostBottleneckn;takes 1-11; CBL represents Convolution + BatchNorm + LeakyReLU activation function.

圖6 改進(jìn)的YOLOv4-Tiny整體結(jié)構(gòu)

Fig.6 Improved YOLOv4-Tiny overall structure

由公式（5）可知，EIoU回歸損失函數(shù)不僅考慮了預(yù)測框與真實框的重疊面積，還將預(yù)測框與真實框的中心距離和寬高作為懲罰項，當(dāng)預(yù)測框與真實框不相交時也能回傳梯度，使網(wǎng)絡(luò)收斂更快，回歸精度更高。

3 模型訓(xùn)練

3.1 試驗平臺

本研究所有試驗均在工作室單計算機(jī)搭建的深度學(xué)習(xí)環(huán)境中實現(xiàn)，計算機(jī)配置為PC Inter Core（TM）i7-10700K CPU @ 3.80 GHz、內(nèi)存為32 GB，1 TB固態(tài)硬盤；搭載10 GB顯存的Nvidia GeForce RTX 2080Ti，安裝有CUDA 11.4版本的并行計算框架和CUDNN 8.2.2版本的深度學(xué)習(xí)加速庫，在Ubuntu18.04 Linux操作系統(tǒng)上搭配編程語言Python 3.9以及Pytorch 1.11.0的深度學(xué)習(xí)框架。

訓(xùn)練參數(shù)設(shè)置：模型的網(wǎng)絡(luò)輸入尺寸為 416×416，每批量樣本數(shù)為16，多線性進(jìn)程為8，動量因子為0.937，初始學(xué)習(xí)率為0.01，權(quán)值衰減為0.000 5。訓(xùn)練方法采用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD），并在每訓(xùn)練完一次所有樣本時保存一次模型的權(quán)重文件，共訓(xùn)練200輪。

3.2 評價指標(biāo)

為了準(zhǔn)確評估模型的性能，本研究采用了4個常用的目標(biāo)檢測算法性能評估指標(biāo)：1得分、平均精度均值（Mean Average Precision，mAP）、檢測時間、權(quán)重大小。其中，mAP與準(zhǔn)確率（Precision，）、召回率（Recall，）有關(guān)，具體計算公式如下：

式中TP表示被模型預(yù)測為正類的正樣本；FP表示被模型預(yù)測為正類的負(fù)樣本；FN表示被模型預(yù)測為負(fù)類的正樣本；AP()表示每類別的識別平均精度值；mAP表示所有類別的識別平均精度均值，表示所有類別總數(shù)；1得分表示準(zhǔn)確率與召回率的加權(quán)平均。此外，模型的檢測時間指標(biāo)以平均識別一張圖片所消耗的時間為標(biāo)準(zhǔn)，權(quán)重大小以mAP值最優(yōu)的權(quán)重文件大小為標(biāo)準(zhǔn)。

4 結(jié)果與分析

4.1 消融試驗結(jié)果

本研究在YOLOv4-Tiny算法基礎(chǔ)上，使用輕量型骨干網(wǎng)絡(luò)GhostNet減少模型參數(shù)量，添加CBAM注意力機(jī)制模塊，加強(qiáng)對特征圖重點區(qū)域的關(guān)注。在骨干網(wǎng)絡(luò)之后引入SPP模塊和FPN結(jié)構(gòu)進(jìn)行更加充分的特征信息融合，增強(qiáng)對小目標(biāo)的識別能力。在預(yù)測層使用EIoU回歸損失函數(shù)，加速網(wǎng)絡(luò)的收斂。為驗證本試驗各種改進(jìn)策略對模型結(jié)果產(chǎn)生的有效性，對測試集圖片分別進(jìn)行了6組消融試驗，以平均精度均值為評價指標(biāo)，試驗結(jié)果如表3所示。

表3 YOLOv4-Tiny不同改進(jìn)方法的消融試驗結(jié)果

注： GhostNet代表GhostNet骨干網(wǎng)絡(luò)；FPN代表特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)；EIoU代表高效交并比回歸損失；mAP代表平均精度均值指標(biāo)。

Note: GhostNet represents GhostNet backbone network; FPN represents the feature pyramid network structure; EIoU represents the regression loss of efficient intersection over union; mAP represents the mean average precision.

表3中試驗1采用原YOLOv4-Tiny模型，該模型對草莓識別的mAP為86.85%；試驗2在初始模型上的基礎(chǔ)上將CSPDarkNet53-Tiny更換為輕量型骨干網(wǎng)絡(luò)GhostNet，mAP 為 86.97%，較試驗1提升了0.12個百分點；試驗3在試驗2的基礎(chǔ)上引入了CBAM注意力機(jī)制模塊，相比于第2組試驗，mAP提升了0.46個百分點；試驗4在試驗3的基礎(chǔ)上增加了SPP模塊，比第3組試驗?zāi)Ｐ蚼AP提高了1.93個百分點；試驗5在試驗4基礎(chǔ)上使用FPN結(jié)構(gòu)，mAP相比于試驗4提高了1.73個百分點；試驗6在第5組試驗的基礎(chǔ)上引入了EIoU Loss，比第5組試驗的mAP提升了1.53個百分點。通過消融試驗發(fā)現(xiàn)，本研究提出的改進(jìn)策略均對網(wǎng)絡(luò)精度的提升起到了促進(jìn)作用。

4.2 YOLOv4-Tiny改進(jìn)前后試驗結(jié)果

圖7展示了原YOLOv4-Tiny和改進(jìn)的YOLO4-Tiny 模型對草莓的識別效果。通過圖7可以發(fā)現(xiàn)，對于稀疏和密集環(huán)境下的大目標(biāo)草莓識別，YOLOv4-Tiny和改進(jìn)的YOLOv4-Tiny均有較好的檢測效果，而對于小目標(biāo)果實的識別，YOLOv4-Tiny則存在嚴(yán)重的漏檢現(xiàn)象，改進(jìn)的YOLOv4-Tiny模型漏檢數(shù)量很少。

注：圖中紅色檢測框代表檢測到的成熟草莓果實，藍(lán)色檢測框代表檢測到的未成熟草莓果實。下同。

改進(jìn)前后模型對草莓識別的平均精度、平均精度均值、1得分、權(quán)重大小以及檢測時間如表4所示。由表 4可知，相比于初始YOLOv4-Tiny模型，改進(jìn)的YOLOv4-Tiny對成熟和未成熟的草莓檢測平均精度分別提升了0.90和10.66個百分點，平均精度均值提升了5.77個百分點，1得分提升了0.06。改進(jìn)的YOLOv4-Tiny模型以輕量型GhostNet為特征提取網(wǎng)絡(luò)，模型參數(shù)量大幅度縮少，訓(xùn)練生成的權(quán)重大小僅為4.68 MB，大約是初始模型的1/6。盡管改進(jìn)的模型檢測時間相比于原YOLOv4-Tiny增加了1.14 ms，但5.63 ms/幀的平均檢測時間仍然完全滿足實際果園的檢測需求[31]。

表4 改進(jìn)前后模型的試驗結(jié)果

注：AP為平均精度。

Note: AP is average precision.

4.3 不同算法的對比試驗結(jié)果

為進(jìn)一步驗證改進(jìn)的模型性能，本研究將改進(jìn)的YOLOv4-Tiny模型與SSD、CenterNet、YOLOv3、YOLOv4、YOLOv5s共5種常用的目標(biāo)檢測算法進(jìn)行對比試驗，分別訓(xùn)練5種算法至收斂并對比識別效果，如圖8所示。由圖8可知，SSD、CenterNet、YOLOv3存在嚴(yán)重的漏檢現(xiàn)象，而YOLOv4、YOLOv5s對部分未遮擋或遮擋的小目標(biāo)果實識別效果并不佳，而所改進(jìn)的模型對于小目標(biāo)未成熟的果實擁有很高的識別能力，漏檢誤檢的果實很少，在實際棚內(nèi)復(fù)雜環(huán)境下?lián)碛懈鼉?yōu)異的檢測效果。

圖8 不同算法實際檢測效果對比

表5展示了不同目標(biāo)檢測算法的草莓在測試集上的試驗結(jié)果。由表5可知，本研究改進(jìn)的YOLOv4-Tiny算法平均精度均值為92.62%，與常見的目標(biāo)檢測模型SSD、CenterNet、YOLOv3、YOLOv4、YOLOv5s相比，分別高出9.11、4.80、2.26、1.22、1.91個百分點，1得分達(dá)到0.91，分別高出上述5種模型0.08、0.05、0.03、0.01、0.03，在模型大小方面，改進(jìn)的模型具有絕對的優(yōu)勢，模型大小僅為4.68 MB，在檢測速度方面，平均每張圖檢測速度僅需5.63 ms，相比于上述5種模型分別減少了5.57、7.14、9.20、15.99、2.16 ms。綜上所述，本研究提出的改進(jìn)YOLOv4-Tiny模型在檢測的精度、速度、網(wǎng)絡(luò)結(jié)構(gòu)大小方面都具有更大的優(yōu)勢，能夠滿足對棚內(nèi)草莓果實的高效檢測任務(wù)。

表5 不同算法在測試集試驗結(jié)果

5 結(jié) 論

本文提出基于改進(jìn) YOLOv4-Tiny的棚內(nèi)果園場景的草莓檢測方法，以便后續(xù)采摘機(jī)器人實現(xiàn)對果實成熟度分類，定位識別和采摘。首先，對YOLOv4-Tiny的特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)，使用更輕量化的GhostNet作為骨干網(wǎng)絡(luò)，減少模型計算量以及優(yōu)化多層特征信息的傳遞；其次，使用CBAM（Convolution Block Attention Module）注意力機(jī)制替換原SE（Squeeze and Excitation）模塊，對空間和通道信息充分提取，提升網(wǎng)絡(luò)檢測精度。其次，使用SPP（Spatial Pyramid Pooling）模塊和FPN（Feature Pyramid Network）結(jié)構(gòu)，提高了模型對小目標(biāo)草莓的識別能力。最后，在邊界框回歸損失函數(shù)中使用EIoU Loss （Efficient Intersection over Union Loss），加速模型收斂。

試驗結(jié)果表明，所提出的改進(jìn)YOLOv4-Tiny算法平均精度均值可以達(dá)到92.62%，1得分為0.91，平均每幅草莓圖像的檢測時間僅需5.63 ms，模型大小為4.68 MB，相比于原YOLOv4-Tiny，檢測精度大幅度提升，模型更加輕量化，與SSD、CenterNet、YOLOv3、YOLOv4、YOLOv5s算法相比，本文算法識別精度最高，模型最小，平均檢測速度也最快。綜合所述，本研究改進(jìn)的模型具有更好的魯棒性，可為后續(xù)果實智能化采摘提供技術(shù)支撐。

[1] Morries J, Else M A, Chami D E, et al. Essential irrigation and the economics of strawberries in a temperate climate[J]. Agricultural Water Management, 2017, 194: 90-99.

[2] 王糧局. 基于動態(tài)識別定位的多機(jī)械手草莓收獲機(jī)器人的研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2016.

Wang Liangju. Research on Multi-Arm Strawberry Harvesting Robot Based on Dynamic Recognition and Localization[D]. Beijing: China Agricultural University, 2016. (in Chinese with English abstract)

[3] Zhao Y, Gong L, Huang Y, Liu C. A review of key techniques of vision-based control for harvesting robot[J]. Computers and Electronics in Agriculture, 2016, 127: 311-323.

[4] 張鐵中，陳利兵，宋健. 草莓采摘機(jī)器人的研究：Ⅱ. 基于圖像的草莓重心位置和采摘點的確定[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報，2005，10(1)：48-51.

Zhang Tiezhong, Chen Libing, Song Jian. Study on strawberry harvesting robot: Ⅱ. Images based identifications of strawberry barycenter and plucking position[J]. Journal of China Agricultural University, 2005, 10(1): 48-51. (in Chinese with English abstract)

[5] Ouyang C Q, Li D L, Wang J L, et al. The research of the strawberry disease identification based on image processing and pattern pecognition[C]//Computer and Computing Technologies in Agriculture (CCTA). Berlin, Germany: Springer, 2012:86-94.

[6] 謝志勇，張鐵中，趙金英. 基于Hough變換的成熟草莓識別技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2007，38(3)：106-109.

Xie Zhiyong, Zhang Tiezhong, Zhao Jinying. Ripened strawberry recognition based on Hough transform[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(3): 106-109. (in Chinese with English abstract)

[7] Feng Q C, Zheng W G, Qiu Q, et al. Study on strawberry robotic harvesting system[C]// IEEE International Conference on Computer Science and Automation Engineering (CSAE). Zhangjiajie, China: IEEE, 2012:347-351.

[8] 侯貴洋，趙桂杰，王璐瑤. 草莓采摘機(jī)器人圖像識別系統(tǒng)研究[J]. 軟件，2018，39(6)：184-188.

Hou Guiyang, Zhao Guijie, Wang Luyao. Research on image recognition system of strawberry picking robot[J]. Software, 2018, 39(6): 184-188. (in Chinese with English abstract)

[9] Zhai Z, Martínez J F, Beltran V, et al. Decision support systems for agriculture 4. 0: Survey and challenges[J]. Computers and Electronics in Agriculture, 2020, 170: 105256.

[10] 孫俊，朱偉棟，羅元秋，等. 基于改進(jìn) MobileNet-V2 的田間農(nóng)作物葉片病害識別[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[11] 孫俊，何小飛，譚文軍，等. 空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識別作物幼苗與雜草[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(11)：159-165.

Sun Jun, He Xiaofei, Tan Wenjun, et al. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(11): 159-165. (in Chinese with English abstract)

[12] Sun J, He X F, Ge X, et al. Detection of key organs in tomato based on deep migration learning in a complex background[J]. Agriculture-Basel, 2018, 8(12): 196.

[13] 李就好，林樂堅，田凱，等. 改進(jìn) Faster R-CNN 的田間苦瓜葉部病害檢測[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(12)：179-185.

Li Jiuhao, Lin Lejian, Tian Kai, et al. Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 179-185. (in Chinese with English abstract)

[14] 閆建偉，趙源，張樂偉，等. 改進(jìn) Faster-RCNN 自然環(huán)境下識別刺梨果實[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(18)：143-150.

Yan Jianwei, Zhao Yuan, Zhang Lewei, et al. Recognition of Rosa roxbunghii in natural environment based on improved Faster RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 143-150. (in Chinese with English abstract)

[15] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision (ECCV). Berlin, Germany: Springer, 2016: 21-37.

[16] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016: 779-788.

[17] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017: 7263-7271.

[18] Redmon J, Farhadi A. YOLOv3: An incremental improvement[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake, USA: IEEE, 2018.

[19] Bochkovskiy A, Wang C, Hong Y. YOLOv4: Optimal speed and accuracy of object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020.

[20] 趙德安，吳任迪，劉曉洋，等. 基于 YOLO 深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(3)：164-173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[21] 彭紅星，李荊，徐慧明，等. 基于多重特征增強(qiáng)與特征融合SSD的荔枝檢測[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(4)：169-177.

Peng Hongxing, Li Jing, Xu Huiming, et al. Litchi detection based on multiple feature enhancement and feature fusion SSD[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(4): 169-177. (in Chinese with English abstract)

[22] 張兆國，張振東，李加念，等. 采用改進(jìn) YoloV4 模型檢測復(fù)雜環(huán)境下馬鈴薯[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(22)：170-178.

Zhang Zhaoguo, Zhang Zhendong, Li Jianian, et al. Potato detection in complex environment based on improved YoloV4 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 170-178. (in Chinese with English abstract)

[23] Chen W K, Lu S L, Liu B H. Detecting citrus in orchard environment by using improved YOLOv4.[J/OL]. Scientific Programming, (2020), [2022-07-05]. https://doi.org/ 10.1155/2020/8859237.

[24] 高友文，周本君，胡曉飛. 基于數(shù)據(jù)增強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)圖像識別研究[J]. 計算機(jī)技術(shù)與發(fā)展，2018，28(8)：62-65.

Gao Youwen, Zhou Benjun, Hu Xiaofei. Research on image recognition of convolution neural network based on data enhancement[J]. Computer Technology and Development, 2018, 28(8): 62-65. (in Chinese with English abstract)

[25] Han K, Wang Y H, Tian Q, et al. GhostNet: More features from cheap operations[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 1580-1589.

[26] Hu J, Shen L, Albanie S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023.

[27] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018: 3-19.

[28] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(9): 1904-1916.

[29] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017: 936-944.

[30] Zhang Y F, Ren W, Zhang Z, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146-157.

[31] Rui S, Gao F F, Zhou Z X, et al. Improved multi-classes kiwifruit detection in orchard to avoid collisions during robotic picking[J]. Computers and Electronics in Agriculture, 2021, 182: 106052.

Fast and accurate recognition of the strawberries in greenhouse based on improved YOLOv4-Tiny model

Sun Jun, Chen Yide, Zhou Xin, Shen Jifeng, Wu Xiaohong

(,,212013,)

Detection of fruit images has been one of the most important steps for automatic picking robots. There are many factors that make strawberry detection difficult in an orchard, such as the complex background, fruit occlusion, and small target fruit. In this study, an improved detection model with the YOLOv4-Tiny was proposed to rapidly and accurately recognize the strawberries in the greenhouse for the high detection accuracy of small targets in an orchard. Firstly, the GhostNet lightweight network was adopted to replace the backbone CSPDarkNet53-tiny for the feature extraction, which significantly reduced the parameters and computation of the model. Convolution Block Attention Module (CBAM) with the spatial information was embedded into the Ghost Bottleneck module instead of the original Squeeze and Excitation (SE) attention, in order to improve the feature extraction capability. Secondly, the Spatial Pyramid Pooling (SPP) module was introduced in the neck network structure, and then to carry out the maximum pooling operation with three pooling kernels (5×5, 9×9, 13×13). Feature Pyramid Network (FPN) structure was adopted to improve the detection accuracy of small target strawberries. Finally, the Efficient Intersection over Union Loss (EIoU Loss) was used to separate the influence factors of aspect ratio, and then calculate the length and width of the target frame and anchor box. As such, the convergence speed was faster with higher regression accuracy than before. The original data set was collected, consisting of 841 strawberry images with a complex background in the greenhouse. Data enhancement was carried out for the training, the verification, and the test set, in order to improve the generalization ability of the model. The experimental results showed that the average accuracy of the improved YOLOv4-Tiny model in the test set was 92.62%, which was 5.77 percentage points higher than the original one. The average detection time of each image was 5.63ms, and the final model size was only 4.68MB. The average accuracies of the improved model were 9.11, 4.80, 2.26, 1.22, and 1.91 percentage points higher, while the1 scores were 0.08, 0.05, 0.03, 0.01, and 0.03 higher than those of the SSD, CenterNet, YOLOv3, YOLOv4, and YOLOv5s target detection networks. The improved YOLOv4-Tiny model was much smaller than the SSD, CenterNet, YOLOv3, YOLOv4, where the network structure size was only 1/3 of YOLOv5s. The average detection speed of each image was only 5.63 ms, which was reduced by 5.57, 7.14, 9.20, 15.99, and 2.16 ms, respectively. Therefore, the improved YOLOv4-Tiny model can fully meet the requirements of high precision and real-time detection of strawberry fruits under the background of the orchard in the greenhouse. The finding can provide an effective way for the accurate detection of strawberry fruits in a complex environment using picking robots.

machine vision; image processing; fruit identification; YOLOv4-Tiny; attention mechanism; small target

10.11975/j.issn.1002-6819.2022.18.021

S126

A

1002-6819(2022)-18-0195-09

孫俊，陳義德，周鑫，等. 快速精準(zhǔn)識別棚內(nèi)草莓的改進(jìn)YOLOv4-Tiny模型[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(18)：195-203.doi：10.11975/j.issn.1002-6819.2022.18.021 http://www.tcsae.org

Sun Jun, Chen Yide, Zhou Xin, et al. Fast and accurate recognition of the strawberries in greenhouse based on improved YOLOv4-Tiny model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(18): 195-203. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.18.021 http://www.tcsae.org

2022-07-05

2022-09-02

江蘇大學(xué)農(nóng)業(yè)裝備學(xué)部項目（NZXB20210210），江蘇高校優(yōu)勢學(xué)科建設(shè)工程（三期）資助項目（PAPD-2018-87）

孫俊，博士，教授，博士生導(dǎo)師，研究方向為計算機(jī)技術(shù)在農(nóng)業(yè)工程中的應(yīng)用。Email：sun2000jun@ujs.edu.cn

中國農(nóng)業(yè)工程學(xué)會會員：孫?。‥041200652S）