中圖分類號(hào):TP391.4;S666.4 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-5553(2025)07-0145-08
Abstract:Thecolorofthegreeorangefruitsis similar tothatof the branchesand leaves,making identification challnging.Tosolve theproblemsofhigh-precision detectionand modellightweight improvementof green orange, this studyselects the“green orange”from the orange basein Meishan City,Sichuan Province as the researchobject and proposesan improved target detection algorithm named ESN-YOLO based on YOLOv8n. First,GSConv and VoVGSCSP modules are introduced into the Neck section of the model to significantly reduce its parameters.Then,the SimAMattentionmechanism is integrated into theNeck network layer toenhance thedetection performanceof the model. Finally,thelossfunctionis modified from CIoU toEIoUtoimprove the model's precisionandacuracy intargetdetection. The results show that the modified ESN—YOLO model achieves an accuracy of 96.9% : mAP@0.5 of 99.7% ,and mAP@0.5:0.95 of 83.6% . Compared with the original YOLOv8n model,these values represent improvements of (204號(hào) 3.2% , 0.5% ,and 3.6% ,respectively. The model size of the improved algorithmis 5730KB ,and the model parameters are 2.6 MB,which are reduced by 11.4% and 13.9% ,respectively. ESN—YOLO achieved an effective balancebetweenmodel lightweightand target detectionacuracy.Theimproved model is deployedontheembedded device Jetson Nano,where the detection speed for a single orange photo is 732ms ,with an accuracy rate exceeding 90% :
Keywords:green orange;target detection;model lightweight;deep learning
0 引言
用傳統(tǒng)的采摘方式,該方式效率較低且準(zhǔn)確率有限,難以實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)的需求。隨著農(nóng)業(yè)生產(chǎn)智能化發(fā)展,自動(dòng)化的水果采摘機(jī)器人成為當(dāng)前發(fā)展趨勢(shì),需要解決在橙子是我國(guó)農(nóng)業(yè)高產(chǎn)量的水果之一,我國(guó)仍大量采復(fù)雜環(huán)境中精確的定位和檢測(cè)的問題[1]。在自然條件下,由于綠橙果實(shí)顏色與枝干、果柄、樹葉等復(fù)雜背景的顏色相近,并且果實(shí)成簇,存在大量遮擋果實(shí)的情況。因此,在復(fù)雜環(huán)境下對(duì)綠橙果實(shí)特征學(xué)習(xí)并進(jìn)行識(shí)別檢測(cè)是橙子采摘機(jī)器人目前需要解決的關(guān)鍵性難題。
綠橙屬于近景色水果,果實(shí)與背景和葉子顏色極為相近,使得識(shí)別難度較大、識(shí)別準(zhǔn)確率更低[2]。傅隆生等采用Softmax回歸分類器,將ReLU作為激活函數(shù),Max-pooling為下采樣方法改進(jìn)獼猴桃識(shí)別算法,對(duì)獨(dú)立和相鄰果實(shí)的識(shí)別率達(dá) 94.7% ,但遮擋果實(shí)的識(shí)別率僅為 78.97% 。Sun等4設(shè)計(jì)了YOLO—P目標(biāo)檢測(cè)模型,使用Hard—Swish模塊取代YOLOv5網(wǎng)絡(luò)中的其他CBS結(jié)構(gòu)中的激活函數(shù),梨的檢測(cè)精確度達(dá)97.6% ,但模型的浮點(diǎn)運(yùn)算精度有所降低。黃小玉等[5]改進(jìn)判別區(qū)域特征集成算法識(shí)別近景色桃子,訓(xùn)練集中的準(zhǔn)確識(shí)別率為 91.7% ,但驗(yàn)證集的準(zhǔn)確識(shí)別率僅有88.3% 。國(guó)內(nèi)外有關(guān)水果檢測(cè)方向大多集中在非近景色果實(shí)識(shí)別上。劉忠意等°在YOLOv5模型中將RepVCG 模塊替換主干網(wǎng)絡(luò)中的C3模塊,Neck端使用鬼影混洗卷積代替標(biāo)準(zhǔn)卷積,橙子檢測(cè)精度達(dá) 90.1% .但模型體積增大。熊俊濤等為提高夜間環(huán)境柑橘檢測(cè)精度,設(shè)計(jì)了融合復(fù)用多層網(wǎng)絡(luò)特征的Des一YOLOv3網(wǎng)絡(luò)結(jié)構(gòu),模型的檢測(cè)精度達(dá) 97.67% ,但被遮擋果實(shí)的識(shí)別準(zhǔn)確率較低。唐熔釵等[8為提高百香果檢測(cè)精度,剔除YOLOv3模型中大物體預(yù)測(cè)尺度,減少一層尺度預(yù)測(cè)并且添加DenseNet網(wǎng)絡(luò),平均精度達(dá)97.5% ,但檢測(cè)速度降低。張俊寧等9在YOLOv5中引入CBAM注意力機(jī)制模塊并改進(jìn)損失函數(shù),對(duì)綠色番茄的檢測(cè)精度高達(dá) 99.18% ,但檢測(cè)速度不高。Li等[]采用MHSA注意力機(jī)制構(gòu)建MHSA—YOLOv8網(wǎng)絡(luò),檢測(cè)精度高達(dá) 99% ,但是模型在果實(shí)遮擋、背景虛化和光干擾的情況下,識(shí)別性能受限。Liu等[1]將密集構(gòu)架和新型的C—Bbox方式融人YOLOv3中,在輕微遮擋條件下番茄識(shí)別準(zhǔn)確率達(dá) 94.58% ,但在嚴(yán)重遮擋情況下正確識(shí)別率僅有 90.1% 。
為解決因模型輕量化改進(jìn)而導(dǎo)致識(shí)別精度下降或者檢測(cè)速度慢等問題,本文引入一種新型的ESN—YOLO綠橙檢測(cè)的網(wǎng)絡(luò)結(jié)構(gòu),該模型基于YOLOv8n目標(biāo)算法進(jìn)行改進(jìn),將SimAM注意力機(jī)制模塊融合到Neck網(wǎng)絡(luò)層中,將損失函數(shù)修改為EIoU,提高模型檢測(cè)精度。引人Neck—Slim模塊,在Neck端將傳統(tǒng)的卷積方式轉(zhuǎn)變?yōu)檩p量化卷積GSConv模塊,添加VoV—GSCSP模塊降低網(wǎng)絡(luò)的復(fù)雜度。使用JetsonNano硬件設(shè)備來驗(yàn)證輕量化模型,為橙子采摘機(jī)器人實(shí)時(shí)識(shí)別檢測(cè)果實(shí)提供理論基礎(chǔ)。
1綠橙數(shù)據(jù)集的獲取和數(shù)據(jù)增強(qiáng)
1. 1 數(shù)據(jù)集
綠橙圖像的采集地點(diǎn)在四川省眉山市東坡區(qū)的綠橙示范基地,綠橙果皮外觀為青綠色,皮薄多汁。拍攝設(shè)備為xiaomil0s,拍攝時(shí)間段為8:00—20:00。此次實(shí)驗(yàn)拍攝圖像437張,圖像尺寸為4344像素 ×5792 像素,圖像格式為JPEG。在該數(shù)據(jù)集中,有兩種狀態(tài)的圖像:理想型和挑戰(zhàn)型。這兩種狀態(tài)分別代表良好光線照射、無葉面遮擋、高度可見狀態(tài)和逆光拍攝、有遮擋、背景復(fù)雜視線不清的狀態(tài)。不同狀態(tài)的圖像如圖1所示。
圖1不同狀態(tài)圖像Fig.1 Different state images
1. 2 數(shù)據(jù)增強(qiáng)
增強(qiáng)后的圖像如圖2所示。數(shù)據(jù)增強(qiáng)能夠提高模型的泛化能力和魯棒性,同時(shí)避免過擬合等問題。因此,對(duì)原始數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)和添加噪聲操作,旋轉(zhuǎn)操作包括將照片進(jìn)行 90°,180°,270° 翻轉(zhuǎn),噪聲增強(qiáng)則采用添加椒鹽噪聲和高斯噪聲的方法。處理后共獲得3575張數(shù)據(jù)集。將標(biāo)注后的數(shù)據(jù)集依照訓(xùn)練集、驗(yàn)證集、測(cè)試集以 8:1:1 比例進(jìn)行劃分,最后獲得2879張照片作為訓(xùn)練集,348張照片作為驗(yàn)證集,348張圖片作為測(cè)試集。
圖2數(shù)據(jù)增強(qiáng)的效果Fig.2Effect of data enhancement
2 YOLOv8n算法改進(jìn)
2.1 YOLOv8的網(wǎng)絡(luò)模型
YOLOv8采用最新的SOTA模型,可以對(duì)目標(biāo)進(jìn)行圖像分類[12]、物體檢測(cè)[13]及實(shí)例分割[14]任務(wù)。針對(duì)寬度和網(wǎng)絡(luò)寬度差異,YOLOv8被分為N、S、M、L、X五種模型。模型需要部署至嵌入式設(shè)備中,因此,選擇體積小、精度高的網(wǎng)絡(luò)模型YOLOv8n,結(jié)構(gòu)如圖3所示。YOLOv8n網(wǎng)絡(luò)模型分為4個(gè)模塊:Input輸人端、Neck模塊、Backbone主干網(wǎng)和Output 輸出端。
Input輸入端采用Mosaic方法進(jìn)行數(shù)據(jù)增強(qiáng),圖像尺寸和像素大小被歸一化;Backbone骨干網(wǎng)絡(luò)模塊主要作用是提取圖片信息,其中C2f(Channel-to-Pixel)特征融合模塊,提高了目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性;Neck頸部網(wǎng)絡(luò)主要功能是進(jìn)一步處理骨干網(wǎng)絡(luò)提取的特征,增強(qiáng)上下文關(guān)系;Output輸出端解耦檢測(cè)和分類過程,主要篩選目標(biāo)檢測(cè)框和損失計(jì)算[15]。
2.2 模型改進(jìn)方法
2. 2.1 模型輕量化改進(jìn)
實(shí)驗(yàn)使用GSConv模塊減輕模型復(fù)雜度。GSConv能夠更好地平衡模型識(shí)別精確度和速度性能[16],并且提供Slim—Neck設(shè)計(jì)范式,實(shí)現(xiàn)檢測(cè)器更高的計(jì)算成本效益。GSConv輕量化卷積模塊結(jié)構(gòu)如圖4所示,GSConv模塊主要由Conv、Concat、DWConv和通道混洗模塊組成。假設(shè)該模型輸入特征通道數(shù)為C1,輸出特征通道數(shù)為 C2 。首先,對(duì)輸人特征圖標(biāo)準(zhǔn)卷積,通道數(shù)變?yōu)?C2/2 ;其次,經(jīng)過深度可分離卷積,特征通道數(shù)仍為 C2/2 ;然后,將兩部分特征圖Concat連接,特征圖的通道數(shù)變?yōu)?C2 ;最后,對(duì)特征圖shuffle沖洗,輸出理想通道數(shù)的特征圖。該結(jié)構(gòu)通過shuffle步驟將卷積模塊中生成的信息,滲透到深度可分離卷積生成信息的每個(gè)部分,通道信息被保留,提高了每次提取的語義信息。GSConv模塊利用標(biāo)準(zhǔn)卷積結(jié)合深度可分離卷積的有效形式,降低模型的計(jì)算復(fù)雜程度的同時(shí)加強(qiáng)識(shí)別精度。
圖4GSConv輕量化卷積結(jié)構(gòu)
Fig. 4GSConv lightweight convolutional structure
深度卷積和普通卷積實(shí)現(xiàn)過程如圖5所示。使用一次性聚合方法設(shè)計(jì)跨級(jí)部分網(wǎng)絡(luò),VoV—GSCSP模塊降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性,同時(shí)保持模型精度[17]。此模塊將用GSConv模塊代替C3的SC模塊(圖6),并將Conv放置于快捷路徑上,不僅能豐富梯度組合信息,而且能夠減弱模型定位能力受網(wǎng)絡(luò)深度的影響[18],VoV—GSCSP模塊結(jié)構(gòu)如圖7所示。
圖5標(biāo)準(zhǔn)卷積和深度可分離卷積的對(duì)比
Fig.5 Contrast diagram of standard convolution and depth-separableconvolution
2.2.2 模型精確度改進(jìn)
注意力機(jī)制能夠顯著提升模型識(shí)別的精確性[19],為提升綠橙檢測(cè)精確度,在Neck網(wǎng)絡(luò)層添加SimAM注意力機(jī)制。SimAM是一種輕量級(jí)三維無參注意力機(jī)制,在網(wǎng)絡(luò)模型中引入該注意力機(jī)制能夠使模型關(guān)注自適應(yīng)調(diào)節(jié),增強(qiáng)模型計(jì)算性能和特征表達(dá)能力[20],并且不引人額外參數(shù),模型結(jié)構(gòu)如圖8所示?,F(xiàn)在大多數(shù)注意力機(jī)制是一維或者二維模塊,相比于空間注意機(jī)制和通道注意力機(jī)制, SimAM 模塊擁有三維注意力[21],使得ESN—YOLO算法更加關(guān)注數(shù)據(jù)集深層特征空間信息[22],其注意力模塊權(quán)重分配如圖9所示。
圖8SimAM模塊結(jié)構(gòu)Fig.8 SimAM module structure
圖9SimAM三維注意力 Fig.9SimAM three-dimensional attention
為更好地分配模型注意力,使用能量函數(shù)為每個(gè)神經(jīng)元評(píng)估重要性。在神經(jīng)科學(xué)中,激活神經(jīng)元放電模式通常與周圍神經(jīng)元不同,而且激活神經(jīng)元也將抑制空間中其他神經(jīng)元的活動(dòng),該現(xiàn)象被稱為空間抑制[23],即激活神經(jīng)元將會(huì)明顯抑制周圍信息匱乏的神經(jīng)元的表現(xiàn),并且被賦予更高的優(yōu)先級(jí)。神經(jīng)元的能量函數(shù)如式(1)所示。
式中:t 輸入單通道上的目標(biāo)神經(jīng)元;xi ( 輸入單通道上的其他神經(jīng)元;wt (204 線性變換的權(quán)重;bt ! 線性變換的偏置;i 一 空間維度的索引; ——輸入特征圖之中同一通道內(nèi)的目標(biāo)神經(jīng)元 χt 的線性變換;
一 其他神經(jīng)元 xi 的線性變換;M 該通道上的神經(jīng)元總數(shù);y (204號(hào) 標(biāo)簽值, yo=-1 , yt=1 。
式中: λ 1 正則項(xiàng)。
通過式(2)可得權(quán)重 wt 和偏置 bt ,如式(3)所示。
式中: μt 該通道中除去目標(biāo)神經(jīng)元的均值;σt2 該通道中除去神經(jīng)元的方差。
式(3)是從單通道中獲得的,因此,可以合理假設(shè)單通道中所有像素都遵從相同分布原則,基于此假設(shè),可以計(jì)算所有通道上的平均值和方差。簡(jiǎn)化的最小能量方程如式(4)所示。
式中: et* 1 最小能量值。
綜上表明,當(dāng)目標(biāo)神經(jīng)元 χt 和周圍其他神經(jīng)元 xi 的區(qū)別度越大,能量越高時(shí),其重要性越強(qiáng)。依據(jù)注意力機(jī)制定義,利用Sigmoid函數(shù)對(duì)特征 X 進(jìn)行增強(qiáng)處理后得到式(5)。
式中: E 跨越層數(shù)和空間維度組合所有 et* 的值。
2.2.3 損失函數(shù)的優(yōu)化
在YOLOv8模型中使用CIoU方法作為邊框檢測(cè)回歸的損失函數(shù),而CIoU處理能力有限,在處理難樣本時(shí)其定位精度相對(duì)較低。針對(duì)這些缺點(diǎn),選擇性能更優(yōu)的EIoU損失函數(shù)。CIoU和EIoU預(yù)測(cè)回歸示意圖如圖10所示,圖10中的紅色框和黃色框表示預(yù)測(cè)框,藍(lán)色框表示真實(shí)框,黑色框表示模型預(yù)先設(shè)定的錨框。
圖10CIoU和EIoU預(yù)測(cè)框回歸過程示意圖 Fig.10 Diagram of regression process of CIoUand EIoU prediction boxes
根據(jù)以上所述,對(duì)原始模型多處優(yōu)化處理,實(shí)現(xiàn)多方法疊加優(yōu)化系統(tǒng)對(duì)目標(biāo)識(shí)別性能的綜合提高,增強(qiáng)模型的魯棒性和泛化能力。在Neck層中用GSConv深度可分離卷積代替普通卷積;加人SimAM注意力機(jī)制;并且使用VoV—GSCSP模型代替原來的C2f,改進(jìn)后的ESN—YOLO模型結(jié)構(gòu)如圖11所示,改進(jìn)后的模塊用紅色虛線框標(biāo)注。
3 實(shí)驗(yàn)結(jié)果與分析
實(shí)驗(yàn)中訓(xùn)練和測(cè)試均使用同一臺(tái)服務(wù)器,服務(wù)器的操作系統(tǒng)為AmaLinux9.3,開發(fā)環(huán)境為CUDA11.4.153,顯卡配置為NVIDIAGeForceRTX3090Ti24GB 。實(shí)驗(yàn)程序使用Python語言,在PyTorch深度學(xué)習(xí)框架下搭建模型訓(xùn)練,模型的參數(shù)如表1所示。
表1訓(xùn)練參數(shù)Tab.1Training parameter
3.1改進(jìn)方法效果對(duì)比
為探究模型改進(jìn)效果,優(yōu)化調(diào)整 YOLOv8n 模型網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù),通過實(shí)驗(yàn)對(duì)比各種方法改進(jìn)效果,選出最合適的優(yōu)化策略。
3.1.1損失函數(shù)改進(jìn)實(shí)驗(yàn)
為對(duì)比幾種常用損失函數(shù)EIoU、SIoU、IoU、DIoU對(duì)模型識(shí)別性能的影響,分別在模型中添加這4種損失函數(shù),使用 mAP@0.5,mAP@0.5:0.95 和精度 P 作為模型評(píng)價(jià)指標(biāo),結(jié)果如表2所示,使用EIoU損失函數(shù)的模型 ΔYOLOv8n+EIoU) 擁有最高的檢測(cè)精度,與原始模型 ΔYOLOv8n+CIoU) 相比, mAP@0.5,mAP@0.5:0.95 和 P 分別提升0.3%.2.8% 和 2.6% 。
表2使用不同IoU損失函數(shù)的模型性能對(duì)比Tab.2Comparison of model performance usingdifferent IoU loss functions
3.1.2 注意力機(jī)制的改進(jìn)
表3不同注意力機(jī)制結(jié)果對(duì)比Tab.3Comparison of results of different attention mechanisms
在Neck端將普通卷積轉(zhuǎn)換為注意力機(jī)制對(duì)其識(shí)別精確度進(jìn)行改進(jìn)。由對(duì)比實(shí)驗(yàn)可得EIoU性能最好,因此,將修改損失函數(shù)后的模型作為基準(zhǔn)模型(YOLOv8n+EIoU),使用 mAP@0.5,mAP@0.5:0.95. P 和模型大小Modelsize作為評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果如表3所示,使用 SimAM 注意力機(jī)制,模型精度最高并且模型尺寸最小,與基準(zhǔn)模型相比,mAP @0.5 、mAP@0.5:0.95 和 P 分別提高 0.1%.1.0% 和0.5% ,Modelsize減小 600KB 。
3.1.3Neck端口的輕量化改進(jìn)
實(shí)驗(yàn)結(jié)果如表4所示,當(dāng)原始卷積改進(jìn)為GSConv時(shí)模型尺寸最小,識(shí)別精度最高。
表4Neck端改進(jìn)后的模型性能對(duì)比 Tab.4Neck end improved model performance comparison
在Neck端使用GSConv輕量化結(jié)構(gòu)代替原始卷積,使用此方法對(duì)YOLOv8n進(jìn)行輕量化改進(jìn),選取損失函數(shù)為EIoU和添加SimAM注意力機(jī)制后的模型作為基準(zhǔn)模型 Δ∵YOLOv8n+EIoU+SimAM) 。使用 mAP@0.5 、mAP@0.5:0.95 和Modelsize作為評(píng)價(jià)指標(biāo),與基準(zhǔn)模型相比, mAP@0.5 和 mAP@0.5:0.95 分別提高0.4%.0.1% ,Modelsize降低 353KB 。
3.2 消融實(shí)驗(yàn)
對(duì)YOLOv8n模型進(jìn)行改進(jìn):添加SimAM注意力模塊,在頸部網(wǎng)絡(luò)引人Slim—Neck模塊,損失函數(shù)改進(jìn)為EIoU。為驗(yàn)證各部分的有效性,開展消融實(shí)驗(yàn)并且與原始模型進(jìn)行對(duì)比,使用Modelsize、參數(shù)量Parameters、浮點(diǎn)運(yùn)算量 FLOPs,P,mAP@ 0.5 和mAP@0.5:0.95 作為評(píng)價(jià)指標(biāo),實(shí)驗(yàn)結(jié)果如表5所示??梢钥闯?,在加入每一種改進(jìn)方法后,網(wǎng)絡(luò)的性能都會(huì)有一定的提升。損失函數(shù)修改為EIoU后模型大小和模型參數(shù)量分別降低151KB、 0.14MB. 。 P !
mAP@0.5 和 mAP@0.5:0.95 分別提高 0.1% 、3.2% ;引人SimAM注意力模塊后, mAP@0.5 、mAP@0.5:0.95 分別提高 0.3%.8.6% ;添加NeckSlim輕量化模型后,模型大小和模型參數(shù)量分別減少618KB、0.29MB,mAP $( \varpi \ 0 . \ 5 \ : \ 0 . \ 9 5 \$ 增加0.4% ;當(dāng)同時(shí)修改損失函數(shù)和注意力機(jī)制時(shí),模型 mAP(ω0.5,mAP(ω0.5 0.95 分別增加 0.3% 、0.5% ,并且模型參數(shù)量和模型大小分別減小 0.14MB ,298KB 。由表5可知,改進(jìn)后ESN—YOLO模型與原始模型相比,雖然浮點(diǎn)運(yùn)算量未有明顯提高,但模型精度明顯進(jìn)步,并且模型大小減輕, P,mAP@0.5. mAP@0.5:0.95 分別提升 3.2%.0.5% 和 3.6% ,模型大小和模型參數(shù)量分別減少 651KB.0.36MB ,檢測(cè)速度大幅提升,表明本文算法改進(jìn)的有效性。
表5消融實(shí)驗(yàn)對(duì)比Tab.5Comparison of ablation tests
3.3 檢測(cè)效果對(duì)比
針對(duì)果園的復(fù)雜環(huán)境和自然條件,在不同目標(biāo)數(shù)目、不同光線條件和不同遮擋程度3種情況開展實(shí)驗(yàn),以此驗(yàn)證改進(jìn)網(wǎng)絡(luò)在不同環(huán)境下的橙子檢測(cè)具有較好的泛化性。
3.3.1不同密集程度下橙子果實(shí)檢測(cè)對(duì)比
圖12為改進(jìn)后ESN—YOLO算法和YOLOv8n算法對(duì)不同密集程度的橙子果實(shí)檢測(cè)效果對(duì)比結(jié)果。
圖12不同密集程度下效果對(duì)比
檢測(cè)目標(biāo)的密集程度將會(huì)影響算法的適應(yīng)性和靈敏度。當(dāng)橙子果實(shí)密集程度較低時(shí),檢測(cè)算法的高準(zhǔn)確度將更容易實(shí)現(xiàn);當(dāng)檢測(cè)目標(biāo)密度增加時(shí),檢測(cè)算法在處理密集場(chǎng)景和目標(biāo)遮擋方面受到挑戰(zhàn)。改進(jìn)后的ESN—YOLO算法在檢測(cè)效果和模型精度方面更有優(yōu)勢(shì)。
3.3.2不同光線程度下橙子果實(shí)檢測(cè)對(duì)比
圖13為應(yīng)用改進(jìn)后ESN—YOLO算法和YOLOv8n算法在不同光線下橙子果實(shí)檢測(cè)對(duì)比結(jié)果。
圖13不同光線程度下效果對(duì)比Fig.13Effect comparison under different light levels
在研究橙子果實(shí)目標(biāo)檢測(cè)中,光線是改變圖像曝光度和對(duì)比度的直接原因,在光線較弱的情況下,果實(shí)的紋理、邊緣特征不明顯,極易產(chǎn)生誤檢和漏檢等問題。根據(jù)實(shí)驗(yàn)對(duì)比效果可知,改進(jìn)后的ESN一YOLO算法能夠降低模型發(fā)生漏檢的發(fā)生率(圖中紅色框?yàn)樵寄P吐z的果實(shí)),并且檢測(cè)模型的預(yù)測(cè)精度也取得有效提升。
3.3.3不同遮擋程度下橙子果實(shí)檢測(cè)對(duì)比
圖14為改進(jìn)后ESN—YOLO算法和YOLOv8n算法在不同遮擋程度下橙子果實(shí)檢測(cè)對(duì)比結(jié)果。在研究橙子果實(shí)檢測(cè)中,橙子的遮擋程度將會(huì)影響算法的精確性和魯棒性,當(dāng)果實(shí)被高度遮擋時(shí),算法難以還原被遮擋果實(shí),所以會(huì)很容易造成漏檢和誤檢。根據(jù)實(shí)驗(yàn)對(duì)比效果可知,輕度遮擋條件下果實(shí)的檢測(cè)精度比高度遮擋時(shí)更高,改進(jìn)后ESN一YOLO算法在處理密集程度高、光線弱、果實(shí)遮擋等情況時(shí)能夠提高檢測(cè)精度,顯著降低漏檢率。
圖14不同遮擋情況下效果對(duì)比
Fig.14Compare the effect of different occlusion conditions
4輕量化驗(yàn)證
JetsonNano是一款由英偉達(dá)推出的嵌人式人工智能計(jì)算平臺(tái),搭載四核ARMCortex—A57處理器和128個(gè)NVIDIAMaxwell架構(gòu)的CUDA核心,提供高性能計(jì)算和并行計(jì)算能力;擁有4GBLPDDR4內(nèi)存,能夠處理大規(guī)模數(shù)據(jù)和復(fù)雜任務(wù);提供一個(gè)microSD卡插槽,可以存儲(chǔ)操作系統(tǒng)和應(yīng)用程序;搭載了NVIDIA的深度學(xué)習(xí)加速器,能夠高效推理深度學(xué)習(xí)模型。
為驗(yàn)證改進(jìn)后模型小、檢測(cè)速度快的特點(diǎn),實(shí)驗(yàn)將改進(jìn)前和改進(jìn)后的項(xiàng)目分別部署至硬件設(shè)備中,對(duì)比其檢測(cè)速度,結(jié)果如表6所示。改進(jìn)后比改進(jìn)前模型的檢測(cè)時(shí)間平均減少 375ms ,提升檢測(cè)速度,實(shí)現(xiàn)綠色橙子實(shí)時(shí)快速檢測(cè)。
表6改進(jìn)前后時(shí)間對(duì)比 Tab.6Improved before and after time comparison ms
5 結(jié)論
為解決綠橙檢測(cè)識(shí)別中果實(shí)與背景顏色相近、易受光照變化影響和枝葉遮擋、果實(shí)重疊的問題,提出一種基于深度神經(jīng)網(wǎng)絡(luò)ESN—YOLO算法的綠橙識(shí)別方法,實(shí)現(xiàn)近景色果實(shí)高精度快速識(shí)別。
1)改進(jìn)后ESN—YOLO算法在近景色背景下識(shí)別精度高達(dá) 96.6% ,并且小目標(biāo)檢測(cè)錯(cuò)檢、漏檢情況減少。將模型部署至JetsonNano中,單張橙子照片檢測(cè)速度為 732ms ,準(zhǔn)確率在 90% 以上,與YOLOv8n模型相比,檢測(cè)時(shí)間平均減少 375ms 。該輕量化高精度模型滿足摘果機(jī)器人實(shí)時(shí)準(zhǔn)確檢測(cè)的需求。
2)考慮果實(shí)密集程度、光線強(qiáng)弱和果實(shí)被遮擋程度對(duì)數(shù)據(jù)集進(jìn)行采樣,分別在改進(jìn)后ESN一YOLO模型和YOLOv8n模型中進(jìn)行測(cè)試和訓(xùn)練,對(duì)比模型的表現(xiàn)效果得出,改進(jìn)后算法在高密集程度下檢測(cè)精度更高;在逆光和高度遮擋的情況下,果實(shí)誤檢、漏檢率更低,增強(qiáng)對(duì)近景色水果的識(shí)別和對(duì)遮擋重疊目標(biāo)的魯棒性。
3)與原始模型相比,改進(jìn)后算法的模型尺寸減小5730 KB, mAP@0.5:0.95 提高 3.6% ,在平衡算法性能和輕量化中表現(xiàn)更優(yōu)秀。該模型具有精度高、抗干擾能力強(qiáng)、輕量化的特點(diǎn),為近景色水果采摘機(jī)器人提供有效的技術(shù)支撐。
參考文獻(xiàn)
[1]李翠明,楊柯,申濤,等.基于改進(jìn)FasterR—CNN的蘋果采摘視覺定位與檢測(cè)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2024,55(1):47-54.Li Cuiming,YangKe,Shen Tao, et al.Visiondetection method for picking robots based on improvedFaster R-CNN[J].Transactions of the Chinese SocietyforAgriculturalMachinery,2024,55(1): 47-54
[2]宋中山,劉越,鄭祿,等.基于改進(jìn)YOLOv3的自然環(huán)境下綠色柑橘的識(shí)別算法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2021,42(11):159-165.SongZhongshan,Liu Yue,ZhengLu,etal. Identificationofgreen citrus based on improved YOLOv3 in naturalenvironment[J].Journal of ChineseAgriculturalMechanization,202l,42(11):159—165.
[3]傅隆生,馮亞利,ElkamilTola,等.基于卷積神經(jīng)網(wǎng)絡(luò)的田間多簇弼猴桃圖像識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2018,34(2):205—211.Fu Longsheng,F(xiàn)engYali, ElkamilTola, etal.Imagerecognition method of multi-clusterkiwifruit in fieldbased on convolutional neural networks[J]. Transactionsofthe Chinese Society of Agricultural Engineering,2018,34(2):205-211.
[4]SunH,WangB,XueJ.YOLO—P:An efficient methodforpear fast detectionin complex orchardpickingenvironment [J].Frontiers in Plant Science,2023,13:1089454.
[5]黃小玉,李光林,馬馳,等.基于改進(jìn)判別區(qū)域特征融合算法的近色背景綠色桃子識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2018,34(23):142—148.Huang Xiaoyu,Li Guanglin,Ma Chi,et al.Greenpeach recognition based on improved discriminative regionalfeature integration algorithm in similar background [J].Transactions of the Chinese Society of AgriculturalEngineering,2018,34(23):142—148.
[6]劉忠意,魏登峰,李萌,等.基于改進(jìn)YOLOv5的橙子果實(shí)識(shí)別方法[J].江蘇農(nóng)業(yè)科學(xué),2023,51(19):173—181.
[7]熊俊濤,鄭鎮(zhèn)輝,梁嘉恩,等.基于改進(jìn)YOLOv3網(wǎng)絡(luò)的夜間環(huán)境柑橘識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2020,51(4):199-206.Xiong Juntao, Zheng Zhenhui,Liang Jia'en,et al.Citrus detection method in night environmentbasedon improved YOLOv3 network [J]. Transactions of theChinese Society for Agricultural Machinery,2O2O,51(4):199—206.
[8]唐熔釵,伍錫如.基于改進(jìn)YOLO—V3網(wǎng)絡(luò)的百香果實(shí)時(shí)檢測(cè)[J].廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2020,38(6):32-39.Tang Rongchai,Wu Xiru. Real-time detection of passionfruit based on improved YOLO—V3 network [J]. Journalof Guangxi Normal University,2020,38(6):32-39.
[9]張俊寧,畢澤洋,閆英,等.基于注意力機(jī)制與改進(jìn)YOLO的溫室番茄快速識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2023,54(5): 236-243.Zhang Junning, Bi Zeyang, Yan Ying, et al. Fastrecognition of greenhouse tomato targetsbasedonattentionmechanism and improved YOLO[J].Transactions of the Chinese Society for AgriculturalMachinery,2023,54(5):236-243.
[10] LiP,Zheng J,LiP, etal. Tomatomaturitydetection and counting model based on MHSA-YOLOv8 [J]. Sensors,2023,23(15):6701.
[11] Liu G,Nouaze J C,Touko Mbouembe P L,et al.YOLO-tomato:A robust algorithm for tomato detectionbased on YOLOv3 [J]. Sensors,2020,20(7): 2145.
[12]周宏平,金壽祥,周磊,等.基于遷移學(xué)習(xí)與YOLOv8n的田間油茶果分類識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2023,39(20):159-166.Zhou Hongping, Jin Shouxiang, Zhou Lei,et al.Classification and recognition of camellia oleifera fruit inthe field based on transfer learning and YOLOv8n [J].Transactions of the Chinese Society of AgriculturalEngineering,2023,39(20):159—166.
[13]張秀再,沈濤,許岱.基于改進(jìn)YOLOv8算法的遙感圖像目標(biāo)檢測(cè)[J].激光與光電子學(xué)進(jìn)展,2024(10):290—300.Zhang Xiuzai,Shen Tao,Xu Dai. Remote-sensing imageobject detection based on improved YOLOv8algorithm[J]. Laser amp; OptoelectronicsProgress,
[14]張姝瑾,許興時(shí),鄧洪興,等.基于YOLOv8n一 segFCA—BiFPN的奶牛身體分割方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2024,55(3):282—289,391.Zhang Shujin, Xu Xingshi, Deng Hongxing, et al.Segmentation model of cow body parts based onYOLOv8n—seg—FCA—BiFPN [J]. Transactions of theChinese Society for Agricultural Machinery,2O24,55(3):282—289,391.
[15]袁紅春,陶磊.基于改進(jìn)的YOLOv8商業(yè)漁船電子監(jiān)控?cái)?shù)據(jù)中魚類的檢測(cè)與識(shí)別[J].大連海洋大學(xué)學(xué)報(bào),2023,38(3):533-542.Yuan Hongchun,Tao Lei. Detection and identification offish in electronic monitoring data of commercial fishingvessels based on improved YOLOv8 [J]. Journal of DalianOcean University,2023,38(3):533-542.
[16] Wei Z,Li Z,Han S. YFDM: YOLO for detectingmorse code[J]. Scientific Reports,2023,13(1):20614.
[17] Du Y,Liu X,Yi Y,et al. Optimizing road safety:Advancements in lightweight YOLOv8 modelsandGhostC2fdesignforreal-timedistracteddrivingdetection [J]. Sensors,2023,23(21):8844.
[18] Pan P,Guo W, Zheng X, et al. Xoo-YOLO: Adetection method for wild rice bacterial blight in the fieldfrom the perspective of unmanned aerial vehicles [J].Frontiers in Plant Science,2023,14:1256545.
[19]胡奕帆,趙賢林,李佩娟,等.基于改進(jìn)YOLOv5的自然環(huán)境下番茄果實(shí)檢測(cè)[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2023,44(10):231-237.Hu Yifan,Zhao Xianlin,Li Peijuan, et al. Tomatofruit detection in natural environment based on improvedYOLOv5[J].JournalofChineseAgriculturalMechanization,2023,44(10):231—237.
[20]胡蘭蘭,鄧超.基于 SimAM—YOLOv5s的 PCB缺陷檢測(cè)算法[J].無線電工程,2024(5):1136-1145.Hu Lanlan,Deng Chao.PCB defect detection algorithmbased on SimAM—YOLOv5s [J]. Radio Engineering,2024(5):1136—1145.
[21]謝康康,朱文忠,謝林森,等.基于改進(jìn)YOLOv7的火焰煙霧檢測(cè)算法[J].國(guó)外電子測(cè)量技術(shù),2023,42(7):41-49.
[22]李子茂,李嘉暉,尹帆,等.基于可形變卷積與SimAM注意力的密集柑橘檢測(cè)算法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2023,44(2):156—162.Li Zimao,Li Jiahui,Yin Fan,et al.Dense citrusdetection algorithm based on deformable convolution andSimAMattention[J].JournalofChineseAgricultural Mechanization,2023,44(2):156-162.
[23] Webb B S,Dhruv N T,Solomon S G,et al. Early andlate mechanisms of surround suppression in striate cortexof macaque [J]. Journal of Neuroscience,20o5,25(50):11666—11675.