基于YOLOv5的自然環(huán)境下核桃果實識別算法研究

王園園 黨延江 何博

基金項目：陜省教育廳專項科研計劃項目；項目編號：22JK0363。商洛市科技局項目；項目編號：2021-z-0043。商洛學院科研項目；項目編號：19SKY009。

作者簡介：王園園（1987— ），女，陜西商洛人，講師，碩士，研究方向：計算機視覺。

摘要：自然環(huán)境下核桃果實目標的表皮顏色與葉片顏色極為接近，一般的果實識別算法無法準確地分割出近色系果實的問題。為了解決這個問題，文章使用YOLOv5算法進行核桃果實識別，在不同時間、角度和距離條件下，在自然環(huán)境下采集1 482張實核桃圖像，利用 LabelImg標定軟件對核桃果實圖像進行標定，建立了核桃果實數(shù)據(jù)集。文章采用YOLOv5算法進行核桃果實識別，結(jié)果顯示其穩(wěn)定狀態(tài)下的模型的AP值可達到0.930，識別速度可達每秒0.115幅。此算法基本可以滿足核桃實時檢測需求，對實現(xiàn)核桃自動化采摘具有重要意義。

關(guān)鍵詞：目標檢測；核桃識別；卷積神經(jīng)網(wǎng)絡；YOLOv5

中圖分類號：TP312? 文獻標志碼：A

0? 引言

隨著核桃盛果期面積增加，產(chǎn)量提高以及農(nóng)村勞動力短缺，核桃采摘及處理問題漸漸凸顯出來，研發(fā)核桃采摘機器人是十分必要的。研發(fā)采摘機器人重點和難點在視覺系統(tǒng)，視覺系統(tǒng)負責感知環(huán)境以及識別和定位果蔬，是果實采摘的第一步［1］。實際果園所采集的核桃圖像，受光照和枝葉影響，目標果實往往會枝葉遮擋、相互重疊、枝葉背景相對復雜，且由于目標果實顏色與背景顏色十分相近，從而導致目標果實檢測精度降低，難以滿足在實際作業(yè)機械的裝配需求。

2012 年，錢建平等［2］基于RGB、HSV混合顏色空間對核桃進行了識別。近年，有科研工作者采用彩色相機研發(fā)出了實體采摘機器人。2016年，孫賢剛等［3］采用2R-G-B的Otsu閾值法分割出草莓，研發(fā)出的機器人具有自動導航、識別以及自動采摘核桃的功能。2019年，胡浩波等［4］應用雙目視覺系統(tǒng)進行了蘋果的識別。本文采用YOLOv5進行果實識別研究具有非常重要的意義，通過基于深度學習目標檢測算法，提高核桃果實識別效率，可以滿足核桃實時檢測需求，對實現(xiàn)核桃自動化采摘具有重要意義。

1? YOLOv5算法

You Only Look Once簡稱為YOLO算法（Unified，Real-Time Object Detection），You Only Look Once的意義為，在整個運算過程中，只需添加一次CNN運算Unified對框架的統(tǒng)一性進行詳細說明，并包涵端對端的預測，但與之不同的是Real-Time所體現(xiàn)的是YOLO的效率［5-7］。

YOLOv5是一種單階段目標檢測算法，它在YOLOv4的基礎上加入了一些新思路，從而實現(xiàn)了在速度和精度上的極大提升。YOLOv5主要包括以下幾個部分。

輸入端：為了提高數(shù)據(jù)的多樣性和訓練的魯棒性，YOLOv5采用了Mosaic數(shù)據(jù)增強、自適應錨框計算和自適應圖片縮放等策略。這些改進措施使得模型可以更好地適應不同場景和目標的變化。

基準網(wǎng)絡：YOLOv5引入了一些新的結(jié)構(gòu)，包括Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。這些新結(jié)構(gòu)的設計旨在加速計算并提高檢測精度，從而提升整體模型的性能。

Neck網(wǎng)絡：針對目標檢測網(wǎng)絡中BackBone和Head輸出層之間的瓶頸問題，YOLOv5采用了FPN+PAN結(jié)構(gòu)作為Neck網(wǎng)絡。該結(jié)構(gòu)能夠提高特征的利用率和感受野范圍，進一步提升目標檢測的準確性和魯棒性。

Head輸出層：YOLOv5對訓練損失函數(shù)進行了改進，采用了GIOU_Loss。此外，還引入了DIOU_nms預測框篩選算法，以進一步提高檢測的準確度和效果。以上這些改進思路和策略雖然比較簡單，但都可以提升檢測算法的性能。

YOLOv5的網(wǎng)絡架構(gòu)如圖1所示。

2? 核桃果實數(shù)據(jù)集制作

本研究以綠色目標果實精準檢測為目標。陜西省是我國三大核桃種植地區(qū)之一，是核桃生產(chǎn)的傳統(tǒng)大省。延安以南大部分地區(qū)是傳統(tǒng)的核桃生產(chǎn)地區(qū)。商洛被國家林業(yè)和草原局授予“中國核桃之鄉(xiāng)”稱號。選擇核桃作為研究對象，便于數(shù)據(jù)采集。

圖像采集：實驗所需核桃圖片采自陜西省商洛市? 洛南縣核桃種植園，以及商洛市商州區(qū)周邊山區(qū)散種核桃，利用紅米手機拍攝，保存為.jpg 格式，24 位彩色圖像。拍攝周期為60天，采集圖像充分考慮光照、天氣、成熟度等多種因素，拍攝核桃圖像1 482張，包含枝葉遮擋、果實重疊、逆光、陰影、雨滴未干、遠程拍攝目標小等問題。圖2為部分采集圖像展示。采用 LabelImg 標注工具按照 Pascal VOC 數(shù)據(jù)集的標注格式對圖像進行標注，生成標注文件。

3? 目標檢測結(jié)果

為了訓練YOLOv5模型，本次測試使用了小批量隨機梯度下降法。小批量隨機梯度下降法可以劃分為小批量樣本，通過計算梯度和更新參數(shù)進行模型訓練。測試集中100幅圖像的部分識別結(jié)果，如圖3所示。

由圖3可知，YOLOv5算法對于核桃的識別準確率非常高，本圖片集展示了不同角度在不同光照強度下都能取得良好的識別效果。為了更好地評測YOLOv5算法模型是否準確，利用AP對測試集進行計算；其測試結(jié)果如圖4所示。AP值總體上隨著batch_size的增大而增大。當?shù)揭欢ㄖ禃r，AP 值趨于平緩。當模型趨于平緩時，AP值在0.930附近，它表明YOLOv5算法模型的識別準確率高。

4? 結(jié)語

本文采用YOLOv5算法實現(xiàn)了高效準確的核桃自動檢測和識別系統(tǒng)。本研究使用手動標注數(shù)據(jù)集的方式來收集核桃圖像數(shù)據(jù)，并對數(shù)據(jù)進行了預處理和增強等操作，以提高模型的訓練效果。測試結(jié)果表明YOLOv5算法對核桃果實有很好的識別準確率和識別速度，甚至對一些較小、較遠的核桃果實目標以? 及果實相互遮擋的目標，都可以達到很好的識別效果。其穩(wěn)定狀態(tài)下的模型的AP達到為0.930，可實現(xiàn)實時識別。

參考文獻

［1］祝前峰，陸榮鑒，劉彬，等.核桃采摘機械研究現(xiàn)狀與發(fā)展趨勢［J］.林業(yè)和草原機械，2021（1）：45-53.

［2］趙世達.基于機器視覺的核桃識別技術(shù)研究［D］.武漢：武漢輕工大學，2018.

［3］孫賢剛，伍錫如，黨選舉，等.基于視覺檢測的蘋果采摘機器人系統(tǒng)設計與實現(xiàn)［J］.農(nóng)機化研究，2016（9）：151-155.

［4］謝志勇，張鐵中，趙金英.基于Hough變換的成熟草莓識別技術(shù)［J］.農(nóng)業(yè)機械學報，2007（3）：103-109.

［5］高凡.基于深度學習的果實采摘研究［D］.北京：北京交通大學，2020.

［6］張琛.基于YOLOv3的道路目標檢測方法研究［D］.西寧：青海大學，2021.

［7］樊湘鵬，許燕，周建平，等.基于改進Faster R-CNN的核桃識別和定位［J］.燕山大學學報，2021（6）：544-551.

（編輯? 王永超）

Research on walnut fruit recognition algorithm in natural environment based on YOLOv5Wang Yuanyuan， Dang Yanjiang， He Bo

（College of Electronic Information and Electrical Engineering， Shangluo University， Shangluo 726000， China）

Abstract：? The skin color of walnut fruit targets is very close to the leaf color in the natural environment， and the general fruit recognition algorithm cannot accurately segment the near-color fruit. To address this issue， this paper uses the YOLOv5 algorithm for walnut fruit recognition. Firstly， 1482 real walnut images are collected in the natural environment under different time， angle and distance conditions， and the walnut fruit data set is established by using LabelImg calibration software to calibrate the walnut fruit images. Secondly， the YOLOv5 algorithm was used for walnut fruit recognition， and the results showed that the AP value of the model in the steady state could reach 0.930， and the recognition speed could reach 0.115 images per second. This algorithm can basically meet the real-time detection needs of walnuts， which is of great significance for realizing automatic walnut picking.

Key words： object detection; walnut identification; convolutional neural networks; YOLOv5