基于PP-YOLO深度學(xué)習(xí)模型的贛南臍橙果實(shí)識(shí)別方法

章倩麗，李秋生

基于PP-YOLO深度學(xué)習(xí)模型的贛南臍橙果實(shí)識(shí)別方法

章倩麗1,2，*李秋生1,2

（1. 贛南師范大學(xué)智能控制工程技術(shù)研究中心，江西，贛州 341000；2. 贛南師范大學(xué)物理與電子信息學(xué)院，江西，贛州 341000）

果實(shí)檢測(cè)在研究臍橙采摘機(jī)械化發(fā)展中有著重要作用，然而不良天氣條件將對(duì)目標(biāo)果實(shí)的檢測(cè)和識(shí)別產(chǎn)生不利影響。針對(duì)霧天和雨天情形下臍橙果實(shí)圖像模糊、噪聲復(fù)雜，檢測(cè)速度較慢和準(zhǔn)確率較低的問(wèn)題，通過(guò)采用單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)PP-YOLO來(lái)研究不良天氣條件下贛南臍橙果實(shí)的識(shí)別。通過(guò)主干網(wǎng)絡(luò)ResNet提取特征并結(jié)合FPN（特征金字塔網(wǎng)絡(luò)）進(jìn)行特征融合實(shí)現(xiàn)多尺度檢測(cè)，且基本實(shí)現(xiàn)端到端檢測(cè)。實(shí)驗(yàn)結(jié)果表明，所提出的PP-YOLO檢測(cè)模型可實(shí)現(xiàn)霧天和雨天情況下贛南臍橙檢測(cè)任務(wù)，mAP分別為89.06%和91.01%，識(shí)別效率分別可達(dá)到75.30 fps和75.44 fps，可以嘗試在臍橙采摘機(jī)器人的研制中加以應(yīng)用。

目標(biāo)檢測(cè)；果實(shí)識(shí)別；機(jī)器視覺(jué)；PP-YOLO

0 引言

國(guó)內(nèi)外農(nóng)業(yè)生產(chǎn)的發(fā)展趨勢(shì)都在沿著規(guī)?；?、機(jī)械化、現(xiàn)代化方向發(fā)展，例如嫁接機(jī)器人、施肥和噴霧機(jī)器人、采摘機(jī)器人等設(shè)備的陸續(xù)研制及優(yōu)化，未來(lái)在農(nóng)業(yè)領(lǐng)域?qū)χ悄軝C(jī)器的需求將不斷增加[1]。我國(guó)是臍橙種植大國(guó)，根據(jù)江西省贛州市果業(yè)局統(tǒng)計(jì)，贛南地區(qū)是臍橙種植面積世界第一[2]，年產(chǎn)量世界第三、全國(guó)最大的臍橙主產(chǎn)區(qū)[3]。成熟贛南臍橙的精準(zhǔn)高效采收是臍橙整個(gè)生產(chǎn)過(guò)程的關(guān)鍵，影響著臍橙的貯藏、運(yùn)輸、包裝等環(huán)節(jié)。目前臍橙主要依靠人力收獲，使得勞動(dòng)力和生產(chǎn)成本增加。這種落后的方式嚴(yán)重制約了臍橙產(chǎn)業(yè)的健康快速發(fā)展，實(shí)現(xiàn)臍橙采收機(jī)械化，可以大幅度降低成本的同時(shí)也促進(jìn)了臍橙產(chǎn)業(yè)的發(fā)展[4]。

機(jī)器視覺(jué)通過(guò)計(jì)算機(jī)模擬人類視覺(jué)采集并學(xué)習(xí)圖像中的特征[5]，對(duì)果實(shí)進(jìn)行識(shí)別、檢測(cè)、定位，為采收機(jī)器人的研究提供重要參考[6]。自1968年視覺(jué)系統(tǒng)第一次被引入用于柑橘果實(shí)識(shí)別以來(lái)[7]，國(guó)內(nèi)外眾多學(xué)者針對(duì)自然環(huán)境下的果實(shí)識(shí)別方法開(kāi)展了多方面研究工作，包括光照變化、陰影覆蓋、著色度變化、枝葉遮擋、果實(shí)重疊等不同條件下果實(shí)識(shí)別任務(wù)所需的特征組合，以及從彩色、深度圖像中提取上述特征和識(shí)別果實(shí)的方法[8]。

采摘機(jī)器人的研究主要有蘋果[9]、櫻桃[10]、番茄[11]等果蔬采摘機(jī)器人[12]，針對(duì)臍橙圖像主要是品質(zhì)檢測(cè)[13]和分級(jí)[14]、缺陷檢測(cè)[15]和病蟲(chóng)害檢測(cè)[16]、臍橙表面殘留物[17]的研究，真正將臍橙圖像用于目標(biāo)識(shí)別和定位中的研究較少。徐越等[18]利用顏色特征對(duì)重疊蘋果果實(shí)進(jìn)行識(shí)別，該方法在光照等自然條件好、成熟果實(shí)和未成熟果實(shí)差異明顯的情況下可以達(dá)到較好的效果，但其適用性有一定的局限。高新浩等[19]利用卷積神蘋果經(jīng)網(wǎng)絡(luò)的視覺(jué)處理算法對(duì)水果果實(shí)與復(fù)雜背景進(jìn)行分割分類及二維定位，并結(jié)合景深傳感數(shù)據(jù)進(jìn)行果實(shí)3D定位，定位精度及果蔬采摘成功率高，但該算法計(jì)算復(fù)雜度較大。Li等[20]研究了對(duì)多個(gè)荔枝串檢測(cè)定位，先用語(yǔ)義分割分割出背景、果實(shí)和樹(shù)枝，結(jié)合聚類算法聚類出同一荔枝串的果實(shí)分枝，通過(guò)主成分分析擬合出線性信息對(duì)應(yīng)分枝位置，單個(gè)荔枝支路的檢測(cè)精度達(dá)到83.33%，檢測(cè)時(shí)間為0.464 s。宋懷波等[21]設(shè)計(jì)了針對(duì)復(fù)雜環(huán)境下的重度粘連小麥籽粒的檢測(cè)方法，基于YOLOv5、混合深度可分離卷積以及壓縮激勵(lì)，模型檢測(cè)精確率達(dá)到93.15%。但是該方法仍存在重度粘連難以識(shí)別，且檢測(cè)速度較為緩慢。

傳統(tǒng)的視覺(jué)定位系統(tǒng)對(duì)待檢測(cè)物體所處的環(huán)境有很強(qiáng)的依賴關(guān)系，在惡劣天氣條件下臍橙果實(shí)圖像識(shí)別更加困難，有效解決雨天和霧天條件下的臍橙果實(shí)識(shí)別問(wèn)題，可為實(shí)現(xiàn)雨天和霧天臍橙采摘機(jī)器人的作業(yè)提供技術(shù)支撐。目前，真正將臍橙圖像用于目標(biāo)識(shí)別和定位的研究少有報(bào)道，針對(duì)霧天和雨天條件下的研究更是鮮見(jiàn)。本研究利用贛南臍橙果實(shí)圖像在不同特殊天氣下的特征差異，基于PP-YOLO單階段目標(biāo)檢測(cè)算法，對(duì)惡劣天氣下的臍橙果實(shí)進(jìn)行檢測(cè)研究。

1 模型結(jié)構(gòu)

基于錨框的單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)主要組成部分有：主干網(wǎng)絡(luò)、檢測(cè)頸和檢測(cè)頭。PP-YOLO是PaddleDetection基于YOLOv3優(yōu)化和改進(jìn)的目標(biāo)檢測(cè)模型，采用加入可變形卷積的殘差網(wǎng)絡(luò)ResNet替換DarkNet作為主干網(wǎng)絡(luò)提取特征，輸出feature map，檢測(cè)頸使用特征金字塔網(wǎng)絡(luò)FPN進(jìn)行特征融合，檢測(cè)頭沿用YOLOv3檢測(cè)頭分類及定位[22]。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.1 殘差結(jié)構(gòu)

簡(jiǎn)單地將一系列卷積層和池化層堆疊搭建更深層的網(wǎng)絡(luò)結(jié)構(gòu)，隨著網(wǎng)絡(luò)層數(shù)不斷加深，計(jì)算成本較高，不利于模型訓(xùn)練，且會(huì)導(dǎo)致梯度消失或梯度爆炸現(xiàn)象和退化問(wèn)題。若每層誤差梯度小于1，在反向傳播過(guò)程中，每傳播一層都乘這個(gè)系數(shù)，網(wǎng)絡(luò)越深連乘次數(shù)越多，梯度將越來(lái)越小，最終導(dǎo)致梯度消失；反之，若每層誤差梯度大于1，則梯度將越來(lái)越大，最終導(dǎo)致梯度爆炸。網(wǎng)絡(luò)層數(shù)加深導(dǎo)致訓(xùn)練誤差不降反升，即為退化。針對(duì)這一類問(wèn)題，何凱明等[23]提出殘差網(wǎng)絡(luò)結(jié)構(gòu)，該模型局部結(jié)構(gòu)如圖2。

圖1 PP-YOLO結(jié)構(gòu)圖

圖2 殘差結(jié)構(gòu)示意圖

主分支將輸入特征矩陣通過(guò)卷積層和激活函數(shù)，側(cè)分支由輸入直接連接到輸出作恒等映射，主分支和側(cè)分支所得到的特征矩陣在同一維度，相加后經(jīng)過(guò)激活函數(shù)。通過(guò)殘差結(jié)構(gòu)加深網(wǎng)絡(luò)，可有效降低訓(xùn)練誤差。

1.2 特征金字塔網(wǎng)絡(luò)

特征金字塔結(jié)構(gòu)，把強(qiáng)位置信息的低層特征和高語(yǔ)義信息的高層特征進(jìn)行融合，達(dá)到多尺度預(yù)測(cè)，其結(jié)構(gòu)如圖3所示。

圖3 特征金字塔結(jié)構(gòu)圖

從底向上的路徑，通過(guò)一些卷積進(jìn)行特征提取，得到不同尺寸的feature map，同時(shí)從頂?shù)较碌穆窂?，feature map進(jìn)行卷積和上采樣，將強(qiáng)位置信息和高語(yǔ)義信息橫向連接，得到多尺度特征，送到檢測(cè)頭再進(jìn)行預(yù)測(cè)分類和精準(zhǔn)定位[24]。

1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)[25]在深度學(xué)習(xí)過(guò)程中被普遍使用，遷移即將已學(xué)習(xí)網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)的參數(shù)遷移到新網(wǎng)絡(luò)中，新網(wǎng)絡(luò)不僅能夠識(shí)別底層通用特征，還能快速學(xué)習(xí)新數(shù)據(jù)集的高維特征。訓(xùn)練模型時(shí)，模型的損失值隨時(shí)間推移而慢慢收斂，最終趨于穩(wěn)定，其權(quán)值初始化需耗費(fèi)大量時(shí)間，通過(guò)遷移學(xué)習(xí)可加快訓(xùn)練的進(jìn)程，并且在數(shù)據(jù)集較小時(shí)也能得到較好的效果。

本研究采用遷移學(xué)習(xí)的思想，選擇在公共數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練好的分類模型進(jìn)行權(quán)重初始化，減少訓(xùn)練所需的時(shí)間以及資源。

2 數(shù)據(jù)集制作

2.1 圖像采集

圖像于2020年11月14日17：00～18：30之間在江西省贛州市贛南師范大學(xué)的臍橙園所采集，從各個(gè)角度對(duì)臍橙進(jìn)行拍攝陰天時(shí)的臍橙圖片，拍攝設(shè)備為1200萬(wàn)以上像素的手機(jī)。總共采集臍橙圖像500張，篩選刪除模糊不清以及不適用的圖片后保留了450張制作數(shù)據(jù)集。包含完整無(wú)遮擋、樹(shù)枝樹(shù)葉樹(shù)干遮擋、臍橙果實(shí)相互遮擋的臍橙圖像，且2/3以上的圖像包含10個(gè)以上臍橙果實(shí)，圖像保存格式為jpg格式。

2.2 制作數(shù)據(jù)集

霧天圖片共444張，雨天圖片共445張。將陰天拍攝圖片作為輸入，通過(guò)加霧算法和加雨算法生成帶霧和雨的圖片。由于數(shù)據(jù)集為仿真生成，與實(shí)際應(yīng)用環(huán)境中獲取的圖像存在一些差異，加載此數(shù)據(jù)集訓(xùn)練的模型真實(shí)應(yīng)用效果有待進(jìn)一步探究。圖片示例如圖4所示。

圖4 部分霧天和雨天的成熟臍橙圖片

首先將圖像數(shù)據(jù)按照7:3的比例劃分，即霧天310張作為訓(xùn)練集，剩余134張作為測(cè)試集；雨天310張作為訓(xùn)練集，剩余135張作為測(cè)試集。訓(xùn)練集和測(cè)試集互斥。利用圖像標(biāo)注工具lableImg進(jìn)行標(biāo)注，格式選擇VOC格式，得到帶有圖片內(nèi)目標(biāo)類別和相應(yīng)位置信息的xml文件。編輯并運(yùn)行python腳本，遍歷劃分好的圖像文件和標(biāo)注信息文件，生成最終模型訓(xùn)練所需訓(xùn)練集和測(cè)試集文件列表。圖片文件、標(biāo)注信息文件、訓(xùn)練集和測(cè)試集文件列表、標(biāo)簽文件，即構(gòu)成了模型的數(shù)據(jù)集，具體數(shù)據(jù)如表1所示。

表1 惡劣天氣下臍橙數(shù)據(jù)集

2.3 數(shù)據(jù)增強(qiáng)

由于自制的數(shù)據(jù)集圖片數(shù)量較少，通過(guò)采用數(shù)據(jù)增強(qiáng)操作擴(kuò)充臍橙數(shù)據(jù)集，使得模型訓(xùn)練學(xué)習(xí)到較完整的特征，減少數(shù)據(jù)集過(guò)于簡(jiǎn)單造成的過(guò)擬合現(xiàn)象。數(shù)據(jù)集輸入模型之后，引入隨機(jī)因子在線讀取每個(gè)batch圖像數(shù)據(jù)，并進(jìn)行隨機(jī)裁剪、平移、旋轉(zhuǎn)、重疊。因?yàn)槊看斡?xùn)練batch圖像不一致，以及增強(qiáng)的隨機(jī)因子極大地?cái)U(kuò)大了數(shù)據(jù)集，確保模型能夠有效地進(jìn)行訓(xùn)練。

3 模型訓(xùn)練

3.1 訓(xùn)練平臺(tái)

模型訓(xùn)練基于百度大腦AI studio，支持在線云計(jì)算，采用開(kāi)源的深度學(xué)習(xí)框架PaddlePaddle，物體檢測(cè)統(tǒng)一框架PaddleDetection。本試驗(yàn)運(yùn)行所需的軟硬件信息和環(huán)境配置如下：4核CPU，RAM 32 GB，GPU為Tesla V100，顯存16 GB，磁盤100 GB，Python 3.7，PaddlePaddle 1.8.4，CUDA功能70，驅(qū)動(dòng)API版本10.1，運(yùn)行時(shí)API版本9.0，cuDNN7.6。

3.2 參數(shù)設(shè)置

初始化采用預(yù)訓(xùn)練好的分類模型權(quán)重，由于使用單卡GPU，且訓(xùn)練圖像大約300張，所以batch_size設(shè)置為2，初始學(xué)習(xí)率設(shè)置為0.001，最大迭代次數(shù)設(shè)置為15000。數(shù)據(jù)集制作使用VOC數(shù)據(jù)格式，mAP評(píng)估方法采用VOC的11point方法。11point，即將所有預(yù)測(cè)結(jié)果按得分從大到小排序，分別計(jì)算召回率大于等于從0到1每隔0.1一個(gè)點(diǎn)（共11個(gè)點(diǎn)）的最大精度值，計(jì)算11次的結(jié)果相加求和計(jì)算平均。

3.3 評(píng)估指標(biāo)及結(jié)果分析

目標(biāo)檢測(cè)任務(wù)常用網(wǎng)絡(luò)模型性能評(píng)價(jià)指標(biāo)為精確率(precision)、召回率(recall)、平均精度(AP)和mAP等。計(jì)算precision-recall曲線下的面積即平均精度(AP)，mAP即計(jì)算每類AP的平均。mAP位于區(qū)間[0, 1]，是目標(biāo)檢測(cè)算法最重要的評(píng)價(jià)指標(biāo)之一。

精確率(precision)和召回率(recall)計(jì)算公式如式(1)、(2)所示：

真陽(yáng)(True Positives)、真陰(True Negatives)、偽陽(yáng)(False Positives)、偽陰(False Negatives)具體含義見(jiàn)表2。

在本次贛南臍橙目標(biāo)檢測(cè)任務(wù)中，可作以下理解：

a.：臍橙被正確地識(shí)別成了臍橙。

b.：樹(shù)葉樹(shù)枝天空等背景被正確地識(shí)別為樹(shù)葉、樹(shù)枝、天空等背景。

c.：樹(shù)葉樹(shù)枝天空等背景被錯(cuò)誤地識(shí)別為臍橙。

d.：臍橙被錯(cuò)誤地識(shí)別為樹(shù)葉、樹(shù)枝、天空等背景。

表2 相關(guān)表述

霧天和雨天PP-YOLO模型訓(xùn)練過(guò)程的損失變化曲線如圖5所示，由于采用遷移學(xué)習(xí)在底層卷積層中共享的權(quán)重，訓(xùn)練損失值在短期內(nèi)迅速下降并收斂。

圖6所示為在霧天和雨天條件下使用PP-YOLO模型訓(xùn)練臍橙檢測(cè)網(wǎng)絡(luò)的平均精度值隨迭代次數(shù)變化曲線。受益于預(yù)訓(xùn)練權(quán)重，平均精度值在較短的迭代輪次內(nèi)即得到了較好的效果，后期隨迭代次數(shù)增加而上升，最后趨于飽和。霧天mAP達(dá)到了89.06%，雨天達(dá)到了91.01%。

圖5 霧天及雨天訓(xùn)練損失值變化曲線

圖6 霧天及雨天mAP變化曲線

使用相同的霧天和雨天數(shù)據(jù)集設(shè)計(jì)對(duì)比試驗(yàn)，比較YOLOv3模型和本文的PP-YOLO模型對(duì)贛南臍橙的檢測(cè)識(shí)別性能，實(shí)驗(yàn)所得mAP和檢測(cè)效率結(jié)果如表3所示。

表3 惡劣天氣下臍橙檢測(cè)結(jié)果

結(jié)果表明，采用PP-YOLO對(duì)霧天和雨天條件下的贛南臍橙有較優(yōu)的識(shí)別效果，檢測(cè)效率也明顯更高：1）使用同一模型檢測(cè)不同天氣環(huán)境下的臍橙時(shí)，雨天的識(shí)別精度和速度要略高于霧天，因?yàn)橛晏靾D像更易于識(shí)別；2）在同一天氣情況下，PP-YOLO與YOLOv3相比較，mAP分別提高了3.41%和2.74%，檢測(cè)效率分別加快了7.95 fps和6.52 fps。相較于YOLOv3，PP-YOLO模型主干網(wǎng)絡(luò)采用了殘差網(wǎng)絡(luò)，同時(shí)引入可變形卷積在原卷積采樣位置增加偏移，使得卷積核在每一個(gè)元素上額外增加一個(gè)方向參數(shù)，擴(kuò)大訓(xùn)練過(guò)程中卷積核的范圍，捕捉圖像中的細(xì)節(jié)信息，能更好地提取圖像特征。因此，PP-YOLO模型檢測(cè)性能較高于YOLOv3。此外，霧天圖像噪聲較復(fù)雜于雨天圖像檢測(cè)難度也較高，因此雨天檢測(cè)性能較好。

3.4 模型檢測(cè)效果

分別選擇霧天和雨天沒(méi)有標(biāo)注訓(xùn)練的臍橙圖片采用訓(xùn)練好的YOLOv3以及PP-YOLO模型進(jìn)行預(yù)測(cè)，其結(jié)果如圖7和圖8。結(jié)果表明，本次采用的PP-YOLO模型泛化性較好，對(duì)于未經(jīng)訓(xùn)練的霧天和雨天情況下臍橙圖像數(shù)據(jù)漏檢、誤檢果實(shí)較少。但是，仍存在部分果實(shí)誤檢情況，且霧天較雨天檢測(cè)效果要更差。綜上所述，在惡劣天氣下，本實(shí)驗(yàn)提出模型對(duì)贛南臍橙仍擁有較好的檢測(cè)能力，且對(duì)部分遮擋情況下的臍橙也有較好的識(shí)別效果。

圖7 霧天檢測(cè)結(jié)果示例圖

4 結(jié)論

針對(duì)在霧天和雨天等惡劣天氣下臍橙果實(shí)檢測(cè)速度和準(zhǔn)確率較低這一問(wèn)題，本研究運(yùn)用基于YOLOv3改進(jìn)的PP-YOLO目標(biāo)檢測(cè)模型對(duì)惡劣天氣下贛南臍橙的果實(shí)識(shí)別問(wèn)題進(jìn)行了研究。結(jié)合遷移ImageNet數(shù)據(jù)集訓(xùn)練的權(quán)重模型到臍橙檢測(cè)任務(wù)中，節(jié)省了訓(xùn)練時(shí)間。在霧天和雨天檢測(cè)準(zhǔn)確率分別可達(dá)89.06%和91.01%，檢測(cè)效率分別可達(dá)75.30 fps和75.44 fps。在提高檢測(cè)精度的同時(shí)，也均衡了檢測(cè)速度。實(shí)驗(yàn)結(jié)果表明，相比YOLOv3模型，該P(yáng)P-YOLO模型具有更高的識(shí)別準(zhǔn)確率和識(shí)別效率，可以有效地檢測(cè)惡劣天氣下的贛南臍橙果實(shí)，滿足實(shí)際應(yīng)用中采摘機(jī)器人的實(shí)時(shí)檢測(cè)要求。當(dāng)然，由于數(shù)據(jù)集數(shù)量相對(duì)較少，模型可能未學(xué)習(xí)到全部特征；且霧天和雨天的數(shù)據(jù)為基于陰天臍橙圖像用算法生成，可能與真實(shí)情況存在距離，所以在實(shí)際應(yīng)用中的結(jié)果還有待進(jìn)一步研究。

圖8 雨天檢測(cè)結(jié)果示例圖

[1] 王家碩,陳炳舟,楊廣召,等.農(nóng)業(yè)機(jī)器人在農(nóng)業(yè)中應(yīng)用[J]. 安徽農(nóng)學(xué)通報(bào), 2020, 26(20): 132-133.

[2] 徐麗明,劉旭東,張凱良,等.臍橙采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2018, 34(12): 53-61.

[3] 李追風(fēng),時(shí)文濤,姬志發(fā),等.國(guó)內(nèi)外農(nóng)業(yè)機(jī)器人研究進(jìn)展分析[J].南方農(nóng)機(jī), 2022, 53(5): 156-158.

[4] 彭威.臍橙收獲機(jī)的研究現(xiàn)狀及前景[C]. 以創(chuàng)新驅(qū)動(dòng)為引領(lǐng),加快“中國(guó)制造2025”戰(zhàn)略實(shí)施研討會(huì)暨2016年第六屆全國(guó)地方機(jī)械工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[A]. 2016.

[5] 胡瀟.可伸縮采摘機(jī)械手目標(biāo)識(shí)別與定位研究[D]. 南昌:江西農(nóng)業(yè)大學(xué), 2020.

[6] 仇裕淇,黃振楠,阮昭,等.機(jī)器視覺(jué)技術(shù)在農(nóng)業(yè)生產(chǎn)智能化中的應(yīng)用綜述[J].機(jī)械研究與應(yīng)用,2019,32(2): 202-206.

[7] Schertz C E. Human energy expenditure for picking oranges [J]. Journal of Agricultural Engineering Research, 1967, 12(4): 281-284.

[8] Gongal A. Sensors and systems for fruit detection and localization: A review [J]. Computers & Electronics in Agriculture, 2015, 116(C): 8-19.

[9] Kuznetsova A, Maleva T, Solovie V. Using YOLOv3 algorithm with pre- and post-processing for apple detection in fruit-harvesting robot [J]. Agronomy, 2020, 10(7):1016.

[10] Zhang Q, Zuo J, Yu T, et al. Visual recognition system of cherry picking robot based on Lab color model [C]. 2017 IOP Conference Series: Earth and Environmental Science, 2017, 100: 012099.

[11] Tong S, Qian D, Fang J, et al. Residual vibration suppression of a tomatoes' string picking robot: A cascade design method [C]. 2016 International Conference on Advanced Mechatronic Systems(ICAMechS).IEEE, 2017.

[12] 王丹丹,宋懷波,何東健.蘋果采摘機(jī)器人視覺(jué)系統(tǒng)研究進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào),2017, 33(10):59-69.

[13] Liu C, Yang S, Deng L. Determination of internal qualities of newhall navel oranges based on NIR spectroscopy using machine learning [J]. Journal of Food Engineering, 2015, 161(sep.): 16-23.

[14] 胡發(fā)煥,董增文,匡以順,基于機(jī)器視覺(jué)的臍橙品質(zhì)在線分級(jí)檢測(cè)系統(tǒng)[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào),2016,21(3):112- 118.

[15] Xie X, Ge S, Xie M, et al. Image matching algorithm of defects on navel orange surface based on compressed sensing [J]. Journal of Ambient Intelligence and Humanized Computing, 2018,18:833.

[16] Zhang L, Liu M, Li J, et al. Detecting navel orange canker with hyperspectral imaging [C]. 2011 Fourth International Conference on Intelligent Computation Technology and Automation, 2011: 106-109.

[17] Hu H, Huang L, Liu M, et al. Nondestructive determination of cu residue in orange peel by laser induced breakdown spectroscopy [J]. Plasma science & Technology, 2015, 17(8):711-715.

[18] 徐越,李盈慧,宋懷波,等.基于Snake模型與角點(diǎn)檢測(cè)的雙果重疊蘋果目標(biāo)分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015, 31(1):196-203.

[19] 高新浩,王占山,溫貽芳,等.基于景深傳感技術(shù)的水果采摘視覺(jué)定位系統(tǒng)設(shè)計(jì)[J]. 湖北農(nóng)機(jī)化, 2019(10): 45-46.

[20] Li J, Tang Y, Zou X, et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots [J]. IEEE Access, 2020, 8: 117746-117758.

[21] 宋懷波,王云飛,段援朝,等.基于YOLOv5- MD 的重度粘連小麥籽粒檢測(cè)方法[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2022.http://kns. cnki. nte/kcms/detail/11.1964.S. 20220225. 1020.004.html.

[22] Long X, Deng K, Wang G, et al. PP-YOLO: An effective and efficient implementation of object detector [J]. arXiv:2007.12099, 2020.

[23] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.

[24] Lin T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection [J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 936-944.

[25] 張雪松,莊嚴(yán),閆飛,等. 基于遷移學(xué)習(xí)的類別級(jí)物體識(shí)別與檢測(cè)研究與進(jìn)展[J].自動(dòng)化學(xué)報(bào),2019,45 (7):1224-1243.

FRUIT RECOGNITION METHOD OF GANNAN NAVEL ORANGE BASED ON PP-YOLO DEEP LEARNING MODEL

ZHANG Qian-li1,2,*LI Qiu-sheng1,2

（1. Research Center of Intelligent Control Engineering Technology, Ganzhou , Jiangxi 341000, China; 2. School of Physics and Electronic Information, Gannan Normal University, Ganzhou, Jiangxi 341000, China）

Fruit detection plays an important role in studying the development of navel orange picking mechanization. However, adverse weather conditions will have an adverse impact on the detection and identification of target fruits. Aiming at the problems of blurry images, complex noise, slow detection speed and low accuracy rate of navel orange fruit under foggy and rainy days, this paper uses a single-stage target detection network PP-YOLO to study the identification of Gannan navel orange fruit under bad weather conditions. Feature extraction is achieved by the backbone network ResNet and feature fusion by combining FPN (feature pyramid network), and end-to-end detection is basically realized. The experimental results show that the proposed PP-YOLO detection model can realize the Gannan navel orange detection task under fog and rainy days, the mAP is 89.06% and 91.01%, and the recognition efficiency can reach 75.30 and 75.44fps, respectively, which can be tried to be applied in the development of navel orange picking robot.

machine vision; fruit identification; target detection; PP-YOLO

TP391.41

A

10.3969/j.issn.1674-8085.2022.06.010

1674-8085（2022）06-0064-07

2022-02-13；

2022-03-06

國(guó)家自然科學(xué)基金項(xiàng)目(42061027)

章倩麗(1997-)，女，江西撫州人，碩士生，主要從事智能信息處理方面的研究(E-mail:zhangqianli@gnnu.edu.cn)；

*李秋生(1976-)，男，江西南康人，教授，博士，碩士生導(dǎo)師，主要從事智能信息處理、目標(biāo)識(shí)別與跟蹤等方面的研究(E-mail: liqiusheng@gnnu.edu.cn).