基于YOLOv5的水果品質(zhì)檢測(cè)與分類方法研究

羅家梅，王 敏，2

（1.贛南師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院；2.江西省數(shù)值模擬與仿真技術(shù)重點(diǎn)實(shí)驗(yàn)室，江西 贛州 341000）

0 引言

目前，水果產(chǎn)業(yè)已經(jīng)成為我國(guó)繼糧食、蔬菜之后的第三大農(nóng)業(yè)種植產(chǎn)業(yè)，是國(guó)內(nèi)外市場(chǎng)前景廣闊且具有較強(qiáng)國(guó)際競(jìng)爭(zhēng)力的優(yōu)勢(shì)產(chǎn)業(yè)。人工智能技術(shù)支持下的水果品質(zhì)檢測(cè)與分類技術(shù)對(duì)于水果生產(chǎn)、加工、運(yùn)輸和銷售具有重要意義，尤其是在快節(jié)奏的“互聯(lián)網(wǎng)+”環(huán)境下，水果品質(zhì)檢測(cè)與分類方法的性能和速度直接影響水果產(chǎn)業(yè)的經(jīng)濟(jì)效益和市場(chǎng)競(jìng)爭(zhēng)力。最早的水果品質(zhì)檢測(cè)與分類工作依賴人工，容易受到人的情緒、疲勞程度以及身體狀況等因素影響，而且每個(gè)人的分類標(biāo)準(zhǔn)有所差異，從而導(dǎo)致高成本、低效率的弊端。隨后，機(jī)械檢測(cè)分類方法逐漸替代人工檢測(cè)［1］，但該方法會(huì)對(duì)水果造成一定程度的損傷，導(dǎo)致其保質(zhì)期縮短甚至腐爛，直接影響經(jīng)濟(jì)效益。因此，目前學(xué)者們開(kāi)始嘗試使用以機(jī)器視覺(jué)和機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)研究水果品質(zhì)檢測(cè)與分類方法。傳統(tǒng)智能檢測(cè)方法是基于特征設(shè)計(jì)與分類實(shí)現(xiàn)的，特征設(shè)計(jì)主要是提取顏色［2］、形狀［3］和紋理［4］等特征，經(jīng)典分類方法包括支持向量機(jī)［5］、人工神經(jīng)網(wǎng)絡(luò)［6］、最鄰近分類［7］等。然而這些方案都是通過(guò)從大量數(shù)據(jù)中獲取有用特征并建立有效模型來(lái)處理問(wèn)題，受限于算法自身的局限性，在復(fù)雜場(chǎng)景下同時(shí)檢測(cè)水果品質(zhì)和種類的魯棒性差，難以滿足實(shí)時(shí)檢測(cè)要求。

基于深度學(xué)習(xí)的水果檢測(cè)方法分為基于候選區(qū)域的目標(biāo)檢測(cè)方法和基于回歸的目標(biāo)檢測(cè)方法兩類。基于候選區(qū)域的目標(biāo)檢測(cè)方法亦稱為兩階段方法，典型網(wǎng)絡(luò)模型包括Fast R-CNN（Fast Region-based Convolutional Neural Network）、Mask-RCNN（Mask Region-based Convolutional Neural Network）等?；诨貧w的目標(biāo)檢測(cè)方法也被稱為一階段方法，該類方法能在一個(gè)網(wǎng)絡(luò)中同時(shí)進(jìn)行回歸和分類操作，減少了計(jì)算量并提升了檢測(cè)速度，典型網(wǎng)絡(luò)模型包括YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）等。融合深度學(xué)習(xí)技術(shù)的水果品質(zhì)檢測(cè)與分類方法較傳統(tǒng)機(jī)器學(xué)習(xí)方法具有一定優(yōu)勢(shì)，但檢測(cè)性能和速度仍有提升空間。

1 相關(guān)研究

為達(dá)到高效、精確且非接觸的檢測(cè)目的，自20 世紀(jì)70年代起，國(guó)內(nèi)外學(xué)者將機(jī)器視覺(jué)技術(shù)應(yīng)用于水果分類研究中，并取得了一定成果。例如，Zeeshan 等［2］提出使用計(jì)算機(jī)視覺(jué)和支持向量機(jī)對(duì)18 類水果進(jìn)行分類，通過(guò)提取顏色、紋理和形狀特征創(chuàng)建特征空間，然后結(jié)合支持向量分類器進(jìn)行分類，最終分類準(zhǔn)確率達(dá)到了87.06%；Yue 等［3］以煙臺(tái)蘋(píng)果為研究對(duì)象構(gòu)建分類檢測(cè)系統(tǒng)，利用Canny 邊緣算法提取蘋(píng)果的外輪廓，通過(guò)幾何計(jì)算提取大小特征，同時(shí)采用圓形法提取水果形狀特征，分類準(zhǔn)確率達(dá)到92.33%，但該方法存在一定的機(jī)械損失；艾妮［4］以機(jī)器視覺(jué)技術(shù)為基礎(chǔ)構(gòu)建水果自動(dòng)分揀系統(tǒng)，通過(guò)提取中心關(guān)鍵點(diǎn)的方法對(duì)目標(biāo)水果進(jìn)行定位，最終該系統(tǒng)對(duì)于形狀規(guī)則的蘋(píng)果和橘子分類準(zhǔn)確率可達(dá)92%，但對(duì)于形狀不規(guī)則的水果難以取得良好分類效果；Bekkanti 等［5］提出利用Sobel邊緣檢測(cè)和支持向量機(jī)對(duì)患病水果進(jìn)行自動(dòng)檢測(cè)，對(duì)患病水果和非患病水果的分類準(zhǔn)確率達(dá)到92%；Huang 等［6］使用人工神經(jīng)網(wǎng)絡(luò)探索土壤和葉片中礦物質(zhì)養(yǎng)分對(duì)枇杷果實(shí)品質(zhì)的影響，同時(shí)進(jìn)行了敏感性分析以確定果實(shí)質(zhì)量，所建立的人工網(wǎng)絡(luò)預(yù)測(cè)模型通過(guò)優(yōu)化礦物元素含量來(lái)提高枇杷果實(shí)品質(zhì)；饒劍等［7］設(shè)計(jì)了一套由成像系統(tǒng)、照明設(shè)備、傳送裝置和數(shù)據(jù)處理中心等組成的類球形水果外形尺寸在線檢測(cè)系統(tǒng)，將類球形水果的表面缺陷特征參量作為重要檢測(cè)指標(biāo)，并以此進(jìn)行分級(jí)判定，最終平均識(shí)別率達(dá)94.4%。然而，以上方法性能依賴于水果表面特征設(shè)計(jì)和分類方法的選取，存在兩方面問(wèn)題：一是特征提取需要人工設(shè)計(jì)，工作量較大；二是同時(shí)進(jìn)行特征提取和分類的傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)系統(tǒng)性能較高。

近年來(lái)，深度學(xué)習(xí)技術(shù)在水果品質(zhì)檢測(cè)與分級(jí)分類中的應(yīng)用越來(lái)越廣泛。例如，Mai 等［8］將多分類器融合策略合并到Faster R-CNN 網(wǎng)絡(luò)模型中對(duì)兩個(gè)小型水果數(shù)據(jù)集進(jìn)行檢測(cè)，使用相關(guān)系數(shù)衡量分類器的多樣性，并引入一種具有分類器相關(guān)性的損失函數(shù)訓(xùn)練區(qū)域提議網(wǎng)絡(luò)，取得了較好的檢測(cè)效果，但由于該方法需要邊界框注釋，檢測(cè)效率較低；Liu 等［9］采用R-FCN（Region-based Fully Convolutional Networks）方法識(shí)別復(fù)雜背景下的水果目標(biāo)，通過(guò)降低提取候選區(qū)域的時(shí)間提高了檢測(cè)速度，但檢測(cè)精度存在一定提升空間；王紅君等［10］采用改進(jìn)YOLOv3 模型檢測(cè)復(fù)雜環(huán)境中的蘋(píng)果、桃子、香橙、梨，最終平均精度達(dá)到92.27%，檢測(cè)速度為45 幀/s；王卓等［11］提出一種以YOLOv4 為基礎(chǔ)的輕量化蘋(píng)果實(shí)時(shí)檢測(cè)方法YOLOv4-CA，通過(guò)引入深度可分離卷積和坐標(biāo)注意力機(jī)制，在降低網(wǎng)絡(luò)計(jì)算復(fù)雜度的同時(shí)提高了抗背景干擾能力，最終平均檢測(cè)精度為92.23%，在嵌入式平臺(tái)的檢測(cè)速度為改進(jìn)前模型的3倍；涂淑琴等［12］提出基于殘差網(wǎng)絡(luò)［13］和特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［14］的FasterR-CNN 檢測(cè)算法，對(duì)無(wú)遮擋、遮擋、重疊和有背景4 種情況下的百香果進(jìn)行自動(dòng)檢測(cè)，最終得到平均檢測(cè)精確率為87.98%；黃豪杰等［15］針對(duì)自然環(huán)境下目標(biāo)水果檢測(cè)率不高和檢測(cè)模型泛化性不強(qiáng)等問(wèn)題，提出一種基于深度學(xué)習(xí)的SSD 改進(jìn)模型，其以蘋(píng)果、橙子、荔枝作為研究對(duì)象，以自然環(huán)境為研究背景，得到由SSD 改進(jìn)的SSD300 和SSD512 模型平均檢測(cè)精度分別為83.05%、84.24%。然而，以上研究?jī)H針對(duì)類球形水果展開(kāi)，對(duì)非類球形水果品質(zhì)檢測(cè)與分類的研究有待加強(qiáng)。

從以上分析可知，基于傳統(tǒng)深度學(xué)習(xí)技術(shù)的水果檢測(cè)方法仍有提升空間。YOLOv5 具有檢測(cè)精度較高、速度快和易部署等優(yōu)勢(shì)［16］，為此提出基于YOLOv5 目標(biāo)檢測(cè)算法的水果品質(zhì)檢測(cè)與分類方法，以期為為實(shí)際農(nóng)業(yè)場(chǎng)景下的水果品質(zhì)檢測(cè)提供新思路。

2 YOLOv5模型

YOLO 是一種廣泛應(yīng)用于工業(yè)［17-18］、交通［19-21］、醫(yī)療［22］和農(nóng)業(yè)［23-25］等領(lǐng)域的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，其于2016年由Joseph Redmon 等［26］首次提出，隨后相繼提出YOLOv2、YOLOv3［27］、YOLOv4［28］、YOLOv5［12］版本。YOLOv5在YOLOv4 的基礎(chǔ)上進(jìn)行了參數(shù)優(yōu)化調(diào)整，檢測(cè)速度有所提升。例如YOLOv5 在Tesla P100 加速器上可實(shí)現(xiàn)140 幀/s 的快速檢測(cè)，能夠滿足工業(yè)生產(chǎn)線實(shí)時(shí)檢測(cè)要求。按照模型大小不同，YOLOv5 推出了s、m、l和x4 個(gè)不同網(wǎng)絡(luò)深度和寬度的網(wǎng)絡(luò)模型，其中YOLOv5s 網(wǎng)絡(luò)是YOLOv5 系列中深度最小、特征圖寬度最小的模型。為滿足水果表面質(zhì)量檢測(cè)速度要求，本文采用計(jì)算速度最快的YOLOv5s模型。

如圖1所示，YOLOv5s算法網(wǎng)絡(luò)模型主要分為輸入端、骨干端、頸部端、頭部端4 個(gè)模塊。輸入端的主要功能是對(duì)輸入圖像進(jìn)行預(yù)處理，包括Mosaic 數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖像縮放3 個(gè)模塊，其中Mosaic 數(shù)據(jù)增強(qiáng)以4 張圖像為輸入，通過(guò)隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接；自適應(yīng)錨框計(jì)算對(duì)訓(xùn)練輸出中的預(yù)測(cè)框與真實(shí)框進(jìn)行距離計(jì)算，通過(guò)反向迭代達(dá)到更新網(wǎng)絡(luò)參數(shù)的目的；自適應(yīng)圖像縮放則利用等比縮放或黑邊填充方法得到統(tǒng)一圖像，從而提高目標(biāo)檢測(cè)速度。骨干端由 Focus、Conv、BottleneckCSPn、空間金字塔池化（Spatial Pyramid Pooling，SPP）等模塊組成，其是網(wǎng)絡(luò)的主干部分。該模塊采用Focus 結(jié)構(gòu)對(duì)圖片進(jìn)行切片操作，將其切分為4 張互補(bǔ)的圖片，最后進(jìn)行卷積運(yùn)算。BottleneckCSPn 由3個(gè)卷積層和N 個(gè)Bottleneck 模塊Concat 組成，如果帶有False 參數(shù)則未使用Bottleneck 模塊，而是采用Conv+BN+Leaky_Relu+Conv，其中Bottleneck 先是1×1 的卷積層，再是3×3 的卷積層，最后通過(guò)殘差結(jié)構(gòu)與初始輸入相加，主要目的是減少參數(shù)數(shù)量，從而減少計(jì)算量，且在降維之后可以更加有效、直觀地進(jìn)行數(shù)據(jù)訓(xùn)練和特征提取。在特征生成部分則沿用之前的SPP 結(jié)構(gòu)，主要作用是增加特征的多樣性，防止過(guò)擬合現(xiàn)象出現(xiàn)，同時(shí)加快網(wǎng)絡(luò)收斂速度。頸部端網(wǎng)絡(luò)采用路徑聚合網(wǎng)絡(luò)（Path-Aggregation Network，PANet）進(jìn)行特征融合，即在FPN 自頂向下的基礎(chǔ)上添加一個(gè)自底向上的信息流通路徑，有利于提高特征提取能力。頭部端輸出端采用GIOU 函數(shù)作為邊界框的損失函數(shù)，在目標(biāo)檢測(cè)后處理過(guò)程中使用非極大值抑制（Non Maximum Suppression，NMS）對(duì)多目標(biāo)框進(jìn)行篩選，增強(qiáng)了多目標(biāo)和遮擋目標(biāo)的檢測(cè)能力。

Fig.1 Network structure of YOLOv5s圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

3 數(shù)據(jù)集構(gòu)建

通過(guò)現(xiàn)場(chǎng)拍攝和網(wǎng)絡(luò)爬蟲(chóng)方法進(jìn)行圖像采集，為保證分類效果，照片覆蓋4 類不同品質(zhì)、不同形狀和紋理的水果。數(shù)據(jù)集具體構(gòu)建步驟為：

（1）數(shù)據(jù)采集。實(shí)驗(yàn)數(shù)據(jù)集由網(wǎng)絡(luò)數(shù)據(jù)和現(xiàn)場(chǎng)數(shù)據(jù)兩部分組成，其中網(wǎng)絡(luò)數(shù)據(jù)由爬蟲(chóng)工具從互聯(lián)網(wǎng)獲取的蘋(píng)果、橘子、香蕉和梨4 種果實(shí)形狀不同的水果圖像組成；現(xiàn)場(chǎng)數(shù)據(jù)則由相機(jī)或手機(jī)在果園和超市等地點(diǎn)拍攝得到。需要注意的是，現(xiàn)場(chǎng)圖像數(shù)據(jù)是在不同光照條件、角度和背景環(huán)境拍攝得到的，因此最后需從數(shù)據(jù)集中剔除像素不清晰以及果實(shí)存在嚴(yán)重遮擋的圖像。

（2）數(shù)據(jù)標(biāo)注。使用LabelImg 軟件對(duì)圖像數(shù)據(jù)進(jìn)行標(biāo)注，并以PascalVOC 格式保存為XML 文件，文件名與圖像名保持一致。圖2給出了蘋(píng)果的標(biāo)注示例。

Fig.2 Apple annotation example圖2 蘋(píng)果標(biāo)注示例

（3）數(shù)據(jù)分割。通過(guò)上述兩個(gè)步驟得到2 190 張圖像，按照8∶1∶1的比例將其劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

4 實(shí)驗(yàn)方法

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)計(jì)算機(jī)配有i7-7820X CPU、Geforce GTX 1080 Ti顯卡和128 GB 內(nèi)存，操作系統(tǒng)為Windows Server 2019，采用PyTorch 1.10 深度學(xué)習(xí)框架。實(shí)驗(yàn)使用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）［29］優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，修改目標(biāo)種類參數(shù)nc（number of classes）為8，同時(shí)分別命名為apple、damaged_apple、orange、damaged_orange、pear、damaged_pear、banana、damaged_banana。數(shù)據(jù)集配置文件ab.yaml 中設(shè)置好數(shù)據(jù)集路徑，輸入圖像尺寸為900×900，迭代次數(shù)（epochs）為300，批處理大小（batch size）為8，動(dòng)量因子為 0.937，權(quán)重衰減系數(shù)為0.000 5。選用自動(dòng)錨點(diǎn)檢測(cè)，采用Mosaic 數(shù)據(jù)增強(qiáng)策略，初始學(xué)習(xí)率為0.001。

4.2 評(píng)價(jià)指標(biāo)

使用精確率（Precision）和召回率（Recall）作為水果分類評(píng)價(jià)指標(biāo)，表示為：

式中：TP為被判為正類的正類（正確檢測(cè)），F(xiàn)P為被判為正類的負(fù)類（錯(cuò)誤檢測(cè)），F(xiàn)N為被判為負(fù)類的正類。使用IoU 設(shè)為0.5 時(shí)的平均精度均值（mAP_0.5）、同IoU 閾值（從0.5 到0.95，步長(zhǎng)0.05）的平均mAP（mAP_0.5：0.95）、精確率、召回率作為模型評(píng)價(jià)指標(biāo)。平均精度（AP）表示 Precision-Recall 曲線下面積，對(duì)該圖片每一類的平均精度求均值即得mAP，計(jì)算公式為：

式中：N 為該圖片不同類別的總和。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 網(wǎng)絡(luò)模型訓(xùn)練結(jié)果

在以上參數(shù)環(huán)境下進(jìn)行模型訓(xùn)練，對(duì)訓(xùn)練結(jié)果進(jìn)行可視化繪圖，模型精確率、召回率、mAP_0.5、mAP_0.5：0.95如圖3 所示?？梢钥闯?，當(dāng)?shù)螖?shù)小于200 時(shí)，精確率、召回率、mAP_0.5 和mAP_0.5：0.95 均隨迭代次數(shù)的增加快速上升。當(dāng)?shù)螖?shù)大于200 時(shí)，各項(xiàng)性能指標(biāo)逐漸趨向平穩(wěn)，模型精確率和召回率均穩(wěn)定在90%以上，平均精度均值為95.3%，模型在訓(xùn)練階段性能較為理想。

Fig.3 Model training results圖3 模型訓(xùn)練結(jié)果

5.2 性能比較

選 擇YOLOv3、YOLOv3-spp、YOLOv3-tiny 和YOLOv4-tiny 4 種網(wǎng)絡(luò)模型作為比較模型，與本文模型在相同計(jì)算機(jī)環(huán)境下的同一個(gè)數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，結(jié)果如表1 所示?？梢钥闯觯疚奶岢龅腨OLOv5s 方案平均檢測(cè)精度值達(dá)到95.3%，與YOLOv3、YOLOv3-spp、YOLOv3-tiny 和YOLOv4-tiny 相比分別提高了3.7%、0.2%、13.1%和8.73%。YOLOv5s 在damaged_apple、damaged_orange、pear 和damaged_banana 4 個(gè)類別上的表現(xiàn)最優(yōu)；YOLOv3-spp 在apple、orange 和banana 3 個(gè)類別上的表現(xiàn)最優(yōu)，YOLOv3 在damaged_pear 類別上的表現(xiàn)最優(yōu)。這是由于YOLOv3 和YOLOv3-spp 兩個(gè)網(wǎng)絡(luò)模型使用了更大的特征提取模塊，而YOLOv5s是一個(gè)輕量化網(wǎng)絡(luò)模型。

Table 1 Training results comparison of different models表1 不同模型實(shí)驗(yàn)結(jié)果比較（%)

表2 給出了相同計(jì)算環(huán)境下不同模型的訓(xùn)練時(shí)間、推理時(shí)間和大小，可以看出YOLOv5s 模型的訓(xùn)練時(shí)間、推理時(shí)間和網(wǎng)絡(luò)參數(shù)大小均明顯優(yōu)于其他模型。綜上所述，YOLOv5s 模型的平均檢測(cè)精度和檢測(cè)速度均有較大優(yōu)勢(shì)，滿足實(shí)時(shí)檢測(cè)需求。

Table 2 Comparison of training time，inference time，and size of each model表2 各模型訓(xùn)練時(shí)間、推理時(shí)間和大小比較

5.3 測(cè)試結(jié)果

分別使用訓(xùn)練好的YOLOv5s 和YOLOv3、YOLOv3-spp、YOLOv3-tiny、YOLOv4-tiny 網(wǎng)絡(luò)模型對(duì)非訓(xùn)練水果圖像進(jìn)行測(cè)試，輸出結(jié)果包括水果種類、好壞、邊界框及相應(yīng)的置信度，部分測(cè)試結(jié)果如圖4 所示?？梢钥闯觯琘OLOv5s模型對(duì)所有水果圖像的檢測(cè)置信度均高于0.9，平均檢測(cè)時(shí)間為10.5 ms。雖然YOLOv3 和YOLOv3-spp 測(cè)試結(jié)果的置信度大多比YOLOv5 高，但其推理時(shí)間分別為29.4 ms 和27.9 ms，是YOLOv5s檢測(cè)時(shí)間的2.5倍以上，難以滿足實(shí)時(shí)檢測(cè)需求。YOLOv3-tiny 和YOLOv4-tiny 是輕量化后的網(wǎng)絡(luò)模型，由于其定位精度較差以及容易出現(xiàn)漏檢、誤檢情況，檢測(cè)置信度較低，其中YOLOv3-tiny 對(duì)banana 和damaged_banana 檢測(cè)的置信度均低于0.5。

6 結(jié)語(yǔ)

本文針對(duì)傳統(tǒng)深度學(xué)習(xí)技術(shù)對(duì)水果種類與品質(zhì)檢測(cè)精確度和速度有待提高的問(wèn)題，提出基于輕量級(jí)模型YOLOv5s 的目標(biāo)檢測(cè)算法，同時(shí)自行構(gòu)建了4 種不同類型水果的數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，YOLOv5s 在檢測(cè)性能、訓(xùn)練時(shí)間、推理時(shí)間和網(wǎng)絡(luò)參數(shù)大小等方面均優(yōu)于傳統(tǒng)檢測(cè)方法，可以對(duì)不同品種的水果進(jìn)行準(zhǔn)確識(shí)別與定位，且具有占用內(nèi)存小、推理時(shí)間短的特點(diǎn)，有望將其部署到智能終端，從而實(shí)現(xiàn)水果的實(shí)時(shí)在線檢測(cè)。未來(lái)將繼續(xù)完善不同類型水果的檢測(cè)數(shù)據(jù)集，并優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)以進(jìn)一步提高水果分類準(zhǔn)確率及品質(zhì)檢測(cè)精度。