基于改進(jìn)YOLOv5s的草莓成熟度實(shí)時(shí)檢測(cè)算法

關(guān)鍵詞：深度學(xué)習(xí)；草莓成熟度檢測(cè)；YOLOv5s；SE注意力機(jī)制；SimOTA

中圖分類號(hào)：S668.4：S126 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：1001-4942（2024）11-0156-08

草莓屬薔薇科多年生草本植物，是一種經(jīng)濟(jì)價(jià)值和營養(yǎng)價(jià)值較高的漿果，被譽(yù)為“水果皇后”。近年來，我國草莓產(chǎn)業(yè)發(fā)展迅速，種植面積和產(chǎn)量均居世界第一位。由于草莓果實(shí)一般較小且密集，常有果實(shí)之間遮擋和枝葉遮擋，傳統(tǒng)人工對(duì)其進(jìn)行生長(zhǎng)期觀察或采摘都費(fèi)時(shí)費(fèi)力。智能圖像識(shí)別與目標(biāo)檢測(cè)具有識(shí)別精度高、檢測(cè)速度快等優(yōu)點(diǎn)，將圖像識(shí)別系統(tǒng)與機(jī)器人結(jié)合起來應(yīng)用于農(nóng)業(yè)生產(chǎn)中，將極大地提高工作效率與作業(yè)質(zhì)量。快速穩(wěn)定的目標(biāo)識(shí)別系統(tǒng)能夠使采摘機(jī)器人進(jìn)行長(zhǎng)時(shí)間有效的工作，大大提高采摘效率。草莓的自動(dòng)識(shí)別是機(jī)器人采摘的前提，目前針對(duì)草莓圖像識(shí)別已經(jīng)取得了一定的進(jìn)展。

傅奕萱改進(jìn)Faster R-CNN模型，加入特征金字塔和軟化后的非極大值抑制等結(jié)構(gòu)，使改進(jìn)后模型對(duì)田間草莓成熟度識(shí)別的平均精度較Fas-ter R-CNN模型和YOLOv4模型分別提高了7.39%和14.49%；但使用的二階段算法檢測(cè)速度較慢，達(dá)不到實(shí)時(shí)檢測(cè)的要求。張繼成等為解決自然狀態(tài)下成熟草莓存在的背景干擾、信息丟失等問題，提出一種基于深度殘差學(xué)習(xí)的草莓識(shí)別方法，訓(xùn)練集和測(cè)試集平均精度均值（mAP）分別為89.78%和83.17%，對(duì)比ResNet網(wǎng)絡(luò)，分別提高3.85%和3.60%；但總體數(shù)值較小，錯(cuò)檢、漏檢較多，仍有很大的進(jìn)步空間。Fan等采用YOLOv5算法并進(jìn)行改進(jìn)，改善了夜間低亮度對(duì)采集圖像顏色影響的問題，提高了夜間草莓識(shí)別的準(zhǔn)確性：雖然使用一階段算法提高了檢測(cè)速度，但是并沒有針對(duì)不同時(shí)間段的光線進(jìn)行實(shí)驗(yàn)研究，不具備廣泛的適用性。陳仁凡等為解決溫室環(huán)境下草莓果實(shí)快速準(zhǔn)確識(shí)別問題，提出一種基于改進(jìn)YOLOv5s的草莓成熟度檢測(cè)方法，改進(jìn)后的模型大小和速度都有顯著的提升；但改進(jìn)后的檢測(cè)模型mAP為97.4%，相比原始網(wǎng)絡(luò)僅提高0.4個(gè)百分點(diǎn)，在平均精度方面提升效果并不明顯。

本研究基于YOLOv5s提出一種模型體積更小、精度更高、速度更快的算法，便于部署在小型草莓采摘機(jī)中，進(jìn)行成熟草莓實(shí)時(shí)高精度檢測(cè)，為機(jī)器視覺在農(nóng)業(yè)領(lǐng)域的應(yīng)用提供技術(shù)支撐。

1材料與方法

1.1數(shù)據(jù)集構(gòu)建

圖像采集于山東省青島市城陽區(qū)某草莓種植園，草莓品種為章姬，成熟果實(shí)為鮮艷的紅色，未成熟果實(shí)為綠色或帶有粉色。為滿足樣品環(huán)境的多樣性，使用佳能eos600D單反相機(jī)，分別采集晴天上午、中午、傍晚以及密集（遮擋和重疊）和稀疏環(huán)境下的草莓圖像，圖像分辨率為3600×3600像素。各種環(huán)境圖像示例見圖1。

對(duì)曝光、模糊等低質(zhì)量的圖片進(jìn)行刪減，最終共得到1464幅圖像，將其按照8：1：1的比例隨機(jī)分成訓(xùn)練集、測(cè)試集、驗(yàn)證集。由于同一莖上同時(shí)生長(zhǎng)著形狀、大小相似的成熟草莓和未成熟草莓，為降低采摘機(jī)器人誤采摘的概率，需將兩者區(qū)分開來。為此，本研究采用Labellmg對(duì)采集到的草莓圖像進(jìn)行人工手動(dòng)標(biāo)注，從而將識(shí)別數(shù)據(jù)分為成熟草莓和未成熟草莓2類，得到包含圖片基本信息的xml文件；為了適合YOLO算法訓(xùn)練，將文件統(tǒng)一轉(zhuǎn)化為txt格式。

1.2模型構(gòu)建方法與框架

1.2.1YOLOv5s-SCS模型結(jié)構(gòu) YOLOv5是YO-LO系列第五代版本，是在YOLOv4的基礎(chǔ)上改進(jìn)而來，具有代表性的單階段算法，其優(yōu)點(diǎn)為模型小、速度快。YOLOv5系列根據(jù)不同的網(wǎng)絡(luò)深度和寬度可以分為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv51和YOLOv5x五個(gè)版本，它們之間的主要區(qū)別是特定網(wǎng)絡(luò)位置的特征提取模塊和卷積核的數(shù)量不同，這些版本的結(jié)構(gòu)都分為三部分：骨干網(wǎng)絡(luò)（Backbone）、頸部結(jié)構(gòu)（Neck）、頭部結(jié)構(gòu)（Head）。網(wǎng)絡(luò)結(jié)構(gòu)為全卷積網(wǎng)絡(luò)，即網(wǎng)絡(luò)結(jié)構(gòu)全由卷積、批歸一化層等構(gòu)成，不包含全連接層。由于在移動(dòng)終端部署時(shí)對(duì)實(shí)時(shí)性和輕量化性能要求較高，本研究綜合考慮識(shí)別模型的準(zhǔn)確性、效率和權(quán)重大小后，基于YOLOv5s模型進(jìn)行改進(jìn)設(shè)計(jì)，引入了SimOTA標(biāo)簽匹配策略，在骨干網(wǎng)絡(luò)的首個(gè)C3模塊中添加SE（Squeeze-and-Excita-tion）注意力機(jī)制，并將頸部中的部分C3模塊替換成C2f模塊，從而構(gòu)建了草莓成熟度檢測(cè)網(wǎng)絡(luò)YOLOv5s-SCS，其結(jié)構(gòu)見圖2。

1.2.2引入SimOTA標(biāo)簽匹配策略 SimO-TA標(biāo)簽匹配策略借鑒了OTA（OptimalTransport Assignment，最優(yōu)傳輸分配）理論。OTA方法將最佳標(biāo)簽分配問題轉(zhuǎn)化為最優(yōu)傳輸問題，即尋找最小傳輸成本（cost）。cost由分類損失和回歸損失兩部分組成，網(wǎng)絡(luò)預(yù)測(cè)的類別越準(zhǔn)確、預(yù)測(cè)的目標(biāo)邊界框越準(zhǔn)確，cost就越小。Sim-OTA即通過計(jì)算標(biāo)注框與所有預(yù)測(cè)框之間的cost，尋求一個(gè)最好的學(xué)習(xí)效果。相比OTA，Sim-OTA在保留其全局最優(yōu)思想的基礎(chǔ)上，使用設(shè)定的規(guī)則替代OTA中的Sinkhorn-Knopp算法，簡(jiǎn)化了算法步驟，縮短了運(yùn)算時(shí)間，從而提升了模型的計(jì)算效率。

SimOTA標(biāo)簽匹配策略具體流程：①計(jì)算每個(gè)真實(shí)框與當(dāng)前特征點(diǎn)預(yù)測(cè)框的重合程度：②獲取重合度最高的10個(gè)預(yù)測(cè)框與真實(shí)框的IoU（Intersection over Union，交并比）之和，得到每個(gè)真實(shí)框的正樣本數(shù)k；③計(jì)算每個(gè)真實(shí)框和當(dāng)前特征點(diǎn)預(yù)測(cè)框的種類準(zhǔn)確度：④判斷真實(shí)框的中心是否落在特征點(diǎn)的一定半徑內(nèi)：⑤計(jì)算cost代價(jià)矩陣：⑥將cost最低的k個(gè)點(diǎn)作為該真實(shí)框的正樣本。

1.2.3用C2f模塊替換頸部部分C3模塊 C2f模塊是在C3模塊的基礎(chǔ)上進(jìn)行改進(jìn)的，結(jié)合了C3模塊以及ELAN模塊的思想設(shè)計(jì)，首先經(jīng)過一個(gè)卷積操作后分為兩部分，一部分經(jīng)過Bottle-neck block（含有n個(gè)Bottleneck），另一部分不經(jīng)過卷積層直接輸出，如此可以降低存儲(chǔ)開銷和計(jì)算復(fù)雜度，使得C2f模塊在輕量化的同時(shí)又保證了豐富的梯度流信息。C2f模塊的結(jié)構(gòu)如圖3所示。

1.2.4在主干網(wǎng)絡(luò)首個(gè)C3模塊中添加SE注意力機(jī)制 SE注意力機(jī)制全稱Squeeze-and-Ex-citation block，其中Squeeze（壓縮）部分實(shí)現(xiàn)全局信息嵌入，Excitation（激發(fā)）部分實(shí)現(xiàn)自適應(yīng)權(quán)重矯正。它是一種通道注意力模塊，能夠解決在卷積池化過程中feature map的不同通道所占的重要性不同帶來的損失問題，常常被應(yīng)用于視覺模型中對(duì)輸入特征圖進(jìn)行通道特征加強(qiáng)，即插即用，而且輸出不改變輸入特征圖的大小。SE模塊首先對(duì)卷積得到的特征圖進(jìn)行Squeeze操作，得到各個(gè)通道的全局特征，也就是對(duì)每個(gè)特征圖做全局池化，平均成一個(gè)實(shí)數(shù)值，該操作能夠使靠近數(shù)據(jù)輸入的特征也能獲得全局感受野：緊接著就是Excitation操作，由于經(jīng)過Squeeze操作后網(wǎng)絡(luò)輸出了lxlxC大小的特征圖，本研究利用權(quán)重w來學(xué)習(xí)C個(gè)通道的直接相關(guān)性，Excitation操作過程先對(duì)C個(gè)通道降維再擴(kuò)展回C個(gè)通道，一方面降低了網(wǎng)絡(luò)計(jì)算量，另一方面增強(qiáng)了網(wǎng)絡(luò)的非線性能力：最后將Excitation的輸出看作是經(jīng)過特征選擇后的每個(gè)通道的重要性，通過乘法加權(quán)的方式乘到先前的特征上得到最終特征，從而實(shí)現(xiàn)提升重要特征、抑制不重要特征的功能，使得模型能夠?qū)W習(xí)到檢測(cè)目標(biāo)在不同通道上的特征權(quán)重。SE注意力機(jī)制模塊結(jié)構(gòu)如圖4所示。本研究在YOLOv5s-SCS模型骨干網(wǎng)絡(luò)的首個(gè)C3模塊中添加SE注意力機(jī)制，改進(jìn)后的C3SE結(jié)構(gòu)如圖5所示。

1.3實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，編譯器環(huán)境是Python 3.9.16，深度學(xué)習(xí)框架為PyTorch1.12.0，CUDA11.3，更多配置如表1所示。所有模型在NVIDIA GeForce RTX1060上調(diào)用GPU進(jìn)行訓(xùn)練：為了更好得出檢測(cè)速度，所有模型在性能較好的算力云RTX A5000服務(wù)器上進(jìn)行檢測(cè)。

1.4模型性能評(píng)價(jià)指標(biāo)

采用mAP來評(píng)估模型的準(zhǔn)確率，采用FPS來評(píng)估模型的識(shí)別速度，采用P和R分別表示模型的精確率（Precision）和召回率（Recall）。其中.mAP用于衡量多類別目標(biāo)檢測(cè)的準(zhǔn)確性，是所有類別平均精度（AP）的均值，一般以P-R曲線所圍成的面積的平均值來計(jì)算，值越大說明網(wǎng)絡(luò)識(shí)別物體的準(zhǔn)確度越高；mAP@ 0.5表示IoU閾值為0.5時(shí)所有類別的均值平均精度，mAP@0.5：0.95表示IoU閾值為0.5到0.95時(shí)的均值平均精度。FPS為每秒識(shí)別的圖片幀數(shù)，值越大，說明網(wǎng)絡(luò)處理圖片的速度越快。相關(guān)計(jì)算公式如下：

式中，AP是單個(gè)類別的P-R曲線圍成的面積：c為類別個(gè)數(shù)：TP表示正類數(shù)預(yù)測(cè)為正類數(shù)的個(gè)數(shù)；FP為負(fù)類數(shù)預(yù)測(cè)為正類數(shù)的個(gè)數(shù)；FN為正類數(shù)預(yù)測(cè)為負(fù)類數(shù)的個(gè)數(shù)。

2結(jié)果與分析

2.1消融實(shí)驗(yàn)

為了驗(yàn)證添加SE注意力機(jī)制、替換C2f模塊以及引入SimOTA標(biāo)簽匹配策略對(duì)整體算法的提升效果，本研究選擇YOLOv5s作為基準(zhǔn)模型，通過相同實(shí)驗(yàn)條件下的消融實(shí)驗(yàn)評(píng)估不同模塊與方法相互組合對(duì)目標(biāo)檢測(cè)性能的影響，結(jié)果如表2所示?？梢钥闯觯c原YOLOv5s模型相比，使用SimOTA標(biāo)簽匹配策略后檢測(cè)速度提高83.06%，非極大值抑制處理（NMS）和預(yù)處理的時(shí)間大幅縮減，說明使用SimOTA標(biāo)簽匹配策略可以有效提高模型檢測(cè)的實(shí)時(shí)性問題，而且可以在不改變參數(shù)量的情況下提高模型精度，mAP提高1.0個(gè)百分點(diǎn)；僅替換C2f模塊后，模型參數(shù)量減小164096，mAP提高0.3個(gè)百分點(diǎn)，說明將部分C3模塊替換為C2f模塊模型參數(shù)較小且精度提高：而同時(shí)使用SimOTA標(biāo)簽匹配策略和C2f模塊的模型檢測(cè)速度最快，mAP也進(jìn)一步提高至97.7%。在此基礎(chǔ)上進(jìn)一步增加SE注意力機(jī)制，雖然會(huì)使檢測(cè)速度有所降低（FPS減少1.5），但mAP卻高出很多，達(dá)到98.3%。綜合來看，本研究提出的算法最優(yōu)。

2.2各模型性能對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本研究提出算法的優(yōu)越性，在相同配置條件下使用相同數(shù)據(jù)集，將其與主流一階段目標(biāo)檢測(cè)模型YOLOv3、YOLOv4-tiny以及二階段目標(biāo)檢測(cè)模型Faster R-CNN進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果（表3）顯示，本研究提出算法雖然精確率不及YOLOv3、召回率不及YOLOv4-tiny，但平均精度均值最高，參數(shù)量和浮點(diǎn)運(yùn)算量（FLOPs）最少，體積最小，檢測(cè)速度最快，明顯優(yōu)于其他算法，能夠滿足實(shí)際檢測(cè)的需求。

2.3檢測(cè)時(shí)間對(duì)比

FPS簡(jiǎn)單來理解就是圖像的刷新頻率，也就是每秒多少幀。實(shí)驗(yàn)結(jié)果（表4）顯示，與原模型相比，改進(jìn)后模型的圖像預(yù)處理和NMS時(shí)間大大縮減，目標(biāo)檢測(cè)FPS從49.0增加到89.3，增長(zhǎng)了82.24%，檢測(cè)速度得到明顯提升。

2.4不同注意力機(jī)制實(shí)驗(yàn)對(duì)比

為了討論不同注意力機(jī)制對(duì)成熟草莓識(shí)別模型性能的影響，在YOLOv5s-SC模型（YOLOv5s模型中引入SimOTA標(biāo)簽匹配策略和將頸部部分C3模塊替換為C2f模塊）的基礎(chǔ)上，在骨干網(wǎng)絡(luò)首個(gè)C3模塊中分別融合SE、CBAM（Convolutional Block Attention Module）、ECA（Efficient Channel Attention）以及SK（Selective Kernel Attention）注意力機(jī)制后對(duì)相同數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試。實(shí)驗(yàn)結(jié)果（表5）顯示，融合SE注意力機(jī)制在識(shí)別成熟草莓的平均精度上有明顯優(yōu)勢(shì)，召回率、參數(shù)量、模型體積也較優(yōu)。綜合考慮，采用SE注意力機(jī)制的模型性能整體優(yōu)于其他注意力機(jī)制，再次證明本研究提出算法的優(yōu)越性。

2.5 P-R曲線對(duì)比

由圖6、圖7的P-R曲線可知，原始模型YOLOv5s對(duì)不同成熟度草莓的識(shí)別精度分別為成熟類97.8%、未成熟類95.3%，平均精度為96.5%：而改進(jìn)后的YOLOv5s-SCS模型中成熟類識(shí)別精度、未成熟類識(shí)別精度、平均精度分別為99.2%、97.3%、98.3%，分別提升了1.4、2.0、1.8個(gè)百分點(diǎn)，對(duì)不同成熟度草莓的識(shí)別效果更好。

2.6損失函數(shù)曲線對(duì)比

box_loss（框回歸損失）用于衡量目標(biāo)檢測(cè)模型中預(yù)測(cè)框與真實(shí)框之間的位置差異，當(dāng)box_loss較低時(shí)，表示模型能夠準(zhǔn)確地預(yù)測(cè)目標(biāo)的位置。obj_loss（目標(biāo)置信度損失）用于衡量目標(biāo)檢測(cè)模型對(duì)圖像中是否存在目標(biāo)進(jìn)行判斷的準(zhǔn)確程度，當(dāng)obj_loss較低時(shí)，表示模型能夠正確地識(shí)別出圖像中的目標(biāo)。cls_loss（類別分類損失）用于衡量目標(biāo)檢測(cè)模型對(duì)不同類別進(jìn)行分類的準(zhǔn)確性，當(dāng)cls_loss較低時(shí)，表示模型在區(qū)分不同類別上具有較高的精度。圖8、圖9、圖10分別給出了改進(jìn)后的YOLOv5s-SCS模型及原模型的box_loss、obj_loss、cls_loss，可以看出，本研究提出的改進(jìn)模型在這三方面都有顯著提升。

2.7不同環(huán)境下對(duì)成熟草莓檢測(cè)的效果對(duì)比

如圖11展示了改進(jìn)前后的模型在不同環(huán)境下（早上、中午、傍晚、密集、稀疏）對(duì)成熟草莓的檢測(cè)結(jié)果，其中，上圖為原模型YOLOv5s的檢測(cè)結(jié)果，下圖為改進(jìn)后模型YOLOv5s-SCS的檢測(cè)結(jié)果。由實(shí)際場(chǎng)景檢測(cè)結(jié)果可知，在草莓果實(shí)密集、遮擋等條件下，原模型算法會(huì)出現(xiàn)漏識(shí)別、誤識(shí)別以及一果多框的現(xiàn)象，本研究提出的改進(jìn)后模型在此類條件下的檢測(cè)效果比原模型有明顯提高。

2.8特征圖可視化

將YOLOv5s與YOLOv5s-SCS檢測(cè)出的特征圖以熱力圖的方式進(jìn)行可視化，如圖12，更直觀地比較出兩模型之間的檢測(cè)差別，有力證明了本研究提出的改進(jìn)措施對(duì)模型的優(yōu)化效果良好。

3結(jié)論

本研究提出一種基于注意力機(jī)制的輕量化實(shí)時(shí)檢測(cè)算法YOLOv5s-SCS，通過在YOLOv5s引入SimOTA標(biāo)簽匹配策略、將頸部部分C3模塊替換為輕量化的C2f模塊、在骨干網(wǎng)絡(luò)的首個(gè)C3模塊中加入SE注意力機(jī)制來提高模型對(duì)目標(biāo)的檢測(cè)能力，進(jìn)而增強(qiáng)模型的泛化能力和魯棒性。該算法在自建草莓?dāng)?shù)據(jù)集上的mAP為98.3%，檢測(cè)速度為89.3 FPS，模型體積為13.468 MB，相較于原始YOLOv5s模型，mAP提高了1.8個(gè)百分點(diǎn)，檢測(cè)速度提高了82.24%，模型體積減小了0.3MB，能夠滿足在復(fù)雜場(chǎng)景下對(duì)草莓成熟度檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性要求。下一步將擴(kuò)充數(shù)據(jù)集來增大樣本數(shù)量，進(jìn)一步提高模型的適用性，使之達(dá)到更好的檢測(cè)效果。