胡和平,吳明暉,洪孔林,張海峰
(上海工程技術(shù)大學 機械與汽車工程學院,上海 201620)
【研究意義】中國茶園面積和茶葉產(chǎn)量都居世界第一,茶葉在中國乃至世界都是很受歡迎的飲品[1]。茶葉采摘是生產(chǎn)過程的重要環(huán)節(jié),對茶葉品質(zhì)影響較大。目前采摘茶葉嫩芽主要依靠人工和機械化采摘。人工采摘茶葉嫩芽成本高,且效率較低;機械化采摘效率有一定提高,但無法精準區(qū)分茶葉的老葉和嫩芽且無法保證茶葉嫩芽的完整性。隨著社會的發(fā)展,人們對茶葉的品質(zhì)有不同需求。為了解決上述問題,需要研究更加智能化的機器設(shè)備對茶葉嫩芽進行精準的實時品質(zhì)分級識別,以完成對不同品質(zhì)茶葉嫩芽的采摘,因此對茶葉嫩芽品質(zhì)分級識別方法的研究具有重要意義?!厩叭搜芯窟M展】目前完成茶葉嫩芽識別主要是采用圖像分割方法提取茶葉嫩芽的顏色或者形狀特征,分割出茶葉嫩芽圖像。如劉自強等[2]使用HSI 顏色空間模型提取茶葉嫩芽顏色特征,對轉(zhuǎn)換顏色空間的茶葉圖像二值化后,提取茶葉嫩芽形狀特征;邵佩迪等[3]對茶葉圖像進行濾波去噪等預(yù)處理后,將茶葉圖像顏色通道互換對調(diào),增加茶葉嫩芽對比度,提取顏色特征,分割識別出茶葉嫩芽;吳雪梅等[4]使用Ostu法K-means聚類法對茶葉嫩芽進行識別實驗,結(jié)果表明基于Lab 顏色模型的K-means 聚類法識別效果較好。近年來,隨著計算機視覺和圖像處理技術(shù)的發(fā)展,使用深度學習網(wǎng)絡(luò)算法進行目標檢測的研究逐漸增多。許高建等[5]選用三種基礎(chǔ)網(wǎng)絡(luò)不同的Faster R-CNN 算法和SSD 算法分別對茶葉嫩芽圖像數(shù)據(jù)集訓練,結(jié)果表明采用 VGG-16網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)的Faster R-CNN 算法識別準確率較高,但檢測速度較慢。王子鈺等[6]提取茶葉嫩芽顏色特征后使用SSD 目標檢測算法訓練,識別準確率有所提高,但小目標茶葉識別效果較差。孫肖肖等[7]改進了YOLO 算法的特征提取網(wǎng)絡(luò),對茶葉嫩芽的平均識別精度有很大提高。王夢妮等[8]通過改進YOLOv5s 模型的主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò),對茶葉嫩芽進行多場景檢測,置信度分數(shù)較高。張曉勐等[9]使用輕量化網(wǎng)絡(luò)替換YOLOv4 主干網(wǎng)絡(luò),更換輕量化激活函數(shù),改進后的模型各項性能指標表均優(yōu)于對照模型。毛騰躍等[10]等使用ResNet-50特征網(wǎng)絡(luò)改進CenterNet模型,改進后模型的識別效果比同類無預(yù)處理識別方法要好?!颈狙芯壳腥朦c】綜上,基于顏色和形狀特征的傳統(tǒng)圖像分割算法研究較多,應(yīng)用簡單,但存在識別速度慢、難以實時識別、環(huán)境適應(yīng)性差等缺點;二階段的R-CNN 系列[11-12]目標檢測算法檢測精度雖高,但檢測速度慢,遠不能滿足對茶葉嫩芽的實時識別檢測需求;一階段的YOLO[13]系列和SSD[14]目標檢測算法適合多尺度目標檢測,且兼具速度快、精度高等優(yōu)點,滿足茶葉嫩芽的實時檢測需求?!緮M解決的關(guān)鍵問題】針對茶園復(fù)雜環(huán)境下茶葉嫩芽識別準確率低、速度慢和魯棒性差等目前茶葉嫩芽識別檢測存在的問題,對YOLOv5s算法的網(wǎng)絡(luò)結(jié)構(gòu)改進,提高各等級茶葉嫩芽識別準確率,減少漏檢和誤檢,為不同品質(zhì)茶葉嫩芽的精準實時識別和茶葉嫩芽的自動化采摘提供技術(shù)支持。
1.1.1 數(shù)據(jù)采集 選擇在上海市金山區(qū)滬楓茶葉種植基地進行茶葉嫩芽的圖像采集,茶葉品種主要為大紅袍和龍井;圖像采集設(shè)備為小米10S 和英特爾RealSense D435 雙目深度相機,相機分辨率為5 792×4 344 和1 920×1 080 像素;圖像采集于2023 年4 月中旬和5 月上旬進行,拍攝時間為08:00 至18:00;拍攝角度與豎直向上方向夾角為0~90°夾角,拍攝距離為10~50 cm,共拍攝茶葉圖像600余張,以此構(gòu)建實驗所用數(shù)據(jù)集。為增加實驗的可信度,拍攝時選擇從多種不同的角度、距離、目標區(qū)域進行茶葉圖像拍攝,如下圖1所示。拍攝完成后,為減少處理設(shè)備內(nèi)存和顯存的消耗,加快圖像的處理速度,對茶葉圖像進行預(yù)處理。
圖1 不同角度和距離拍攝茶葉嫩芽Fig.1 Tea shoots from different angles and distances
1.1.2 數(shù)據(jù)增強 由于茶葉嫩芽圖像的采集具有時間限制,且基于深度學習的目標檢測算法的參數(shù)和非線性操作過多,訓練數(shù)據(jù)樣本較少,易出現(xiàn)過擬合現(xiàn)象,導致訓練效果不佳。因此需要對拍攝的茶葉圖像進行數(shù)據(jù)增強處理,滿足深度學習訓練算法模型對大量圖像數(shù)據(jù)的需求,提高目標檢測算法訓練模型的魯棒性。數(shù)據(jù)增強主要包括鏡像、旋轉(zhuǎn)、添加噪聲等操作,如下圖2所示。
圖2 茶葉嫩芽數(shù)據(jù)增強Fig.2 Enhancement of tea bud data
對拍攝的茶葉圖像數(shù)據(jù)集進行初步人為挑選后,得到500 張樣本數(shù)據(jù),對樣本數(shù)據(jù)進行數(shù)據(jù)增強處理后,茶葉圖像數(shù)據(jù)集增加到4 000張。完成茶葉圖像數(shù)據(jù)集擴增后,將其劃分為訓練集、驗證集和測試集,3種數(shù)據(jù)集分配比例為8∶1∶1,分配數(shù)目分別為3 200、400、400。
1.1.3 數(shù)據(jù)標注 茶葉的等級劃分標準比較多樣,由茶葉的外部形狀和色澤質(zhì)量,可將茶葉分為多個不同的等級;由茶葉嫩芽和葉片的數(shù)目,可分為一芽一葉、一芽兩葉、一芽三葉。結(jié)合大部分茶葉生產(chǎn)商的劃分標準,本研究對茶葉品質(zhì)分級的劃分為:單芽(特級)、一芽一葉(一級)、一芽兩葉(二級)和一芽三葉(三級)[15],茶葉嫩芽的品質(zhì)分級標準如下圖3所示。
圖3 茶葉嫩芽分級示意圖Fig.3 Schematic diagram of tea quality classification
茶葉嫩芽的分級標準確定后,需要對茶葉嫩芽圖像進行手動標注,標注軟件為LabelImg。確定標注文件的格式和對應(yīng)保存路徑后,由茶葉嫩芽的品質(zhì)分級標準,使用矩形框?qū)D像中的茶葉嫩芽標注不同等級。茶葉嫩芽的目標標注主要分為4類,如下表1所示,標注文件以 TXT文件的形式保存。
表1 各個等級茶葉嫩芽標注名稱Tab.1 Labels of tea buds of different grades
YOLO(You Only Look Once)屬于一階段目標檢測算法,核心思想是將目標檢測轉(zhuǎn)換為回歸問題,通過主干網(wǎng)絡(luò)提取特征后,進行類別和位置預(yù)測,從而完成目標識別檢測。與二階段目標檢測算法相比,一階段的YOLO 算法在識別精度無明顯下降的情況下,模型的運行速度有較大提高,且能夠進行實時目標識別。
YOLO系列的YOLOv5算法是基于YOLOv4的改進算法,可同時識別檢測多類別不同大小的目標,其中的YOLOv5s 網(wǎng)絡(luò)模型較小,檢測速度較快,因此本文選擇將YOLOv5s 網(wǎng)絡(luò)作為基礎(chǔ)研究模型。YOLOv5s網(wǎng)絡(luò)的組成結(jié)構(gòu)為輸入端、主干網(wǎng)絡(luò)、中間層、輸出端4部分。輸入端(Input)部分對輸入圖片進行縮放和數(shù)據(jù)增強,并計算最佳錨框值;主干網(wǎng)絡(luò)(Backbone)主要由Conv結(jié)構(gòu)和C3結(jié)構(gòu)組成,提取主要特征;中間層(Neck)采用FPN+PAN 的結(jié)構(gòu),連接 Backbone和 Prediction,用于提取更復(fù)雜的目標特征;輸出端(Prediction)用于預(yù)測目標的類別和位置。YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)圖如下圖4。
圖4 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 YOLOv5s network structure
1.3.1 CBAM 注意力機制 CBAM 注意力機制(convolutional block attention module)是由通道和空間注意力機制組成,其總體結(jié)構(gòu)如下圖5所示。特征圖輸入通道注意力模塊后,進行全局最大和平均池化,獲得兩張不同維度的特征圖。這兩張?zhí)卣鲌D通過兩個全連接層分別下降和擴張通道數(shù),之后進行通道維度堆疊,經(jīng)sigmoid 激活函數(shù)處理后,將歸一化的權(quán)重與輸入特征圖相乘,輸出處理后的特征圖。通道注意力模塊輸出的特征圖進入空間注意力模塊后,對輸入特征圖在通道維度下進行最大和平均池化,輸出的特征圖進行通道維度堆疊后,使用卷積層融合通道信息,卷積后的結(jié)果經(jīng)過sigmoid 函數(shù)對特征圖的空間權(quán)重歸一化,并和輸入特征圖相乘,得到最終處理結(jié)果。
圖5 CBAM注意力機制結(jié)構(gòu)圖Fig.5 Structure of CBAM’s attention mechanism
CBAM 注意力機制是一種即插即用的模塊,可以直接嵌入到網(wǎng)絡(luò)架構(gòu)中,但插入不同的位置,會有不同的檢測效果。為確定CBAM 注意力機制的最優(yōu)嵌入位置,在YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)的每個尺寸的特征檢測層前分別加入CBAM 注意力機制,并使用已有數(shù)據(jù)集進行相關(guān)實驗。實驗結(jié)果如表2 所示,YOLOv5-3 平均檢測精度與召回率提高較多,表明CBAM 注意力機制嵌入到Y(jié)OLOv5 算法的主干網(wǎng)絡(luò)(Backbone)后部,算法的識別檢測效果較好。
表2 CBAM 嵌入YOLOv5不同位置對比實驗Tab.2 Comparison experiment of different positions of CBAM embedded in YOLOv5
1.3.2 微小目標檢測層 目前的目標檢測算法存在下采樣率和感受野過大、語義與空間矛盾、缺乏特征融合等缺點,對于小目標物體的檢測效果較差。YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)進行目標檢測時,其三個不同尺度的特征檢測層,能夠?qū)Χ喑叨饶繕诉M行檢測,但對微小物體的目標檢測可能存在漏檢或檢測效果不佳等問題,因此需要添加一個微小物體的特征檢測層,來提高小目標物體的識別檢測效果。
為使微小目標有較好的識別檢測效果,本研究在YOLOv5s 多特征融合結(jié)構(gòu)增加微小目標特征檢測層。微小目標特征檢測層在主干網(wǎng)絡(luò)中進行了兩次采樣操作,提取淺層特征,在頸部網(wǎng)絡(luò)中兩個P2 層特征與主干網(wǎng)絡(luò)中的同尺度特征通過Concat形式融合特征,最后輸出三方面的融合特征,分辨率為160×160像素。添加的微小目標特征檢測層的結(jié)構(gòu)圖如下圖6所示。
圖6 微小目標特征檢測層結(jié)構(gòu)圖Fig.6 Structure of micro target feature detection layer
1.3.3 改進YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu) 對于茶葉嫩芽的分等級識別目標,不但要考慮茶葉嫩芽的語義特征,還需考慮茶葉嫩芽的空間位置,因此在YOLOv5s 算法主干網(wǎng)絡(luò)最后的位置嵌入CBAM 注意力機制,加強YOLOv5s 算法的主要特征提取能力,自適應(yīng)提取茶葉嫩芽的關(guān)鍵特征,降低非關(guān)鍵特征的干擾,同時可以節(jié)約參數(shù)和計算力。
在實際應(yīng)用場景中,茶葉嫩芽的目標較小,YOLOv5s 網(wǎng)絡(luò)提取的特征圖經(jīng)過多次卷積后,容易丟失小目標茶葉的特征信息,尤其是單芽茶葉,識別效果較差。針對上述缺點,本研究在YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)中增加微小目標特征檢測層,將淺層與深層特征圖拼接融合后進行檢測,以提高小目標茶葉的識別準確率,減少漏檢和誤檢情況。
在YOLOv5s算法主干網(wǎng)絡(luò)后嵌入CBAM 注意力機制的同時,增加微小目標特征檢測層,對YOLOv5s算法進行改進,改進的YOLOv5s算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。
圖7 改進后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Network structure of the improved YOLOV5s
損失函數(shù)表示模型預(yù)測值和真實值的偏離程度。對已經(jīng)完成標注的數(shù)據(jù)集進行大量輪數(shù)的訓練后,損失函數(shù)逐漸變小,最終穩(wěn)定下來,此時的損失函數(shù)最小,可得到主干網(wǎng)絡(luò)各項參數(shù)。在對數(shù)據(jù)集進行訓練后,需要計算訓練模型的損失值,損失值越小,模型的預(yù)測值和真實值越接近,模型的性能越穩(wěn)定準確。
YOLOv5s共有三種損失函數(shù):分類損失(Lcls),定位損失(Lbox),置信度損失(Lobj)。分類損失是計算標注框與其分類是否一致;定位損失是預(yù)測框與手動標注框之間的誤差;置信度損失是計算網(wǎng)絡(luò)的置信度。三種損失函數(shù)的加權(quán)和即是總損失函數(shù),計算公式如下:
式(1)中,a、b、c 表示相應(yīng)損失函數(shù)在總損失函數(shù)中的權(quán)重占比,其中置信度損失權(quán)重較大,定位損失和分類損失權(quán)重較小,本研究中a、b、c的取值分別為0.4、0.3、0.3。定位損失采用CIOU_Loss函數(shù)計算,分類損失和置信度損失使用二元交叉熵函數(shù)(BCEWith LogitsLoss)計算。
本研究各個算法網(wǎng)絡(luò)進行模型訓練和測試的計算機處理器型號為Intel(R)Core(TM)i5-8300H,GPU型號為NVIDIA GeForce GTX1050Ti,運行內(nèi)存為8 GB;軟件運行系統(tǒng)為windows 10,深度學習框架為Pytorch1.7.1,開發(fā)環(huán)境為Python3.8.3,運算架構(gòu)為Cuda11.0。
在進行基于深度學習的茶葉嫩芽識別模型的訓練過程中,對于訓練模型的優(yōu)劣,常用評價指標有精確率(precision)、平均精確率(average precision)、召回率(recall)、平均精確率均值(mean average precision)等。經(jīng)分析,本文引入P、R、AP和MAP為茶葉嫩芽目標識別算法的評價指標。
式(2)和式(3)中:TP表示正樣本正確框選為正樣本的數(shù)量;FP為負樣本錯誤的框選為正樣本的數(shù)量;FN為正樣本錯誤的框選為負樣本的數(shù)量。公式(4)中AP是P-R曲線與坐標軸圍成區(qū)域的面積,P表示預(yù)測正確率,R表示實際正確率。公式(5)中APi為第i類的平均準確率,N為類別數(shù)量。MAP表示所有類別茶葉嫩芽的識別精確度均值。
本研究實驗均在相同計算機軟硬件條件下進行訓練、驗證和測試,安裝好相關(guān)環(huán)境配置后,使用YOLOv5s 模型進行預(yù)訓練,便于加速后續(xù)網(wǎng)絡(luò)訓練。進行預(yù)訓練后,使用改進的YOLOv5s 算法在GPU上對已經(jīng)構(gòu)建好的茶葉圖像數(shù)據(jù)集進行訓練,設(shè)置訓練輪數(shù)epoch 為500,單次輸入圖片數(shù)目batch_size為4,初始的學習率為0.001,輸入圖片分辨率為640×640。
訓練結(jié)束后,對改進的YOLOv5s 算法下訓練的模型可視化,可得到改進的YOLOv5s 算法在訓練集和驗證集下的損失值數(shù)據(jù)以及其他各項指標在驗證集下的訓練數(shù)據(jù),訓練結(jié)果如下圖8和圖9所示。隨著訓練輪數(shù)的增加,模型損失值逐漸減小,到450次左右時,損失曲線趨于收斂穩(wěn)定。由模型訓練數(shù)據(jù)和上文的損失值公式(1)可得改進的YOLOv5s 算法的訓練集的總損失值為0.018 6,驗證集的總損失值0.016??倱p失值接近于0,證明訓練的模型較穩(wěn)定,可用于茶葉嫩芽的分等級識別,此時的訓練權(quán)重best.pt可以作為茶葉嫩芽識別模型的權(quán)重。
圖8 改進YOLOv5s算法損失曲線Fig.8 Improved YOLOv5s algorithm loss curve
圖9 改進的YOLOv5s算法各項性能指標Fig.9 The performance indicators of the improved YOLOv5s algorithm
為驗證改進的YOLOv5s 算法對提高茶葉嫩芽識別效果的有效性,通過消融實驗評估各個改進模塊對茶葉嫩芽識別效果的影響。在相同計算機軟硬件條件下,對相同的茶葉圖像數(shù)據(jù)集,使用原YOLOv5s、YOLOv5s+CBAM、YOLOv5s+Microdetect、Improved YOLOv5s 4 種網(wǎng)絡(luò)進行模型的訓練和測試,實驗結(jié)果如表3 所示。其中YOLOv5s-CBAM 表示YOLOv5s 主干網(wǎng)絡(luò)后嵌入CBAM 注意力機制,YOLOv5s+Microdetect 表示YOLOv5s 算法增加微小目標檢測層,Improved YOLOv5s 表示YOLOv5s 算法主干網(wǎng)絡(luò)后嵌入CBAM 注意力機制的同時,增加微小目標特征檢測層,是本研究提出的改進的YOLOv5s 算法。
表3 不同策略消融實驗對比Tab.3 Comparison of ablation experiments with different strategies
由表3 可知,在YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)中單獨增加CBAM 注意力機制或者微小目標特征檢測層時,模型的檢測平均正確率、召回率、平均檢測時間以及模型大小均有小幅度提高;Improved YOLOv5s 算法中同時添加這兩個改進模塊,相對于前兩種算法,改進算法訓練的模型的檢測平均正確率、召回率提高較多;改進算法中引進了兩個新的模塊,提高了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度和計算量,使得改進模型的檢測速度和大小均有所提高,但對茶葉嫩芽的分級識別影響較小,仍然滿足實時識別要求。消融實驗證明,改進的 YOLOv5s 算法在主干網(wǎng)絡(luò)后嵌入CBAM 注意力機制的同時,增加微小目標特征檢測層,可以有效提高茶葉嫩芽識別效果。
為體現(xiàn)提出的改進的YOLOv5s 算法對提高茶葉嫩芽識別效果的優(yōu)越性,使用Faster-RCNN、SSD、YOLOv3、YOLOv4、YOLOv5s 以及改進后的YOLOv5s 目標檢測算法進行對比實驗。6 種目標檢測算法對已經(jīng)制作的茶葉嫩葉圖像數(shù)據(jù)集對進行訓練,得到最優(yōu)模型之后,在測試集上進行測試,各個目標檢測算法對各個等級茶葉嫩芽的識別平均精確度(AP)如圖10所示,各個目標檢測算法對茶葉嫩芽識別的各項性能指標如表4所示。
表4 不同檢測算法實驗結(jié)果對比Tab.4 Comparison of experimental results of different detection algorithms
圖10 6種算法對各等級茶葉嫩芽的識別平均精確度Fig.10 Average accuracy of the six algorithms in identifying tea buds of each grade
由上圖10可知,對比實驗使用的Faster-RCNN、SSD、YOLOv3和YOLOv4這4種主流目標檢測算法對各個等級茶葉嫩芽識別的平均精確度均低于YOLOv5s算法和改進的YOLOv5s算法,其中對目標較小的特級和一級茶葉嫩芽識別平均精確度較低,F(xiàn)aster-RCNN 和SSD 算法對特級茶葉嫩芽識別AP 為63.3%和51.02%;對目標較大的二級和三級茶葉嫩芽識別平均精確度稍高。由圖10可知,改進的YOLOv5目標檢測算法對各個等級茶葉嫩芽識別的平均準確率較高,其中單芽(特級)的識別AP為93.6%,一芽一葉茶葉的識別AP為93.1%,一芽二葉茶葉的AP為93.6%,一芽三葉茶葉的識別AP為96.8%。改進的YOLOv5算法與原YOLOv5s 算法相比,特級、一級、二級、三級茶葉的識別AP 分別提高了1.4%、1.5%、1%、0.5%。因此,改進后的YOLOv5s算法對各等級茶葉嫩芽的識別精確度要優(yōu)于原YOLOv5s算法和其余幾種主流算法,尤其是對單芽和一芽一葉的識別AP提高較多。
由上表4 可知,F(xiàn)aster-RCNN、SSD、YOLOv3 和YOLOv4 這4 種主流目標檢測算法對所有等級茶葉嫩芽的識別平均精度(MAP)和召回率(R)低于改進后的YOLOv5s 算法與原YOLOv5s 算法較多,且檢測速度相對較慢,識別模型較大,不適合移動設(shè)備使用,不滿足對茶葉嫩芽高精度分等級實時識別的要求。改進后的YOLOv5s 算法與原YOLOv5s 算法相比,對茶葉嫩芽的識別MAP 提高了1 個百分點,召回率提高了1.9個百分點,因?qū)OLOv5s網(wǎng)絡(luò)的改進,提高了算法網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度和計算量,導致了算法檢測速度和識別模型均有微小提高,但對茶葉嫩芽的分等級識別影響較小,滿足對茶葉嫩芽高精度分等級實時識別的要求。
綜上,改進的YOLOv5s算法對各個等級的茶葉嫩芽識別的平均精確率較高,尤其對尺寸較小的單芽和一芽一葉茶葉的識別AP 提高較多,平均檢測時間較短,網(wǎng)絡(luò)模型相對較小,適合在移動設(shè)備上使用。因此,改進的YOLOv5s算法綜合檢測性能較佳,能夠滿足對茶葉嫩芽進行高精度分等級實時識別檢測的要求。
為驗證改進算法的實際識別檢測效果的提高,使用SSD、YOLOv5s 和改進的YOLOv5s 算法,從測試集中隨機抽取0°角、45°角、近距離、遠距離拍攝的茶葉嫩芽圖像進行識別檢測,識別結(jié)果如下圖11所示。由識別檢測結(jié)果可得Faster-RCNN、SSD、YOLOv3 和YOLOv4 這4 種主流目標檢測算法對茶葉嫩芽的識別效果較差,漏檢誤檢較多;YOLOv5s 算法存在少量漏檢誤檢情況;改進的YOLOv5s 算法對各個等級的茶葉嫩芽均能準確識別,其中對尺寸較小的單芽和一芽一葉茶葉識別效果明顯提高,漏檢和誤檢大大減少,更適合完成對茶葉嫩芽的分等級識別工作。
圖11 多種目標檢測算法對茶葉嫩芽的分級識別效果Fig.11 Effect of multiple target detection algorithms on classification of tea buds
通過對實驗數(shù)據(jù)和識別效果的分析,改進的YOLOv5s目標檢測算法平均精確率較高,平均檢測時間較短,對茶葉嫩芽的分等級識別效果較好。實驗過程中部分茶葉嫩芽沒有被識別,出現(xiàn)漏檢情況,經(jīng)分析,主要有以下3種原因:(1)拍攝距離和角度不同。不同的拍攝距離,圖像中呈現(xiàn)出不同大小的茶葉嫩芽,尺寸過小的茶葉嫩芽會難以識別。拍攝角度不同,圖像中茶葉嫩芽的姿態(tài)形狀會有差別,假如有茶葉相互遮擋的情況,部分茶葉嫩芽無法被識別[16]。(2)采集圖像的季節(jié)不同。根據(jù)季節(jié)劃分,茶葉分為春茶和夏茶,其中春茶的綠色更淺,茶芽相對較小[17-18],因此不同季節(jié)茶葉嫩芽的形狀和顏色可能影響識別效果。(3)拍攝時的光線強度不同。不同的光線強度不同,拍攝的茶葉嫩芽圖像亮度會有不同,加上陰影等因素的干擾,會影響茶葉嫩芽識別的準確性[19-20]。
在后續(xù)的研究工作中,為進一步提高茶葉嫩芽分等級識別的準確率和魯棒性,縮短對茶葉嫩芽的檢測時間,可以獲取更豐富的茶葉圖像數(shù)據(jù)集,重點解決拍攝的距離、角度以及光線強度等因素對茶葉嫩葉分等級識別的影響。
針對茶園復(fù)雜環(huán)境下茶葉嫩芽識別準確率低、速度慢和魯棒性差的缺點及對不同品質(zhì)茶葉的需求,提出了一種基于改進YOLOv5s的茶葉嫩芽品質(zhì)分級識別方法。通過增加CBAM 注意力機制和微小目標檢測層對YOLOv5s 算法進行改進,后對改進的模型進行訓練和測試實驗。結(jié)果表明,改進YOLOv5s 算法對多類別茶葉嫩芽的識別平均準確率達到94.2%,召回率達到98.2%,較原模型分別提高了1%和1.9%;平均檢測時間為26.2 ms,模型大小為15.8 MB。與多種主流目標檢測算法進行對比實驗并對拍攝的茶葉嫩芽進行識別效果檢測,對比結(jié)果表明,改進的YOLOv5s 算法對茶葉嫩芽的漏檢和誤檢大大減少,識別效果較好。
綜上,改進的YOLOv5s算法對各等級的茶葉嫩芽具有較高的檢測精度和良好的魯棒性,且檢測速度快,模型小,適合嵌入式移動設(shè)備使用,可以滿足對不同品質(zhì)茶葉嫩芽的高精度實時識別檢測的需求。在后續(xù)的研究工作中可以獲取更豐富的茶葉嫩芽圖像數(shù)據(jù)集,重點解決拍攝的距離、角度、光線強度以及茶葉嫩芽相互遮擋等因素對茶葉嫩葉分等級識別的影響,同時也需要優(yōu)化算法的網(wǎng)絡(luò)結(jié)構(gòu),減少網(wǎng)絡(luò)冗余參數(shù)和計算量。