基于YOLOX 改進模型的茶葉嫩芽識別方法

俞龍，黃楚斌，唐勁馳，黃浩宜，周運峰，黃永權，孫佳琪

（1.華南農業(yè)大學電子工程學院（人工智能學院），廣東 廣州 510642；2.國家精準農業(yè)航空施藥技術國際聯(lián)合研究中心，廣東 廣州 510642；3.廣東省農業(yè)科學院茶葉研究所/廣東省茶樹資源創(chuàng)新利用重點實驗室，廣東 廣州 510640；4.華南農業(yè)大學工程學院，廣東 廣州 510642）

【研究意義】長期以來，中國茶產量和貿易量穩(wěn)居世界前列，對世界茶產業(yè)發(fā)展產生了重要影響［1］。進入21 世紀以來，農業(yè)勞動力不斷向其他產業(yè)轉移，結構性短缺和老齡化趨勢成為全球性問題［2］。隨著人們對茶葉的需求量越來越大，茶農也需要加速茶葉制作生產的過程，而尤為迫切的是提高茶葉嫩芽采摘效率。現(xiàn)階段茶葉的采收方式主要以人工手采為主，機械化粗采為輔［3］。機械化粗采雖然解決了人工采摘耗費人力巨大且效率低下的問題，但不能精確區(qū)分嫩芽與老葉。

【前人研究進展】機器視覺技術是近20 年發(fā)展起來的一種新興檢測技術，在農產品的大小分級、形態(tài)檢測、顏色識別等方面應用較多［4］。針對茶葉嫩芽識別問題，國內外學者基于傳統(tǒng)機器視覺開展了許多研究。陳妙婷［5］基于改進PSOSVM 算法對茶葉嫩芽圖像進行分割以獲取嫩芽特征信息，并選擇YOLO 算法進行嫩芽采摘點的識別，準確率達到84%以上；唐仙等［6］對RGB 顏色模型的色差法（R-B）進行分析，對比研究了多種閾值分割法的優(yōu)劣；段勇強等［7］基于改進Kmeans 算法對富硒綠茶圖像進行采集并識別其中的嫩芽，識別率最高達到95%，但該方法在圖片分辨率很高的情況下會嚴重影響聚類過程，存在一定的局限性；周穎穎等［8］基于傳統(tǒng)視覺技術對茶葉嫩芽圖像進行分割后，再通過對分割后圖像的關鍵區(qū)域進行色差判斷實現(xiàn)了龍井茶嫩芽的分級并提供了合理的采摘點。上述傳統(tǒng)機器視覺的方法雖然能較為準確地識別茶葉嫩芽，但識別的圖片背景環(huán)境比較單一，對于復雜環(huán)境下的識別任務魯棒性較低，并且在選擇物體特征時需要人工進行選擇，難以滿足更多的實際需求。在提取物體特征方面，基于深度網絡的目標檢測算法遠超于傳統(tǒng)機器視覺方法。近年來，越來越多的學者將目標檢測算法應用于農業(yè)檢測領域，代表算法有R-CNN［9］、Fast R-CNN［10］、Faster R-CNN［11］、YOLO（You Only Look Once）［12］及SSD（Single Shot MultiBox Detector）［13］等，它們在農業(yè)檢測領域不斷被改進優(yōu)化［14］，加速了農業(yè)作物檢測領域的發(fā)展。黃河清等［15-16］基于Fcos［17］的思想，以Darknet19 為主干網絡，連接特征金字塔進行特征多尺度融合，訓練完成后，將權重小于30%的通道刪除，實現(xiàn)了對柑橘的識別。在茶葉嫩芽識別領域中，張晴晴等［18］針對復雜場景下傳統(tǒng)嫩芽識別方法準確率低的問題，提出一種基于改進YOLOV3 模型的識別方法，提高模型對茶樹嫩芽的識別能力，但在茶樹冠層出現(xiàn)與嫩芽相似的其他作物或雜草時，模型可能會出現(xiàn)誤檢。孫肖肖等［19］將深度學習與OSTU 算法結合，對茶葉嫩芽圖像進行分割，使得茶葉嫩芽區(qū)域更加明顯，提高了檢測精度，但由于其茶葉嫩芽數(shù)據(jù)集中小目標較少，會導致模型對目標較小的茶葉嫩芽的檢測能力不強，在實際場景中應用時，對于較小的茶葉嫩芽，會出現(xiàn)漏檢的情況。許高建等［20］選用基于不同特征提取網絡的Faster R-CNN網絡模型對茶葉嫩芽數(shù)據(jù)樣本進行訓練，得出基于VGG-16 網絡的Faster R-CNN 模型識別效果較好的結論。施瑩瑩等［21］基于YOLOv3 算法，通過單一的特征提取網絡進行多尺度目標檢測，對自然環(huán)境下的茶葉嫩芽進行識別時具有較高的召回率以及準確度。王子鈺等［22］通過提取超綠因子對嫩芽圖像進行預處理，利用SSD 模型進行訓練，實現(xiàn)對茶葉嫩芽的檢測，但其并未就SSD 模型對小目標檢測效果不好的問題進行優(yōu)化。

【本研究切入點】目前，深度學習、神經網絡等技術手段發(fā)展迅速且日益成熟［23］。YOLO 系列算法為“one stage”目標檢測算法，在不損失精度的同時，具有較快的檢測速度。為改善上述方案的誤檢、漏檢等問題，本研究以YOLOX［24］模型為基本框架對茶葉嫩芽識別展開研究，在模型中融入SE（Squeeze and excitation）［25］注意力模塊，并引入Soft NMS［26］算法替代原模型中傳統(tǒng)NMS［27］算法?！緮M解決的關鍵問題】采用基于YOLOX 改進模型的茶葉嫩芽識別方法，明顯改善復雜場景下的識別能力及小目標嫩芽識別能力。

1 數(shù)據(jù)集準備與模型設計

1.1 數(shù)據(jù)采集及處理

數(shù)據(jù)集原始圖像采集自廣東省英德市英德茶葉世界，采集對象為英紅九號，采集設備為Iphone XR。對茶葉嫩芽圖像進行采集時，嫩芽以外的信息為背景，所拍攝圖像包含1 個或多個目標。共采集原始圖像1 215 幅，包括晴天、陰天、順光、逆光等情況，數(shù)據(jù)集圖片示例見圖1。為加強數(shù)據(jù)的多樣化、提高模型的魯棒性，對原始數(shù)據(jù)集進行鏡像翻轉、光照亮度調整操作。經過鏡像翻轉后，數(shù)據(jù)集擴充為2 430 幅，再對原始數(shù)據(jù)集進行亮度調整操作，最終數(shù)據(jù)集為3 645 幅。

圖1 數(shù)據(jù)集圖片示例Fig.1 Sample dataset pictures

1.2 圖像標注

將上述嫩芽圖片整理經增強后的數(shù)據(jù)集共3 645 張，使用LabelImg 圖像標注工具對圖片中的目標嫩芽進行標注：圖2A 表示采集設備正視茶葉嫩芽時一芽一葉的類型，標注為“one”；圖2B 表示采集設備正視茶葉嫩芽時一芽兩葉的類型，標注為“two”；圖2C 表示采集設備側視茶葉嫩芽的類型，標注為“side”，其特點為嫩葉對嫩芽莖部造成遮擋；圖2D 表示采集設備俯視茶葉嫩芽的類型，標注為“top”，其特點為嫩芽本身對莖部造成遮擋。將數(shù)據(jù)集中晴天、陰天、順光、逆光4 種情況的圖片數(shù)據(jù)均按照70%、20%、10%的比例劃分，最終組成訓練集2 552 幅、驗證集729 幅、測試集364 幅，圖片總數(shù)3 645 幅。

圖2 茶葉嫩芽標注類型Fig.2 Schematic of marking types of tea buds

1.3 茶葉嫩芽檢測模型設計

1.3.1 YOLOX 模型改進 YOLOX 模型主要可分為Backbone、Neck 以及YOLO Head 3 個部分。輸入端的圖片首先會在Backbone 進行特征提取，提取到的特征信息所包含的位置信息、細節(jié)信息較多，語義信息較少；Neck 作為YOLOX 模型的加強特征提取網絡，會結合不同尺度的特征信息，進行上采樣特征融合以及下采樣特征融合以獲取更豐富的特征信息；最后在YOLO Head 對獲取到的特征信息通過分類器和回歸器進行判斷，判斷是否有對應物體。

由于在Backbone 提取的特征包含的細節(jié)信息較多，而語義信息較少，小目標（茶葉嫩芽）的特征信息經過處理后，特征信息易丟失，從而引起對茶葉嫩芽的誤檢和漏檢。為提高YOLOX 原始模型對小目標嫩芽的檢測精度，在原有的網絡模型基礎上，在Backbone 和Neck 之間增添SE 模塊，改進YOLOX 網絡模型框架如圖3 所示。

圖3 改進YOLOX 網絡模型框架Fig.3 Improved YOLOX network model framework

1.3.2 融合SE（Squeeze.and.excitation）注意力機制 SE 模塊通過構建特征通道之間的依賴關系，先通過學習的方式獲取每個特征通道的重要程度，再依據(jù)每個通道的重要程度抑制對識別任務用處不大的特征信息并增強有用的特征信息，提升識別精確度。該模塊新增的參數(shù)和計算量較小，原模型參數(shù)總量為8.94 M，引入SE 模塊后，模型參數(shù)總量為8.99 M。SE 模塊的結構如圖4所示。

圖4 SE 模塊結構Fig.4 Structure of SE module

SE 模塊主要由Squeeze 和Excitation 兩部分組成，Squeeze 部分通過全局平均池化操作將原始維度為H*W*C 的特征圖壓縮為1*1*C 的特征圖，如下式所示：

式中，Uc（i，k）表示第i個通道位置為（i，k）的元素，H是高度（height）、W 為寬度（width）、C 為通道數(shù)（channel）。Squeeze 操作后獲取到H*W的全局特征感受區(qū)域更廣。

Squeeze 操作完成后，通過Excitation 操作獲得通道之間的依賴關系，這一部分由兩個全連接實現(xiàn)，第一個全連接層FC1將C個通道壓縮成C/r個通道（r為壓縮比例，本研究取r=16），以降低計算量，再經ReLu 函數(shù)激活通過FC2；第二個全連接恢復回C個通道，再經Sigmoid 函數(shù)生成權重，最后經過Scale 操作生成最終的輸出X。

1.3.3 引入Soft NMS 算法 目標檢測算法在檢測過程中，通常會在目標附近產生較多候選框，NMS（Non-Maximum Suppression）算法的核心思想對重疊度較高的候選框進行評分，最后保留分數(shù)最高的候選框。利用傳統(tǒng)的NMS 算法去除檢測時的重復框，會將與目標框相鄰的且正確識別出物體檢測框的分數(shù)強制歸零，容易導致漏檢。針對這種情況，本研究引入Soft NMS 算法。Soft NMS 算法是基于NMS 算法改進而成，為避免出現(xiàn)分數(shù)為0 的情況，對候選框進行小分數(shù)權重打分。權重打分有線性加權和高斯加權兩種，本研究采用高斯加權的Soft NMS 算法，其計算公式為：

式中，Si為當前檢測框的得分，M為權重最高的候選框，bi為檢測過程中產生的候選框，Nt為IoU 閾值，?為高斯懲罰系數(shù)，D為最終檢測結果集合。兩個檢測框重疊度越高，高斯懲罰系數(shù)越大，則得分Si越小。

1.3.4 試驗環(huán)境 本試驗訓練模型使用的操作系統(tǒng)為Ubuntu 20.0.4，處理器為Inter i7 11700@2.6G Hz，GPU 型號 為Nvidia Geforce RTX3090。測 試框架為pytorch1.7.0，使用CUDA 11.0 版本并行計算框架配合CUDNN8.0.5 版本的深度神經網絡加速庫。

1.4 評價指標

本研究所使用模型的性能采用均值平均精度（mAP）進行衡量，計算公式為：

式中，R為召回率，TP為陽性的正樣本數(shù)量，F(xiàn)N為陰性的負樣本數(shù)量，n 為目標類別數(shù)量。

2 結果與分析

2.1 Loss 曲線

本研究主要參數(shù)設置：每次迭代訓練的樣本數(shù)為16，對數(shù)據(jù)集樣本迭代47 000 次，初始學習率為0.001，采用余弦退火的學習率下降方式改變學習率，網絡模型的Loss 值變化曲線如圖5 所示。圖5 顯示了每次迭代的Loss 變化，隨著迭代次數(shù)的增加，模型的損失值減小。在迭代到40 000 次左右時，損失曲線趨于收斂，模型可以用于茶葉嫩芽圖像的識別。

圖5 網絡模型Loss 值變化曲線Fig.5 Curve of change in Loss value of network model

2.2 mAP 曲線

本研究檢測目標共4 類（one、two、side、top），需先計算每一類的平均精度（Average precision,AP），然后再計算所有類的平均精度（mAP）。用相同數(shù)據(jù)集分別對YOLOX 模型和YOLOX 改進模型進行訓練，在訓練結束時，用兩個模型得到的最佳權重文件進行性能的對比，改進前后兩種模型mAP值變化曲線如圖6 所示。從圖6 可以看出，隨著訓練輪數(shù)的增加，兩種模型的mAP曲線均呈現(xiàn)上升的趨勢，且YOLOX模型的收斂速度快于SS-YOLOX 模型。在第20個epoch 前，YOLOX 模型的mAP值略高于SSYOLOX 模型；在第20 個epoch 后，SS-YOLOX 模型的mAP值明顯高于YOLOX 模型；由圖5 可知，在第90 個epoch 后，SS-YOLOX 模型Loss 值已不再明顯下降，因此在第100 個epoch 后停止訓練。

圖6 改進前后兩種模型mAP 值變化曲線Fig.6 Curve of change in mAP value of two models beforeand after improvement

2.3 YOLOX 消融

為驗證本研究提出的對YOLOX 的兩種改進策略，對數(shù)據(jù)集進行消融實驗，以判斷每個改進點的可行性，在原有模型上加入SE 與Soft NMS函數(shù)，運用該改進點用“√”表示，訓練過程中，除有無運用改進點外，其他參數(shù)配置均一致，消融實驗結果見表1。從表1 可以看出，原模型mAP值為0.841，引入SE 后，mAP值提高1.7%，Recall 提高2%，而引入Soft NMS 算法的提升較小。分析認為引入SE 后，增強了網絡融合特征信息的能力，關注到許多易被忽略的語義信息，因此在檢測精度上的提升較為明顯；而Soft NMS 僅在檢測框重疊程度較大時發(fā)揮作用，因此僅有小幅度提升。

表1 YOLOX 消融實驗結果Table 1 Result of YOLOX ablation experiment

從實際場景出發(fā)，茶葉嫩芽姿態(tài)千姿萬化，嫩芽大小以及嫩芽數(shù)量不同、不同光照的光照條件、采集設備拍攝的距離和角度不同，都會導致由于采集的原始圖像的波動對模型識別效果產生影響。下面通過對比兩個模型的識別結果，討論分析兩種模型的性能。

2.4 模型識別結果對比

兩種模型在茶葉嫩芽數(shù)量較多的情況下的識別結果（圖7）顯示，兩種模型均能識別出茶葉嫩芽，但可以看到YOLOX 模型的檢測結果（圖7A）有一處一芽一葉“one”類型以及一芽兩葉“two”類型沒有被YOLOX模型檢測到，存在漏檢的情況；而SS-YOLOX 模型可以檢測到（圖7B），表明SS-YOLOX 模型對于圖片中的小目標檢測性能有所提升。

圖7 兩種模型識別結果對比Fig.7 Comparison of recognition results of two models

圖8 顯示，YOLOX 原模型存在誤檢，將“top”類型錯誤檢測為“one”類型，其原因可能是嫩葉遮擋住部分嫩芽，導致模型錯誤將其檢測為“two”類型。

圖8 錯誤檢測結果Fig.8 Error detection results

3 討論

YOLOX 模型是曠視科技發(fā)表的開源高性能檢測器，曠視的研究者將目標檢測領域中諸如解耦頭、數(shù)據(jù)增強等亮點與YOLOX 以往的系列進行集成。本研究基于YOLOX 模型，針對在復雜場景下可能出現(xiàn)的茶葉嫩芽誤檢、漏檢的問題，對原YOLOX 模型進行改進，引入Soft NMS 算法改善檢測框重疊時的打分機制。傳統(tǒng)的NMS 算法在去除與目標框重疊度較高的檢測框時，會將相鄰的檢測框分數(shù)強制歸零，導致模型容易出現(xiàn)漏檢的問題。Soft NMS 的打分機制分為兩種，分別為線性加權以及高斯加權，本研究采用高斯加權打分機制的Soft NMS 算法，兩個檢測框重疊度越高，懲罰系數(shù)越大，得分Si 越小，而不是強制歸零。此外，在一幅圖像中遠處的茶葉嫩芽會成為小目標，增大模型的檢測難度，容易造成誤檢、漏檢的問題，為了進一步改善以上問題，在已引入Soft NMS 算法的模型中融入SE 模塊，將SE 模塊加入到主干特征提取網絡CSPDarknet 和加強特征提取網絡FPN 之間。SE 模塊通過學習的方式得到每個特征通道的重要程度，再依據(jù)通道的重要程度增強有用的特征信息并抑制無用的特征信息，能夠更好地識別圖像中的小目標，從而達到提升精度的目的。SE 模塊內部主要分為Squeeze部分和Excitation 部分，引入模塊后新增的參數(shù)和計算量小，提升精度的同時并不會給網絡模型增加繁重的參數(shù)量。

由試驗結果可知，改進后的模型SS-YOLOX對茶葉嫩芽進行檢測，且引入的Soft NMS 算法和SE 模塊均能提升模型的檢測性能。雖然本研究模型對茶葉嫩芽圖像的識別具有較好的精確度，但未與其他網絡模型進行對比，后續(xù)將會加入其他檢測模型進行研究對比，如Faster R-CNN、SSD模型等。此外，本研究暫未考慮到茶樹的葉片對嫩芽遮擋較多的情況，對于遮擋較為嚴重的嫩芽，在數(shù)據(jù)集標注階段根據(jù)情況進行了取舍；對于不同茶葉品種對識別結果的影響也暫未作進一步研究。

在后續(xù)研究中將會實現(xiàn)軟硬件通信，將模型移植入邊緣設備，利用邊緣設備對茶園中茶葉嫩芽進行實時檢測，研究此模型是否能滿足實時檢測的要求；也會將芽葉遮擋情況對識別結果的影響進行研究，從而提升模型的泛化能力，使其更適用于茶葉嫩芽的識別。

4 結論

隨著農業(yè)工程與信息化技術的迅速發(fā)展，農業(yè)信息化已經成為一種趨勢。針對目前茶葉嫩芽識別領域中的研究現(xiàn)狀及出現(xiàn)的問題，本研究提出了一種改進的茶葉嫩芽檢測識別模型SSYOLOX。該模型在原YOLOX 模型上融入注意力模塊SE，加強模型對特征信息的提取能力，改善小目標的漏檢、誤檢的問題；引入Soft NMS 算法改變檢測框的打分機制，進一步提高模型的識別準確率。對算法模型進行性能分析，SS-YOLOX的mAP值達到0.863、比原模型提高0.022，召回率為76%、比原模型提高2 個百分點，證明了本研究提出模型的可行性。