基于改進(jìn)YOLOv5的茶葉雜質(zhì)檢測(cè)算法

黃少華，梁喜鳳

基于改進(jìn)YOLOv5的茶葉雜質(zhì)檢測(cè)算法

黃少華，梁喜鳳※

（中國(guó)計(jì)量大學(xué)機(jī)電工程學(xué)院，杭州 310018）

針對(duì)現(xiàn)有目標(biāo)檢測(cè)算法檢測(cè)茶葉雜質(zhì)精度低、速度慢的問(wèn)題，該研究提出了一種基于改進(jìn)YOLOv5的茶葉雜質(zhì)檢測(cè)算法。采用K-Means聚類算法對(duì)雜質(zhì)真實(shí)框聚類，以獲取適合茶葉雜質(zhì)特征的錨框尺寸；通過(guò)在主干特征提取網(wǎng)絡(luò)CSPDarkNet中引入前饋卷積注意力機(jī)制（Convolutional Block Attention Module，CBAM），將茶葉雜質(zhì)輸入特征圖依次經(jīng)過(guò)通道注意力模塊和空間注意力模塊，獲得特征圖通道維度和空間維度的關(guān)鍵特征；在頸部網(wǎng)絡(luò)中添加空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，融合并提取不同感受野的關(guān)鍵特征信息；將普通卷積替換成深度可分離卷積，增大小目標(biāo)預(yù)測(cè)特征圖的置信度損失權(quán)重，構(gòu)建了輕量化的改進(jìn)YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)模型；分別制作了鐵觀音茶葉中混合有稻谷、瓜子殼、竹枝和茶梗4種雜質(zhì)的數(shù)據(jù)集并進(jìn)行茶葉雜質(zhì)檢測(cè)試驗(yàn)。結(jié)果表明，改進(jìn)的YOLOv5比常規(guī)YOLOv5在茶葉雜質(zhì)檢測(cè)中具有更高的置信度分?jǐn)?shù)，且定位更為準(zhǔn)確，未出現(xiàn)漏檢現(xiàn)象。改進(jìn)YOLOv5的多類別平均精度（Mean Average Precision，mAP）和每秒傳輸幀數(shù)（Frame Per Second，F(xiàn)PS）達(dá)到96.05%和62幀/s，均優(yōu)于主流的目標(biāo)檢測(cè)算法，驗(yàn)證了改進(jìn)算法的高效性和魯棒性。該研究成果可為提升茶葉制作過(guò)程中小目標(biāo)雜質(zhì)檢測(cè)精度與檢測(cè)速度奠定基礎(chǔ)。

深度學(xué)習(xí)；算法；目標(biāo)檢測(cè)；YOLOv5；茶葉雜質(zhì)

0 引 言

茶葉具有很高的商業(yè)價(jià)值和藥用價(jià)值，在中國(guó)具有龐大的消費(fèi)市場(chǎng)。茶葉分揀是茶葉制作工序中重要環(huán)節(jié)。茶葉采集過(guò)程中，通常會(huì)混入樹(shù)枝、谷物等雜質(zhì)，影響茶葉的口感和品質(zhì)[1-4]。為提升茶葉成品質(zhì)量，對(duì)采摘收集到的新茶炒制成成品茶葉后還需進(jìn)一步分揀，剔除掉多余的雜質(zhì)。傳統(tǒng)的茶葉分揀方式采用人工手動(dòng)分揀剔除雜質(zhì)，需要消耗大量人力，耗時(shí)長(zhǎng)，效率低。近年來(lái)，機(jī)器視覺(jué)逐漸應(yīng)用于茶葉雜質(zhì)分揀，識(shí)別精準(zhǔn)高，有助于實(shí)現(xiàn)茶葉自動(dòng)化分揀，對(duì)茶葉分揀技術(shù)的產(chǎn)量化具有較高的應(yīng)用價(jià)值[5]。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法通過(guò)強(qiáng)大的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)茶葉雜質(zhì)的特征信息，并使用回歸器和分類器對(duì)雜質(zhì)進(jìn)行定位和分類，能夠?qū)崿F(xiàn)復(fù)雜場(chǎng)景下的茶葉雜質(zhì)檢測(cè)。常見(jiàn)的基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法根據(jù)是否使用區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）[6-7]可分為雙階段目標(biāo)檢測(cè)和單階段目標(biāo)檢測(cè)。雙階段檢測(cè)精度較高但訓(xùn)練復(fù)雜，檢測(cè)耗時(shí)較長(zhǎng)[8]。常見(jiàn)的單階段檢測(cè)算法有SSD網(wǎng)絡(luò)[9-10]和YOLO系列網(wǎng)絡(luò)[11]。單階段檢測(cè)省去了候選框生成的工作，精簡(jiǎn)了模型參數(shù)量，在犧牲了部分檢測(cè)精度的前提下，檢測(cè)速度顯著快于雙階段目標(biāo)檢測(cè)。目前大部分檢測(cè)任務(wù)為了追求實(shí)時(shí)性原則，均以單階段檢測(cè)為主。其中，以YOLOv5為代表的單階段輕量級(jí)網(wǎng)絡(luò)在綜合匯聚了前幾代YOLO系列網(wǎng)絡(luò)的基礎(chǔ)上，改良了對(duì)小目標(biāo)的檢測(cè)速度和精度，具有較好的檢測(cè)效果?；诖耍萚12]以YOLOv5為基線，利用卷積核組進(jìn)行了復(fù)雜背景下茶尺蠖的檢測(cè)。尚鈺瑩等[13]提出了一種基于YOLOv5s深度學(xué)習(xí)的草果花朵的檢測(cè)方法。Bochkovskiy等[14]在YOLOv5的基礎(chǔ)上融合多種策略，以適應(yīng)不同場(chǎng)景下的目標(biāo)檢測(cè)任務(wù)。呂禾豐等[15]在通過(guò)替換YOLOv5中損失函數(shù)的方法，提高了交通標(biāo)志識(shí)別精度和準(zhǔn)確率。呂軍等[16]提出在YOLOv5模型采用CSPDarknet53 特征提取網(wǎng)絡(luò)進(jìn)行茶葉嫩芽檢測(cè)，改進(jìn)了自然光照條件檢測(cè)的魯棒性。Zhu等[17]構(gòu)建了TPH-YOLOv5網(wǎng)絡(luò)，在原始YOLOv5基礎(chǔ)上增添了Transformer模塊和CBAM卷積注意力模塊，提升了網(wǎng)絡(luò)模型對(duì)小尺度目標(biāo)的檢測(cè)性能。徐鳳如等[18]通過(guò)采用改進(jìn)型YOLOv4-Dense算法，研究了茶樹(shù)芽葉采摘點(diǎn)的定位方法，具有良好的識(shí)別率。以上研究對(duì)YOLOv4或YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行了改進(jìn)和優(yōu)化。然而在茶葉雜質(zhì)檢測(cè)任務(wù)中，茶葉簇雜亂無(wú)章，背景較為復(fù)雜，且雜質(zhì)目標(biāo)較小，混入在茶葉中檢測(cè)難度大，樹(shù)枝等雜質(zhì)和茶葉顏色相近，增加了檢測(cè)難度，目前的YOLOv5網(wǎng)絡(luò)提取雜質(zhì)特征能力不足，檢測(cè)精度較低，預(yù)測(cè)框定位不準(zhǔn)確，檢測(cè)重疊的小目標(biāo)雜質(zhì)容易出現(xiàn)漏檢等，不能滿足小目標(biāo)茶葉雜質(zhì)檢測(cè)需求。

因此，針對(duì)以上存在問(wèn)題，本文提出了一種基于改進(jìn)YOLOv5的茶葉雜質(zhì)檢測(cè)算法。采用K-Means聚類錨框尺寸，主干網(wǎng)絡(luò)CSPDarkNet引入卷積注意力機(jī)制（Convolutional Block Attention Module，CBAM），頸部網(wǎng)絡(luò)中添加空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，利用深度可分離卷積代替普通卷積，增大小目標(biāo)預(yù)測(cè)特征圖的置信度損失權(quán)重等方面對(duì)YOLOv5模型進(jìn)行改進(jìn)，并對(duì)多種茶葉雜質(zhì)數(shù)據(jù)集進(jìn)行試驗(yàn)，驗(yàn)證改進(jìn)算法的高效性和魯棒性，以提高茶葉制作中雜質(zhì)檢測(cè)的精度與速度。

1 改進(jìn)的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5模型參數(shù)量最少，檢測(cè)速度快，廣泛應(yīng)用在實(shí)際場(chǎng)景中。因此選取YOLOv5作為茶葉雜質(zhì)檢測(cè)的基礎(chǔ)模型。但是，茶葉雜質(zhì)一般較小，種類復(fù)雜，且樹(shù)枝等雜質(zhì)顏色與茶葉相近，混入茶葉簇，因此需要在錨框尺寸、關(guān)鍵特性關(guān)注度、檢測(cè)精度等方面進(jìn)行YOLOv5網(wǎng)絡(luò)改進(jìn)，從而適應(yīng)茶葉雜質(zhì)檢測(cè)需求。

1.1 先驗(yàn)錨框選取

初始的先驗(yàn)錨框尺寸影響網(wǎng)絡(luò)訓(xùn)練速度和定位準(zhǔn)確性，常規(guī)YOLOv5錨框針對(duì)COCO（Microsoft Common Objects in Context）和VOC（Visual Object Classes）數(shù)據(jù)集，而茶葉雜質(zhì)均為小目標(biāo)，基于初始錨框的訓(xùn)練不適用于茶葉雜質(zhì)。如果數(shù)據(jù)集標(biāo)注信息針對(duì)默認(rèn)錨框的最佳召回率小于0.98時(shí)，則需要重新計(jì)算符合此數(shù)據(jù)集的錨框[19]。YOLOv5的重新自適應(yīng)錨框計(jì)算采用K-means[20-22]重新定義錨框尺寸的聚類算法，實(shí)現(xiàn)步驟如下：

1）取出茶葉雜質(zhì)真實(shí)框的寬高值作為坐標(biāo)點(diǎn)集合，在所有坐標(biāo)點(diǎn)中隨機(jī)抽取個(gè)初始簇心。

2）計(jì)算剩余坐標(biāo)點(diǎn)與簇心的歐氏距離，將剩余坐標(biāo)點(diǎn)與最近簇歸為同一種類，當(dāng)所有坐標(biāo)點(diǎn)歸類完成后，根據(jù)每個(gè)簇中所有坐標(biāo)點(diǎn)的平均值重新計(jì)算每個(gè)簇心。

3）反復(fù)迭代上述步驟2，直至簇心不再改變。

由于YOLOv5頭部網(wǎng)絡(luò)輸出3種尺度預(yù)測(cè)特征圖，每個(gè)預(yù)測(cè)特征圖均具有大、中、小三種尺度錨框，因此取9，此時(shí)茶葉雜質(zhì)錨框被分為9種不同尺寸的簇。

聚類試驗(yàn)達(dá)到穩(wěn)定后的9種錨框尺寸參數(shù)如表1所示，聚類后的錨框尺寸更符合茶葉雜質(zhì)的尺寸和寬高比例特征。

表1 改進(jìn)的YOLOv5錨框尺寸

1.2 注意力機(jī)制

針對(duì)茶葉雜質(zhì)的目標(biāo)檢測(cè)任務(wù)，除了需要考慮雜質(zhì)的語(yǔ)義特征外，同時(shí)還需考慮茶葉雜質(zhì)的空間位置，在YOLOv5主干網(wǎng)絡(luò)中引入注意力機(jī)制，能夠自適應(yīng)學(xué)習(xí)茶葉雜質(zhì)的關(guān)鍵特征。根據(jù)訓(xùn)練獲得的注意力權(quán)重可增加網(wǎng)絡(luò)對(duì)關(guān)鍵特征的注意力，降低干擾特征的關(guān)注度。

CBAM將通道維度和空間維度相結(jié)合[23]，最終權(quán)衡得到特征圖通道維度和空間維度的關(guān)鍵特征。通道注意力模塊對(duì)輸入茶葉雜質(zhì)特征圖矩陣按照寬高方向進(jìn)行一次全局平均池化（AvgPool）和全局最大池化（MaxPool），輸出2個(gè)與通道數(shù)相等、大小為1×1的池化層。然后將2個(gè)池化層輸入多層感知機(jī)（Multilayer Perceptron，MLP）分別通過(guò)兩次共享全連接層，最后將輸出的2個(gè)通道權(quán)重層融合后進(jìn)行非線性激活，得到充分權(quán)衡通道維度上的權(quán)重層M，計(jì)算式如下：

M=Sigmoid(MLP(AvgPool())+MLP(MaxPool()))（1）

將M權(quán)重參數(shù)與輸入的茶葉雜質(zhì)特征圖矩陣在通道上相乘，實(shí)現(xiàn)在通道上施加注意力機(jī)制，大幅提升特征圖通道維度的關(guān)鍵特征利用率。

空間注意力模塊對(duì)上述通道注意力模塊提煉的茶葉雜質(zhì)特征圖矩陣′通道維度上分別進(jìn)行最大池化和平均池化，獲得2個(gè)通道數(shù)為1、尺寸為′大小的池化層后進(jìn)行堆疊，利用一次卷積降維至單通道特征圖，最后經(jīng)過(guò)非線性激活，增加非線性因素，得到充分權(quán)衡空間維度上的權(quán)重層M，計(jì)算式如下：

M=Sigmoid(7×7(Concat(AvgPool(),(MaxPool())))（2）

式中7×7表示濾波器尺寸為 7×7 的卷積運(yùn)算。

將M權(quán)重參數(shù)與′逐像素相乘，實(shí)現(xiàn)在空間維度上施加注意力機(jī)制，以提升特征圖空間維度的關(guān)鍵特征利用率。因此，將CBAM模塊引入YOLOv5主干網(wǎng)絡(luò)中能夠提升茶葉雜質(zhì)特征信息的關(guān)注度。

1.3 YOLOv5主干網(wǎng)絡(luò)改進(jìn)策略

為驗(yàn)證YOLOv5引入注意力機(jī)制對(duì)茶葉雜質(zhì)檢測(cè)性能的影響，在主干網(wǎng)絡(luò)的CSP1_1、CSP1_3與CSP2_1 3個(gè)跨階段局部網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet）模塊后分別添加CBAM注意力機(jī)制。通過(guò)將原圖輸入不同策略下改進(jìn)主干網(wǎng)絡(luò)的最終預(yù)測(cè)結(jié)果圖，采用熱力圖可視化[24]的方式，直觀展示網(wǎng)絡(luò)更加關(guān)注的區(qū)域。圖1對(duì)比了常規(guī)YOLOv5和3種改進(jìn)策略的熱力圖，其中區(qū)域顏色越深代表網(wǎng)絡(luò)越感興趣。

從圖1中可看出，主干網(wǎng)絡(luò)中引入注意力機(jī)制有助于茶葉雜質(zhì)特征提取效果，且引入3個(gè)注意力機(jī)制CBAM的改進(jìn)策略關(guān)注的特征區(qū)域最為準(zhǔn)確。

1.4 目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)指標(biāo)通常有以下4種：

1）單類別精確率：

2）單類別召回率：

3）單類別曲線下面積：

AP=(,)（5）

4）多類別平均精度：

式中P表示精確率；R表示召回率；Tc表示當(dāng)前茶葉雜質(zhì)種類被預(yù)測(cè)正確的數(shù)量；FC表示其他茶葉雜質(zhì)種類但被預(yù)測(cè)為當(dāng)前茶葉雜質(zhì)種類的數(shù)量；FN表示當(dāng)前茶葉雜質(zhì)種類被預(yù)測(cè)為其他茶葉雜質(zhì)種類的數(shù)量；AP表示單類別檢測(cè)結(jié)果，AP值越大，單類別檢測(cè)性能越好；AP反映多類別檢測(cè)精度；c表示所有類別數(shù)量。

1.5 改進(jìn)的主干網(wǎng)絡(luò)測(cè)試

利用改進(jìn)的主干網(wǎng)絡(luò)策略，對(duì)茶葉雜質(zhì)數(shù)據(jù)集進(jìn)行試驗(yàn)，保持頸部網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）和頭部網(wǎng)絡(luò)YoloHead不變，共訓(xùn)練500代數(shù)，試驗(yàn)結(jié)果如表2所示。

表2 不同策略試驗(yàn)結(jié)果

注：mAP為多類別平均精度，F(xiàn)PS為每秒傳輸幀數(shù)。下同。

Note: mAP refers to mean average precision of multiple categories, and FPS refers to frame per second. Same below.

從表2中可看出，檢測(cè)精度隨著引入CBAM模塊數(shù)的增加而提高，加入1個(gè)CBAM、2個(gè)CBAM和3個(gè)CBAM的多類別平均精度mAP分別提升了0.54、0.9和1.48個(gè)百分點(diǎn)，優(yōu)于常規(guī)YOLOv5，最終選取加入3個(gè)CBAM策略下的主干網(wǎng)絡(luò)改進(jìn)方法。但同時(shí)FPS略有降低，表明網(wǎng)絡(luò)檢測(cè)速度有所降低，需要進(jìn)一步優(yōu)化YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)。

2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

2.1 優(yōu)化方法

在常規(guī)YOLOv5的頸部網(wǎng)絡(luò)（FPN）內(nèi)添加空間金字塔池化（Spatial Pyramid Pool，SPP）模塊[25]，有助于聚合茶葉雜質(zhì)的不同感受視野特征信息，提取多尺度的關(guān)鍵特征，提升網(wǎng)絡(luò)的檢測(cè)精度。因此，在不影響特征圖上下采樣和通道拼接的前提下，對(duì)頸部網(wǎng)絡(luò)FPN中的每一個(gè)CSP模塊后添加SPP模塊。同時(shí)考慮到檢測(cè)的實(shí)時(shí)性，對(duì)網(wǎng)絡(luò)參數(shù)需要進(jìn)一步優(yōu)化，將FPN內(nèi)的普通卷積Conv替換成深度可分離卷積Dwise[26]，能夠保證在精度不降低的前提下，大幅減少網(wǎng)絡(luò)運(yùn)算量，提升檢測(cè)速度。

在改進(jìn)主干網(wǎng)絡(luò)加入3個(gè)CBAM策略基礎(chǔ)上，改進(jìn)并優(yōu)化的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖2。

2.2 平衡不同尺度損失

YOLOv5的頭部網(wǎng)絡(luò)YoloHead共輸出3個(gè)不同尺度大小的預(yù)測(cè)特征圖，其中YoloHead1、YoloHead2和YoloHead3分別為80×80、40×40和20×20（像素）的特征圖，對(duì)輸入圖像的感受野逐漸增大，分別用于預(yù)測(cè)小目標(biāo)物體、中等目標(biāo)物體和大目標(biāo)物體。由于茶葉雜質(zhì)均為小目標(biāo)，增大YoloHead1的損失權(quán)重，能夠提高YOLOv5檢測(cè)小目標(biāo)的精度。因此，經(jīng)過(guò)訓(xùn)練試驗(yàn)，對(duì)3個(gè)預(yù)測(cè)特征圖（YoloHead1、YoloHead2和YoloHead3）的置信度損失設(shè)置不同的權(quán)重，獲得總置信度損失如下：

式中L為茶葉雜質(zhì)檢測(cè)網(wǎng)絡(luò)的總置信度損失，其上標(biāo)表示不同預(yù)測(cè)特征圖。

3 茶葉雜質(zhì)檢測(cè)試驗(yàn)

3.1 茶葉雜質(zhì)數(shù)據(jù)集制作

茶葉在采摘和炒制過(guò)程中通常會(huì)混有一些雜質(zhì)，例如谷物、茶梗、樹(shù)枝等，因此本次試驗(yàn)以市場(chǎng)購(gòu)買的鐵觀音茶葉為研究對(duì)象，在茶葉中摻雜現(xiàn)實(shí)場(chǎng)景中容易混入稻谷、瓜子殼、竹枝和茶梗4種雜質(zhì)，制作了具有雜質(zhì)的茶葉雜質(zhì)檢測(cè)數(shù)據(jù)集。采用分辨率為150 dpi的超低畸變相機(jī)，拍攝了4×500共2 000張包含4種茶葉雜質(zhì)的圖像。通過(guò)水平鏡像、上下翻轉(zhuǎn)、亮度變換和隨機(jī)對(duì)比度等數(shù)據(jù)增強(qiáng)方式將茶葉雜質(zhì)數(shù)據(jù)集擴(kuò)充至4 000張圖像，按照8∶1∶1的比例隨機(jī)劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。利用Labelimg軟件對(duì)其進(jìn)行標(biāo)注，生成雜質(zhì)真實(shí)框坐標(biāo)和種類信息的標(biāo)簽文件。

注：FPN為特征圖金字塔網(wǎng)絡(luò)結(jié)構(gòu)；CBAM為前饋卷積注意力機(jī)制；SPP 為空間金字塔池化結(jié)構(gòu)；CSP為跨階段局部網(wǎng)絡(luò)。

3.2 試驗(yàn)環(huán)境

試驗(yàn)環(huán)境配置：深度學(xué)習(xí)框架Pytorch-GPU V1.7.1，顯卡Nvidia GeForce GTX 1660，顯存6 GB，處理器Inter Core i7-9700k 3.60 GHz八核，內(nèi)存16 GB，神經(jīng)網(wǎng)絡(luò)加速庫(kù)CUDNN7.6.4和CUDA10.1，所用到的相關(guān)庫(kù)Pillow8.0.1、Opencv4.4.0、numpy1.19.4和matplotlib3.3.3；操作系統(tǒng)為Windows10，編程語(yǔ)言為Python3.7；光照環(huán)境為1 000 lx光源；茶葉隨機(jī)鋪設(shè)一層。

3.3 網(wǎng)絡(luò)訓(xùn)練

將改進(jìn)后的YOLOv5網(wǎng)絡(luò)在圖形處理器 (Graphics Processing Unit，GPU)上進(jìn)行訓(xùn)練，采用隨機(jī)梯度下降優(yōu)化器（Stochastic Gradient Descent，SGD）更新參數(shù)，初始學(xué)習(xí)率設(shè)置成0.001，學(xué)習(xí)率衰減系數(shù)為0.000 1，批尺寸（Batch_size）為8，共訓(xùn)練500個(gè)世代，損失值變化如圖3所示。從圖3中可以看出，隨著訓(xùn)練代數(shù)的增加，改進(jìn)YOLOv5的損失值逐漸降低，整體趨于穩(wěn)定，最終損失值收斂于0.3附近，證明改進(jìn)的網(wǎng)絡(luò)達(dá)到了較優(yōu)的訓(xùn)練結(jié)果。

圖3 損失值變化曲線

3.4 檢測(cè)試驗(yàn)對(duì)比

將常規(guī)YOLOv5和改進(jìn)的YOLOv5在測(cè)試集上進(jìn)行試驗(yàn)對(duì)比，且保證光照環(huán)境相等，每種雜質(zhì)采樣1 000張圖像，各自隨機(jī)選擇1張檢測(cè)結(jié)果展示，如圖4所示。其中，Ⅰ、Ⅱ、Ⅲ和Ⅳ分別代表茶葉中含有稻谷、瓜子殼、竹枝和茶梗雜質(zhì)圖像。

注：圖中錨框代表檢測(cè)出的雜質(zhì)。

從圖4可以看出，由于稻谷雜質(zhì)目標(biāo)較小，混入茶葉中不易發(fā)現(xiàn)，常規(guī)YOLOv5對(duì)于部分被遮擋的稻谷出現(xiàn)了漏檢現(xiàn)象，而改進(jìn)的YOLOv5只是置信度略有降低。對(duì)于有茶葉遮擋的竹枝，常規(guī)YOLOv5的置信度分?jǐn)?shù)大大低于改進(jìn)的YOLOv5。由于茶梗和茶葉特征相似，且顏色相近，常規(guī)YOLOv5中出現(xiàn)了漏檢現(xiàn)象。從4種圖像檢測(cè)結(jié)果對(duì)比圖中可看出，改進(jìn)的YOLOv5相較于常規(guī)YOLOv5具有更高的置信度分?jǐn)?shù)，且定位更為準(zhǔn)確，沒(méi)有出現(xiàn)漏檢現(xiàn)象，尤其對(duì)于有遮擋情況的雜質(zhì)表現(xiàn)更為明顯。同時(shí)可以發(fā)現(xiàn)，目標(biāo)檢測(cè)雜質(zhì)被遮擋部分越多，則檢測(cè)的置信度值越低。

通過(guò)視覺(jué)檢測(cè)的定性分析后，還需對(duì)YOLOv5改進(jìn)的每個(gè)策略進(jìn)行消融試驗(yàn)對(duì)比的定量分析，如表3所示。

表3 不同策略消融試驗(yàn)結(jié)果

注：方法1表示常規(guī)YOLOv5，方法2表示改進(jìn)錨框尺寸，方法3表示改進(jìn)錨框尺寸并引入注意力機(jī)制，方法4表示改進(jìn)錨框尺寸、引入注意力機(jī)制并對(duì)網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行改進(jìn)，方法5表示改進(jìn)錨框尺寸、引入注意力機(jī)制、改進(jìn)網(wǎng)絡(luò)整體結(jié)構(gòu)和平衡不同尺度損失。

Notes: Method 1 represents Regular YOLOv5. Method 2 indicates improved anchor frame size. Method 3 means to improve the size of anchor frame and introduce attention mechanism. Method 4 means to improve the size of anchor frame, introduce attention mechanism and improve the overall network structure. Method 5 represents improving the size of anchor frame, introducing attention mechanism, improving the overall network structure and balancing losses of different scales.

從表3可知，方法2比方法1檢測(cè)精度略有提升，表明利用K-means聚類得到的錨框尺寸更符合茶葉雜質(zhì)數(shù)據(jù)集特征。方法3檢測(cè)精度優(yōu)于常規(guī)YOLOv5，但檢測(cè)速度略有減慢，表明引入注意力機(jī)制有利于網(wǎng)絡(luò)提取茶葉雜質(zhì)的關(guān)鍵特征，但同時(shí)也增加了少量的模型復(fù)雜度。方法4的檢測(cè)精度和速度都有一定提升，表明在FPN中添加空間金字塔池化（SPP）模塊有助于提取多尺度的特征，檢測(cè)精度得到提升，且深度可分離卷積的引入節(jié)省了網(wǎng)絡(luò)運(yùn)算量，實(shí)現(xiàn)網(wǎng)絡(luò)輕量化，提升了檢測(cè)速度。本文采用的方法5的mAP和FPS達(dá)到了96.05%和62幀/s，優(yōu)于以上方法，針對(duì)稻谷和瓜子殼小目標(biāo)的mAP得到較大提升，表明增大小目標(biāo)損失權(quán)重，對(duì)于提高小目標(biāo)檢測(cè)精度有很大幫助。

3.5 不同目標(biāo)檢測(cè)網(wǎng)絡(luò)試驗(yàn)對(duì)比

選用Faster R-CNN、SSD、YOLOv3、YOLOv4、YOLOv5等主流目標(biāo)檢測(cè)網(wǎng)絡(luò)和改進(jìn)YOLOv5進(jìn)行試驗(yàn)對(duì)比，結(jié)果如表4所示。

表4 不同網(wǎng)絡(luò)試驗(yàn)結(jié)果

Table 5 Experimental results based on different network

可以看出，F(xiàn)aster R-CNN的檢測(cè)精度較高，但其采用雙階段檢測(cè)方式，結(jié)構(gòu)復(fù)雜且網(wǎng)絡(luò)參數(shù)多，檢測(cè)速度最慢，無(wú)法滿足實(shí)時(shí)性要求。SSD參數(shù)量較少，檢測(cè)速度較快，但特征提取能力弱于YOLO系列算法，mAP最低。YOLOv3和YOLOv4檢測(cè)效果都低于常規(guī)YOLOv5。改進(jìn)后的YOLOv5相對(duì)于Faster R-CNN、SSD、YOLOv3、YOLOv4和常規(guī)YOLOv5檢測(cè)精度和速度均最優(yōu)。

4 結(jié) 論

以常規(guī)YOLOv5網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行改進(jìn)，更高效地實(shí)現(xiàn)茶葉雜質(zhì)檢測(cè)。使用K-Means聚類獲得適合茶葉雜質(zhì)特征的錨框，引入注意力機(jī)制，提高主干網(wǎng)絡(luò)特征提取能力，添加空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，融合不同感受野多尺度特征，提升檢測(cè)精度，采用深度可分離卷積降低網(wǎng)絡(luò)復(fù)雜度，加快檢測(cè)速度，平衡不同尺度損失，提高對(duì)小目標(biāo)檢測(cè)精度。通過(guò)定性和定量試驗(yàn)結(jié)果對(duì)比，驗(yàn)證了改進(jìn)YOLOv5網(wǎng)絡(luò)的有效性。改進(jìn)YOLOv5的多類別平均精度mAP和每秒傳輸幀數(shù)（Frame Per Second，F(xiàn)PS）分別達(dá)到96.05%和62幀/s，滿足茶葉雜質(zhì)檢測(cè)的需求，并且對(duì)小目標(biāo)檢測(cè)領(lǐng)域提供了一定的參考。

對(duì)于不同的背景、光照條件、茶葉平鋪厚度以及圖像分辨率等復(fù)雜條件對(duì)改進(jìn)YOLOv5模型在茶葉雜質(zhì)檢測(cè)精度等方面產(chǎn)生的影響，仍需要進(jìn)一步的研究與試驗(yàn)。

[1] 鹿瑤，王偉，鐘斌，等. 融合光電色選的皮帶篩式油茶果殼籽分選機(jī)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(S1)：429-439.

Lu Yao, Wang Wei, Zhong Bin, et al. Design and experiment of belt screen seed sorter forfused with photoelectric color sorting technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S1): 429-439. (in Chinese with English abstract)

[2] 李仿舟. 茶葉色選機(jī)的技術(shù)創(chuàng)新和發(fā)展趨勢(shì)[J]. 農(nóng)機(jī)質(zhì)量與監(jiān)督，2018，27(12)：18-19.

[3] 丁勇，徐奕鼎，王燁軍. 工夫紅茶精制中色選技術(shù)應(yīng)用研究[J]. 中國(guó)茶葉加工，2009，26(3)：22-23，27.

[4] 黃留鎖，宋艷. 茶葉茶梗的計(jì)算機(jī)在線識(shí)別技術(shù)及其應(yīng)用[J]. 福建茶葉，2016，38(7)：161-162.

[5] 陳培俊. 基于圖像處理和模式分類的茶葉雜質(zhì)識(shí)別研究[D]. 南京：南京航空航天大學(xué)，2014：1-2.

Chen Peijun. Research on Recognizing Tea-Leaves and Impurities Based on Image Processing and Pattern Classification[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2014: 1-2. (in Chinese with English abstract)

[6] Cao S T, Jiang Y L. Combining attention mechanisms with RPN networks for target tracking[J]. International Core Journal of Engineering, 2021, 7(10): 438-443.

[7] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA: IEEE, 2014: 580-587.

[8] Ren S, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[9] 亢潔，劉港，郭國(guó)法. 基于多尺度融合模塊和特征增強(qiáng)的雜草檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53(4)：254-260.

Kang Jie, Liu Gang, Guo Guofa. Weed detection based on multi-scale fusion module and feature enhancement[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(4): 254-260. (in Chinese with English abstract)

[10] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, German: Springer, 2016: 21-37.

[11] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA: IEEE, 2016: 779-788.

[12] 胡根生，吳繼甜，鮑文霞，等. 基于改進(jìn)YOLOv5網(wǎng)絡(luò)的復(fù)雜背景圖像中茶尺蠖檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：191-198.

Hu Gensheng, Wu Jitian, Bao Wenxia, et al. Detection of Ectropics oblique in complex background images using improved YOLOv5[J]. Trasnsations of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 191-198. (in Chinese with English abstract)

[13] 尚鈺瑩，張倩如，宋懷波，等. 基于YOLOv5s的深度學(xué)習(xí)在自然場(chǎng)景蘋果花朵檢測(cè)中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(9)：222-229.

Shang Yuying, Zhang Qianru, Song Huaibo. Application of deep learning using YOLOv5s to apple flower detection in natural scenes[J]. Trasnsations of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 222-229. (in Chinese with English abstract)

[14] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Seattle, USA: IEEE, 2020: 1-17.

[15] 呂禾豐，陸華才. 基于YOLOv5算法的交通標(biāo)志識(shí)別技術(shù)研究[J]. 電子測(cè)量與儀器學(xué)報(bào)，2021，35(10)：137-144.

Lyu Hefeng, Lu Huacai. Research on traffic sign recognition technology based on YOLOv5 algorithm[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 137-144. (in Chinese with English abstract)

[16] 呂軍，方夢(mèng)瑞，姚青，等. 基于區(qū)域亮度自適應(yīng)校正的茶葉嫩芽檢測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：278-285.

Lyu Jun, Fang Mengrui, Yao Qing, et al. Detection model for tea buds based on region brightness adaptive correction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 278-285. (in Chinese with English abstract)

[17] Zhu X, Lyu S, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 Based on Transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, Canada: IEEE, 2021: 2778-2788.

[18] 徐鳳如，張昆明，張武，等. 一種基于改進(jìn)YOLOv4算法的茶樹(shù)芽葉采摘點(diǎn)識(shí)別及定位方法[J]. 復(fù)旦學(xué)報(bào)（自然科學(xué)版），2022，61(4)：460-471.

Xu Fengru, Zhang Kunming, Zhang Wu, et al. Identification and localization method of tea bud leaf picking point based on improved YOLOv4 algorithm[J]. Journal of Fudan University (Natural Science), 2022, 61(4): 460-471. (in Chinese with English abstract)

[19] 彭成，張喬虹，唐朝暉，等 .基于 YOLOv5增強(qiáng)模型的口罩佩戴檢測(cè)方法研究[J].計(jì)算機(jī)工程, 2022, 48 (4): 39-49.

Peng Cheng, Zhang Qiaohong, Tang Zhaohui, et al. Research on mask wearing detection method based on YOLOv5 enhancement model[J]. Computer Engineering, 2022, 48 (4): 39-49. (in Chinese with English abstract)

[20] 楊俊闖，趙超. K-Means聚類算法研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用，2019，55(23)：7-14.

Yang Junchuang, Zhao Chao. Survey on K- Means clustering algorithm[J]. Computer Engineering and Applications, 2019, 55(23): 7-14. (in Chinese with English abstract)

[21] 安曉飛，王培，羅長(zhǎng)海，等. 基于K-means聚類和分區(qū)尋優(yōu)的秸稈覆蓋率計(jì)算方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(10)：84-89.

An Xiaofei, Wang Pei, Luo Changhai, et al. Corn straw coverage calculation algorithm based on K-means clustering and zoning optimization method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(10): 84-89. (in Chinese with English abstract)

[22] Darmawan E, Novantara P J, Suwarto G P, et al. The implementation of K-means algorithm to determine the quality of teak wood in image based on the texture[J]. Journal of Physics: Conference Series, 2021, 1933(1): 1-7.

[23] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision, German: Springer, 2018: 3-19.

[24] Selvaraju R R, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization[C]//IEEE International Conference on Computer Vision, Venice, Italy: IEEE, 2017: 618-626.

[25] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[26] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA: IEEE, 2017: 1251-1258.

Detecting the impurities in tea using an improved YOLOv5 model

Huang Shaohua, Liang Xifeng※

(&,,310018,)

Tea sorting has been one of the most important links in tea production. Manual sorting has been often adopted to remove the excess impurities (such as branches and grains) from the collected fresh tea in traditional processing. However, the current sorting cannot fully meet the high requirement of taste and quality in the finished tea products after collection in recent years, due to the labor-intensive and high cost. Fortunately, machine vision has been gradually applied to tea impurity sorting, particularly for fully automatic sorting in the process of tea collection. Among them, the single-stage lightweight network (represented by YOLOv5 deep learning) can perform better performance for small targets with high detection speed and accuracy. However, the conventional YOLOv5 network cannot be used to extract the characteristics of tea impurities, due to the disorderly clusters, the generally small targets, the complex types of impurities, and the similar color to the tea. Particularly, the overlapping small targets can cause an inaccurate prediction box, leading to low accuracy or miss detection of the tea impurities. It is necessary to improve the conventional YOLOv5 network to meet the requirements of tea impurity detection. In this study, an improved YOLOv5 model was proposed to detect the tea impurity with a higher accuracy and detection speed than before. The YOLOv5 was taken as the baseline network. The K-Means clustering was applied to cluster the real boxes of impurities as the anchor frame size suitable for the characteristics of tea impurities. Convolutional Block Attention Module (CBAM) was introduced into the backbone feature extraction network (CSPDarkNet). The key features were obtained using the channel and spatial dimension of feature images. A Spatial Pyramid Pooling (SPP) module was added to the neck network, in order to integrate and extract the multi-scale features of different sensory fields. The deep separable convolution was updated to reduce the number of network parameters for the higher detection speed. The confidence loss weight of the small target prediction in the feature map was improved for the higher detection accuracy of the network for the small targets. The data set was taken as the Tieguanyin tea mixed with the rice, melon seed shell, bamboo branches, and tea stems. The results show that the improved YOLOv5 presented a higher confidence score than the conventional one, where the positioning was much more accurate without missing detection. The mAP and FPS of improved YOLOv5 reached 96.05% and 62 frames/s, respectively. The higher efficiency and robustness of the improved model were achieved to compare the mainstream target detections. The findings can provide a strong reference for the detection accuracy and speed of small target impurities in the tea production process.

deep learning; algorithm; object detection; YOLOv5; tea impurities

10.11975/j.issn.1002-6819.2022.17.036

TP391

A

1002-6819(2022)-17-0329-08

黃少華，梁喜鳳. 基于改進(jìn)YOLOv5的茶葉雜質(zhì)檢測(cè)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(17)：329-336.doi：10.11975/j.issn.1002-6819.2022.17.036 http://www.tcsae.org

Huang Shaohua, Liang Xifeng. Detecting the impurities in tea using an improved YOLOv5 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 329-336. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.036 http://www.tcsae.org

2022-06-18

2022-08-27

國(guó)家自然科學(xué)基金項(xiàng)目（31971796）作者簡(jiǎn)介：黃少華，研究方向?yàn)檗r(nóng)業(yè)智能信息處理。

梁喜鳳，教授，研究方向?yàn)檗r(nóng)業(yè)機(jī)器人、農(nóng)業(yè)智能信息處理等。Email：lxfcjlu@cjlu.edu.cn