基于YOLOv5 的烤煙煙葉散把程度檢測(cè)算法研究

余紅霞，羅瑞林，云利軍*,3，陳載清，張春節(jié)

1. 云南師范大學(xué)信息學(xué)院，昆明市呈貢區(qū)聚賢街768 號(hào) 650500

2. 云南省煙草煙葉公司設(shè)備信息科，昆明市經(jīng)濟(jì)開發(fā)區(qū)西邑村182 號(hào) 650218

3. 云南師范大學(xué)云南省光電信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，昆明市呈貢區(qū)聚賢街768 號(hào) 650500

散把是在煙葉分選前通過人工或機(jī)器將一把煙葉均勻分散地平鋪在傳送帶上，保證單片煙葉不重疊且擺放方向與傳送帶運(yùn)動(dòng)方向垂直。散把不均勻會(huì)導(dǎo)致煙葉重疊，增加分選難度并出現(xiàn)分選后煙葉部位混雜、混合非煙物料等問題，影響分選速度和精度，降低煙葉等級(jí)純度，導(dǎo)致煙葉質(zhì)量無法滿足卷煙工業(yè)企業(yè)生產(chǎn)需求。目前主要通過人工觀察或傳感器測(cè)量煙葉間距離等方式判斷散把情況，存在生產(chǎn)成本高、測(cè)量難度大等問題。針對(duì)此，杜東亮等［1］基于計(jì)算機(jī)視覺設(shè)計(jì)了一種煙葉自動(dòng)分級(jí)系統(tǒng)，煙葉經(jīng)輸送裝置打散攤平后由CCD 相機(jī)采集圖像，實(shí)現(xiàn)對(duì)煙葉等級(jí)的準(zhǔn)確識(shí)別和在線稱量。魏揚(yáng)帆［2］通過一個(gè)或多個(gè)變速傳送帶進(jìn)行煙葉散把，利用傳送帶之間的速度差拉開煙葉間的距離，同時(shí)利用編碼器判斷煙葉間距離以監(jiān)測(cè)散把情況。袁奎等［3］設(shè)計(jì)了一種煙葉圖像拍攝與物距顯示裝置，通過測(cè)量煙葉間距離來判斷散把情況。崔建軍等［4］研制了一種煙葉分層切斷設(shè)備代替人工進(jìn)行鋪葉、解把、切斷等操作，提高了煙葉配葉均勻性。潘東彪等［5］設(shè)計(jì)了一種滾刷式煙葉鋪平裝置，能夠在煙葉圖像采集工序前將褶皺煙葉鋪平。上述研究大多著重于散把裝置的改進(jìn)以提高煙葉分級(jí)準(zhǔn)確性，而利用檢測(cè)算法對(duì)煙葉散把程度進(jìn)行判別則鮮見報(bào)道。YOLOv5［6］是當(dāng)前主流的單階段目標(biāo)檢測(cè)算法之一，具有速度快、精度高、移植方便等特點(diǎn)，但將其應(yīng)用于工業(yè)生產(chǎn)環(huán)境下的實(shí)時(shí)檢測(cè)時(shí)所需的存儲(chǔ)和運(yùn)算能力較難滿足［7］，需要在保證識(shí)別效果的前提下降低模型復(fù)雜程度，簡化網(wǎng)絡(luò)結(jié)構(gòu)。為此，以YOLOv5模型為基礎(chǔ)，對(duì)其主干網(wǎng)絡(luò)和瓶頸層進(jìn)行改進(jìn)，建立煙葉散把程度檢測(cè)模型，以期為提高煙葉分選速度和準(zhǔn)確性提供支撐。

1 材料與方法

1.1 材料和設(shè)備

2021 年云南省楚雄市C2F 等級(jí)煙葉（云南省煙草煙葉公司）。

MER-503-20GM/C-P 水星（MER-G-P）系列數(shù)字相機(jī)（北京市大恒圖像有限公司）。

1.2 模型建立

1.2.1 數(shù)據(jù)集構(gòu)建

在自然光環(huán)境下拍攝不同重疊程度的原始煙葉圖像254張，拍攝角度固定且垂直于煙葉，圖像分辨率為1 152 px×864 px。煙葉圖像紋理信息和前景目標(biāo)提取過程為：①將原始圖像（圖1a）由RGB［Red（紅）、Green（綠）、Blue（藍(lán)）］色彩空間轉(zhuǎn)換為HSV［色 調(diào)（Hue）、飽和度（Saturation）、亮度（Value）］色彩空間（圖1b）；②對(duì)HSV 色彩空間進(jìn)行通道分離，提取HSV 圖像的飽和度（S 通道）信息得到煙葉紋理特征圖像（圖1c）；③根據(jù)HSV 顏色對(duì)照表，查找前景目標(biāo)對(duì)應(yīng)色彩的H、S、V 閾值，對(duì)HSV 圖像（圖1b）進(jìn)行二值化處理并得到相應(yīng)圖像（圖2a）；④將二值化圖像作為掩膜與HSV 圖像進(jìn)行像素級(jí)的與運(yùn)算，分割得到前景圖像（圖2b）。原始圖像、紋理特征圖像和前景圖像各254 張共同構(gòu)成數(shù)據(jù)集，按9∶1 的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和測(cè)試集。

圖1 煙葉圖像紋理信息提取過程Fig.1 Extraction process of texture information from tobacco image

圖2 煙葉顏色分割提取前景目標(biāo)Fig.2 Extracting foreground object by color segmentation of tobacco

1.2.2 算法構(gòu)建

如圖3a 所示，利用YOLOv5 原始模型在主干網(wǎng)絡(luò)（Backbone）對(duì)輸入圖片進(jìn)行切片（Focus）、卷積（Conv）后，采用跨階段局部網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet）［8］中的 CSP 模塊進(jìn)行特征提取，將不同網(wǎng)絡(luò)層梯度變化集成到特征圖中；然后在瓶頸層（Nick）采用PANet［9］將一系列特征圖融合后將圖像特征傳遞至預(yù)測(cè)端進(jìn)行預(yù)測(cè)。以原始YOLOv5 模型為基礎(chǔ)，對(duì)主干網(wǎng)絡(luò)和瓶頸層進(jìn)行改進(jìn)，建立煙葉散把程度的檢測(cè)模型（圖3b），具體步驟：①采用 4 個(gè) Ghost 模塊［10］（輸入輸出通道數(shù)分別為64/128、128/256、256/512、512/1 024，卷積核大小為3，步長為2）代替普通卷積對(duì)圖像進(jìn)行高維特征提取并生成冗余特征圖，以減少網(wǎng)絡(luò)參數(shù)量（Parameters）和計(jì)算量（GFLOPS）；②基于非對(duì)稱卷積網(wǎng)絡(luò)（Asymmetric Convolutional Network，ACNet）［11］的AC 模塊設(shè)計(jì)ACIN 模塊，并用2 個(gè)卷積核大小為3、步長為2、輸入輸出通道數(shù)相同的ACIN 模塊代替瓶頸層中特征融合時(shí)的普通卷積，加強(qiáng)對(duì)局部特征信息的提取和融合。

圖3 改進(jìn)前后YOLOv5模型Fig.3 YOLOv5 models before and after modification

如圖 4 所示，ACIN 模塊主要將 AC 模塊的 3 個(gè)卷積分支（3×3 卷積、1×3 卷積和3×1 卷積）融合成為2 個(gè)輸出維度相同的分支（1×3 卷積+3×1 卷積、3×3卷積），2 個(gè)分支的特征相加后用步長為2 的1×1 卷積進(jìn)行線性組合。以原始YOLOv5 模型為基礎(chǔ)，驗(yàn)證ACIN 模型的有效性，結(jié)果見表1?？梢姡cAC模塊相比，ACIN模塊參數(shù)量和計(jì)算量均有所減少。

表1 AC模塊與ACIN模塊的參數(shù)量和計(jì)算量對(duì)比Tab.1 Parameter numbers and calculation amounts of AC and ACIN modules

圖4 AC模塊和ACIN模塊卷積示意圖Fig.4 Schematic diagram of convolution of AC and ACIN modules

1.2.3 散把程度表征

依據(jù) IoU（Intersection over Union）［12］的計(jì)算方法定義松散度以表征煙葉散把程度。如圖5 所示，采用改進(jìn)后YOLOv5 模型對(duì)煙葉進(jìn)行檢測(cè)并獲取預(yù)測(cè)框，計(jì)算預(yù)測(cè)框的寬度wi和中心坐標(biāo)（xi,y）i等位置信息，將所有預(yù)測(cè)框按x 坐標(biāo)進(jìn)行排序，則相鄰煙葉間的分散比和松散度計(jì)算公式為：

圖5 煙葉松散度計(jì)算過程Fig.5 Calculation process of loosening degree of tobacco leaves

式中：O(i,i+1)為第i 張煙葉與第i+1 張煙葉的分散比，%；xi和 xi+1分別為第 i 張和第 i+1 張煙葉預(yù)測(cè)框中心點(diǎn)的 x 坐標(biāo)；Wi和 Wi+1分別為第 i 張和第 i+1 張煙葉預(yù)測(cè)框的寬度；S(i,i+1)為第i 張煙葉與第i+1 張煙葉的松散度，%。

若分散比O(i,i+1)≥50%，說明相鄰煙葉間無重合且松散度為100%；若分散比O(i,i+1)＜50%，說明相鄰煙葉間有重合，松散度越大則相鄰煙葉間重疊程度越低，散把情況越好。

1.3 模型訓(xùn)練

模型在Windows 10 操作系統(tǒng)下運(yùn)行，采用Pytorch 框架在NVIDIA GeForce RTX 3060 12GB GPU 上進(jìn)行訓(xùn)練和測(cè)試。將訓(xùn)練集圖像分辨率縮小至640 px×640 px，利用改進(jìn)后YOLOv5 模型進(jìn)行訓(xùn)練。模型參數(shù)設(shè)置：初始學(xué)習(xí)率為0.01，衰減方式為余弦退火（Cosine annealing）［13］，衰減率為0.000 5，采用自適應(yīng)矩估計(jì)（Adam）優(yōu)化器，訓(xùn)練輪次（epoch）為 300，每 3 輪 epoch 進(jìn)行一次 warmup［14］操作，批次（batch）大小為32，錨框（Anchor）高寬比設(shè)為6，添加Mixup［15］數(shù)據(jù)增強(qiáng)并將其概率設(shè)為1。

1.4 模型評(píng)價(jià)指標(biāo)

選用網(wǎng)絡(luò)的參數(shù)量（Parameters）、計(jì)算量（GFLOPS）、模型大小（Weights）、每秒傳輸幀數(shù)（FPS）以及平均精確率（mean Average Precision，mAP）5 個(gè)指標(biāo)評(píng)價(jià)模型性能。其中，Parameters、GFLOPS、FPS 可以在模型訓(xùn)練時(shí)自動(dòng)計(jì)算得到，Weights 取訓(xùn)練結(jié)束后直接生成的網(wǎng)絡(luò)模型權(quán)重，mAP的計(jì)算方法為：

式中：TP（True Positives）為預(yù)測(cè)是正樣本并且預(yù)測(cè)正確的樣本數(shù)量，個(gè)；FP（False Positives）為預(yù)測(cè)是正樣本但預(yù)測(cè)錯(cuò)誤的樣本數(shù)量，個(gè)；FN（False Negatives）為預(yù)測(cè)是負(fù)樣本并且預(yù)測(cè)錯(cuò)誤的樣本數(shù)量，個(gè)；P 為查準(zhǔn)率（Precision），衡量所有正樣本預(yù)測(cè)中正確預(yù)測(cè)的比例，%；R 為召回率（Recall），衡量所有正樣本中預(yù)測(cè)正確的比例，%；P（R）為以R 為參數(shù)的曲線（橫坐標(biāo)為召回率R，縱坐標(biāo)為查準(zhǔn)率P）；AP（Average Precision）為單類別精確率，是查準(zhǔn)率P（R）在［0,1］范圍內(nèi)對(duì)R 進(jìn)行積分，即P（R）曲線下的面積大?。籱AP 為所有類別的平均精確率，%；C表示類別數(shù)，本研究中C=1。

對(duì)樣本進(jìn)行預(yù)測(cè)時(shí)，利用公式（7）計(jì)算預(yù)測(cè)框（A）與真實(shí)框（B）之間的交并比。一般取IoU=0.5 計(jì)算mAP，即IoU≥0.5預(yù)測(cè)為TP，反之則為FP。

2 結(jié)果與分析

2.1 模型訓(xùn)練結(jié)果

分別采用改進(jìn)前后YOLOv5 模型對(duì)訓(xùn)練集圖像進(jìn)行訓(xùn)練，結(jié)果見圖6?？梢?，改進(jìn)后模型在前50 epoch 迅速收斂，在100 epoch 后趨于穩(wěn)定，并且平均精確率和損失值均優(yōu)于改進(jìn)前YOLOv5模型。

圖6 改進(jìn)前后YOLOv5模型訓(xùn)練結(jié)果Fig.6 YOLOv5 model training results before and after modification

2.2 模型評(píng)價(jià)

在參數(shù)設(shè)置一致的前提下，對(duì)改進(jìn)后模型進(jìn)行消融實(shí)驗(yàn)，結(jié)果見表2?？梢?，在原始YOLOv5 模型基礎(chǔ)上添加Ghost模塊后，網(wǎng)絡(luò)的參數(shù)量和計(jì)算量分別下降10.8%和11.1%，模型大小減少10.9%，平均精確率未下降，表明Ghost模塊對(duì)減少網(wǎng)絡(luò)參數(shù)量和計(jì)算量、改善網(wǎng)絡(luò)性能具有一定的作用；在原始YOLOv5模型基礎(chǔ)上添加ACIN模塊后，計(jì)算量增加14.0%，參數(shù)量和網(wǎng)絡(luò)模型大小分別減少1.7%和2.1%，平均精確率提升0.3 百分點(diǎn)；在原始YOLOv5模型基礎(chǔ)上加入Ghost模塊和ACIN模塊后，網(wǎng)絡(luò)參數(shù)量和模型大小分別減少12.8%和12.4%，計(jì)算量變化不大，平均精確率提高0.2 百分點(diǎn)，表明改進(jìn)后的YOLOv5 模型具有良好的檢測(cè)效果且優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)。

表2 改進(jìn)后YOLOv5模型消融實(shí)驗(yàn)結(jié)果Tab.2 Ablation results of modified YOLOv5 model

如表3 所示，與當(dāng)前主流的目標(biāo)檢測(cè)模型相比，改進(jìn)后YOLOv5 模型平均精確率優(yōu)于其他模型且參數(shù)量相對(duì)較少，檢測(cè)速度與原始YOLOv5 模型接近，達(dá)到32.25 幀/s，能夠滿足煙葉散把檢測(cè)的實(shí)時(shí)性要求。

表3 不同模型對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Comparative experimental results of different models

2.3 散把程度檢測(cè)效果

如圖7 所示，利用測(cè)試集圖像驗(yàn)證改進(jìn)前后YOLOv5 模型的檢測(cè)效果。可見，改進(jìn)后模型對(duì)煙葉檢測(cè)的精確率以及預(yù)測(cè)框的定位精準(zhǔn)度均優(yōu)于改進(jìn)前模型，有效提高了煙葉松散度計(jì)算結(jié)果的準(zhǔn)確性。

圖7 改進(jìn)前后YOLOv5模型對(duì)煙葉散把程度的檢測(cè)效果Fig.7 Detection effects of YOLOv5 models before and after modification on tobacco bundle-loosening degree

3 結(jié)論

采用 Ghost 模塊和 ACIN 模塊對(duì) YOLOv5 模型的主干網(wǎng)絡(luò)和瓶頸層進(jìn)行改進(jìn)，對(duì)訓(xùn)練集煙葉圖像訓(xùn)練后建立了煙葉散把程度檢測(cè)模型。分別利用改進(jìn)前后YOLOv5 模型進(jìn)行訓(xùn)練，結(jié)果表明：與原始YOLOv5 模型相比，改進(jìn)后YOLOv5 模型在未明顯增加計(jì)算量的前提下，參數(shù)量減少12.8%，模型大小減小12.4%，平均精確率提升0.2 百分點(diǎn)，優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，降低了模型復(fù)雜程度；改進(jìn)后模型與YOLOv4、Efficientdet-d0、Faster R-CNN 等目標(biāo)檢測(cè)模型相比，平均精確率、檢測(cè)速度均為最優(yōu)且參數(shù)量較少，有利于在工業(yè)環(huán)境下以及移動(dòng)端進(jìn)行部署，實(shí)現(xiàn)煙葉散把情況的實(shí)時(shí)檢測(cè)。