雪茄煙煙支外觀質(zhì)量檢測方法

張鵬飛，陳姣文，郭洪濱，楊榮超，賀 琛，張 勍，李青常，李素曉，慎龍舞，苗 芊*，薛 芳*

1.中國煙草總公司鄭州煙草研究院，鄭州高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)楓楊街2 號 450001

2.四川中煙工業(yè)有限責(zé)任公司技術(shù)中心，成都市錦江區(qū)成龍大道一泉段56 號 610066

3.鄭州大學(xué)物理學(xué)院，鄭州市高新區(qū)科學(xué)大道100 號 450001

雪茄煙是以雪茄煙葉為主作為茄芯，雪茄煙葉或再造煙葉作為茄衣，經(jīng)過干燥、發(fā)酵等工序制作而成的一種具有雪茄煙風(fēng)味特征的煙草制品［1］。近年來，國產(chǎn)雪茄煙消費(fèi)呈現(xiàn)爆發(fā)式增長態(tài)勢，成為國內(nèi)卷煙消費(fèi)新熱點(diǎn)。雪茄煙外觀質(zhì)量是雪茄煙產(chǎn)品質(zhì)量的重要組成部分，直接影響消費(fèi)者對產(chǎn)品的印象。雪茄煙外觀質(zhì)量缺陷包括病斑、污痕、洞眼等，目前生產(chǎn)企業(yè)普遍采用感官觀測法對煙支外觀質(zhì)量進(jìn)行檢測，存在人為影響因素大、檢驗(yàn)工序耗時(shí)費(fèi)力、質(zhì)量數(shù)據(jù)難以分析與應(yīng)用等問題。隨著機(jī)器視覺和深度學(xué)習(xí)等技術(shù)的發(fā)展，生產(chǎn)制造領(lǐng)域的檢測技術(shù)得到進(jìn)一步優(yōu)化。李捷等［2］設(shè)計(jì)了基于機(jī)器視覺的煙支外觀在線檢測系統(tǒng)，煙支質(zhì)量識別準(zhǔn)確率達(dá)到98%。張超凡等［3］提出一種基于視覺形態(tài)特征檢測的煙梗切絲質(zhì)量分析方法，能夠?qū)煿Ｇ薪z質(zhì)量進(jìn)行快速準(zhǔn)確評估。袁國武等［4］通過改進(jìn)ResNeSt網(wǎng)絡(luò)，建立了基于ResNeSt的煙支外觀缺陷分類方法，有效解決了煙支外觀缺陷分類檢測效率低等問題。徐龍泉等［5］基于計(jì)算機(jī)視覺技術(shù)建立一種高精度氣泡缺陷檢測方法，通過在卷煙爆珠放行檢驗(yàn)中準(zhǔn)確檢測出氣泡缺陷爆珠，避免將污點(diǎn)、白斑以及膠皮粘附等非必檢缺陷誤識別為氣泡。叢明等［6］針對復(fù)雜鑄件外觀缺陷體積小、背景復(fù)雜干擾大、難以實(shí)現(xiàn)高精度缺陷檢測等問題，提出一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測模型。此外，孫浩巍等［7］通過研究雪茄煙煙葉外觀質(zhì)量評價(jià)體系，總結(jié)了雪茄煙煙葉相關(guān)術(shù)語，建立了雪茄煙煙葉外觀評價(jià)規(guī)則及評價(jià)指標(biāo)，初步構(gòu)建了雪茄煙茄衣、茄套、茄芯質(zhì)量評價(jià)體系。但關(guān)于雪茄煙煙支外觀質(zhì)量缺陷檢測方法的研究則鮮見報(bào)道。為此，搭建了一種雪茄煙煙支外觀質(zhì)量檢測裝置，并基于機(jī)器視覺技術(shù)和深度學(xué)習(xí)建立了雪茄煙煙支外觀質(zhì)量檢測模型，以期提高雪茄煙產(chǎn)品質(zhì)量檢測精度和效率。

1 材料與方法

1.1 材料

“王冠”牌手工雪茄煙（安徽中煙工業(yè)有限責(zé)任公司蚌埠卷煙廠蒙城雪茄煙生產(chǎn)部提供），用于建立缺陷數(shù)據(jù)集；“長城”牌手工雪茄煙（四川中煙工業(yè)有限責(zé)任公司長城雪茄廠提供），用于測試應(yīng)用效果。

1.2 雪茄煙煙支外觀質(zhì)量檢測裝置

搭建了雪茄煙煙支外觀質(zhì)量檢測裝置，見圖1。其中，柱面相機(jī)和端面相機(jī)均為A7B00CGZY-01 工業(yè)相機(jī)（浙江大華技術(shù)股份有限公司），鏡頭分別為MH0814X 和MH1228X（浙江華?？萍脊煞萦邢薰荆Ｑ┣褵煙熤庥^質(zhì)量檢測分為柱面檢測和端面檢測：①柱面檢測時(shí)，將煙支放置在可調(diào)節(jié)平臺上，通過調(diào)節(jié)平臺位置使煙支處于相機(jī)焦距處，采集煙支柱面圖像，然后旋轉(zhuǎn)煙支120°采集圖像，繼續(xù)旋轉(zhuǎn)煙支120°采集圖像，實(shí)現(xiàn)煙支圓周全覆蓋拍照。②端面檢測時(shí)，調(diào)節(jié)端面相機(jī)左右位置，使煙支端面位于相機(jī)焦距處，采集煙支端面圖像。與柱面檢測不同，端面檢測只需拍攝1次即可完成圖像采集，在此過程中要確保煙支穩(wěn)定且拍攝角度正確。

圖1 雪茄煙煙支外觀質(zhì)量檢測裝置結(jié)構(gòu)圖Fig.1 Structure of cigar appearance inspection device

1.3 數(shù)據(jù)集構(gòu)建

以不同外觀質(zhì)量缺陷的雪茄煙煙支樣品作為實(shí)驗(yàn)對象，包括脫皮、青斑、病斑、切口破損、縫口5種缺陷類型。采集缺陷圖像包括脫皮600 張，青斑297張，病斑149張，切口破損299張，縫口88張。5種缺陷類型圖像見圖2。

圖2 雪茄煙煙支外觀質(zhì)量缺陷圖像Fig.2 Images of cigar appearance defects

為保證5 種缺陷數(shù)據(jù)之間均衡，采用圖像平移和翻轉(zhuǎn)的方法對數(shù)量較少的缺陷類型進(jìn)行數(shù)據(jù)增廣，處理后圖像效果見圖3。增廣后各種缺陷類型的圖像數(shù)量分別為脫皮600 張，青斑594 張，病斑560 張，切口破損598 張，縫口528 張。采用LabelImg 標(biāo)注工具對所有缺陷圖像進(jìn)行標(biāo)注和框選［8-9］，每個圖像對應(yīng)一個txt 文件，用于記錄缺陷類型和位置，見圖4。

圖3 圖像平移和翻轉(zhuǎn)處理效果Fig.3 Effects of image panning and flipping

圖4 缺陷圖像標(biāo)注Fig.4 Defect labeling on an image

增廣后數(shù)據(jù)集包含2 880 張缺陷圖像，將其按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。其中，訓(xùn)練集2 304 張，驗(yàn)證集288 張，測試集288 張。利用訓(xùn)練集進(jìn)行訓(xùn)練，同時(shí)利用驗(yàn)證集對每個訓(xùn)練周期的模型進(jìn)行性能監(jiān)測。訓(xùn)練結(jié)束后，使用測試集對模型性能進(jìn)行檢測。

1.4 柱面缺陷檢測方法

1.4.1 檢測模型

近年來，目標(biāo)檢測模型被廣泛應(yīng)用于缺陷檢測領(lǐng)域，對比Faster-RCNN、FSSD 等檢測模型，YOLO模型具有輕量化、便于遷移、泛化能力強(qiáng)、檢測速度快等特征。因此，采用基于深度學(xué)習(xí)的YOLOv5［10］模型實(shí)現(xiàn)雪茄煙煙支柱面缺陷檢測。YOLOv5模型由特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和檢測頭3 部分組成。常用的特征提取網(wǎng)絡(luò)有ResNet 系列［11］、CSPDarkNet 系列、DarkNet 系列［12］等，本文中采用CSPDarkNet作為特征提取網(wǎng)絡(luò)，在減少參數(shù)的同時(shí)具有較高檢測精度。特征融合網(wǎng)絡(luò)有FPN、PANet［13］等，見圖5。本文中采用PANet 對特征進(jìn)行融合，通過自上而下和自下而上兩次融合，使每個特征圖都具有較強(qiáng)的語義特征和位置特征，從而提高檢測精度。檢測頭的作用是對特征融合網(wǎng)絡(luò)的特征圖進(jìn)行預(yù)測，從而完成訓(xùn)練或推理。

1.4.2 先驗(yàn)框和數(shù)據(jù)預(yù)處理

為進(jìn)一步提高檢測精度，采用YOLO 系列模型的K-means聚類算法完成數(shù)據(jù)集先驗(yàn)框（anchors）的生成，步長為8、16和32的特征圖生成的先驗(yàn)框見表1。為提高模型的魯棒性和泛化能力，在加載缺陷圖像時(shí)，采用尺度縮放、平移、翻轉(zhuǎn)、飽和度增強(qiáng)和色調(diào)增強(qiáng)等方法對圖像進(jìn)行預(yù)處理。結(jié)果顯示，尺度縮放、平移和翻轉(zhuǎn)可以為模型性能帶來正增益效果，飽和度增強(qiáng)和色調(diào)增強(qiáng)則為模型性能帶來負(fù)增益效果。

表1 不同步長特征圖生成的先驗(yàn)框Tab.1 Anchors generated from feature maps with different step sizes

1.4.3 模型評估

采用精確率P（Precision）、召回率R（Recall）、某類別平均準(zhǔn)確率AP（Average Precision）、多類別平均準(zhǔn)確率MAP（Mean Average Precision）和每秒傳輸幀數(shù)FPS（Frames Per Second）評估模型表現(xiàn)［14］。

1.4.4 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

實(shí)驗(yàn)在Windows 10 操作系統(tǒng)上進(jìn)行，CPU 為12th Gen Intel Core i7，內(nèi)存64 GB。GPU 為NVIDIA GeForce RTX 3080Ti，內(nèi)存12 GB。檢測模型在Pycharm中開發(fā)和訓(xùn)練，開發(fā)語言為Python。深度學(xué)習(xí)框架為Pytorch1.13和Cuda11.6。模型在訓(xùn)練時(shí)，輸入圖像經(jīng)過雙線性插值和雙邊填充后尺寸為1 280 px×1 280 px，批大小為8，訓(xùn)練周期為150，初始學(xué)習(xí)率為0.01。權(quán)值優(yōu)化采用隨機(jī)梯度下降法（Stochastic Gradient Descent），學(xué)習(xí)率調(diào)整策略采用線性衰減方式，學(xué)習(xí)率與訓(xùn)練周期呈線性相關(guān)。其他參數(shù)均采用YOLOv5 原始參數(shù)，動量因子為0.937，為防止早期訓(xùn)練時(shí)出現(xiàn)較大波動，設(shè)置前3個周期為預(yù)熱周期。損失函數(shù)由定位損失、置信度損失和分類損失3部分組成，置信度和分類損失采用二分類交叉熵進(jìn)行計(jì)算，定位損失采用CIoU（Complete-IoU）［15］進(jìn)行計(jì)算。為加快模型收斂速度，采用遷移學(xué)習(xí)方式，使用YOLOv5模型在COCO（Common Objects in Context）數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)值對模型進(jìn)行初始化。

1.5 端面缺陷檢測方法

端面主要檢測空頭缺陷，空頭是因煙絲缺失而造成的質(zhì)量缺陷，見圖6。因空頭缺陷種類單一、特征鮮明，本文中采用傳統(tǒng)的圖像處理方法完成空頭缺陷檢測。為提升缺陷與背景的對比度，采用環(huán)形光源作為端面光源。經(jīng)過對比分析RGB（紅、綠、藍(lán)）、HSV（色調(diào)、飽和度、明度）等顏色空間，發(fā)現(xiàn)在HSV 空間的V 通道中，空頭缺陷與背景呈現(xiàn)較大差異。為此，采用大津法求得最佳閾值對圖像進(jìn)行分割，通過統(tǒng)計(jì)煙絲缺失比例，實(shí)現(xiàn)空頭缺陷檢測。

圖6 空頭缺陷圖像Fig.6 An image of loose end defect

2 結(jié)果與分析

2.1 柱面缺陷檢測結(jié)果

2.1.1 訓(xùn)練結(jié)果

在實(shí)驗(yàn)環(huán)境下開展150個周期的訓(xùn)練，并使用測試集對模型性能進(jìn)行測試。結(jié)果顯示，模型的精確率P為91.2%，召回率R為85.1%，IoU（Intersection over Union）閾值為0.5 時(shí)的MAP 為87.7%。測試集的P-R曲線和混淆矩陣見圖7和圖8。

圖7 測試集的P-R曲線Fig.7 P-R curve of the test set

圖8 測試集的混淆矩陣Fig.8 Confusion matrix of the test set

2.1.2 檢測結(jié)果

為驗(yàn)證YOLOv5模型對雪茄煙煙支外觀質(zhì)量缺陷檢測的有效性，將該模型與其他模型同時(shí)進(jìn)行檢測，結(jié)果見表2。可見，與Faster-RCNN模型［16］相比，YOLOv5 的MAP 提升13.9 百分點(diǎn)；與FSSD 模型［17］相比，YOLov5 的MAP 提升9.3 百分點(diǎn)。此外，YOLOv5 的檢測速度分別是Faster-RCNN 和FSSD的8倍和5倍。

表2 不同檢測模型的測試結(jié)果對比Tab.2 Comparison of test results between different inspection models

采用未參與訓(xùn)練的缺陷圖像對模型的魯棒性和泛化能力進(jìn)行檢測，結(jié)果見圖9。由圖9a和9c可見，YOLOv5 模型能夠檢測出單個缺陷和多個缺陷；由圖9a、9b 和9c 可見，YOLOv5 模型對各種尺寸缺陷均具有較好檢測效果；由圖9b可見，YOLOv5模型能夠?qū)崿F(xiàn)對比度差、不易發(fā)現(xiàn)的缺陷檢測；由圖9d 可見，YOLOv5 模型能夠完成多種缺陷和密集缺陷的檢測。

圖9 不同外觀質(zhì)量缺陷檢測結(jié)果Fig.9 Inspection results of different appearance defects

2.2 端面缺陷檢測結(jié)果

在HSV 顏色空間中提取V 通道信息，使用大津法自適應(yīng)計(jì)算每張圖像的閾值，并對圖像進(jìn)行分割。由圖10可見，在實(shí)驗(yàn)室不同光照亮度環(huán)境下，該方法均能夠完成煙絲缺失區(qū)域檢測。

圖10 實(shí)驗(yàn)室不同光照亮度環(huán)境下空頭缺陷檢測結(jié)果Fig.10 Inspection results of loose end defects under different luminance environments in a laboratory

2.3 應(yīng)用效果

采用基于YOLOv5訓(xùn)練的雪茄煙煙支外觀質(zhì)量缺陷檢測方法，對四川中煙提供的“長城”牌雪茄煙不同類型缺陷煙支進(jìn)行測試，驗(yàn)證方法的有效性，結(jié)果見圖11?？梢?，該方法能夠適應(yīng)各種復(fù)雜環(huán)境，對不同煙支缺陷均具有較高檢測精度，泛化能力強(qiáng)，穩(wěn)定性好，可以實(shí)現(xiàn)多個缺陷的同時(shí)檢測和精準(zhǔn)定位。

圖11 雪茄煙煙支外觀質(zhì)量缺陷驗(yàn)證結(jié)果Fig.11 Validation results of appearance defects of cigars

圖12 為端面空頭缺陷檢測結(jié)果?？梢姡a(chǎn)現(xiàn)場不同光照亮度環(huán)境下圖像分割效果良好，通過分割煙絲缺陷部分，進(jìn)一步計(jì)算煙絲缺失比例，從而實(shí)現(xiàn)空頭缺陷檢測。結(jié)果表明，端面檢測方法具有較強(qiáng)抗干擾能力，適用于不同亮度環(huán)境。

圖12 生產(chǎn)現(xiàn)場不同光照亮度環(huán)境下空頭缺陷檢測結(jié)果Fig.12 Inspection results of loose end defects under different luminance environments in site

3 結(jié)論

基于機(jī)器視覺技術(shù)和深度學(xué)習(xí)構(gòu)建了一種雪茄煙煙支外觀質(zhì)量檢測方法，采用YOLOv5 模型對柱面缺陷進(jìn)行檢測，利用傳統(tǒng)圖像處理方法完成空頭缺陷檢測。結(jié)果表明：①采用YOLOv5 模型對柱面缺陷進(jìn)行檢測，MAP為87.7%，單張圖像檢測時(shí)間為13.1 ms/張，檢測精度分別比Faster-RCNN 和FSSD提升13.9 和9.3 百分點(diǎn)，檢測速度分別是Faster-RCNN和FSSD的8倍和5倍；YOLOv5模型對不同種類缺陷、多尺寸缺陷和密集缺陷均具有較好檢測效果。②采用傳統(tǒng)的圖像處理法對端面缺陷進(jìn)行識別，在不同光照亮度環(huán)境下，均能夠完成煙絲缺失區(qū)域檢測。③通過雪茄煙煙支外觀缺陷檢測方法，可準(zhǔn)確檢測不同缺陷類型及位置，從而實(shí)現(xiàn)雪茄煙煙支缺陷分類。