基于無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的卷煙小包拉線缺陷視覺智能檢測方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

基于無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的卷煙小包拉線缺陷視覺智能檢測方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

（浙江中煙工業(yè)有限責(zé)任公司，杭州 310024）

為減少ZB47包裝機小包拉線缺陷投訴，基于無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)構(gòu)建一種小包拉線缺陷視覺智能檢測方法。首先，在ZB47包裝機CH轉(zhuǎn)塔部位設(shè)計并加裝小包圖像采集裝置，獲得實時高清晰度小包圖像。其次，將小包圖像根據(jù)拉線位置進行固定位置的裁剪，從而減輕不同工況的環(huán)境背景影響并且加快檢測速度。然后，構(gòu)建自編碼器–編碼器結(jié)構(gòu)的主干網(wǎng)絡(luò)，同時疊加生成對抗網(wǎng)絡(luò)中的判別器模塊組成缺陷判別模型，并綜合采用圖像間、圖像隱空間以及圖像特征間的信息構(gòu)建模型的損失函數(shù)。最后，使用裁剪后的正常小包拉線圖像對構(gòu)建的缺陷判別模型進行訓(xùn)練，并基于所有的正常小包圖像得到異常閾值。實際驗證階段，待檢測圖像的得分大于異常閾值即判斷為異常圖像，觸發(fā)CH轉(zhuǎn)塔部位的小包剔除裝置將該缺陷小包剔除。生產(chǎn)現(xiàn)場測試表明，所提方法可以對典型小包缺陷進行快速準確檢測，缺陷檢測準確率為99.99%。該方法能夠滿足生產(chǎn)現(xiàn)場卷煙小包拉線缺陷檢測的準確性和實時性要求。

卷煙小包拉線；生成對抗網(wǎng)絡(luò)；自編碼器；視覺智能檢測

卷煙制造環(huán)節(jié)中，相較于人工缺陷檢查，采用機器視覺的缺陷智能檢測方法具有檢測速度快、檢測準確性高等優(yōu)點。機器視覺的缺陷智能檢測方法已逐步在煙梗切絲質(zhì)量檢測[1]、爆珠缺陷檢測[2-4]、濾棒數(shù)量檢測[5]、煙支接裝質(zhì)量檢測[6]、中速包裝機小包透明紙缺陷檢測[7-8]、條盒缺陷檢測[9-11]、煙箱缺條檢測[12-13]、煙草品牌檢測[14]等多個場景進行了成功應(yīng)用。國產(chǎn)ZB47是一種生產(chǎn)速度為550包/分鐘的高速包裝機，是“十三五”期間煙草期間行業(yè)重大技術(shù)裝備，目前已在19家中煙工業(yè)公司廣泛使用。該機型已有小包外觀檢測、條盒外觀檢測等成功應(yīng)用，但是小包外觀檢測主要利用模板匹配方法對未包裝透明紙的小包進行缺陷檢測，包裝好透明紙的小包外觀檢測仍處于在線監(jiān)控盲區(qū)，實際生產(chǎn)過程會出現(xiàn)無拉線、拉線高/低等小包拉線質(zhì)量缺陷和投訴。由于安裝圖像采集裝置物理空間制約，以及檢測算法極高的實時性和準確率要求，針對ZB47高速包裝機包裝好透明紙的小包拉線缺陷檢測未見相關(guān)研究和成功應(yīng)用的報道。針對僅有極少量缺陷樣本，以及極高的檢測實時性和準確率要求的ZB47高速包裝機小包拉線在線檢測場景，亟需研發(fā)一套基于無監(jiān)督深度學(xué)習(xí)的小包拉線缺陷智能檢測裝置，實現(xiàn)小包拉線缺陷的實時檢測和聯(lián)動剔除。

1 小包圖像采集裝置設(shè)計

為了保證含有拉線缺陷的小包能被及時發(fā)現(xiàn)并剔除，需要在剔除裝置之前進行小包圖像采集和缺陷檢測。ZB47高速包裝機CH轉(zhuǎn)塔部位位置狹小且處于半封閉空間，該處小包已經(jīng)包好透明紙及拉線，但還未經(jīng)過整容器進一步燙平美容，CH轉(zhuǎn)塔部位的剔除位置位于轉(zhuǎn)輪轉(zhuǎn)盤正中位置，需要在前一個工位進行小包圖像采集裝置的設(shè)計和安裝，并完成小包圖像的采集和缺陷檢測。CH轉(zhuǎn)塔部位的工位見圖1。

圖中1號工位為檢測位，實現(xiàn)小包圖像采集和缺陷檢測，并給出剔除反饋；2號工位為剔除位，實現(xiàn)缺陷小包的及時剔除；3號工位為整容器入口位置。

由于CH轉(zhuǎn)塔部位位置狹小且屬于半封閉空間，沒有足夠的物理空間安裝支架、工業(yè)相機和光源，最終安裝位置選取在轉(zhuǎn)輪外部臺階上。此時工業(yè)相機到小包的直線距離為380 mm左右，通過多次現(xiàn)場測試最終選用130萬像素彩色工業(yè)相機、25 mm工業(yè)鏡頭和定制光斑直徑為60 mm的LED聚光光源（光源采用低角度打光），安裝位置見圖2。

圖1 CH轉(zhuǎn)塔部位的工位示意圖

小包在轉(zhuǎn)塔部位轉(zhuǎn)盤的位置狀態(tài)可以分為2種：工位處和工位之間運動處。當(dāng)CH轉(zhuǎn)盤將煙包輸送到1號工位時，會有一個短暫停留，利用該時間進行小包圖像采集，采集的圖像發(fā)送至系統(tǒng)后臺，并由缺陷視覺智能檢測方法進行缺陷檢測，對于有缺陷的小包，系統(tǒng)將剔除信號發(fā)送給包裝機ZB47電控系統(tǒng)。

2 小包圖像缺陷檢測算法設(shè)計

ZB47高速包裝機其生產(chǎn)速度550包/分鐘，煙包在CH轉(zhuǎn)盤上每轉(zhuǎn)動一個工位的時間周期約為200 ms。該時間內(nèi)需要執(zhí)行工業(yè)相機觸發(fā)拍照、圖像缺陷檢測算法模型運算、給電控系統(tǒng)輸出剔除信號等。采用相機千兆網(wǎng)GigE接口傳輸圖片時，各個操作預(yù)估耗時見表1。

ZB47高速包裝機小包實際生產(chǎn)過程中，因前期未進行小包拉線圖像采集，通過上述設(shè)計的小包圖像采集裝置，實現(xiàn)了小包拉線圖像的數(shù)字化表征和存儲，但收集的圖像數(shù)據(jù)主要為正常小包拉線圖像樣本，缺陷小包拉線圖像樣本主要靠市場投訴積累，數(shù)量極少。同時由于包裝機生產(chǎn)速度快，在對缺小陷小包進行實時檢測和剔除時，需要缺陷檢測算法具有很高的實時性（小于50 ms）。ZB47高速包裝機小包拉線缺陷檢測需要解決缺陷圖像樣本少和缺陷檢測實時性高等問題。

圖2 CH轉(zhuǎn)塔部位的圖像采集裝置示意圖

表1 轉(zhuǎn)盤單個轉(zhuǎn)動周期內(nèi)各個操作的預(yù)估耗時表

Tab.1 Estimated time consumption of each operation in a single rotation cycle of the turntable

有監(jiān)督缺陷檢測算法的網(wǎng)絡(luò)結(jié)構(gòu)較深，使得其檢測速率較慢，很難滿足工業(yè)生產(chǎn)場景較高的實時性需求。對于僅有極少量缺陷樣本的快速缺陷檢測場景，無監(jiān)督缺陷檢測算法能夠很好地解決缺陷圖像樣本少和缺陷檢測實時性高的問題[15]。文中提出一種只使用小包正常圖像樣本的無監(jiān)督深度學(xué)習(xí)缺陷檢測算法，實現(xiàn)了卷煙制造過程小包拉線缺陷的精準實時檢測和定位。

2.1 基于生成對抗網(wǎng)絡(luò)和自編碼器的缺陷檢測模型

文中提出的無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)小包拉線缺陷檢測算法結(jié)構(gòu)（見圖3）包括自編碼器（AE）和生成對抗網(wǎng)絡(luò)（GAN）2部分。所提小包拉線缺陷檢測算法由3個子網(wǎng)絡(luò)組成，第1個子網(wǎng)是自編碼器網(wǎng)絡(luò)，由1個編碼器和1個解碼器組成，用來學(xué)習(xí)正常卷煙小包圖像的分布。編碼器e讀取輸入的小包原始圖像，通過計算得到對應(yīng)的隱空間值，之后通過解碼器d得到其重構(gòu)后的圖像；第2個子網(wǎng)是一個編碼網(wǎng)絡(luò)，由1個編碼器組成，將重構(gòu)的圖像輸入到編碼器中得到其對應(yīng)的隱空間值（和具有相同的維度），從隱空間的層面上判別缺陷，大大降低數(shù)據(jù)維度從而能夠提高判別的效率和準確率；第3個子網(wǎng)是一個鑒別網(wǎng)絡(luò)，由1個標(biāo)準GAN網(wǎng)絡(luò)結(jié)構(gòu)的判別器組成，通過判別器區(qū)分原始圖像和重構(gòu)圖像的差異，通過對抗訓(xùn)練來使得自編碼器能夠較好地擬合正常卷煙小包的分布。

圖3 無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的小包拉線缺陷檢測算法結(jié)構(gòu)

無監(jiān)督深度學(xué)習(xí)小包缺陷檢測模型采用3個損失函數(shù)來進行綜合訓(xùn)練。首先基于輸入圖像和重構(gòu)圖像的差異定義圖像間的重構(gòu)損失函數(shù)，保證了自編碼器能夠?qū)W習(xí)到輸入圖像的語義信息，其定義如下：

(1)

(2)

最后基于第3個子網(wǎng)的判別器定義對抗損失函數(shù)。不同于原始GAN中通過判別器的輸出值來更新編碼器G，采用根據(jù)判別器中的內(nèi)部特征表示更新編碼器G，以增強對卷煙小包特征的提取。由于神經(jīng)網(wǎng)絡(luò)越靠后的層所提取的特征越能代表圖像的高維屬性，采用判別器倒數(shù)第2層特征之間的差異來組成損失函數(shù)，公式為：

(3)

式中：()為輸入圖像在判別器倒數(shù)第2層的特征表征；()為重構(gòu)圖像在判別器倒數(shù)第2層的特征表征。由于判別器的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，從特征層面上定義損失函數(shù)以增強模型的魯棒性。

基于這3個損失函數(shù)便組成了小包缺陷檢測算法模型的綜合損失函數(shù)：

(4)

式中：1、2和3用來調(diào)整各個損失對于模型訓(xùn)練的影響，需要在實際的工況條件下進行調(diào)整。

在訓(xùn)練的第1階段，第3個子網(wǎng)的判別器被凍結(jié)，第1個子網(wǎng)的自編碼器和第2個子網(wǎng)的編碼器首先尋找正常數(shù)據(jù)和異常數(shù)據(jù)出現(xiàn)差異的最佳隱空間，從而可以根據(jù)圖像間對應(yīng)隱空間的不同來判斷是否有缺陷。在第2個訓(xùn)練階段，固定第1個子網(wǎng)的自編碼器和第2個子網(wǎng)的編碼器參數(shù)，第3個子網(wǎng)的判別器利用原始圖像和生成圖像之間的差異進行缺陷區(qū)域定位。無監(jiān)督深度學(xué)習(xí)小包缺陷檢測算法整體框架見圖4。

圖4 無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的小包缺陷檢測算法總體框架

2.2 小包圖像處理與缺陷檢測

對于采集到的卷煙小包圖像，由于生產(chǎn)環(huán)境的不同，其圖像中包含著大量的背景因素。這些與檢測主體無關(guān)的背景因素不僅會增加模型的運算量，同時也會干擾模型的檢測，從而導(dǎo)致模型的準確度下降。

卷煙小包生產(chǎn)過程中，采集到的圖像中卷煙小包的位置是相對固定的。采取固定裁剪框?qū)⑷毕菘赡艽嬖诘睦€區(qū)域裁剪下來，從而較好地消除環(huán)境因素的干擾，并使得模型集中在缺陷可能存在的主體區(qū)域?；诓眉艉蟮挠行^(qū)域正常卷煙小包圖像構(gòu)建訓(xùn)練集，進行上述缺陷檢測模型的訓(xùn)練，并根據(jù)所有正常卷煙小包圖像的異常分數(shù)值綜合制定正常圖像的異常分數(shù)閾值。在檢測階段，根據(jù)上述異常分數(shù)的定義，計算待檢測圖像的異常分數(shù)，將異常分數(shù)值與制定的異常分數(shù)閾值相比較，如果超過了異常分數(shù)閾值則待檢測圖像存在缺陷，向包裝機電控系統(tǒng)發(fā)出剔除信號。小包拉線缺陷檢測流程見圖5。

3 數(shù)據(jù)驗證與結(jié)果分析

3.1 試驗數(shù)據(jù)準備

選取某卷煙廠ZB47高速包裝機采集的卷煙小包圖像進行缺陷檢測方法有效性驗證。通過數(shù)據(jù)甄別，選取200張正常的卷煙小包圖像構(gòu)成訓(xùn)練集，500張含有正常及異常卷煙小包圖像構(gòu)成測試集（其中正常小包圖像454張、異常小包圖像46張）。正常和異常卷煙小包圖像見圖6，其像素大小為1 280×1 024×3。

圖5 小包拉線缺陷檢測流程

3.2 模型離線訓(xùn)練

小包拉線缺陷智能檢測模型訓(xùn)練100輪，訓(xùn)練樣本的數(shù)量batchsize取為64，采用Adam作為深度學(xué)習(xí)優(yōu)化器，Adam中學(xué)習(xí)率，動量、。式（4）中、和分別為50、1和1。在隱空間上定義異常分數(shù)，隱空間的維度為128維。模型使用Python中的Pytorch框架實現(xiàn)，Python版本為3.6，Pytorch版本為1.6。模型在RTX 2080Ti GPU下進行訓(xùn)練，檢測一張圖像的平均時間為3.18 ms，異常分數(shù)閾值為0.25。

隨著訓(xùn)練輪次的增加，缺陷智能檢測模型的重構(gòu)能力逐漸增強、重構(gòu)的圖像逐漸清晰，當(dāng)訓(xùn)練到100輪時，重構(gòu)圖像與原始圖像已經(jīng)非常接近，幾乎能夠達到以假亂真的效果。各個訓(xùn)練輪次模型對原圖的重構(gòu)效果見圖7。

圖6 正常與異常卷煙小包圖像

3.3 模型離線測試

利用500張小包圖像（其中正常小包圖像454張、異常小包圖像46張）的測試數(shù)據(jù)進行缺陷智能檢測模型離線驗證，模型的準確率、誤報率、漏報率等指標(biāo)定義如下。

P為圖像實際無雜物，且檢測算法判斷無雜物。P為圖像實際有雜物，但檢測算法卻沒報警，即漏報。N為圖像實際無雜物，但檢測算法卻報警，即誤報。N為圖像實際有雜物，且檢測算法正確報警。

模型準確率，即檢測正確的圖像樣本數(shù)與總圖像樣本數(shù)的比值，計算見式（5）。

(5)

漏報率（負樣本），即漏報的有雜物圖像樣本數(shù)與實際有雜物圖像樣本數(shù)的比值，計算見式（6）。

(6)

圖7 模型訓(xùn)練過程中模型對于原圖的重構(gòu)圖

圖8 小包拉線缺陷檢測模型訓(xùn)練過程的損失函數(shù)進化曲線

誤報率（正樣本），即誤報的無雜物圖像樣本數(shù)與實際無雜物圖像樣本數(shù)的比值，計算見式（7）。

(7)

小包拉線缺陷智能檢測模型的各個評價指標(biāo)見表2。

表2 小包拉線缺陷智能檢測模型的評價結(jié)果

Tab.2 Evaluation result of cigarette packet tear tape defect detection model

從離線測試結(jié)果可以得出，缺陷智能檢測模型的漏報率和誤報率都較低，分別為0%和0.66%，模型的準確率維持在一個較高的水平，達到了99.4%，能夠滿足實際生產(chǎn)的檢測要求。

3.4 生產(chǎn)現(xiàn)場應(yīng)用

在生產(chǎn)現(xiàn)場工控機（帶RTX 1050Ti GPU）進行小包拉線缺陷智能檢測模型的部署，并開發(fā)了具備實時監(jiān)控、歷史查詢、模型訓(xùn)練、系統(tǒng)設(shè)置等功能的小包缺陷檢測系統(tǒng)，軟件界面見圖9。無拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型缺陷見圖10。

圖9 小包缺陷檢測系統(tǒng)界面

經(jīng)過3個月的現(xiàn)場測試，系統(tǒng)對7 697 402張樣本圖像進行了在線檢測，共檢出了4 433張缺陷樣本圖像，通過工藝專家核對，僅發(fā)現(xiàn)21張誤報缺陷樣本圖像。誤報集中在拉線偏移缺陷，說明算法對拉線微小偏移的檢測仍有進一步優(yōu)化空間。

現(xiàn)場測試共產(chǎn)生769萬多張判斷為正常的小包圖像，如此大量的小包圖像數(shù)據(jù)無法直接進行人工核對，只能通過產(chǎn)品流向市場后的投訴追溯來間接反映是否存在漏報。通過綜合市場投訴的追溯分析，未發(fā)現(xiàn)該機臺檢測區(qū)域有不合格小包流向市場。

圖10 檢測出的典型小包缺陷圖像

綜上所述，在文中算法的現(xiàn)場測試期間，共完成7 697 402張樣本圖像的在線檢測，僅發(fā)生21次誤報，且未發(fā)生對應(yīng)機臺待檢區(qū)域不合格小包的市場投訴。構(gòu)建的小包拉線缺陷檢測系統(tǒng)可以對無拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型小包缺陷進行及時準確檢測，有效彌補了小包透明紙拉線外觀檢測的在線監(jiān)控盲區(qū)。

4 結(jié)語

針對卷煙小包拉線缺陷視覺檢測問題，提出一種基于生成對抗網(wǎng)絡(luò)和自編碼器的智能檢測方法。該模型僅需要正常卷煙小包圖像，避免了模型訓(xùn)練對大量缺陷圖片數(shù)據(jù)的需求。通過自編碼器子網(wǎng)絡(luò)對原圖像進行重構(gòu)，并通過一個單獨的編碼器網(wǎng)絡(luò)將圖像映射到低維空間。綜合采用圖像間、圖像隱空間和圖像特征間的信息對模型進行訓(xùn)練，能夠從多個角度對卷煙小包存在的異常情況進行準確判別。經(jīng)過生產(chǎn)現(xiàn)場實驗驗證，該方法能夠在極短的檢測時間內(nèi)準確地對卷煙小包拉線缺陷進行檢測，滿足卷煙生產(chǎn)現(xiàn)場對小包缺陷檢測準確度和檢測速度的雙重要求。

[1] 張超凡, 董浩, 劉勇, 等. 基于視覺形態(tài)特征檢測的煙梗切絲質(zhì)量分析[J]. 煙草科技, 2017, 50(1): 67-73.

ZHANG Chao-fan, DONG Hao, LIU Yong, et al. Analysis of Stem Cutting Quality Based on Visual Morphological Feature Detection[J]. Tobacco Science & Technology, 2017, 50(1): 67-73.

[2] 李巧靈, 黃勝翰, 張廷貴, 等. 爆珠滴制在線視覺檢測設(shè)備的設(shè)計及應(yīng)用[J]. 煙草科技, 2020, 53(7): 92-101.

LI Qiao-ling, HUANG Sheng-han, ZHANG Ting-gui, et al. Design and Application of On-Line Inspection Device for Flavored Capsule Formation Process Based on Machine Vision Technology[J]. Tobacco Science & Technology, 2020, 53(7): 92-101.

[3] 徐龍泉, 王澍, 董浩, 等. 面向卷煙爆珠放行檢驗的氣泡缺陷檢測方法[J]. 煙草科技, 2020(10): 96-102.

XU Long-quan, WANG Shu, DONG Hao, et al. Method for Release Inspection of Cigarette Capsules with Bubble Defects[J]. Tobacco Science & Technology, 2020(10): 96-102.

[4] 王澍, 徐龍泉, 董浩, 等. 卷煙爆珠拖尾缺陷檢測方法[J]. 煙草科技, 2021, 53(1): 77-84.

WANG Shu, XU Long-quan, DONG Hao, et al. Method for Detection of Tailed Capsules[J]. Tobacco Science & Technology, 2021, 53(1): 77-84.

[5] 曹維林, 李捷, 孫順凱, 等. 基于Canny算子的濾棒數(shù)量檢測方法[J]. 煙草科技, 2020, 53(1): 96-102.

CAO Wei-lin, LI Jie, SUN Shun-kai, et al. Counting Method for Filter Rods Based on Canny Operator[J]. Tobacco Science & Technology, 2020, 53(1): 96-102.

[6] 李捷, 陸海華, 王翔, 等. 基于機器視覺的煙支接裝質(zhì)量在線檢測系統(tǒng)[J]. 煙草科技, 2019, 52(9): 109-114.

LI Jie, LU Hai-hua, WANG Xiang, et al. Online cigarette appearance inspection system based on machine vision[J]. Tobacco Science & Technology, 2019, 52(9): 109-114.

[7] 李力, 黃玉彥, 喬茜華, 等. 基于疑似目標(biāo)區(qū)域判定方法的卷煙透明包裝缺陷檢測[J]. 鄭州輕工業(yè)學(xué)院學(xué)報(自然科學(xué)版), 2014, 29(2): 35-37.

LI Li, HUANG Yu-yan, QIAO Xi-hua, et al. Detection of Cigarette Transparent Packaging Defect Based on Judgment Method of Suspected Target Region[J]. Journal of Zhengzhou University of Light Industry(Natural Science Ediion), 2014, 29(2): 35-37.

[8] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺檢測系統(tǒng)[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[9] 吳偉, 劉愛蓮, 王永剛. 條煙外包裝透明紙缺陷的視覺檢測方法研究[J]. 云南大學(xué)學(xué)報(自然科學(xué)版), 2009, 31(S2): 116-119.

WU Wei, LIU Ai-lian, WANG Yong-gang. A Research Used Visual Detection Method in the Defects of Article Cigarette Packaging Cellophane[J]. Journal of Yunnan University (Natural Sciences Edition), 2009, 31(S2): 116-119.

[10] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺檢測系統(tǒng)[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-Sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[11] 蔡培良, 楊劍鋒, 李明, 等. C800-BV包裝機條盒紙膠點視覺檢測系統(tǒng)的設(shè)計[J]. 煙草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800? BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[12] 蔡培良, 何邦貴, 華衛(wèi), 等. BV包裝機條煙外觀質(zhì)量檢測裝置的設(shè)計[J]. 包裝工程, 2018, 40(3): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 40(23): 143-150.

[13] 吳忠云, 鄧春寧. 機器視覺檢測技術(shù)在煙箱缺條檢測方面的運用[J]. 機械制造與自動化, 2014, 43(6): 188-190.

WU Zhong-yun, DENG Chun-ning. Application of Machine Vision Technology in Box Lack Detection[J]. Machine Building & Automation, 2014, 43(6): 188-190.

[14] 王偉, 朱立明, 章強, 等. 基于相似性分析和閾值自校正的煙箱缺條智能檢測方法[J]. 煙草科技, 2019(1): 91-97.

WANG Wei, ZHU Li-ming, ZHANG Qiang, et al. Method for Intelligent Detection of Carton Missing in Cigarette Case Based on Similarity Analysis and Threshold Self-Correction[J]. Tobacco Science & Technology, 2019(1): 91-97.

[15] 王鵬. 煙箱品牌視覺檢測分揀系統(tǒng)的設(shè)計應(yīng)用[J]. 煙草科技, 2014(4): 35-38.

WANG Peng. Design and Application of Visual Case Inspection and Sorting System[J]. Tobacco Science & Technology, 2014(4): 35-38.

[16] 陶顯, 侯偉, 徐德. 基于深度學(xué)習(xí)的表面缺陷檢測方法綜述[J]. 自動化學(xué)報, 2021, 47(5): 1017-1034.

TAO Xian, HOU Wei, XU De. A Survey of Surface Defect Detection Methods Based on Deep Learning[J]. Acta Automatica Sinica, 2021, 47(5): 1017-1034.

Vision Intelligent Detection Method of Cigarette Packet Tear Tape Defects Based on Unsupervised Deep Neural Network

ZHU Li-ming, WANG Wei, FAN Xia-ping, WANG Wen-bo, XU Xin,XU Xiao-shuang

(China Tobacco Zhejiang Industrial Co., Ltd., Hangzhou 310024, China)

The work aims to construct a vision intelligent detection method for cigarette packet tear tape defects based on the unsupervised deep neural network to reduce the complaints of cigarette packet tear tape defects for the ZB47 packaging machine. First, the cigarette packet image acquisition hardware acquisition device at the CH turret position of the ZB47 packaging machine was designed and installed to obtain real-time high-precision small packet images. Second, the cigarette packet image was cropped at a fixed position according to the position of the tear tape, thereby reducing the effects of the environmental background of different working conditions and speeding up the detection speed. Then, the backbone network of the autoencoder-encoder structure was constructed, and the discriminator module in the generative adversarial networks was added to form the defect detection module. The loss function of the model was constructed according to the information between the images, the latent space and the features of the images. Finally, the cropped normal cigarette packet transparent paper images were used to train the constructed defect detection model, and the abnormal score threshold was obtained based on all normal cigarette packet images. In the actual verification stage, if the score of the detected image was greater than the abnormal score threshold, it is judged to be an abnormal image, and the cigarette packet removal device at the CH turret position was triggered to remove the defective cigarette packet. The test at production site showed that the proposed method could quickly and accurately detect the cigarette packet tear tape defects with an accuracy rate of 99.99%. The method can meet the dual requirements of the actual production process for detection accuracy and detection speed of cigarette packet tear tape defects.

cigarette packet tear tape; generative adversarial networks; autoencoder; vision intelligent detection

TS433

A

1001-3563(2022)17-0273-09

10.19554/j.cnki.1001-3563.2022.17.036

2021–11–18

中國煙草總公司科技項目（110202102006）

朱立明（1972—），男，本科，高級工程師，主要研究方向為卷煙智能制造和工業(yè)大數(shù)據(jù)分析。

責(zé)任編輯：曾鈺嬋