基于機(jī)器視覺的煙支搭口夾雜缺陷在線檢測方法

李鈺靚，楊 帥，范禮峰，熊月宏，朱 強(qiáng)，張利宏*

1.浙江中煙工業(yè)有限責(zé)任公司杭州卷煙廠，杭州市西湖區(qū)科海路118 號 310024

2.浙江中煙工業(yè)有限責(zé)任公司技術(shù)中心，杭州市西湖區(qū)科海路118 號 310024

在卷煙機(jī)煙條成型過程中，受生產(chǎn)設(shè)備、煙絲結(jié)構(gòu)等因素的影響，煙條中的煙末容易在壓板等部位堆積，造成煙支搭口處產(chǎn)生夾雜（煙末、膠塊等）問題，影響卷煙產(chǎn)品品質(zhì)。GB 5606.3—2005［1］規(guī)定，煙支表面長度大于2.0 mm 的夾末為卷煙外觀C 類質(zhì)量缺陷；當(dāng)夾雜為膠塊或較大梗簽時(shí)，則容易產(chǎn)生爆口等卷煙外觀A類質(zhì)量缺陷。為降低煙支搭口夾雜缺陷率，近年來對于卷煙機(jī)煙支導(dǎo)板、吸塵罩等裝置已有較多研究或改進(jìn)［2-4］，但受限于煙支卷制原理及工況穩(wěn)定性，在卷煙機(jī)高速運(yùn)轉(zhuǎn)情況下無法完全避免該類缺陷的產(chǎn)生。目前機(jī)器視覺技術(shù)在煙草行業(yè)應(yīng)用廣泛［5-7］，其在接裝紙、煙支表面缺陷檢測方面已有大量研究及應(yīng)用［8-10］，對于接裝紙長度不齊、翹邊等煙支表面缺陷具有較高檢出率。但在煙支搓接過程中，因煙灰、煙末等雜質(zhì)容易粘附在煙支表面，采用傳統(tǒng)算法僅能識(shí)別出圖像某點(diǎn)灰度異常，無法分辨出雜質(zhì)粘附在煙支表面還是位于搭口處，若按照單點(diǎn)灰度異常的算法簡單判定則會(huì)影響檢測準(zhǔn)確率。為此，基于機(jī)器視覺檢測原理建立了一種煙支搭口夾雜缺陷檢測方法，以期實(shí)現(xiàn)搭口夾雜缺陷的在線檢測與剔除，提高煙支卷制質(zhì)量。

1 系統(tǒng)組成

1.1 系統(tǒng)設(shè)計(jì)

煙支搭口夾雜缺陷檢測系統(tǒng)主要由煙支外觀圖像捕獲單元、圖像處理單元和光源控制單元等部分組成。如圖1 所示，煙支外觀圖像捕獲單元有2 組，包括棱鏡（材質(zhì)K9，入射角45°，武漢優(yōu)光科技有限公司）、工業(yè)相機(jī)[感光元器件CMOS，分辨率1 280 pix×1 024 pix，彩色，寶視納視覺技術(shù)（北京）有限公司]、LED 光源（功率≤2 W，色溫6 000 K，發(fā)光角度120°，深圳市鴻捷源自動(dòng)化系統(tǒng)有限公司）等部分，分別安裝于卷煙機(jī)檢測輪、剔除輪位置。圖像處理單元包括工控機(jī)［CPU 為Intel Xeon E-2276ME，內(nèi)存為8 GB，凌華科技（北京）有限公司］、IO 板卡［16通道，研華科技（北京）有限公司］。光源控制單元（觸發(fā)方式為電平，觸發(fā)響應(yīng)頻率≤10 kHz，8通道輸出，每通道輸出功率≤12 W，深圳市鴻捷源自動(dòng)化系統(tǒng)有限公司）主要功能是為LED光源供電、觸發(fā)光源頻閃脈沖。

圖1 煙支外觀圖像捕獲單元結(jié)構(gòu)示意圖Fig.1 Structure of cigarette image capturing unit

1.2 工作流程

由圖2 可見，同步脈沖MCP 觸發(fā)信號傳輸至工控機(jī)，觸發(fā)煙支外觀圖像捕獲單元拍攝。當(dāng)煙支從檢測輪傳遞到剔除輪時(shí)，煙支180°轉(zhuǎn)向，通過從不同角度拍攝檢測輪與剔除輪上的煙支，可獲取煙支外觀圖像。通過圖像處理單元對圖像進(jìn)行預(yù)處理和形態(tài)學(xué)處理，實(shí)現(xiàn)煙支搭口夾雜缺陷識(shí)別。當(dāng)識(shí)別為缺陷煙支時(shí)，通過剔除輪對缺陷煙支進(jìn)行剔除。

圖2 煙支搭口夾雜缺陷檢測流程Fig.2 Inspection workflow for cigarette seam impurities

2 檢測方法

2.1 煙支多角度圖像采集

由圖3 可見，煙支外觀圖像捕獲單元的相機(jī)鏡頭、圖像傳感器以及兩個(gè)鼓輪（檢測輪、剔除輪）的中心均在同一直線上，當(dāng)煙支經(jīng)過2組圖像捕獲單元時(shí)，可以得到兩張相對位置的煙支圖像（尺寸為1 100 pix×160 pix，分辨率為0.1 mm/pix）。在圖像采集過程中，相機(jī)根據(jù)同步脈沖對煙支進(jìn)行拍攝，曝光時(shí)間為20 μs，兩支煙的槽間中心距離約為18.85 mm，即在單通道卷接機(jī)組最高運(yùn)行速度10 000支/min下，6 ms內(nèi)同一支煙移動(dòng)的弧線長度為18.85 mm，則相機(jī)拍照時(shí)煙支移動(dòng)距離為0.062 8 mm。根據(jù)圖像分辨率，可得到拍照時(shí)煙支移動(dòng)距離不足1 pix。而搭口夾雜面積一般大于1 mm2，以夾雜為正方形進(jìn)行計(jì)算，夾雜寬度大于10 pix，因此采用相機(jī)同步拍攝不會(huì)影響圖像質(zhì)量。

圖3 煙支外觀圖像捕獲單元安裝位置示意圖Fig.3 Schematic diagram of installation positon of cigarette image capturing unit

2.2 基于均值濾波的圖像預(yù)處理

由于煙支搭口具有范圍大、變化細(xì)微等特點(diǎn)，且煙支搭口與非搭口卷煙紙灰度差異較小，因此采用均值濾波的方式消除局部噪點(diǎn)對檢測結(jié)果的影響，同時(shí)避免因煙支搭口與非搭口卷煙紙的邊界模糊而擴(kuò)大或縮小煙支搭口。使用尺寸3 pix×3 pix的濾波器對圖像進(jìn)行均值濾波［11-12］，計(jì)算公式為：

式中：（x，y）表示圖像的像素點(diǎn)坐標(biāo)；w（s，t）為加權(quán)系數(shù)；f（x+s，y+t）為待濾波圖像區(qū)域。

由圖4可見，均值濾波可以有效消除圖像中的高頻噪聲，實(shí)現(xiàn)圖像平滑、模糊等功能。

圖4 均值濾波前后圖像對比Fig.4 Comparison of cigarette images before and after mean filtering

2.3 基于縱向灰度梯度的搭口位置識(shí)別

由于煙支搭口與非搭口卷煙紙灰度特征不同，因此通過觀察圖像縱向灰度變化實(shí)現(xiàn)搭口位置識(shí)別。為便于理解，采用圖像坐標(biāo)系對煙支搭口位置進(jìn)行描述。如圖5所示，左上角為像素原點(diǎn)，橫坐標(biāo)X 和縱坐標(biāo)Y 分別代表圖像的行和列，p（x0，y0）表示橫坐標(biāo)為x0、縱坐標(biāo)為y0的像素點(diǎn)。

圖5 圖像坐標(biāo)系示意圖Fig.5 Schematic diagram of coordinate system of image

2.3.1 單處理窗口灰度均值計(jì)算

因卷煙紙表面有羅紋且羅紋間隔1 mm，為降低其對單處理窗口計(jì)算結(jié)果的影響，每個(gè)單處理窗口包含兩個(gè)羅紋。如圖6所示，綠色方框即為單處理窗口。根據(jù)圖像分辨率0.1 mm/pix，設(shè)定單處理窗口大小為寬度20 pix，高度與圖像的縱向高度相同。

圖6 單處理窗口示意圖Fig.6 Schematic diagram of single processing window

先對單處理窗口的每行像素進(jìn)行灰度均值計(jì)算，獲得大小為n×1的一維矩陣G：

式中：vi（i=0，1，2，…，n-1）為單處理窗口每行的灰度均值（范圍0～255）。

對一維矩陣G進(jìn)行均值計(jì)算，得到平均像素vavg，計(jì)算公式為：

式中：n為單處理窗口縱向像素?cái)?shù)量。

2.3.2 單處理窗口縱向灰度梯度變化計(jì)算

由于單通道卷接機(jī)組最高運(yùn)行速度為10 000支/min，單支煙從一個(gè)槽位移動(dòng)至下一槽位的時(shí)間僅為6 ms。預(yù)處理后圖像灰度值沿Y軸正方向呈先升高后降低趨勢，為滿足檢測要求，降低計(jì)算量，采用單向梯度算子判斷搭口上下邊緣。因煙支搭口與非搭口卷煙紙灰度差異相比卷煙紙與鼓輪背景的灰度差異小，若采用的單向梯度卷積核過大或過小，均會(huì)影響搭口上下邊緣識(shí)別準(zhǔn)確率。為此，采用1×5卷積核進(jìn)行處理：

對于灰度值逐步增大的區(qū)域，其梯度值為正數(shù)；對于灰度值逐步減小的區(qū)域，其梯度值為負(fù)數(shù)。計(jì)算可得煙支搭口上邊緣為最大值，下邊緣為最小值。對一維矩陣G進(jìn)行卷積計(jì)算，得到一維矩陣G'：

2.3.3 單處理窗口煙支搭口位置識(shí)別

由于煙支非搭口卷煙紙灰度值大于鼓輪背景，但低于煙支搭口灰度值。因此，將均值vavg作為閾值，而煙支搭口灰度值必然大于均值vavg。利用公式（3）對一維矩陣G進(jìn)行閾值計(jì)算，得到一維矩陣G''：

按順序判斷G''的值，獲得第一個(gè)非零數(shù)據(jù)序號i1以及最后一個(gè)非零數(shù)據(jù)序號i2，即可得到梯度處理后矩陣G'的數(shù)據(jù)判斷范圍，進(jìn)而得到一維矩陣G'''：

式中：v'i1為閾值計(jì)算后的單處理窗口梯度值。

通過計(jì)算矩陣G'''在此范圍內(nèi)梯度值的最大值序號和最小值序號，即可獲得搭口上下邊緣的Y軸坐標(biāo)y1、y2。圖7為計(jì)算得到的矩陣G的二維可視化圖，搭口上邊緣Y軸坐標(biāo)y1=49，灰度均值v49=131.6；搭口下邊緣Y軸坐標(biāo)y2=75，灰度均值v75=96.5。圖8為計(jì)算得到的煙支搭口位置示意圖，綠色短劃線分別為上下邊緣Y軸坐標(biāo)y1、y2，灰色垂直線為單處理窗口的邊界。

圖7 矩陣G的二維可視化圖Fig.7 Two-dimension visualization of matrix G

圖8 單處理窗口搭口位置示意圖Fig.8 Schematic diagram of seam location of a single processing window

2.3.4 煙支圖像所有搭口位置識(shí)別

將單處理窗口沿X軸正方向以不重疊的方式進(jìn)行窗口滑動(dòng)，見圖9。根據(jù)煙支卷煙紙長度48 mm，圖像分辨率0.1 mm/pix（即480 pix），單處理窗口寬度20 pix，可獲得24 個(gè)單處理窗口。每次滑動(dòng)均按照2.3.1～2.3.3 節(jié)方法計(jì)算，即可獲得整支煙搭口上下邊緣的縱坐標(biāo)，見圖10。在捕獲煙支圖像時(shí)，受槽位空隙、煙支形狀等因素影響，煙支搭口上下邊緣無法處于絕對水平狀態(tài)，在第15個(gè)單處理窗口出現(xiàn)一定變化，說明煙支有輕微的偏轉(zhuǎn)。

圖9 單處理窗口滑動(dòng)示意圖Fig.9 Schematic diagram of sliding of a single processing window

圖10 煙支搭口上下邊緣的縱坐標(biāo)Fig.10 Ordinates of edges of cigarette seam

2.4 搭口夾雜的識(shí)別

煙支搭口夾雜識(shí)別時(shí)使用的單處理窗口相比搭口邊緣識(shí)別更窄，其寬度為2 pix，高度與圖像的縱向高度相同。計(jì)算每行灰度均值，可得到n×1的矩陣S：

因煙末、煙梗等夾雜物的灰度值低于卷煙紙灰度值，故先對矩陣G、S進(jìn)行運(yùn)算：

式中：k為權(quán)值，根據(jù)卷煙紙材料的羅紋、白度等物理特性確定。

再利用公式（5）進(jìn)行二值化：

將搭口夾雜識(shí)別所使用的單處理窗口沿X軸正方向以不重疊的方式進(jìn)行窗口滑動(dòng)，可以得到二值化圖像矩陣S 以及二值化圖，見圖11。在二值化圖像矩陣S中，當(dāng)灰度值為255的任一像素點(diǎn)在計(jì)算得到的煙支搭口上下邊緣區(qū)域內(nèi)時(shí)，則判定為煙支搭口存在夾雜。

圖11 煙支搭口夾雜圖像的二值化圖Fig.11 Binary image of cigarette seam with an impurity

3 應(yīng)用效果

3.1 實(shí)驗(yàn)設(shè)計(jì)

材料：“利群”牌卷煙規(guī)格A（圓周17.0 mm，卷煙紙搭口寬度2.0 mm）、規(guī)格B（圓周24.2 mm，卷煙紙搭口寬度2.3 mm），均由浙江中煙工業(yè)有限責(zé)任公司杭州卷煙廠提供。

設(shè)備：ZJ17D 和ZJ112 卷接機(jī)組（常德煙草機(jī)械有限責(zé)任公司）；HJYCVIS型煙支外觀在線圖像拍攝與采集設(shè)備（常德煙草機(jī)械有限責(zé)任公司）。

方法：ZJ17D和ZJ112卷接機(jī)組最高運(yùn)行速度分別為5 500 和10 000 支/min。正常工況下連續(xù)生產(chǎn)4 h為1組，共測試3組；通過人工將煙末拋撒至卷煙機(jī)煙條封膠位置，產(chǎn)生大量搭口夾雜煙支，同時(shí)使用氣槍在MAX接裝機(jī)擾動(dòng)氣流產(chǎn)生煙末飄浮，異常工況下連續(xù)生產(chǎn)10 min為1組，共測試3組。采集煙支圖像并分別通過搭口夾雜檢測系統(tǒng)和人工檢測是否存在搭口夾雜缺陷。正常和異常工況下煙支缺陷檢測準(zhǔn)確率和漏檢率計(jì)算公式為：

3.2 數(shù)據(jù)分析

由表1 可見，在正常工況下系統(tǒng)對煙支搭口夾雜缺陷的檢測準(zhǔn)確率≥99.5%，漏檢率＜1%。由表2可見，在異常工況下系統(tǒng)檢測準(zhǔn)確率≥99.0%，略低于正常工況；漏檢率＜1%，與正常工況無顯著差異。

表1 正常工況下檢測準(zhǔn)確率和漏檢率Tab.1 Inspection accuracy and miss rate under normal working conditions

表2 異常工況下檢測準(zhǔn)確率和漏檢率Tab.2 Inspection accuracy and miss rate under abnormal working conditions

4 結(jié)論

基于機(jī)器視覺技術(shù)建立了一種煙支搭口夾雜在線檢測方法，實(shí)現(xiàn)了卷煙生產(chǎn)過程中煙支搭口夾雜缺陷在線檢測與剔除，解決了煙支外觀檢測準(zhǔn)確率低等問題。采用ZJ17D 和ZJ112 卷接機(jī)組對杭州卷煙廠生產(chǎn)的兩種規(guī)格“利群”牌卷煙進(jìn)行測試，結(jié)果表明：正常工況下該系統(tǒng)對煙支搭口夾雜檢測準(zhǔn)確率≥99.5%，漏檢率＜1%；異常工況下煙支搭口夾雜檢測準(zhǔn)確率≥99.0%；檢測方法抗干擾性強(qiáng)，檢測處理時(shí)間≤6 ms，有效提高了煙支外觀識(shí)別效率，提升了卷煙產(chǎn)品品質(zhì)。