基于相似性分析和閾值自校正的煙箱缺條智能檢測方法

王 偉，朱立明 ，章 強，張利宏，趙春暉

1.浙江中煙工業(yè)有限責(zé)任公司，杭州市西湖區(qū)科海路118號 310024

2.浙江大學(xué)控制科學(xué)與工程學(xué)院 工業(yè)控制技術(shù)國家重點實驗室，杭州市西湖區(qū)浙大路38號 310027

條煙裝箱是卷煙生產(chǎn)的最后一道工序，在裝箱過程中有可能會出現(xiàn)煙箱缺條等質(zhì)量問題。為加強過程監(jiān)控管理，大多數(shù)卷煙企業(yè)通過改造升級封箱機，采用電子稱重型或機器視覺型缺條檢測方法對裝箱過程煙箱進(jìn)行檢測，但仍未能徹底解決缺條問題，由此給企業(yè)的品牌形象造成負(fù)面影響。電子稱重型缺條檢測方法［1-3］假定紙箱質(zhì)量恒定，通過煙箱實際質(zhì)量與標(biāo)定質(zhì)量的對比判斷是否缺條，隨著煙草行業(yè)卷煙紙箱回收利用項目的推廣，紙箱在使用、回收過程中由于吸潮等原因造成回收紙箱質(zhì)量與標(biāo)定質(zhì)量偏差較大，影響了電子稱重型缺條檢測方法的準(zhǔn)確性，且該方法不能保存煙箱生產(chǎn)過程數(shù)據(jù)，無法對缺條問題進(jìn)行追溯。機器視覺型缺條檢測方法通過實際圖像與模板圖像的匹配［4-7］或者實際圖像自身特征值與特征閾值的對比［8-10］判斷是否缺條，具有準(zhǔn)確快速、穩(wěn)定性好、適應(yīng)性強、容易追溯等特點，近年來受到較多關(guān)注。但在實際圖像自身特征值與特征閾值對比的缺條檢測方法中，如何有效設(shè)計并高效提取煙箱圖像特征是該類方法檢測缺條的關(guān)鍵。借鑒面向復(fù)雜大規(guī)模過程的分布式監(jiān)測思想［11-14］，采用圖像橫向、縱向分塊的策略，建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測方法，通過精準(zhǔn)提取和量化煙箱圖像的特征，以期提升機器視覺型缺條檢測方法的準(zhǔn)確性，杜絕煙箱缺條問題的發(fā)生。

1 基于分塊思想的建模圖片相似性分析

在封箱機上增加前、后成像裝置，當(dāng)推板將前25條煙全部推入紙箱時獲得前位圖片OF（Nof×Mof×3），當(dāng)后25條煙全部推入紙箱推板返回時獲得后位圖片OB（Nob×Mob×3），將前位和后位圖片的彩色RGB圖像轉(zhuǎn)換為灰度圖像GF（Nof×Mof）和GB（Nob×Mob）。針對某一封箱機，由于前位和后位圖片的拍攝角度相對固定，為快速識別出煙箱的有效區(qū)域，采用人工標(biāo)記煙箱有效區(qū)域的方法，分別獲得前位和后位圖片的左上角X軸坐標(biāo)（xf、xb）、左上角Y軸坐標(biāo)（yf、yb）、寬度（wf、wb）、高度（hf、hb）等8個參數(shù)，并獲得煙箱有效區(qū)域的灰度圖像PF（Npf×Mpf）和 PB（Npb×Mpb）。

基于前位圖片煙箱有效區(qū)域的灰度圖像，根據(jù)圖像高度將其等分為5塊，獲得5行子圖像 XPFi（Nxpf×Mpf）（i=1，…，5），計算各個子圖像矩陣 XPFi列向量的均值，獲得5行子圖像的向量XMPFi（1×Mpf），采用皮爾遜相關(guān)系數(shù)［15］計算每兩個相鄰行之間的相似度（ρf12、ρf23、ρf34、ρf45），計算公式為：

式中：cov（XMPFi，XMPFi+1）表示兩個相鄰行向量 XMPFi和 XMPFi+1的協(xié)方差；δXMPXMPFi、δXMPXMPFi+1分別表示向量XMPFi、XMPFi+1的標(biāo)準(zhǔn)差。

基于前位圖片煙箱有效區(qū)域的灰度圖像，根據(jù)圖像寬度將其等分為5塊，獲得5列子圖像YPFi（Npf×Mypf）（i=1，…，5），計算各個子圖像矩陣YPFi行向量的均值，獲得5列子圖像的向量YMPFi（Npf×1），采用皮爾遜相關(guān)系數(shù)計算每兩個相鄰列之間的相似度（ρ′f12、ρ′f23、ρ′f34、ρ′f45）。采用相同方法計算后位圖片煙箱有效區(qū)域灰度圖像的每兩個相鄰行之間的相似度（ρb12、ρb23、ρb34、ρb45）和每兩個相鄰列之間的相似度（ρ′b12、ρ′b23、ρ′b34、ρ′b45）。

2 基于核密度估計的建模圖片閾值計算

針對一個煙箱的前位和后位圖片可以計算得到一個相似度行向量ρ1，依次由元素ρf12、ρf23、ρf34、ρf45、ρ′f12、ρ′f23、ρ′f34、ρ′f45、ρb12、ρb23、ρb34、ρb45、ρ′b12、ρ′b23、ρ′b34、ρ′b45構(gòu)成。收集No個未發(fā)生缺條煙箱的前位和后位圖片，計算每個煙箱的相似度行向量ρj（1×16）（j=1，…，No），構(gòu)成相似度矩陣 R=［ρ1，…，ρNo］T。針對矩陣每一列數(shù)據(jù)，由于其分布情況未知，采用核密度估計方法［16］確定數(shù)據(jù)的分布特征，計算得到對應(yīng)每一列的核密度曲線。第k列的核密度估計計算公式為：

式中：K（·）為高斯核函數(shù)；ρjk為相似度矩陣 R第j行第k列的相似度指標(biāo)；No為建模圖片的個數(shù)；h為窗寬。

公式（2）中，當(dāng)h較小時，核密度曲線能夠反映較多細(xì)節(jié)，但光滑性較差；當(dāng)h較大時，核密度曲線較為光滑，但會掩蓋一些細(xì)節(jié)。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為建模圖像中對應(yīng)該位置的閾值，獲得閾值向量θ（1×16）。

3 缺條在線識別和閾值自校正

重新采集煙箱的前位圖片OFT和后位圖片OBT，將其轉(zhuǎn)換為灰度圖像GFT和GBT。基于提前識別好的前位和后位圖片有效區(qū)域坐標(biāo)，分別獲得煙箱有效區(qū)域的灰度前位圖像PFT和后位圖像PBT。將灰度前位圖像PFT按照圖像高度分行，根據(jù)公式（1）計算相鄰行之間的相似度ρtf12、ρtf23、ρtf34、ρtf45；再按照圖像寬度分列，按照公式（1）計算相鄰列之間的相似度ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。將計算得到的 8個相似度指標(biāo)與閾值向量θ的前8個元素進(jìn)行一一比較，如果所有相似度指標(biāo)均大于閾值向量θ的對應(yīng)元素，識別該前位圖片未出現(xiàn)缺條，否則識別該前位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注。采用相同方法識別灰度后位圖像PBT是否出現(xiàn)缺條。

對于在線識別未缺條的煙箱圖像，通過工藝人員確認(rèn)后，將表征煙箱圖像特征的相似度行向量ρT添加到已有相似度矩陣R中?；诟潞蟮南嗨贫染仃嘡T=［ρ1，…，ρNo，ρT］T，根據(jù)公式（2）重新計算得到對應(yīng)每一列的核密度曲線。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為對應(yīng)該位置的最新閾值，獲得更新后的閾值向量θT（1×16）?；谙嗨菩苑治龊烷撝敌Ｕ臒熛淙睏l智能檢測算法流程見圖1。

圖1 煙箱缺條智能檢測算法流程圖Fig.1 Flowchart of method for intelligent detection of carton missing in cigarette case

4 數(shù)據(jù)驗證與結(jié)果分析

4.1 參數(shù)設(shè)置

選取杭州卷煙廠2018年7—8月13號封箱機“利群（軟長嘴）”牌號的歷史運行數(shù)據(jù)，對煙箱缺條智能檢測方法的有效性進(jìn)行驗證。通過數(shù)據(jù)甄別，選取130組未發(fā)生缺條煙箱的前位和后位圖片作為建模圖片。其中，某一煙箱內(nèi)部條煙的前位、后位原始圖片見圖2，原始圖片的矩陣分別為 OF（652×738×3）和OB（652×738×3）。

圖2 煙箱內(nèi)部條煙前位、后位原始圖片F(xiàn)ig.2 Original images of front position and rear position of cigarette cartons inside cigarette case

進(jìn)行灰度變換后的灰度圖像矩陣分別為GF（652×738）和GB（652×738）。人工標(biāo)記的前位灰度圖像有效區(qū)域為：左上角X軸坐標(biāo)xf為121，左上角Y軸坐標(biāo)yf為196，寬度wf為550，高度hf為290；后位灰度圖像有效區(qū)域為：左上角X軸坐標(biāo)xb為131，左上角Y軸坐標(biāo)yb為280，寬度wb為 470，高度hb為245。煙箱有效區(qū)域的灰度圖像見圖3，有效區(qū)域的灰度圖像矩陣分別為PF（290×550）和PB（245×470）。

圖3 圖像分割后有效區(qū)域灰度圖像Fig.3 Grayscale images of effective area after image segmentation

前位圖片煙箱有效區(qū)域灰度圖像的5行子圖像為XPFi（58×550），通過計算XPFi列向量均值得到5行子圖像的向量為XMPFi（1×550），每兩個相鄰行之間的相似度ρf12、ρf23、ρf34、ρf45分別為 0.918 1、0.937 5、0.947 2、0.891 6。前位圖片煙箱有效區(qū)域灰度圖像的5列子圖像為YPFi（290×110），通過計算YPFi行向量均值得到5列子圖像的向量為YMPFi（290×1），每兩個相鄰列之間的相似度ρ′f12、ρ′f23、ρ′f34、ρ′f45分別為0.779 9、0.835 0、0.918 4、0.921 8。

后位圖片煙箱有效區(qū)域灰度圖像的5行子圖像為XPBi（49×470），通過計算XPBi列向量均值得到5行子圖像的向量為XMPBi（1×470），每兩個相鄰行之間的相似度ρb12、ρb23、ρb34、ρb45分別為 0.982 5、0.932 2、0.947 2、0.960 2。后位圖片煙箱有效區(qū)域灰度圖像的5列子圖像為YPBi（245×94），通過計算YPBi行向量均值得到5列子圖像的向量為YMPBi（245×1），每兩個相鄰列之間的相似度ρ′b12、ρ′b23、ρ′b34、ρ′b45分別為0.745 7、0.621 7、0.840 0、0.924 7。進(jìn)而構(gòu)成該煙箱的相似度行向量ρj（1×16）。

圖4 前位和后位圖像16個相似度指標(biāo)對應(yīng)的核密度曲線Fig.4 Kernel density curves corresponding to 16 similarity indicators of front position and rear position images

通過對130組建模圖片的相似度分析，計算得到相似度矩陣R（130×16）。針對矩陣每一列數(shù)據(jù)，選取窗寬h為3，根據(jù)公式（2）計算每一列的核密度曲線，16個相似度指標(biāo)對應(yīng)的核密度曲線見圖4。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為建模圖片中對應(yīng)該位置的閾值，獲得閾值向量θ（1×16），其16個元素分別為0.847 7、0.839 7、0.813 9、0.824 6、0.631 5、0.674 0、0.760 2、0.762 1、0.957 2、0.883 1、0.912 2、0.909 6、0.544 3、0.536 7、0.755 1、0.826 7。

4.2 測試驗證

重新采集1組未發(fā)生缺條煙箱的前位和后位圖片進(jìn)行在線識別，通過灰度變換和圖像分割獲得前位圖片有效區(qū)域的灰度圖像矩陣PFT1（290×550），計算得到PFT1的8個相似度指標(biāo)ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45分別為 0.902 8、0.871 6、0.940 7、0.863 8、0.816 8、0.808 5、0.845 7、0.888 8。8個相似度指標(biāo)均大于閾值向量 θ（1×16）的前8個元素，識別該前位圖片未出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖5a。通過灰度變換和圖像分割獲得后位圖片有效區(qū)域的灰度圖像矩陣PBT1（245×470），計算得到PBT1的8個相似度指標(biāo)ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分別為 0.976 8、0.927 2、0.954 8、0.951 4、0.724 1、0.683 3、0.853 9、0.926 4。8個相似度指標(biāo)均大于閾值向量 θ（1×16）的后8個元素，識別該后位圖片未出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖5b。

圖5 在線識別并標(biāo)注后的未缺條圖片F(xiàn)ig.5 Images without carton missing after online identification and labeling

再重新采集1組煙箱內(nèi)部前位條煙發(fā)生缺條的圖片進(jìn)行在線識別，通過灰度變換和圖像分割獲得有效區(qū)域的灰度圖像矩陣PFT2（290×550），計算得到 PFT2的 8 個相似度指標(biāo)ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。分別為0.485 6、0.929 5、0.880 1、0.919 8、0.818 3、0.813 9、0.854 2、0.639 8。8個相似度指標(biāo)中，ρtf12和ρ′tf45小于閾值向量θ（1×16）對應(yīng)的元素，識別該前位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖6a。再重新采集1組煙箱內(nèi)部后位條煙發(fā)生缺條的圖片進(jìn)行在線識別，通過灰度變換和圖像分割獲得有效區(qū)域的灰度圖像矩陣PBT2（245×470），計算得到PBT2的8個相似度指標(biāo)ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分別為0.843 7、0.916 5、0.943 1、0.960 1、0.590 9、0.515 7、0.840 6、0.907 9。8個相似度指標(biāo)中，ρtb12和ρ′tb23小于閾值向量θ（1×16）對應(yīng)的元素，識別該后位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖6b。此外，測試數(shù)據(jù)中剩余13種缺條缺陷均能準(zhǔn)確識別和檢測，表明所建立的煙箱缺條智能檢測方法可以很好地解決條煙裝箱過程中的缺條問題。

圖6 在線識別并標(biāo)注后的缺條圖片F(xiàn)ig.6 Images with carton missing after online identification and labeling

重新采集10組未發(fā)生缺條煙箱的前位和后位圖片進(jìn)行在線識別，均可識別出未發(fā)生缺條。將表征這10組未發(fā)生缺條煙箱圖片特征的相似度行向量ρT1，…，ρT10依次添加到已有相似度矩陣R中，選取窗寬h為3，根據(jù)公式（2）重新計算每一列的核密度曲線，獲得更新后的閾值向量θT（1×16），其16個元素分別為0.846 6、0.839 0、0.811 6、0.822 2、0.629 7、0.677 1、0.760 8、0.762 5、0.956 8、0.883 1、0.912 8、0.910 4、0.540 8、0.537 5、0.755 0、0.827 3。

5 結(jié)論

針對生產(chǎn)中出現(xiàn)的煙箱缺條問題，建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測方法。通過前位和后位圖片的橫向、縱向分塊以及分塊間的相似度指標(biāo)計算，實現(xiàn)了圖片特征信息的有效表征和量化；采用核密度估計構(gòu)建所有建模圖片特征相似度指標(biāo)的初始閾值，并不斷學(xué)習(xí)新的未缺條圖片特征進(jìn)行閾值自校正，能夠準(zhǔn)確檢測煙箱缺條缺陷，標(biāo)注后的圖片為缺條問題追溯提供了依據(jù)。選取杭州卷煙廠13號封箱機“利群（軟長嘴）”牌號的歷史運行數(shù)據(jù)對該方法進(jìn)行驗證，結(jié)果表明：該方法能對測試數(shù)據(jù)中的所有15種缺條缺陷進(jìn)行準(zhǔn)確識別，檢測準(zhǔn)確率為100%。本方法能夠在封箱機生產(chǎn)環(huán)節(jié)對裝箱過程進(jìn)行實時高效檢測和管控，有效消除了煙箱缺條等質(zhì)量隱患。