基于機(jī)器視覺(jué)的卷煙小盒商標(biāo)紙表面缺陷在線(xiàn)檢測(cè)技術(shù)

劉浩，賀福強(qiáng)，李榮隆，龔立朋，聶文豪，何昊

1 貴州大學(xué)機(jī)械工程學(xué)院，貴陽(yáng)市花溪區(qū)花溪大道南段2708號(hào) 550025；

2 貴州西牛王印務(wù)有限公司，貴陽(yáng)市云巖區(qū)改茶工業(yè)區(qū)后壩路53號(hào) 550025

現(xiàn)有的卷煙小盒商標(biāo)紙主要是由高速流水線(xiàn)生產(chǎn)，由于材質(zhì)、生產(chǎn)環(huán)境、加工設(shè)備等復(fù)雜因素影響，卷煙小盒商標(biāo)紙避免不了有破損、歪斜、污點(diǎn)等表面質(zhì)量問(wèn)題，針對(duì)高速小盒煙包生產(chǎn)中出現(xiàn)的外觀(guān)缺陷，設(shè)計(jì)了一種煙包檢測(cè)系統(tǒng)[1]。通過(guò)機(jī)器視覺(jué)技術(shù)結(jié)合自動(dòng)控制、光學(xué)、機(jī)械設(shè)計(jì)等知識(shí)綜合為一體，實(shí)現(xiàn)效果較好的包裝機(jī)條煙外觀(guān)視覺(jué)檢測(cè)系統(tǒng)[2]，而且可檢測(cè)的商標(biāo)紙也越來(lái)越多樣化。針對(duì)卷煙小盒商標(biāo)紙拉線(xiàn)的問(wèn)題，還提出了數(shù)字圖像處理算法[3]，比如圖像濾波、圖像匹配、圖像分割等多種算法[4]，通過(guò)待測(cè)圖像的濾波降噪[5]、圖像增強(qiáng)[6]、目標(biāo)分割[7]和目標(biāo)定位[8]等關(guān)鍵步驟實(shí)現(xiàn)了卷煙小盒商標(biāo)紙的質(zhì)量檢測(cè)，但是在圖像處理速度上比較欠缺，值得改進(jìn)算法和深入研究。金懷國(guó)[9]通過(guò)邊緣檢測(cè)、長(zhǎng)度測(cè)量、輪廓計(jì)算、ROI 疊加偏移量尋找卷煙小盒商標(biāo)紙表面是否有缺陷圖像，在速度方面支持1000 包/min 的檢測(cè)，能夠較好地檢測(cè)外觀(guān)翹邊、反包、受損等質(zhì)量缺陷，這也是人工檢測(cè)無(wú)法達(dá)到的檢測(cè)速度[10]。為了提升卷煙小盒商標(biāo)紙檢測(cè)的效果和速度，技術(shù)人員從視覺(jué)檢測(cè)設(shè)備上進(jìn)行改進(jìn)和優(yōu)化[11-13]，但還是存在檢測(cè)速度慢、準(zhǔn)確率不高的問(wèn)題。因此，本文基于機(jī)器視覺(jué)結(jié)合實(shí)際檢測(cè)分析，設(shè)計(jì)了一種卷煙小盒商標(biāo)紙?jiān)诰€(xiàn)檢測(cè)技術(shù)，以期提高檢測(cè)精度及檢測(cè)效率。

1 視覺(jué)檢測(cè)系統(tǒng)與檢測(cè)流程

1.1 視覺(jué)檢測(cè)系統(tǒng)結(jié)構(gòu)

機(jī)器視覺(jué)檢測(cè)的首要任務(wù)是獲得完整清晰的圖像，以在線(xiàn)檢測(cè)為基礎(chǔ)的卷煙小盒商標(biāo)紙進(jìn)行實(shí)時(shí)檢測(cè)，為獲得清晰圖像就必須有光源穩(wěn)定、變頻可控的工業(yè)相機(jī)來(lái)采集圖像，其中缺陷特征隨機(jī)分布在卷煙小盒商標(biāo)紙的文字、數(shù)字、面陣條形碼和彩色圖案上，待測(cè)卷煙小盒商標(biāo)紙通過(guò)皮帶快速傳送，同時(shí)旋轉(zhuǎn)編碼器測(cè)量轉(zhuǎn)速來(lái)控制工業(yè)相機(jī)的曝光頻率，相機(jī)在穩(wěn)定的光照環(huán)境下采集圖像并傳輸至圖像處理系統(tǒng)進(jìn)行識(shí)別和分析，實(shí)現(xiàn)卷煙小盒商標(biāo)紙快速檢測(cè)，系統(tǒng)結(jié)構(gòu)設(shè)計(jì)圖如圖1 所示。

圖1 檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖Fig. 1 Schematic diagram of detection system structure

1.2 缺陷檢測(cè)流程

圖像采集系統(tǒng)獲取標(biāo)準(zhǔn)模板圖像，將其保存至模板庫(kù)中，與采集到的待測(cè)圖像進(jìn)行快速配準(zhǔn)，通過(guò)偏移檢測(cè)實(shí)驗(yàn)統(tǒng)計(jì)圖像偏移量和時(shí)間。以標(biāo)準(zhǔn)圖像與待測(cè)圖像進(jìn)行梯度和灰度差分，再與改進(jìn)算法后的實(shí)驗(yàn)對(duì)比分析，其流程如圖2 所示。首先采集標(biāo)準(zhǔn)圖像，通過(guò)圖像處理系統(tǒng)的預(yù)處理得到圖像信息并標(biāo)記易分辨的特征區(qū)域，然后以預(yù)處理后的待測(cè)圖像與標(biāo)準(zhǔn)圖像進(jìn)行配準(zhǔn)，通過(guò)傳統(tǒng)差分算法尋找缺陷發(fā)現(xiàn)處理效果不佳，針對(duì)算法進(jìn)行改進(jìn)實(shí)現(xiàn)高速度高準(zhǔn)確率的缺陷檢測(cè)。

圖2 缺陷檢測(cè)流程Fig. 2 Defect detection process

2 缺陷在線(xiàn)檢測(cè)技術(shù)

2.1 快速定位配準(zhǔn)

卷煙小盒商標(biāo)紙主要有形狀、顏色和紋理特征。若以顏色特征配準(zhǔn)需要復(fù)雜程度高且耗時(shí)長(zhǎng)的算法，因此選擇基于灰度圖像的配準(zhǔn)。為了實(shí)現(xiàn)位置偏移矯正的快速配準(zhǔn)，提出了基于灰度圖像的特征區(qū)域快速模板配準(zhǔn)。選定標(biāo)準(zhǔn)模板圖像的2 個(gè)含有特征的定位區(qū)域，分別設(shè)為左上區(qū)域A (x, y)，右下區(qū)域B (x, y)?；诨叶鹊呐錅?zhǔn)方程如（1）所示。其中，S 為相似度量，r、c 為行、列值，t (x, y)代表模板中像素點(diǎn)的灰度值，f (r+x, c+y)代表待測(cè)像素點(diǎn)的灰度值，T 為像素點(diǎn)矩陣。

為更好地體現(xiàn)模板與圖像的灰度值關(guān)系，將相似度量具體化得到方程（2）。其中，模板與圖像灰度差的平方和為SSD。

相似度量S 值越接近0，可認(rèn)為標(biāo)準(zhǔn)圖像與待測(cè)圖像越相似。若兩者圖像不相似，會(huì)得到較大的SSD值。

當(dāng)待測(cè)圖像和標(biāo)準(zhǔn)圖像在空間位置有偏差，A、B 區(qū)域通過(guò)平移方程（3）和旋轉(zhuǎn)方程（4）實(shí)現(xiàn)圖像的配準(zhǔn)。以A、B 橫向和縱向的變化值tx,y(A)、tx,y(B)計(jì)算橫向平均平移量tx 和縱向平均平移量ty。同樣地，可用i 和j 兩點(diǎn)的縱向值yi、yj、橫向值xi、xj和發(fā)生偏移量ti、tj計(jì)算旋轉(zhuǎn)角θi,j。（5）計(jì)算平均旋轉(zhuǎn)角θ。

2.2 基于梯度和灰度差分

缺陷在線(xiàn)檢測(cè)的過(guò)程受多種環(huán)境因素影響，閾值固定的幀間差分法不能適應(yīng)環(huán)境，而自適應(yīng)閾值的算法復(fù)雜和處理速度慢，為了適應(yīng)卷煙小盒商標(biāo)紙圖像處理下的快速閾值分割算法，本論文以效果和速度較好的Sobel 算子得到梯度圖像，并通過(guò)灰度差分計(jì)算。方程（6）通過(guò)像素點(diǎn)f (x, y)與Sobel 算子HX、HY 計(jì)算出近似梯度幅值fn(x, y)。方程（8）中相減可得到差分圖像的近似灰度圖，再以經(jīng)驗(yàn)設(shè)定方程（9）所需的閾值T 以判定差分二值圖Bn(x, y)。當(dāng)Bn(x, y) =1，就可判定該像素點(diǎn)為缺陷。

2.3 差分改進(jìn)算法

差分算法以像素點(diǎn)逐一相減，造成了速度較慢，不滿(mǎn)足在線(xiàn)快速檢測(cè)的要求。為實(shí)現(xiàn)像素點(diǎn)快速差分，提出一種分區(qū)域檢測(cè)方法，主要是減少差分的次數(shù)和時(shí)間，從而提高檢測(cè)速度和準(zhǔn)確率。構(gòu)造分區(qū)域檢測(cè)的過(guò)程如下。

（1）將圖像設(shè)為n*m 的矩陣，n、m 值根據(jù)檢測(cè)精度來(lái)設(shè)大小。滿(mǎn)足n、m 值越大，區(qū)域包含的像素點(diǎn)越少、準(zhǔn)確度越高，然而檢測(cè)時(shí)間也會(huì)越長(zhǎng)。

（2）以a 中A1 差分計(jì)算，若Bn(x, y)=1，繼續(xù)下一步b。反之，以A2 繼續(xù)差分。

（3）以b 中A1 附近的8 個(gè)B 差分計(jì)算，若均有Bn(x, y)=1，繼續(xù)下一步c。反之，以A2 繼續(xù)差分。

（4）以c 中B 附近的16 個(gè)C 差分計(jì)算，若均有c、d、e、f 的Bn(x, y)=1，則A1 存在缺陷并標(biāo)記。以A1的每個(gè)像素點(diǎn)差分計(jì)算并統(tǒng)計(jì)缺陷信息。

（5）反之，若A1 區(qū)域無(wú)缺陷，A1 像素點(diǎn)不需要差分計(jì)算。其余An 重復(fù)（1）～（4）直到整幅圖像完成檢測(cè)。

圖3 分區(qū)域算法原理Fig. 3 Principle of region algorithm

3 試驗(yàn)效果驗(yàn)證

3.1 試驗(yàn)設(shè)計(jì)

本文提出的方法所用的軟件是Matlab2016b，數(shù)據(jù)處理器是Intel Xeon E5-1620、主頻為3.6 GHz CPU、16 GB 內(nèi)存。主要是針對(duì)兩個(gè)實(shí)驗(yàn)進(jìn)行測(cè)試：①圖像的快速配準(zhǔn)和偏移檢測(cè)實(shí)驗(yàn)。②基于梯度差分和改進(jìn)算法的缺陷檢測(cè)對(duì)比。

首先，用標(biāo)準(zhǔn)圖像與待檢測(cè)圖像進(jìn)行快速圖像配準(zhǔn)。選擇標(biāo)準(zhǔn)圖像上含有字符特征的A、B 區(qū)域作為定位點(diǎn)，通過(guò)計(jì)算方程（2）找到待測(cè)圖像的定位點(diǎn)，然后以方程（3-5）計(jì)算圖像偏移實(shí)現(xiàn)快速配準(zhǔn)。圖4為標(biāo)記定位區(qū)域。

缺陷檢測(cè)實(shí)驗(yàn)是以梯度和灰度差分算法、差分改進(jìn)算法通過(guò)實(shí)驗(yàn)記錄信息，然后與人工檢測(cè)效果對(duì)比驗(yàn)證。

圖4 標(biāo)記定位區(qū)域Fig. 4 Detection of image offset under test

3.2 應(yīng)用效果

3.2.1 快速配準(zhǔn)檢測(cè)結(jié)果

通過(guò)實(shí)驗(yàn)統(tǒng)計(jì)每張圖像的偏移量和偏移角度，驗(yàn)證了圖像偏移在一定的范圍以?xún)?nèi)，滿(mǎn)足最大值偏移量為3.6 mm，最大偏移角度絕對(duì)值為2.1°。每張圖像配準(zhǔn)平均時(shí)間小于30 ms，最快速度2.484 s 配準(zhǔn)99張圖像，具有較快的速度和準(zhǔn)確率。圖5 為圖像橫向和縱向的偏移量和旋轉(zhuǎn)角度值。

統(tǒng)計(jì)圖像快速配準(zhǔn)的偏移檢測(cè)實(shí)驗(yàn)結(jié)果如表1 所示，待測(cè)卷煙小盒商標(biāo)紙?jiān)诳臻g位置上存在一定量的偏移，通過(guò)方程（3）、（4）可計(jì)算各特征在橫向、縱向的偏移量以及旋轉(zhuǎn)角度，分析數(shù)據(jù)可知：偏移量越大，圖像配準(zhǔn)耗時(shí)也會(huì)增加；旋轉(zhuǎn)角度變化量較大時(shí)可能會(huì)造成配準(zhǔn)難的問(wèn)題。

圖5 待測(cè)圖像偏移檢測(cè)Fig. 5 Detection of offset of image to be tested

3.2.2 缺陷檢測(cè)實(shí)驗(yàn)

為驗(yàn)證改進(jìn)算法的適用性和穩(wěn)定性，以4 種各100 張卷煙小盒商標(biāo)紙進(jìn)行實(shí)驗(yàn)，各有50 張缺陷的小盒分布在4 種小盒中，有缺陷的小盒中圖案、文字、條碼區(qū)域缺陷隨機(jī)分布，統(tǒng)計(jì)算法檢測(cè)的缺陷信息和人工檢測(cè)缺陷結(jié)果得到表2。

表1 待測(cè)圖像的偏移參數(shù)和耗時(shí)Tab. 1 The offset and time consumption of the image to be tested

表2 傳統(tǒng)與改進(jìn)算法實(shí)驗(yàn)對(duì)比Tab. 2 Comparison of traditional and improved algorithm experiments 個(gè)s

表3 實(shí)驗(yàn)數(shù)據(jù)分析Tab. 3 Experimental data analysis

根據(jù)表2 中的算法檢測(cè)的缺陷數(shù)和耗時(shí)分析計(jì)算得到表3 的缺陷準(zhǔn)確率、平均缺陷準(zhǔn)確率和總耗時(shí)。其中，缺陷準(zhǔn)確率=算法檢測(cè)缺陷數(shù)/人工檢測(cè)缺陷數(shù)，傳統(tǒng)算法的平均準(zhǔn)確率=（圖案區(qū)域傳統(tǒng)算法的缺陷準(zhǔn)確率+文字區(qū)域傳統(tǒng)算法的缺陷準(zhǔn)確率+條碼區(qū)域傳統(tǒng)算法的缺陷準(zhǔn)確率）/3，改進(jìn)算法的平均準(zhǔn)確率同理。

根據(jù)表3 實(shí)驗(yàn)數(shù)據(jù)分析可知，改進(jìn)算法檢測(cè)100張貴煙小盒商標(biāo)紙的最快檢測(cè)速度為15.62 s，而傳統(tǒng)算法的檢測(cè)速度為18.24 s；當(dāng)傳統(tǒng)算法檢測(cè)100 張黃果樹(shù)小盒商標(biāo)紙的最快檢測(cè)速度為18.09 s 時(shí)，改進(jìn)算法的檢測(cè)速度為15.65 s，因此改進(jìn)算法在檢測(cè)速度上有明顯優(yōu)勢(shì)。在缺陷檢測(cè)準(zhǔn)確率方面，當(dāng)檢測(cè)磨砂小盒的圖案區(qū)域時(shí)，傳統(tǒng)算法的缺陷準(zhǔn)確率為最低值56%，而改進(jìn)算法的缺陷準(zhǔn)確率為88%，是因?yàn)槟ド靶『蟹垂庑Ч^強(qiáng)，造成了傳統(tǒng)算法的準(zhǔn)確率偏低；改進(jìn)算法檢測(cè)條碼區(qū)域時(shí)出現(xiàn)2 次100%，而傳統(tǒng)算法的缺陷準(zhǔn)確率均在82%上下浮動(dòng)，驗(yàn)證了改進(jìn)算法的缺陷準(zhǔn)確率更可靠；當(dāng)檢測(cè)貴煙小盒時(shí)改進(jìn)算法檢測(cè)效果最佳，改進(jìn)算法比傳統(tǒng)算法的平均準(zhǔn)確率提高了15.23%。因此，改進(jìn)算法在缺陷準(zhǔn)確率和平均準(zhǔn)確率兩方面，相比于傳統(tǒng)算法更具可靠性和穩(wěn)定性。

4 結(jié)論

本文根據(jù)高速度、高準(zhǔn)確率的檢測(cè)要求設(shè)計(jì)了一種卷煙小盒商標(biāo)紙缺陷在線(xiàn)檢測(cè)系統(tǒng)。主要從圖像的快速定位配準(zhǔn)和灰度差分進(jìn)行深入研究，并提出了效果較好的改進(jìn)算法，以標(biāo)準(zhǔn)模板圖像與待測(cè)圖像進(jìn)行實(shí)驗(yàn)對(duì)比表明：（1）當(dāng)待測(cè)圖像在空間位置上有偏移量時(shí)，偏移量越大、旋轉(zhuǎn)角度越大，都會(huì)增加快速定位配準(zhǔn)難度和消耗的時(shí)間；（2）傳統(tǒng)的差分算法不適應(yīng)圖案較復(fù)雜下小盒煙包的閾值分割，通過(guò)改進(jìn)差分算法能夠有效地減少差分次數(shù)和時(shí)間，具有更好的魯棒性。