PET瓶封蓋缺陷視覺檢測算法研究

吳蘭蘭，陳 碩*，黃祥斌，陸 華

(1.福州大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，福建 福州 350116；2.福州三龍噴碼科技有限公司，福建 福州 350014)

0 引 言

隨著飲料企業(yè)生產(chǎn)線的自動(dòng)化程度不斷提高，生產(chǎn)過程中也會(huì)產(chǎn)生一些不合格產(chǎn)品，封蓋缺陷就是在旋蓋過程中產(chǎn)生的，常見的封蓋缺陷有無蓋、高蓋和歪蓋。傳統(tǒng)的人工目測的封蓋缺陷檢測方法效率低下，且穩(wěn)定性差?；跈C(jī)器視覺的自動(dòng)化無損檢測技術(shù)在飲料行業(yè)得到了廣泛的應(yīng)用。國外的KRONES、HEUFT、MIHO等公司，國內(nèi)的大恒、浩克、明佳等公司已經(jīng)研制出相應(yīng)的視覺檢測設(shè)備[1]。

對于基于機(jī)器視覺的封蓋缺陷檢測理論的研究，已經(jīng)有不少學(xué)者取得一定的研究成果。文獻(xiàn)[2]使用區(qū)域標(biāo)記算法、Canny邊緣檢測算法、黑白二值化算法等，自動(dòng)尋找瓶蓋區(qū)域并確定瓶蓋縫隙的像素寬度，實(shí)現(xiàn)了對瓶蓋縫隙寬度的檢測；文獻(xiàn)[3]利用多傳感器融合技術(shù)進(jìn)行瓶蓋封裝檢測，多傳感器融合保證了檢測系統(tǒng)的準(zhǔn)確性，但僅對硬件平臺的搭建進(jìn)行闡述，未介紹具體的檢測算法；文獻(xiàn)[4]應(yīng)用對稱匹配算法來檢測PET瓶封蓋缺陷，該算法準(zhǔn)確性高、魯棒性強(qiáng)，并且能消除毛刺和水珠對封蓋檢測的影響，但算法比較復(fù)雜，對光照條件要求較高；文獻(xiàn)[5]針對PET瓶防盜環(huán)是否斷裂，設(shè)計(jì)了一種基于輪廓曲率計(jì)算和角點(diǎn)檢測的防盜環(huán)斷裂檢測算法；文獻(xiàn)[6]提出一種基于圖像匹配的PET飲料瓶封裝缺陷的檢測方法，利用直方圖不變矩并結(jié)合周長、面積、灰度等特征進(jìn)行圖像匹配，根據(jù)匹配程度判斷瓶蓋封裝質(zhì)量，該方法簡單，但匹配算法速度較慢，且無法對具體缺陷進(jìn)行分類；文獻(xiàn)[7]利用Hough變換得到持胚環(huán)線，采用最小二乘擬合瓶蓋頂部的直線，通過持胚環(huán)直線和瓶蓋頂部直線位置關(guān)系完成瓶蓋的快速檢測，該算法準(zhǔn)確率高，但是Hough計(jì)算量較大，且邊緣提取效果對其影響很大；文獻(xiàn)[8]用待檢圖像和標(biāo)準(zhǔn)圖像進(jìn)行配準(zhǔn)和差影計(jì)算，利用得到的差影圖像實(shí)現(xiàn)對藥瓶封蓋缺陷檢測，該算法簡單，但對光照條件要求較高，且易受背景噪聲影響。

上述文獻(xiàn)對檢測系統(tǒng)對硬件要求較高，檢測算法較為復(fù)雜、檢測效率低，且只能檢測出實(shí)際存在的瓶蓋缺陷，無法對具體的缺陷進(jìn)行分類和判別顯示。

本文主要針對PET瓶在封蓋過程中存在的無蓋、高蓋和歪蓋缺陷進(jìn)行檢測，實(shí)現(xiàn)對多種類型瓶蓋封蓋缺陷的檢測。

1 封蓋缺陷視覺檢測硬件平臺搭建

該系統(tǒng)主要由光電傳感器、成像系統(tǒng)、圖像處理部分、工業(yè)IO卡和剔除裝置等硬件組成[9-12]。待檢PET瓶放置在運(yùn)動(dòng)的傳送帶上，PET瓶經(jīng)過光電傳感器時(shí)觸發(fā)相機(jī)拍照，圖像采集卡采集PET瓶圖像并傳輸?shù)綀D像識別系統(tǒng)對PET瓶圖像進(jìn)行實(shí)時(shí)檢測，判斷有無缺陷并標(biāo)記。如果飲料瓶存在缺陷，檢測系統(tǒng)對飲料瓶缺陷特征進(jìn)行分析并識別缺陷類型，同時(shí)工控機(jī)通過工業(yè)IO卡發(fā)出剔除信號，剔除裝置動(dòng)作，把不合格品剔除生產(chǎn)線。檢測系統(tǒng)硬件系統(tǒng)如圖1所示。

圖1 封蓋缺陷檢測硬件系統(tǒng)示意圖

三維結(jié)構(gòu)示意圖如圖2所示。

圖2 封蓋缺陷檢測系統(tǒng)三維結(jié)構(gòu)示意圖

通過實(shí)驗(yàn)研究，目前PET瓶封蓋缺陷檢測存在以下難點(diǎn)：(1)PET瓶材質(zhì)為聚苯二甲酸乙二醇酯，具有高透光率和反光率，且瓶內(nèi)液體對光有折射特性，易造成采集圖像不清晰、缺陷信息丟失；(2)由于PET的反光特性，對光電傳感器的響應(yīng)/釋放時(shí)間有較高要求。

為了解決上述難點(diǎn)，本研究首先選取分辨率為640×480的CMOS工業(yè)相機(jī)、鏡頭選擇像面尺寸為2/3''的大光圈鏡頭，選擇背光照明方式。光源選擇貼片LED，漫射面板，長寬均為120 mm的白色面光源，光源與飲料瓶平行布置。光源具體布置如圖3所示。

圖3 光源示意圖

光電傳感器選擇反射式(響應(yīng)釋放時(shí)間為0.25 ms)，需要調(diào)整光電傳感器的位置，使瓶子正好處在采集到的圖像的正中央。光電傳感器位置示意圖如圖4所示。

圖4 光電傳感器位置示意圖

2 封蓋缺陷圖像處理算法

2.1 基于圖像匹配的無蓋檢測算法

當(dāng)相機(jī)位置固定，光照條件不變時(shí)，相機(jī)拍出來的PET瓶瓶蓋部分效果圖中瓶蓋的灰度特征和形狀特征都非常明顯，因此可以根據(jù)圖像匹配算法來檢測瓶蓋的有無。

圖像匹配是指從一幅(或多幅)圖像中找出與給定的圖像相似的圖像或者相似的區(qū)域(子圖像)的過程。通常把給定的圖像稱為模板圖像，而將待搜索圖像稱為目標(biāo)圖像[13]。因?yàn)槠可w檢測是對高速生產(chǎn)線上的PET瓶進(jìn)行實(shí)時(shí)檢測，對檢測速度要求很高，本文選擇基于特征的匹配算法對瓶蓋進(jìn)行檢測，匹配過程可以分為兩步：特征提取和相似性度量。

2.1.1 特征提取

根據(jù)瓶蓋特點(diǎn)，筆者選擇其輪廓作為特征進(jìn)行圖像匹配?；谳喞男螤钇ヅ渌惴ㄖ饕谟趯δ繕?biāo)輪廓的提取，所以輪廓的提取精度會(huì)對匹配結(jié)果產(chǎn)生重要的影響。常見的輪廓邊緣檢測算法有：Sobel、Prewitt、Log、Canny等。其中Canny算子邊緣檢測效果較好，它利用高斯函數(shù)對圖像進(jìn)行去噪，能夠在去抗噪聲干擾和邊緣精確定位之間取得較好的平衡[14]，其基本步驟如下：

(1)高斯函數(shù)平滑圖像如下：

(1)

式中：f(x，y)—輸入圖像；G(x，y)—高斯函數(shù)。

高斯函數(shù)平滑后的圖像為fs(x，y)為：

fs(x，y)=G(x，y)*f(x，y)

(2)

(2)用一階偏導(dǎo)的有限差分來計(jì)算梯度的幅值和方向，圖像上沿x和y方向上的一階導(dǎo)數(shù)gx、gy為：

(3)

(4)

對應(yīng)點(diǎn)的梯度和方向?yàn)椋?/p>

(5)

(6)

(3)對梯度幅值進(jìn)行非極大值抑制，通過當(dāng)前像素點(diǎn)的梯度值與該點(diǎn)相鄰的兩個(gè)像素點(diǎn)的梯度值進(jìn)行比較，如果滿足以下條件：該梯度幅值大于相鄰的兩個(gè)像素點(diǎn)的幅值；相鄰的兩個(gè)方向間的梯度方向小于45°；該點(diǎn)周圍的3×3區(qū)域的梯度幅值小于設(shè)定的閾值，則將該點(diǎn)作為圖像的邊緣點(diǎn)。如果該點(diǎn)梯度值小于相鄰的點(diǎn)，則將其值置為0，從而完成非極大值抑制過程。

(4)用雙閾值算法檢測和連接邊緣，雙閾值處理以減少偽邊緣點(diǎn)，并用連接分析來檢測并連接邊緣。

為了節(jié)省Canny算子檢測時(shí)間，本研究先提取瓶蓋區(qū)域，然后再用Canny算子進(jìn)行邊緣檢測，檢測出來的邊緣為綠色。輪廓特征提取如圖5所示。

圖5 輪廓特征提取

得到輪廓線后，本研究記錄輪廓的坐標(biāo)以及相應(yīng)的一階導(dǎo)數(shù)作為輪廓的描述子，用于下一步匹配。

2.1.2 相似性度量

瓶蓋輪廓建立模板后，接下來筆者用模板在待匹配圖像中尋找匹配目標(biāo)，進(jìn)行相似性度量。在相似性度量上，本文設(shè)計(jì)了一種基于歸一化互相關(guān)系數(shù)(NCC)的相似性度量算法，能有效地避免光照變化對匹配精度的影響。其基本原理如下：

假設(shè)在匹配模板中輪廓線的坐標(biāo)以及X、Y方向上的梯度分別為

Pi=(Xi，Yi)

(7)

Gi=(Gxi，Gyi)

(8)

式中：i—模板輪廓坐標(biāo)個(gè)數(shù)，i=0，1，2，…n。

同理在待匹配圖像中X、Y方向上的梯度為

Gu，v=(Gxu，v，Gyu，v)

(9)

式中：u—待匹配圖像的行，u=0，1，2，…M；v—待匹配圖像的列，v=0，1，2，…N。

在匹配過程中，筆者將模板在待匹配圖像上移動(dòng)，比較模板與待匹配圖像上與模板重合區(qū)域的圖像之間的差異，取差異最小的區(qū)域?yàn)樽罴哑ヅ鋮^(qū)域[15]。相似性度量基本思想是計(jì)算模板圖像所有點(diǎn)的梯度向量與待匹配圖像中相應(yīng)點(diǎn)處的梯度向量的歸一化點(diǎn)積的和[16]，相似性度量公式如下：

(10)

式中：Su，v—相似度閾值，0≤Su，v≤1，當(dāng)Su，v=1時(shí)表示待匹配圖像中有與模板圖像完美匹配的圖像，當(dāng)Su，v=0時(shí)表示在待搜索圖像中沒有找到與模板圖像匹配的圖像。

基于歸一化互相關(guān)系數(shù)的相似性度量算法還有一個(gè)值得利用的特性，就是可以人為設(shè)定一個(gè)相似度閾值Smin，這樣在計(jì)算圖像的匹配度時(shí)就不需要計(jì)算模板所有元素與目標(biāo)圖像對應(yīng)的點(diǎn)積。使用Sj表示累計(jì)到模板的第j個(gè)元素時(shí)點(diǎn)積的總和[17]：

(11)

顯然，從j到n的所有剩余項(xiàng)都小于或等于1。因此，當(dāng)Sj

本研究用上述算法對正常瓶蓋、高蓋、歪蓋、無蓋進(jìn)行測試，測得4種類型瓶蓋相似性度量得分分別為0.998 501、0.990 258、0.978 18和0.641 889，測試結(jié)果如圖6所示。

圖6 圖像匹配結(jié)果

經(jīng)過大量實(shí)驗(yàn)測試發(fā)現(xiàn)：有蓋的相似性度量得分都大于0.9，無蓋的相似性度量得分都小于0.7。所以筆者設(shè)置閾值Smin為0.7。

2.2 高蓋歪蓋檢測算法

通過上述匹配算法檢測后，若判別瓶蓋存在，則需進(jìn)一步對高蓋、歪蓋進(jìn)行檢測。本文以持胚環(huán)作為測量基準(zhǔn)，用Harris角點(diǎn)檢測算法得到持胚環(huán)的兩個(gè)邊緣點(diǎn)，準(zhǔn)確擬合出持胚環(huán)所在的直線，并用最小二乘擬合算法計(jì)算出瓶蓋的上邊緣線，通過比較基準(zhǔn)線與瓶蓋上邊緣線之間的位置關(guān)系即可判斷是否存在高蓋、歪蓋缺陷。

2.2.1 基準(zhǔn)線的提取

持胚環(huán)是PET瓶為了抓取方便設(shè)計(jì)的一種特殊結(jié)構(gòu)。以持胚環(huán)為基準(zhǔn)首先要提取持胚環(huán)所在的直線。為了減少運(yùn)算量，本研究先對持胚環(huán)所在區(qū)域進(jìn)行提取。利用匹配算法得到的輪廓位置信息進(jìn)行相應(yīng)計(jì)算就可以獲得持胚環(huán)所在區(qū)域。

由于持胚環(huán)周圍灰度變化不是太明顯，傳統(tǒng)的邊緣提取效果都不是很好。本文用Harris角點(diǎn)檢測算法提取持胚環(huán)最左和最右兩個(gè)角點(diǎn)，根據(jù)兩角點(diǎn)位置準(zhǔn)確計(jì)算出持胚環(huán)所在的直線。

由Harris角點(diǎn)檢測算法對持胚環(huán)區(qū)域進(jìn)行檢測，根據(jù)最左邊和最右邊的兩點(diǎn)確定的直線方程為y=k0x+b0。角點(diǎn)檢測及持胚環(huán)直線確定如圖7所示。

圖7 角點(diǎn)檢測及持胚環(huán)直線確定

2.2.2 瓶蓋上邊緣直線擬合

提取瓶蓋上邊緣所在直線也是先提取瓶蓋上邊緣所在區(qū)域。同樣利用圖像匹配算法得到的輪廓位置信息進(jìn)行相應(yīng)計(jì)算就可以獲得瓶蓋上邊緣所在區(qū)域。瓶蓋邊緣與背景灰度變化非常明顯，所以可以用Canny邊緣檢測算法得到瓶蓋邊緣。用Canny算法得到的邊緣線還包括瓶蓋兩側(cè)的邊緣線，所以還需進(jìn)一步把上邊緣線單獨(dú)提取出來。通過選取縱坐標(biāo)小于一定值的邊緣點(diǎn)[18]，最終得到的上邊緣線如圖8所示。

圖8 瓶蓋上邊緣線

提取了上邊緣線后，本文用最小二乘法對上邊緣所在直線進(jìn)行擬合。給定n個(gè)點(diǎn){(xi，yi)，i=0，1，...，n}設(shè)

y=kx+b

(12)

式中：k—直線方程斜率；b—直線方程截距。

用最小二乘法估計(jì)參數(shù)時(shí)，要求觀測值的偏差的加權(quán)平方和為最小。對直線擬合來說，就是使下式的值最?。?/p>

(13)

對上式中的k、b分別進(jìn)行求偏導(dǎo)，得:

(14)

求解上述方程組便可求得直線參數(shù)k和b的最佳估計(jì)值:

(15)

(16)

最終瓶蓋上邊緣所在直線的擬合效果如圖9所示。

圖9 瓶蓋上邊緣擬合直線

基準(zhǔn)線和上邊緣線都求出來之后，根據(jù)兩條直線的距離及夾角即可判斷是否存在高蓋、歪蓋缺陷。

(17)

則說明瓶蓋是歪蓋，其中μ是設(shè)定的閾值，具體數(shù)值要根據(jù)瓶蓋制造精度以及生產(chǎn)者要求精度來確定。

(18)

如果d>d0，則說明瓶蓋是高蓋，否則瓶蓋合格。d0為持胚環(huán)到瓶蓋上邊緣的標(biāo)準(zhǔn)距離。

3 算法流程

本文先利用圖像匹配算法對瓶蓋輪廓特征進(jìn)行提取，根據(jù)模版圖像和待匹配圖像相似性度量判別瓶蓋的有無，再利用Harris角點(diǎn)檢測擬合瓶蓋持胚環(huán)基準(zhǔn)直線方程，用Canny邊緣檢測算法和最小二乘擬合算法提取瓶蓋上邊緣直線方程，最后通過兩直線方程位置關(guān)系判別是否為高蓋或歪蓋缺陷。

檢測流程圖如圖10所示。

圖10 PET瓶封蓋缺陷檢測算法流程圖

4 實(shí)驗(yàn)結(jié)果

筆者對檢測算法進(jìn)行實(shí)驗(yàn)測試。本文選擇SENTECH公司生產(chǎn)的STC-MB33PCL型工業(yè)相機(jī)，鏡頭選擇Tokina公司型號為TC1214-3MPG的鏡頭，選用長寬都為120 mm的白色面光源。實(shí)驗(yàn)測試在處理器為Intel Core I5，主頻3.3 GHz、內(nèi)存4 G、win7操作系統(tǒng)的電腦上進(jìn)行。

測試中本文設(shè)定瓶蓋相似性度量匹配得分小于0.7即為無蓋。瓶蓋上邊緣所在直線與持胚環(huán)所在直線的斜率絕對值之差大于0.03，即兩條直線的夾角大于1.72°時(shí)，判定瓶蓋為歪蓋。瓶蓋上邊緣所在直線與持胚環(huán)所在直線的距離大于128個(gè)像素即為高蓋。測試結(jié)果如圖11所示。

圖11 圖像匹配結(jié)果

具體測試數(shù)據(jù)如表1所示。

表1 封蓋檢測試驗(yàn)測試結(jié)果

本文還對其他幾種不同類型的PET瓶進(jìn)行了封蓋檢測實(shí)驗(yàn)，對不同的PET瓶需根據(jù)瓶蓋的幾何特征對相應(yīng)的檢測參數(shù)進(jìn)行修改，檢測效果如圖12所示。

圖12 3種不同類型的瓶子檢測效果

筆者對其他3種類型的PET瓶的封蓋進(jìn)行測試，具體的檢測結(jié)果如表2所示。

表2 不同類型PET瓶測試結(jié)果

由實(shí)驗(yàn)測試結(jié)果可知：該封蓋檢測算法通用性較強(qiáng)，能適應(yīng)不同類型的PET瓶瓶蓋的檢測。實(shí)驗(yàn)測試中，封蓋檢測的平均時(shí)間小于100 ms。

5 結(jié)束語

本文介紹了一種基于機(jī)器視覺技術(shù)的PET瓶封蓋缺陷的檢測算法，通過圖像匹配算法能很好地實(shí)現(xiàn)瓶蓋有無的判斷；提出了基于持胚環(huán)線及瓶蓋上邊緣線的高蓋、歪蓋的檢測方法，利用Harris角點(diǎn)檢測算法，可精確確定出持胚環(huán)線所在直線方程，利用Canny邊緣檢測算法和最小二乘擬合算法得到上邊緣線直線方程，使得高蓋和歪蓋的檢測變得更加準(zhǔn)確。

實(shí)驗(yàn)結(jié)果表明:該算法有較高的準(zhǔn)確性和魯棒性，檢測時(shí)間短、通用性強(qiáng)，能對不同類型的缺陷進(jìn)行實(shí)時(shí)分類和判別顯示。

參考文獻(xiàn)(References):

[1] 童季剛，廖 菲，羅良傳.一種機(jī)器視覺的瓶罐缺陷檢測系統(tǒng)設(shè)計(jì)[J].機(jī)電工程技術(shù)，2016，45(8)：28-31.

[2] 王海棟，趙巨峰，高秀敏,等.藥品生產(chǎn)線瓶蓋縫隙的視覺檢測技術(shù)研究[J].光學(xué)儀器，2016,38(4):283-287.

[3] 張 哲，朱錚濤，李 淵,等.瓶蓋缺陷在線自動(dòng)檢測技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26(6):151-154.

[4] 王貴錦,劉 博,何 貝,等.應(yīng)用對稱匹配的PET瓶瓶蓋缺陷實(shí)時(shí)檢測[J].應(yīng)用科學(xué)學(xué)報(bào)，2014，32(6):617-624.

[5] 彭 玉,王耀南,周顯恩,等.基于輪廓曲率的PET瓶防盜環(huán)斷裂檢測[J].電子測量與儀器學(xué)報(bào),2017,31(3):422-429.

[6] 孫 濤.基于圖像匹配的PET飲料瓶封裝缺陷檢測研究[D].廣州：廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，2008.

[7] 鄭云峰,王貴錦,何 貝,等.基于直線擬合算法的PET瓶瓶蓋檢測方法[J].計(jì)算機(jī)應(yīng)用研究，2011，28(11):4398-4400.

[8] 王保軍.基于機(jī)器視覺的藥瓶封裝缺陷檢測系統(tǒng)研究[D].沈陽：東北大學(xué)機(jī)械工程與自動(dòng)化學(xué)院，2014.

[9] CAMPOS M, FERREIRA M, MARTINS T. Inspection of bottle crates in the beer industry through computer vision[C]. Conference of the IEEE Industrial Electronics Society, Glendale: IEEE,2010.

[10] MERY D, MEDINA O. Automated visual inspection of glass bottles using adapted median filtering[C]. International Conference on Image Analysis & Recognition, Porto: Springer,2004.

[11] PENG Xiang-qian, LI Xiang-hua. An online glass medicine bottle defect inspection method based on machine vision[J].GlassTechnology:EuropeanJournalofGlassScience&TechnologyPartA,2015,56(3)：88-94.

[12] WANG Bao-jun, YANG Guang-yan. Medical bottle detecting system based on machine vision[J].AppliedMechanicsandMaterials,2013(373-375)：521-524.

[13] 郭倩茜.圖像匹配的主要方法分析[J].科技創(chuàng)新與應(yīng)用，2016(20):81.

[14] GONZALEZ R C.數(shù)字圖像處理[M].3版.北京：電子工業(yè)出版社，2011.

[15] HOFHAUSER A, STEGER C, NAVAB N. Edge-based template matching and tracking for perspective distorted planar objects[J].LectureNotesinComputerScience，2008，5358(1):35-44.

[16] HARRIS C. A combined corner and edge detector[J].ProcAlveyVisionConf，1988(3):147-151.

[17] HOFHAUSER A, STEGER C, NAVAB N. Edge-based template matching with a harmonic deformation model[J].CommunicationsinComputerandInformationScience,2009,24(1):176-187.

[18] STEGER C.機(jī)器視覺算法與應(yīng)用[M].北京：清華大學(xué)出版社，2008.