基于機(jī)器視覺的袋泡茶包缺陷檢測方法

楊慶華，王　玲，荀　一，鮑官軍，張　盛

(1.浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310032；2.浙江茶乾坤食品股份有限公司, 浙江 湖州 313100)

基于機(jī)器視覺的袋泡茶包缺陷檢測方法

楊慶華1，王玲1，荀一1，鮑官軍1，張盛2

(1.浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310032；2.浙江茶乾坤食品股份有限公司, 浙江 湖州 313100)

摘要：針對袋泡茶包的缺陷，設(shè)計(jì)了基于機(jī)器視覺的袋泡茶包缺陷檢測裝置，提出了識別袋泡茶包缺陷的圖像處理方法.通過最大類間差算法對茶包圖像進(jìn)行閾值分割，去除背景.根據(jù)茶包外形特點(diǎn)以及不同的缺陷特征，對茶包進(jìn)行四邊形擬合并劃分成不同區(qū)域.通過計(jì)算茶包邊緣夾角以及統(tǒng)計(jì)分析各區(qū)域灰度信息的方法，識別斜包、皺包、空包、夾渣包、左右不對稱包缺陷；通過形態(tài)學(xué)運(yùn)算和邊緣檢測識別破包缺陷.實(shí)驗(yàn)結(jié)果表明：各種缺陷的正檢率均達(dá)到85%以上，總的缺陷正檢率達(dá)91.8%。

關(guān)鍵詞：機(jī)器視覺;最大類間差;區(qū)域劃分;灰度信息;形態(tài)學(xué)

Method based on machine vision for teabag defects detection

YANG Qinghua1, WANG Ling1, XUN Yi1, BAO Guanjun1, ZHANG Sheng2

(1.Key Laboratory of Special Purpose Equipment and Advanced Manufacturing Technology, Ministry of Education,

Zhejiang University of Technology, Hangzhou 310014, China；2.Zhejiang Tea World Food Co., Ltd., Huzhou 313100, China)

Abstract:To detect the defects of teabags, a defects detection device based on machine vision was proposed, and an image processing method was developed in this paper. The otsu algorithm was used to segment the object image so the background can be removed. According to the shape feature and different defects’ characteristics of the teabags, rectangle fitting was applied to fit the teabag outline. As the included angles of the teabag edge lines were figured out, the inclined teabags can be found out. The teabag was divided into several areas within the rectangle. As the gray value information of each area was drawn, the teabag, whether it was a crinkle bag, empty bag, left-right asymmetry bag or had dross contained in margin, can be tested out. Morphological algorithm and border detection algorithm were operated to extract the damage defect of the teabag. The experiment verified that all the detection rates can be higher than 85%, and the overall detection rate is 91.8%。

Keywords:machine vision; otsu; area division; gray value information; morphological algorithm

袋泡茶是將茶葉封裝在薄濾紙袋中,用時連同濾紙袋一同放入茶具內(nèi).袋泡茶使用可以提高浸出率,使得茶末得到充分的利用，并且袋泡茶有沖泡快速,清潔衛(wèi)生、用量標(biāo)準(zhǔn),可以混飲,排渣方便,攜帶容易等優(yōu)點(diǎn)，符合快節(jié)奏的生活需要,在國際市場中需求量大[1].袋泡茶要求外袋方正，表面平整、潔凈，無污跡、皺褶、破洞.然而，加工后部分茶包存在著一些缺陷，主要有夾料包、破包、皺包、空包、斜包以及左右不對稱等[2-3].目前這些缺陷的檢測主要由人工觀測完成，這種方法效率低、勞動強(qiáng)度大、準(zhǔn)確度不穩(wěn)定，檢測結(jié)果隨著工人積極性與精神集中度而變化。

機(jī)器視覺技術(shù)隨著計(jì)算機(jī)技術(shù)，圖像處理技術(shù)的發(fā)展常被應(yīng)用到工業(yè)及農(nóng)業(yè)產(chǎn)品的缺陷檢測中[4-9],機(jī)器視覺技術(shù)用于產(chǎn)品包裝缺陷的檢測國內(nèi)外也有大量的研究[10-13].基于機(jī)器視覺技術(shù)的缺陷檢測方法，即利用圖像處理和分析對產(chǎn)品可能存在的缺陷進(jìn)行檢測.將機(jī)器視覺檢測技術(shù)應(yīng)用于茶包的缺陷檢測可以提高生產(chǎn)效率，降低工人成本，提高缺陷檢測的準(zhǔn)確度，保證茶包的質(zhì)量.且采用機(jī)器視覺缺陷檢測技術(shù)可以做到無接觸，無損傷，不產(chǎn)生污染等優(yōu)點(diǎn)。

1茶包的缺陷及其特征

本實(shí)驗(yàn)中的茶包來自浙江長興茶乾坤食品有限公司生產(chǎn)的袋泡茶，茶包外形為75 mm×70 mm的矩形，兩側(cè)邊緣封口寬度為10 mm，底部分口寬度為8 mm.如圖1所示。

圖1　袋泡茶包Fig.1　The image of teabag

茶包缺陷有很多種，主要有夾渣包、破包、皺包、空包、斜包、左右不對稱等，如圖2所示.觀察缺陷茶包，可以發(fā)現(xiàn)不同的缺陷有不同的特征.特征如下：

圖2　缺陷茶包Fig.2　Defects of teabags

1) 夾渣包：茶葉末在封裝的時候夾入茶包邊緣，使得茶包邊緣灰度值降低。

2) 破包：茶包破損處茶葉會裸露，破損區(qū)域灰度值比其他部分灰度值低得多。

3) 皺包：茶包皺起，其特點(diǎn)是面積較正常的茶包要小。

4) 空包：空包中沒有茶葉，茶包整體平均灰度值較正常茶包要高許多。

5) 斜包：傾斜茶包的邊緣不垂直，其所成角度與90°相差較大。

6) 左右不對稱茶包：茶包左邊或右邊邊緣封口寬度與標(biāo)準(zhǔn)值相差較大。

2茶包圖像采集

茶包缺陷檢測系統(tǒng)由光源、攝像頭、圖像采集卡、采集箱以及計(jì)算機(jī)組成.圖3為茶包缺陷檢測裝置.在本實(shí)驗(yàn)中，采集光源選用日光燈，平行布置于采集箱兩側(cè)。

圖3　茶包圖像采集系統(tǒng)Fig.3　Teabag image acquisition system

茶包的大小為75 mm×70 mm，拍攝面積為104 mm×81 mm.過對茶包的分析，最小缺陷尺寸為1 mm，誤差允許值設(shè)置為±20%，則其檢測精度為

δ=1 mm×20%=0.2 mm

(1)

設(shè)精度系數(shù)K=2.5，用V，H分別表示釆集區(qū)域的橫向、縱向的尺寸，即可計(jì)算出橫向、縱向的像素值m，n，其計(jì)算公式分別為

(2)

(3)

根據(jù)精度要求得拍攝像素不能低于1 300p×1 012p，選用北京嘉恒中自圖像技術(shù)有限公司的OK_AM1300高分辨逐行掃描黑白攝像頭。

3茶包區(qū)域提取

采用最大類間差法[14]尋找最優(yōu)閾值對茶包圖像進(jìn)行分割.設(shè)閾值k對應(yīng)圖像目標(biāo)和背景兩組像素灰度方差為σ(k)，最優(yōu)閾值K為maxσ(k)對應(yīng)的k值，σ(k)的表達(dá)式為

(4)

式中：μ為圖像平均灰度；ω(k)和μ(k)分別為閾值為k時目標(biāo)像素所占比例和灰度平均值。

圖4　茶包掩模和去除背景的茶包Fig.4　Teabag mask and teabag image with removed background

根據(jù)式(4)得到閾值K.對閾值分割后的圖像提取輪廓，選取最外側(cè)輪廓，并對圖像輪廓進(jìn)行填充，得到去除背景后的掩模[15-16]，如圖4(a)所示.將掩模與原圖疊加，得到去除背景的茶包圖，如圖4(b)所示。

4茶包缺陷提取

如圖2所示，針對茶包的主要缺陷及其特征,采用篩選的辦法從易到難排除茶包的缺陷.茶包缺陷的排除順序?yàn)椋盒卑櫚瞻獖A渣包——左右不對稱包——破包。

斜包的特點(diǎn)是邊緣夾角明顯大于或小于90°,因此可以對茶包的邊緣進(jìn)行四邊形擬合[17]，如圖5所示。

圖5　四邊形擬合茶包Fig.5　Teabag image with fitted rectangle

四邊形擬合的原理為：掃描茶包的輪廓，找到輪廓上距離最遠(yuǎn)的兩個點(diǎn)，然后將兩個點(diǎn)連成一線段，再查找輪廓上到線段距離最遠(yuǎn)的點(diǎn)，添加到逼近后的新輪廓.將該算法進(jìn)行一次迭代，得到四邊形的四個頂點(diǎn)PT0，PT1，PT3，PT4以及四條直線L1，L2，L3，L4。

則L1與L2夾角為

(5)

同理可求出L2與L3夾角α2，L3與L4夾角α3，L4與L1夾角α0.茶包為矩形，理想茶包α1=α2=α3=α0=90°，允許茶包夾角α在88°到92°，當(dāng)茶包夾角小于88°或大于92°時，視覺上可明顯感到茶包為斜包，影響茶包整體美觀.故茶包夾角中有小于88°或大于92°的，則該茶包被視為斜包。

茶包規(guī)格為75mm×70mm，拍攝面積為106mm×82mm，由此得出茶包面積占拍攝面積的60.4%.允許茶包大小誤差在4%以內(nèi)，若茶包面積占拍攝面積(即非零像素占總像素的比值)小于56.4%，則認(rèn)為該茶包為皺包。

夾渣的茶包，由于夾渣面積較小，直接統(tǒng)計(jì)茶包整體平均灰度值，發(fā)現(xiàn)平均灰度值與沒有瑕疵的茶包相差不明顯.如四叉樹圖像分割[18]，四邊形擬合后的茶包可被劃分成小塊來分別統(tǒng)計(jì)其平均灰度值以提高識別精度。

根據(jù)茶包的尺寸特點(diǎn)畫出相應(yīng)的直線，得到便于統(tǒng)計(jì)的區(qū)域，如圖6所示。

圖6　茶包區(qū)域劃分Fig.6　Teabag image with division lines

對圖像進(jìn)行像素掃描，記錄非零像素總點(diǎn)數(shù)PN0，非零像素灰度值f(x,y)，記圖像的像素值總和SP0，平均灰度值為AP0，則

SP0=∑f(x,y)

(6)

(7)

根據(jù)PN0所占總拍攝區(qū)域的比例，可判斷茶包是否為皺包。

經(jīng)過大量統(tǒng)計(jì)非空茶包整個茶包的平均灰度值在T1到T2之間，而空包由于中間沒有茶葉，灰度值明顯高于普通茶包，其平均灰度值A(chǔ)P0比普通茶包約高37%.故AP0大于一定值的茶包可定為空包。

在掃描統(tǒng)計(jì)過程中，同時計(jì)算劃分所得的四邊形G3PT1PT2G6，PT0G0G9PT3，G2G3G6G7，G0G1G8G9，G5PT2PT3G10，PT0PT1G4G11內(nèi)像素的平均灰度PNAL，PNAR，PNBL，PNCL，PNCR.對于沒有夾渣茶包值在210±5.對于有明顯夾渣的茶包(夾渣面積占邊緣區(qū)域面積大于10%)，其值明顯下降，當(dāng)其下降5%時該茶包被認(rèn)為是夾渣包。

對于左右不對稱茶包(左邊封口過寬，右邊封口過窄，或左邊封口過窄，右邊封口過寬)，則會導(dǎo)致過高.無左右不對稱茶包約為180～190之間，而左右不對稱茶包要高于普通茶包.當(dāng)超過10%時，該茶包被視為左右不對稱茶包。

對茶包進(jìn)行區(qū)域標(biāo)記，統(tǒng)計(jì)多個茶包非破包區(qū)域像素與破包區(qū)域像素進(jìn)行對比，發(fā)現(xiàn)破包區(qū)域的像素灰度值在一定值以下，而非破包區(qū)域的像素絕大多數(shù)都在一定值以上.如圖7所示。

圖7　茶包像素抽樣Fig.7　Sample value of teabag image

根據(jù)圖7得到灰度信息，經(jīng)過試驗(yàn)選擇閾值T=90對茶包二值化分割，得到二值圖如圖8(b)所示。

圖8　二值化茶包Fig.8　Teabag image after threshold

從圖8(b)中可以看出：破損處可以被分割出來，普通茶包存在極少數(shù)灰度值小于T的點(diǎn)，故普通茶包不可能被分割出面積較大的黑色區(qū)域.由于破損處呈細(xì)長狀，在某些區(qū)域是斷裂的，因此可對二值化后的圖像進(jìn)行形態(tài)學(xué)閉運(yùn)算.形態(tài)學(xué)閉運(yùn)算的特點(diǎn)是可以填充物體內(nèi)細(xì)小空洞、連接鄰近物體、平滑其邊界的同時并不明顯改變其面積.對茶包進(jìn)行形態(tài)學(xué)閉運(yùn)算[19]可將斷裂處連接起來.對形態(tài)學(xué)操作后的圖像進(jìn)行邊緣檢測.計(jì)算輪廓所包圍的面積，發(fā)現(xiàn)普通茶包輪廓所包圍的面積遠(yuǎn)小于破損茶包輪廓所包圍的面積。

5實(shí)驗(yàn)驗(yàn)證與分析

為了檢查該缺陷檢測系統(tǒng)的精度，人工分別挑選出若干缺陷茶包及正常茶包進(jìn)行測試.測試結(jié)果如表1所示.表中茶包的正檢個數(shù)是指缺陷被識別出的茶包個數(shù)，正檢率為正檢個數(shù)/茶包個數(shù)，誤檢率為誤檢個數(shù)/茶包個數(shù)，其中誤檢包括將正常包判定為缺陷包或者缺陷判別錯誤。

表1　茶包測試結(jié)果

經(jīng)過實(shí)驗(yàn)驗(yàn)證可以看出：對斜包，皺包，空包以及正常包的正檢率較高，達(dá)到97%以上；對夾渣包，左右不對稱包，破包的正檢率相對較低，在85%以上；總的正檢率為91.8%.對于少量夾渣的茶包，夾渣對區(qū)域影響不明顯，故被檢測出的概率不夠高；有些破包破損處看不到縫，故不易檢測出；左右不對稱包由于受夾渣包的影響，被檢測出的概率也不是很高。

6結(jié)論

本研究介紹了基于機(jī)器視覺的袋泡茶包缺陷檢測裝置并提出了識別袋泡茶包缺陷的圖像處理方法.針對斜包，皺包，空包，夾渣包，左右不對稱包缺陷，對茶包進(jìn)行了四邊形擬合并劃分成不同區(qū)域，計(jì)算茶包邊緣夾角以及統(tǒng)計(jì)分析各區(qū)域灰度信息來識別；而針對破包缺陷，則通過閾值分割，形態(tài)學(xué)運(yùn)算等方法來識別.最后進(jìn)行實(shí)驗(yàn)驗(yàn)證，茶包缺陷的正檢率基本能滿足廠家生產(chǎn)需求.但夾渣包，破包，左右不對稱包檢出的概率還不是很高，其圖像處理算法有待下一步提高。

參考文獻(xiàn)：

[1]廖亮.茶葉包裝方法分析[J].食品與藥品，2005(7):41-42。

[2]韋忠良.談?wù)劥莶璧漠a(chǎn)品質(zhì)量標(biāo)準(zhǔn)[J].中國茶葉，1999(1)：16-17。

[3]蔡知凌，鄭華，鄭俊超.出口袋泡茶常見質(zhì)量問題及分析[J].福建茶葉，2003(4):27-28。

[4]李江波.臍橙表面缺陷的快速檢測方法研究[D].杭州：浙江大學(xué)，2012。

[5]HAO Shen, LI Shuxiao, GU Duoyu, et al.Bearing defect inspection based on machine vision[J]. Mesurement，2012，45(4):719-733。

[6]鮑官軍，荀一，戚力勇，等.機(jī)器視覺在黃瓜采摘機(jī)器人中的應(yīng)用研究[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2010,38(1):114-118。

[7]NASHAT S, ABDULLAH A, ABDULLAH M Z. Machine vision for crack inspection of biscuits featuring pyramid detection scheme[J]. Journal of Food Engineering，2014，120:233-247。

[8]ZHANG Baohua, HUANG Wenqian, GONG Liang, et al. Computer vision detection of defective apples using automatic lightness correction and weighted RVM classifier[J]. Journal of Food Engineering，2015，147：143-151。

[10]ZHOU Wenju, FEI Minrui, ZHOU Huiyu, et al. A sparse representation based fast detection method for surface defect detection of bottle caps[J]. Neurocomputing,2014,123(10):406-414。

[11]LIN H D, CHIU Y S P. Computer-aided quality system for visual blemish inspection of epoxy packages[J]. Scientia Iranica,2011,18(6):1591-1599。

[12]南雅芳.塊狀食品包裝生產(chǎn)線視覺及監(jiān)控系統(tǒng)的開發(fā)[D].天津：河北工業(yè)大學(xué)，2013。

[13]闞文君.基于機(jī)器視覺的泡罩藥品缺陷檢測系統(tǒng)研究[D].石家莊：石家莊鐵道大學(xué)，2014。

[14]齊麗娜，張博，王戰(zhàn)凱.最大類間方差法在圖像處理中的應(yīng)用[J].無線電工程，2006，36(7):25-44。

[15]龐江偉.基于計(jì)算機(jī)視覺的臍橙表面常見缺陷種類識別的研究[D].杭州：浙江大學(xué)，2006。

[16]李江波.臍橙表面缺陷的快速檢測方法研究[D].杭州：浙江大學(xué)，2012。

[17]姜利.基于矩形擬合的Chip元件位置誤差視覺檢測算法[J].機(jī)械制造與自動化，2013,42(5):72-74。

[18]宋宇彬，張秉權(quán)，郝永平.基于四叉樹的圖像分割技術(shù)[J].測控技術(shù)，2004,23(6):63-65。

[19]何斌，馬天予，王運(yùn)堅(jiān)，等.visual c++數(shù)字圖像處理[M].北京：人民郵電出版社，2002。

(責(zé)任編輯：劉巖)

中圖分類號：TP242

文獻(xiàn)標(biāo)志碼：A

文章編號：1006-4303(2015)02-0163-05

作者簡介：楊慶華(1964 —)，男，浙江義烏人，教授，博士生導(dǎo)師，研究方向?yàn)闄C(jī)器人技術(shù)，E-mail：zjutme@163.com。

基金項(xiàng)目：浙江省特種裝備制造與先進(jìn)加工技術(shù)重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(2011EM002)

收稿日期：2014-10-20