親親腸殘次品在線視覺(jué)檢測(cè)識(shí)別方法

黨國(guó)輝 王永強(qiáng) 周聰玲

(天津科技大學(xué)機(jī)械工程學(xué)院，天津 300222)

親親腸是一種灌腸制品，其生產(chǎn)過(guò)程包括較多工序。目前針對(duì)親親腸外觀缺陷的檢測(cè)主要依賴于人工目檢，其主觀性較強(qiáng)、檢測(cè)效率低、檢測(cè)標(biāo)準(zhǔn)不統(tǒng)一，同時(shí)也很難對(duì)殘次品的類型進(jìn)行區(qū)分與統(tǒng)計(jì)。親親腸外觀缺陷主要包括過(guò)小、切斷、過(guò)長(zhǎng)、腸衣破裂和異形(見(jiàn)圖1)。

圖1 合格品與各類殘次品

機(jī)器視覺(jué)檢測(cè)技術(shù)因其高效、無(wú)接觸等特點(diǎn)，被廣泛應(yīng)用于食品檢測(cè)中[1-7]。吳陳陳等[8]采用機(jī)器視覺(jué)檢測(cè)技術(shù)，根據(jù)青豆的圓形度形狀特征與G分量下的顏色特征實(shí)現(xiàn)了對(duì)殘次品的在線篩選。林少波[9]采用機(jī)器視覺(jué)檢測(cè)技術(shù)，根據(jù)親親腸長(zhǎng)度特征與端面圓弧曲率特征實(shí)現(xiàn)了親親腸部分殘次品的在線篩選。謝為俊等[10]應(yīng)用機(jī)器視覺(jué)檢測(cè)技術(shù)，根據(jù)胡蘿卜表面的顏色特征與形狀特征實(shí)現(xiàn)了胡蘿卜的在線分選。目前研究均是根據(jù)待檢測(cè)產(chǎn)品的具體特征以采取特定的檢測(cè)方法，且現(xiàn)有方法均不能很好地適用于親親腸殘次品的檢測(cè)。

研究擬應(yīng)用機(jī)器視覺(jué)檢測(cè)技術(shù)，結(jié)合硬件機(jī)構(gòu)的設(shè)計(jì)，以實(shí)現(xiàn)對(duì)親親腸幾類常見(jiàn)外觀殘次品的在線篩選及分類統(tǒng)計(jì)，旨在為親親腸智能化生產(chǎn)提供依據(jù)。

1 檢測(cè)原理

首先，在產(chǎn)品輸送過(guò)程中，利用機(jī)械裝置將親親腸梳理成行列分布均勻的矩陣式狀態(tài)；其次，親親腸被平移輸送機(jī)構(gòu)輸送至圖像采集區(qū)域(圖像采集區(qū)域?qū)挾葹楦采w三行產(chǎn)品)后，在旋轉(zhuǎn)機(jī)構(gòu)帶動(dòng)下進(jìn)行自轉(zhuǎn)，以實(shí)現(xiàn)在不同角度下分別拍攝3次親親腸圖像；最后，通過(guò)圖像處理技術(shù)對(duì)親親腸的外部特征進(jìn)行提取并分析識(shí)別，檢測(cè)出殘次品及其缺陷類別。其在線檢測(cè)原理示意圖如圖2所示。

1. 圖像采集機(jī)構(gòu) 2. 光源 3. 物料輸送機(jī)構(gòu) 4. 傳感器 5. 親親腸

2 圖像采集和預(yù)處理

圖像采集機(jī)構(gòu)主要包括觸發(fā)裝置、相機(jī)、鏡頭以及光源等部分。同時(shí)，采集的圖像中包含有多個(gè)產(chǎn)品，為了檢測(cè)每一粒親親腸的缺陷特征還需對(duì)采集的圖像進(jìn)行單粒產(chǎn)品區(qū)域分割以及相應(yīng)的預(yù)處理。

2.1 圖像采集

試驗(yàn)主要檢測(cè)親親腸的外觀缺陷，故其輪廓信息十分重要。光源與背景的選擇需要在圖像中同時(shí)凸顯上述兩部分的特征，使目標(biāo)與背景的對(duì)比度增強(qiáng)。物體的顏色特征體現(xiàn)在其對(duì)不同波長(zhǎng)的可見(jiàn)光具有選擇性吸收。親親腸填充漿料部分呈粉紅色，端部裸露腸衣部分為乳白色，腸體表面光滑。選擇低角度紅色光源及黑色背景，在凸顯目標(biāo)邊緣輪廓的同時(shí)也可有效避免由鏡面效應(yīng)造成的圖像光斑現(xiàn)象。

親親腸的某些缺陷特征(如異形和脹裂缺陷)在不同拍攝角度呈現(xiàn)明顯差異。為了獲取親親腸圓柱面完整的輪廓，在圖像采集區(qū)采用齒輪齒條機(jī)構(gòu)帶動(dòng)鏈輥?zhàn)赞D(zhuǎn)，以實(shí)現(xiàn)親親腸在水平運(yùn)動(dòng)的同時(shí)實(shí)現(xiàn)自身旋轉(zhuǎn)的機(jī)械裝置，輔助相機(jī)拍攝不同角度下的圖像信息。其原理如圖3所示。

1. 齒條 2. 齒輪 3. 鏈輥 4. 親親腸 5. 觸發(fā)裝置

圖像采集實(shí)現(xiàn)方式：在圖像采集區(qū)域，鏈輥3端部的齒輪2與固定安裝在機(jī)架的齒條1嚙合實(shí)現(xiàn)鏈輥旋轉(zhuǎn)以帶動(dòng)鏈輥上的親親腸自轉(zhuǎn)。圖像采集區(qū)域設(shè)定為能夠采集到三行親親腸的寬度，在輸送機(jī)構(gòu)的一側(cè)安裝有觸發(fā)裝置，每經(jīng)過(guò)一行親親腸產(chǎn)品，觸發(fā)相機(jī)拍攝一次圖像，使得親親腸從進(jìn)入采集區(qū)域到離開采集區(qū)域恰能獲取3幅不同角度下的圖像信息。該方法實(shí)現(xiàn)了對(duì)親親腸圓柱面不同角度下圖像的獲取，從而提高了殘次品的檢出率。

2.2 圖像預(yù)處理

圖像中親親腸產(chǎn)品呈三行多列的矩陣式分布，且目標(biāo)區(qū)域固定。以三行三列的目標(biāo)區(qū)域?yàn)槔趯?duì)圖像進(jìn)行處理前先對(duì)整幅圖像按目標(biāo)區(qū)域位置進(jìn)行單?；H親腸的分割，如圖4(a)所示。然后單獨(dú)對(duì)分割后的子區(qū)域進(jìn)行后續(xù)處理，單?；H親腸子區(qū)域如圖4(b)所示。

圖4 圖像區(qū)域分割示意圖

子區(qū)域圖像中會(huì)存在圖像噪聲，需進(jìn)行預(yù)處理。根據(jù)圖像噪聲特點(diǎn)，采用中值濾波，該方法對(duì)一定類型的隨機(jī)噪聲能提供良好的祛噪能力，且比相同尺寸的線性平滑濾波器引起的模糊更少，中值濾波算子公式為：

(1)

式中：

Sxy——中心點(diǎn)在(x,y)處、大小為m×m的子圖像窗口的一組坐標(biāo)；

g(s,t)——子圖像窗口中某一像素坐標(biāo)。

采用中值濾波法對(duì)子區(qū)域圖像進(jìn)行處理，結(jié)果如圖5所示。

圖5 中值濾波后圖像

3 缺陷特征提取及識(shí)別方法

產(chǎn)品外觀缺陷特征集中體現(xiàn)在其邊緣輪廓上，選擇Canny算子對(duì)邊緣進(jìn)行檢測(cè)，其檢測(cè)結(jié)果如圖6所示。

圖6 Canny算子邊緣檢測(cè)

親親腸殘次品外觀缺陷特征主要體現(xiàn)在長(zhǎng)度、中部區(qū)域上下邊緣間距的變化以及端部區(qū)域的形狀變化。為此，通過(guò)求取其輪廓的最小外接矩形以及劃分區(qū)域后分別根據(jù)各區(qū)域輪廓線的異常變化對(duì)缺陷種類進(jìn)行區(qū)分。因?yàn)橛H親腸兩端部區(qū)域的大小與親親腸直徑大致相當(dāng)，所以依此對(duì)區(qū)域進(jìn)行劃分，產(chǎn)品外形輪廓處理過(guò)程原理如圖7所示。

圖7 親親腸圖像輪廓區(qū)域劃分

3.1 過(guò)長(zhǎng)、過(guò)小和切斷殘次品識(shí)別方法

合格品親親腸的長(zhǎng)度L應(yīng)在一個(gè)標(biāo)準(zhǔn)的范圍內(nèi)，即L-Δ≤L≤L+Δ。對(duì)于過(guò)長(zhǎng)、過(guò)小和切斷3類殘次品，其長(zhǎng)度均不在規(guī)定范圍內(nèi)。采用最小外接矩形的長(zhǎng)來(lái)定義產(chǎn)品的長(zhǎng)度L，如圖8所示。

圖8 不同類型殘次品輪廓最小外接矩形示意圖

殘次品判別標(biāo)準(zhǔn)為：

(2)

式中：

li——某產(chǎn)品的長(zhǎng)度，mm；

L——產(chǎn)品標(biāo)準(zhǔn)長(zhǎng)度，mm；

Δ——合格品長(zhǎng)度公差，mm。

對(duì)于親親腸長(zhǎng)度缺陷的判別，原則上需通過(guò)標(biāo)定來(lái)獲取其實(shí)際長(zhǎng)度。鑒于實(shí)踐中對(duì)尺寸測(cè)量的精度要求不高，故根據(jù)圖像特征設(shè)計(jì)一種簡(jiǎn)易的標(biāo)定方法：在單?；指钣H親腸過(guò)程中將圖像分割窗口設(shè)定為確定值的長(zhǎng)和寬，并以此作為標(biāo)尺，在求得親親腸最小外接矩形的長(zhǎng)和寬后，計(jì)算其與所在分割窗口長(zhǎng)和寬的占比，便可求得其實(shí)際長(zhǎng)寬尺寸，如圖9所示。

1. 單?；H親腸分割區(qū)域固定大小窗口 2. 親親腸輪廓最小外接矩形

按式(3)計(jì)算親親腸長(zhǎng)度。

(3)

式中：

Lq——分割窗口區(qū)域長(zhǎng)度，像素；

Li——親親腸最小外接矩形長(zhǎng)度，像素；

lq——分割窗口區(qū)域?qū)嶋H長(zhǎng)度，mm；

li——親親腸實(shí)際長(zhǎng)度，mm。

對(duì)于過(guò)小和切斷殘次品僅僅依靠長(zhǎng)度特征不能有效區(qū)分，還需判斷其端部輪廓曲線的變化。合格品在其兩個(gè)端部區(qū)域的輪廓近似圓弧狀，而切斷類殘次品必然有一個(gè)端部特征表現(xiàn)為近似直角形狀，其左、右端部輪廓線變化區(qū)分非常明顯。為此，先將端部區(qū)域上下等分為3個(gè)區(qū)域，如圖10(a)和圖10(b)所示；然后舍去中間區(qū)域，分別提取上下區(qū)域內(nèi)輪廓線上像素點(diǎn)的坐標(biāo)，如圖10(c)和圖10(d)所示；最后可將輪廓線等間隔劃分為若干個(gè)直線段，再求取線段斜率，通過(guò)比較斜率的變化判斷是否為切斷。

圖10 端部特征區(qū)域劃分示意圖

為了在求取輪廓線像素點(diǎn)坐標(biāo)的同時(shí)還能確保像素之間的相對(duì)位置關(guān)系，采用鏈碼的方式。根據(jù)區(qū)域內(nèi)輪廓線的分布規(guī)律，對(duì)于親親腸左側(cè)端部?jī)蓚€(gè)輪廓采取從右至左、從上至下的掃描策略獲取到第一個(gè)像素錨點(diǎn)P1，再根據(jù)錨點(diǎn)采用圖11(a)中的八鏈碼掃描策略得到輪廓各點(diǎn)像素坐標(biāo)；對(duì)于右側(cè)端部?jī)蓚€(gè)輪廓采取從左至右、從上至下的策略獲取第一像素錨點(diǎn)，再采用圖11(b)所示的八鏈碼掃略方式獲取輪廓各像素的坐標(biāo)值。

圖11 兩端輪廓掃略鏈碼示意圖

獲取端部輪廓點(diǎn)集后根據(jù)缺陷特征的大小等間隔劃分5個(gè)小區(qū)域，如圖12所示。用最小二乘法擬合直線得出每段擬合直線的斜率。在擬合線段過(guò)程中可能會(huì)出現(xiàn)斜率無(wú)窮大的情況，根據(jù)正切函數(shù)變化規(guī)律和端部輪廓在像素坐標(biāo)系中的分布情況將擬合線段與行坐標(biāo)軸角度>80°的斜率設(shè)為7。

通過(guò)相鄰斜率值的差Δci來(lái)體現(xiàn)特征輪廓的變化。

圖12 端部輪廓線等間隔分段

Δci=|Xi+1-Xi|，

(4)

式中：

Δci——相鄰兩段擬合直線斜率差；

Xi——第i段擬合直線斜率；

Xi+1——第i+1段擬合直線斜率。

得到一組斜率差Δci后求出其最大斜率差值Δcmax，如果Δcmax>ε則可判斷其端部被切斷。最后根據(jù)相鄰線段斜率變化情況，選取合適的閾值ε即可判別其端部是否合格。圖13為兩端部輪廓等間隔分段擬合直線斜率變化圖。

圖13 端部輪廓線斜率變化圖

3.2 破裂、異形殘次品識(shí)別方法

對(duì)于破裂和異形兩類殘次品，其共同的缺陷特征是親親腸中部區(qū)域上下兩邊緣間的距離變化不均勻。根據(jù)缺陷特征，對(duì)親親腸輪廓區(qū)域的劃分，截取中間上下兩邊緣圖像，如圖14所示。

截取中部邊緣區(qū)域后計(jì)算其連通域，用以過(guò)濾區(qū)域中可能存在的像素雜點(diǎn)。采取等比例間隔抽取兩邊緣對(duì)應(yīng)點(diǎn)并得到其距離xi，然后計(jì)算其標(biāo)準(zhǔn)差τ用以分析兩邊緣采樣點(diǎn)距離的離散程度。

(5)

式中：

τ——距離的標(biāo)準(zhǔn)差值；

xi——抽樣邊緣距離，像素；

n——抽樣個(gè)數(shù)。

圖14 中部輪廓截取示意圖

對(duì)圖14中的輪廓等比例間隔得到上下兩邊緣距離，計(jì)算抽樣距離的平均值并得到上下邊緣距離與平均值的相對(duì)變化，如圖15所示。

圖15 抽樣距離與其平均值相對(duì)變化

標(biāo)準(zhǔn)差只能反映親親腸中部是否存在缺陷，不能反映具體的缺陷類型，因此需要其他缺陷特征用以區(qū)分殘次品類型。對(duì)于異形類殘次品，其缺陷特征表現(xiàn)為中部輪廓凹陷，其輪廓如圖16所示。

圖16 異形缺陷產(chǎn)品輪廓示意圖

根據(jù)該缺陷的形狀特征，使用凸殼的方法對(duì)該類缺陷進(jìn)行判別。凸殼是包含集合中所有對(duì)象的最小凸集，其頂點(diǎn)必為點(diǎn)集中的點(diǎn)，其可以看作是輪廓的最小外包圍輪廓，結(jié)果如圖17所示。

圖17 異形缺陷凸殼圖

得到凸殼輪廓后，按式(6)計(jì)算親親腸實(shí)際輪廓包圍面積與凸殼所包圍面積的比值T，根據(jù)比值可判斷其是否為異形缺陷。

T=A實(shí)/A包，

(6)

式中：

T——親親腸實(shí)際輪廓包圍面積與凸殼包圍面積之比；

A實(shí)——親親腸實(shí)際輪廓包圍面積；

A包——凸殼輪廓所包圍面積。

4 試驗(yàn)與分析

4.1 殘次品篩選閾值選取

(1) 親親腸長(zhǎng)度范圍統(tǒng)計(jì)：挑選出過(guò)長(zhǎng)、過(guò)小、切斷與合格品親親腸各500粒，其長(zhǎng)度范圍如圖18所示。

圖18 親親腸合格品與殘次品長(zhǎng)度統(tǒng)計(jì)

由圖18可知，合格品親親腸長(zhǎng)度均值μ為45.002 mm，方差σ為2.97，其長(zhǎng)度頻率分布如圖19所示。根據(jù)3σ原則令合格品公差范圍Δ=3σ，即Δ=8.91。

圖19 合格品長(zhǎng)度頻率分布圖

(2) 端部切斷殘次品判別閾值的選?。河蓤D20可知，合格品端部輪廓擬合線段斜率差的極大值最大≤3，因此可將閾值ε設(shè)為3，>3則定義為端部缺陷。

圖20 合格品與切斷最大斜率差值統(tǒng)計(jì)圖

(3) 破裂與異形殘次品判別閾值的選?。汉细衿?、破裂和異形殘次品親親腸各500粒，由圖21可知，合格品親親腸距離標(biāo)準(zhǔn)差<10，因此可將閾值τ設(shè)為10，>10則可能是破裂或異形缺陷。

圖21 親親腸中部輪廓距離標(biāo)準(zhǔn)差統(tǒng)計(jì)

通過(guò)標(biāo)準(zhǔn)差不能區(qū)分破裂與異形殘次品，因此還需通過(guò)親親腸實(shí)際輪廓包圍面積與凸殼所包圍面積的比值T進(jìn)行判別，破裂和異形殘次品的面積比T如圖22所示。由圖22可知，脹裂缺陷親親腸的面積比T≥0.97，因此可將閾值T設(shè)為0.97，當(dāng)T<0.97時(shí)為異形缺陷。

圖22 破裂和異形殘次品實(shí)際輪廓與凸殼

4.2 親親腸殘次品種類識(shí)別

根據(jù)不同的缺陷特征對(duì)殘次品進(jìn)行分類，其分類流程見(jiàn)圖23。

圖23 親親腸殘次品分類流程圖

選取合適的閾值，使用試驗(yàn)檢測(cè)方法分別對(duì)合格品、異形、破裂、切斷、過(guò)小和過(guò)長(zhǎng)樣品各500粒進(jìn)行識(shí)別，結(jié)果見(jiàn)表1。

表1 試驗(yàn)結(jié)果

由表1可知，試驗(yàn)檢測(cè)方法對(duì)合格品和各類缺陷產(chǎn)品的識(shí)別均有較高的正確率。對(duì)合格品的錯(cuò)誤識(shí)別是由于其端部腸衣占比超過(guò)親親腸直徑的1/3，使其誤判為端部不合格產(chǎn)品。

5 結(jié)論

應(yīng)用機(jī)器視覺(jué)檢測(cè)技術(shù)實(shí)現(xiàn)了親親腸外觀殘次品的在線檢測(cè)與分類識(shí)別。該方法算法簡(jiǎn)便、實(shí)用性強(qiáng)，能夠較好地滿足親親腸在線檢測(cè)的要求，同時(shí)可實(shí)現(xiàn)對(duì)于殘次品判別的量化標(biāo)準(zhǔn)。缺陷的在線分類統(tǒng)計(jì)可實(shí)時(shí)反映出親親腸生產(chǎn)線設(shè)備的運(yùn)行狀況，有效指導(dǎo)生產(chǎn)過(guò)程。為滿足實(shí)際生產(chǎn)要求后續(xù)還需進(jìn)行大樣本試驗(yàn)。