機(jī)器視覺(jué)油炸魚(yú)豆腐外觀缺陷識(shí)別與剔除系統(tǒng)

路丹丹，王永強(qiáng)，詹海翔，顏 飛，曹深深，韓文龍，全洪濤

(天津科技大學(xué)機(jī)械工程學(xué)院，天津 300222)

魚(yú)豆腐是以海水魚(yú)魚(yú)糜或淡水魚(yú)魚(yú)糜為原料，經(jīng)過(guò)一系列加工制成的一種深加工食品，因其形狀酷似豆腐，故而得名．魚(yú)豆腐的加工工藝過(guò)程包括配料、加熱蒸制、分切成塊和油炸等工序．在對(duì)產(chǎn)品進(jìn)行油炸的過(guò)程中，如果油的溫度控制不當(dāng)，或者產(chǎn)品投放不均勻等，便會(huì)產(chǎn)生產(chǎn)品外觀顏色“過(guò)深”或“過(guò)淺”的問(wèn)題．此外，個(gè)別產(chǎn)品的形狀不規(guī)則，也屬于外觀質(zhì)量不佳．目前，在產(chǎn)品生產(chǎn)中主要采用人工方式對(duì)上述不合格品進(jìn)行挑選和剔除，不僅效率低，而且分揀剔除的標(biāo)準(zhǔn)不統(tǒng)一，在增加企業(yè)的生產(chǎn)成本的同時(shí)也不利于對(duì)產(chǎn)品的質(zhì)量的標(biāo)準(zhǔn)化．

目前，機(jī)器視覺(jué)技術(shù)已經(jīng)被廣泛應(yīng)用在國(guó)內(nèi)外各個(gè)行業(yè)[1–3]的自動(dòng)檢測(cè)中，在食品生產(chǎn)領(lǐng)域[4–5]也有了長(zhǎng)足的發(fā)展，利用機(jī)器視覺(jué)技術(shù)對(duì)油炸魚(yú)豆腐的顏色和形狀進(jìn)行檢測(cè)和識(shí)別，國(guó)內(nèi)也有了相關(guān)研究[6]．本文設(shè)計(jì)了試驗(yàn)系統(tǒng)，利用機(jī)器視覺(jué)技術(shù)對(duì)油炸魚(yú)豆腐產(chǎn)品的顏色和形狀特征進(jìn)行檢測(cè)和識(shí)別，根據(jù)檢測(cè)結(jié)果自動(dòng)剔除不合格品．

1 檢測(cè)原理

系統(tǒng)首先采集產(chǎn)品的圖像，對(duì)圖像進(jìn)行分析處理，提取顏色特征和形狀特征，并以此作為判據(jù)，判斷產(chǎn)品的外觀質(zhì)量是否合格．特征檢測(cè)流程如圖 1所示．

圖1 特征檢測(cè)流程Fig. 1 Flow chart of feature detection

1.1 顏色特征提取

在 RGB顏色空間中，圖像中任意一點(diǎn)的顏色值都由紅、綠、藍(lán)三色組合得到[7]．在進(jìn)行顏色特征提取時(shí)，可以將彩色圖像中的R、G、B三分量分別提取出來(lái)，并以灰度圖像形式單獨(dú)顯示，如圖2所示．

圖2 R、G、B分量的灰度圖Fig. 2 R，G，B gray image

通過(guò)比較可知，在以 B分量作為灰度值的圖像中，目標(biāo)圖像與背景的明暗對(duì)比差異最大，故采用 B分量作為顏色特征參數(shù)，即

即使是顏色均勻的產(chǎn)品，在圖像中各像素點(diǎn)的B分量值也不會(huì)完全相同，在此采用 B分量均值來(lái)判定是否合格．

在求 B分量均值時(shí)，首先需要區(qū)分圖像中的前景圖像與背景圖像，設(shè) T為區(qū)分前景圖像與背景圖像的閾值，則灰度值在[0，T–1]區(qū)間內(nèi)的即為魚(yú)豆腐產(chǎn)品的圖像[8]，此區(qū)間內(nèi)B分量的均值為

式中：N為灰度值在[0，T–1]區(qū)間內(nèi)像素點(diǎn)的總個(gè)數(shù)；nj為灰度值為j的像素點(diǎn)個(gè)數(shù)．

閾值 T采用最大類(lèi)間方差法(OTSU)求取[9]，原理如下：假設(shè)圖像中有 nj個(gè)灰度值為 j的像素點(diǎn)，所有像素點(diǎn)的灰度值均在范圍為[0，H–1]中，則圖像中像素點(diǎn)的總數(shù)為

灰度值為j的像素點(diǎn)出現(xiàn)的頻率為

假設(shè)存在灰度值T，使T在[0，H–1]區(qū)間內(nèi)依次取值，則彩色圖像中的像素點(diǎn)根據(jù) T分成 X和 Y兩類(lèi)，X類(lèi)中所有像素點(diǎn)的灰度值在[0，T–1]區(qū)間，Y類(lèi)中所有像素點(diǎn)的灰度值在[T，H–1]區(qū)間中，則X和Y兩類(lèi)像素點(diǎn)出現(xiàn)的概率分別為

X與Y兩類(lèi)像素點(diǎn)的平均灰度分別為

則整幅圖像的平均灰度

兩類(lèi)像素點(diǎn)的總方差為

T在[0，H–1]區(qū)間內(nèi)依次取值，可使兩類(lèi)像素點(diǎn)的總方差最大的閾值T便是區(qū)分前景圖像與背景圖像的最佳分割閾值[10]．

在求得前景圖像的 B分量均值后，將其與區(qū)分合格品與不合格品的閾值 T1進(jìn)行對(duì)比，即可判斷產(chǎn)品是否合格．求取閾值T1的方法是，對(duì)若干產(chǎn)品的圖像進(jìn)行灰度化處理后進(jìn)行統(tǒng)計(jì)，得到合格品的 B分量均值集合和不合格品的 B分量均值集 合．從合格 品 集 合中選取最小值，從不合格品集合中選取最大值，兩者的平均值即為閾值T1，即

將產(chǎn)品圖像的 B分量均值與1T比較，若大于1T則為合格品，否則為不合格品．

1.2 形狀特征提取

采用目標(biāo)區(qū)域圖像的面積和矩形度作為形狀特征．首先將根據(jù)式(1)得到的灰度圖像二值化處理：

在二值化處理后的圖像 f(i，j)中，白色區(qū)域所有像素點(diǎn)的個(gè)數(shù)稱(chēng)為目標(biāo)區(qū)域圖像面積，記為 A．矩形度是指目標(biāo)區(qū)域與最小外接矩形之間相似的程度，最大值為1，其數(shù)學(xué)模型為

式中：L為目標(biāo)區(qū)域的最小外接矩形的長(zhǎng)度；W 為目標(biāo)區(qū)域的最小外接矩形的寬度[11]．

由于目標(biāo)區(qū)域的邊界形狀不規(guī)則，選用旋轉(zhuǎn)法求取目標(biāo)區(qū)域的最小外接矩形[12]：首先以當(dāng)前姿態(tài)目標(biāo)區(qū)域的 4 個(gè)邊界坐標(biāo)點(diǎn)(xmax，y1)、(xmin，y2)、(x1，ymin)、(x2，ymax)建立一個(gè)外接矩形，求外接矩形面積A0，然后使目標(biāo)圖像旋轉(zhuǎn)角度 θ，用同樣的方法求當(dāng)前外接矩形面積 A1，直至旋轉(zhuǎn) 360°后，比較所求得所有的外接矩形面積，其中面積最小的即為目標(biāo)圖像的最小外接矩形[13]．綜合考慮軟件系統(tǒng)的處理速度和計(jì)算精度要求，取 θ＝10°．圖像的最小外接矩形如圖3所示．

圖3 最小外接矩形Fig. 3 Minimum enclosing rectangle of image

2 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

2.1 系統(tǒng)構(gòu)成

外觀缺陷識(shí)別與剔除系統(tǒng)與魚(yú)豆腐的油炸生產(chǎn)線相連接，對(duì)生產(chǎn)線上炸制完畢后的產(chǎn)品進(jìn)行檢測(cè)．系統(tǒng)主要由振動(dòng)上料裝置、防重疊和防粘連的分列裝置、圖像采集裝置和剔除裝置構(gòu)成．圖 4為該系統(tǒng)的結(jié)構(gòu)示意圖．

圖4 系統(tǒng)結(jié)構(gòu)示意圖Fig. 4 Diagram of the system

振動(dòng)上料裝置主要由傳送帶和振動(dòng)上料機(jī)組成，產(chǎn)品沿傳送帶送入振動(dòng)上料機(jī)構(gòu)中，通過(guò)振動(dòng)上料機(jī)構(gòu)的振動(dòng)將生產(chǎn)線輸出的粘連成堆的產(chǎn)品分散開(kāi)，以便于后續(xù)裝置對(duì)產(chǎn)品的分離排序．

防重疊和防粘連裝置利用門(mén)型框架、分列裝置以及兩條差速傳送帶來(lái)完成產(chǎn)品的有序排列．其中，門(mén)型框架可將一級(jí)傳送帶上重疊在上層的產(chǎn)品阻擋下來(lái)，使其保持單層分布，門(mén)型框架的高度可根據(jù)產(chǎn)品調(diào)節(jié)；同時(shí)，分列裝置可將呈無(wú)序狀態(tài)的產(chǎn)品按列形成有序的排列．差速傳送帶利用先慢后快的兩條傳送帶之間的速度差將前后靠在一起的產(chǎn)品拉開(kāi)一定的距離，以便之后的圖像采集裝置采集單粒產(chǎn)品的圖像，為后續(xù)不合格品的分揀剔除奠定基礎(chǔ)．

圖像采集裝置由對(duì)射式光電傳感器、單片機(jī)、工業(yè)相機(jī)、鏡頭、光源和燈箱組成．當(dāng)產(chǎn)品進(jìn)入圖像采集區(qū)域時(shí)，觸發(fā)對(duì)射式光電傳感器發(fā)送信號(hào)至單片機(jī)，單片機(jī)控制相機(jī)進(jìn)行單次圖像采集，相機(jī)將采集到的圖片傳輸至計(jì)算機(jī)，并且在計(jì)算機(jī)中對(duì)采集到的圖像進(jìn)行分析處理，判斷產(chǎn)品是否合格．其中，燈箱為采集圖像提供避光的環(huán)境，以減少其他外界光源的干擾，燈箱的內(nèi)壁噴涂啞光涂料以減少反射．

剔除裝置為多個(gè)獨(dú)立的執(zhí)行機(jī)構(gòu)，與產(chǎn)品的分列相對(duì)應(yīng)，每個(gè)剔除裝置由電磁鐵和滑道構(gòu)成．單片機(jī)接收上位機(jī)給出的單列、單粒產(chǎn)品識(shí)別結(jié)果所生成的信息碼，在不合格品到達(dá)剔除機(jī)構(gòu)時(shí)，控制相應(yīng)列的電磁鐵驅(qū)動(dòng)具有翻轉(zhuǎn)功能的滑道產(chǎn)生翻轉(zhuǎn)動(dòng)作，剔除殘次品．剔除裝置簡(jiǎn)圖如圖5所示．

圖5 剔除裝置簡(jiǎn)圖Fig. 5 Diagram of the removing device

2.2 照明光源的設(shè)計(jì)

系統(tǒng)中的照明光源對(duì)采集到的圖像質(zhì)量有較大影響．本系統(tǒng)針對(duì)產(chǎn)品的表面特征進(jìn)行檢測(cè)，因此選擇正光照射的方式，以充分顯現(xiàn)其表面特征．LED光源相比其他光源單個(gè)光源體積小，工作壽命長(zhǎng)，價(jià)格低，實(shí)驗(yàn)效果良好，因此選擇環(huán)形 LED光源．相機(jī)置于環(huán)形光源中央，與光源處于同一水平面內(nèi)，此種方式可以達(dá)到無(wú)陰影、足夠亮度的要求．

2.3 剔除信息碼

上位機(jī)經(jīng)圖像處理后傳輸給下位單片機(jī)完成針對(duì)每列不合格品剔除動(dòng)作的控制碼稱(chēng)為信息碼．本系統(tǒng)將產(chǎn)品分成5列檢測(cè)，對(duì)于每一列采集處理窗口內(nèi)的單粒產(chǎn)品檢測(cè)，合格用“0”表示，不合格用“1”表示；當(dāng)前窗口內(nèi)各列中沒(méi)有產(chǎn)品也用“0”表示．根據(jù)此原則，信息碼為 5位二進(jìn)制編碼，每一位分別代表對(duì)應(yīng)列的檢測(cè)結(jié)果信息．例如 01101，表示其中 3列的當(dāng)前產(chǎn)品為不合格品，需要剔除，其他兩列為合格或者沒(méi)有產(chǎn)品．

3 實(shí) 驗(yàn)

人工挑選出合格品和不合格品兩類(lèi)產(chǎn)品，再將不合格品分為顏色不合格、形狀不合格、顏色和形狀都不合格3類(lèi)，4類(lèi)產(chǎn)品每類(lèi)各150個(gè)，共600個(gè)樣本，測(cè)試系統(tǒng)的可靠性．先分別對(duì)每類(lèi)產(chǎn)品進(jìn)行檢測(cè)，再將 4類(lèi)產(chǎn)品混合后進(jìn)行檢測(cè)．實(shí)驗(yàn)中，相機(jī)分辨率為130萬(wàn)像素，一級(jí)傳送帶的速度為 0.03,m/s，二級(jí)傳送帶的速度為0.09,m/s．實(shí)驗(yàn)結(jié)果見(jiàn)表1．

從表1可以看出：系統(tǒng)對(duì)各類(lèi)產(chǎn)品的檢測(cè)正確率均在 96%,以上，對(duì)混合產(chǎn)品的檢測(cè)正確率在 98%,以上，表明本系統(tǒng)可以應(yīng)用于油炸魚(yú)豆腐的外觀質(zhì)量檢測(cè)與剔除．本次實(shí)驗(yàn)中對(duì)合格品的檢測(cè)準(zhǔn)確率最低，對(duì)顏色和形狀都不合格品檢測(cè)準(zhǔn)確率最高．檢測(cè)受傳送帶速度、產(chǎn)品表面反射光線及產(chǎn)品自身顏色不均勻等因素影響，可能出現(xiàn)檢測(cè)誤差，當(dāng)可辨識(shí)的特征較明顯時(shí)，檢測(cè)準(zhǔn)確度更高，當(dāng)傳送帶速度較高時(shí)會(huì)發(fā)生翻轉(zhuǎn)動(dòng)作不及時(shí)而漏剔除，應(yīng)根據(jù)實(shí)際情況限定最高傳送帶速度．

表1 實(shí)驗(yàn)結(jié)果Tab. 1 Results of the experiment

4 結(jié) 語(yǔ)

本文提出了一套基于機(jī)器視覺(jué)對(duì)油炸魚(yú)豆腐產(chǎn)品外觀質(zhì)量檢測(cè)與剔除的試驗(yàn)系統(tǒng)．通過(guò)對(duì)產(chǎn)品外觀顏色和形狀的檢驗(yàn)，判斷各列產(chǎn)品是否合格，通過(guò)信息碼控制電磁閥驅(qū)動(dòng)翻板旋轉(zhuǎn)，從而實(shí)現(xiàn)對(duì)不合格產(chǎn)品的剔除動(dòng)作．

［1］ 桂衛(wèi)華，陽(yáng)春華，徐德剛，等. 基于機(jī)器視覺(jué)的礦物浮選過(guò)程監(jiān)控技術(shù)研究進(jìn)展[J]. 自動(dòng)化學(xué)報(bào)，2013，39(11)：1879–1888.

［2］ 胡煉，羅錫文，曾山，等. 基于機(jī)器視覺(jué)的株間機(jī)械除草裝置的作物識(shí)別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(10)：2–18.

［3］ Heiskanen V，Marjanen K，Kallio P. Machine vision based measurement of dynamic contact angles in microchannel flows[J]. Journal of Bionic Engineering，2008，5(4)：282–290.

［4］ 周竹，黃懿，李小昱，等. 基于機(jī)器視覺(jué)的馬鈴薯自動(dòng)分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(7)：178–183.

［5］ 趙茂程，候文軍. 我國(guó)基于機(jī)器視覺(jué)的水果自動(dòng)分級(jí)技術(shù)及研究進(jìn)展[J]. 包裝與食品機(jī)械，2007，25(5)：5–8.

［6］ 周聰玲，宋振國(guó)，王永強(qiáng)，等. 油炸魚(yú)豆腐外觀質(zhì)量檢測(cè)方法研究[J]. 糧油加工，2015(3)：46–50.

［7］ 張?zhí)m鳳，郭丹. 利用 Matlab軟件對(duì)醫(yī)學(xué)彩色圖像的空間轉(zhuǎn)換[J]. 科技創(chuàng)新與應(yīng)用，2015(29)：43.

［8］ 陳蘊(yùn)，陳松. 基于動(dòng)態(tài)范圍調(diào)整的指紋圖像增強(qiáng)方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2015，51(8)：183–188.

［9］ 朱齊丹，荊麗秋，畢榮生，等. 最小誤差閾值分割法的改進(jìn)算法[J]. 光電工程，2015，37(7)：107–113.

［10］ 楊力，李東新. 基于遺傳算法的圖像閾值分割的研究[J]. 信息技術(shù)，2015(11)：116–120.

［11］ 孫麗媛，楊鴻玉，王汝梅. 圖像形狀匹配及特征識(shí)別在鐵礦石熔點(diǎn)檢測(cè)中的應(yīng)用研究[J]. 工業(yè)控制計(jì)算機(jī)，2010，23(6)：31–32.

［12］ 盧蓉，范勇，陳念年，等. 一種提取目標(biāo)圖像最小外接矩形的快速算法[J]. 計(jì)算機(jī)工程，2010，36(21)：178–180.

［13］ 李洋，李岳陽(yáng). 一種快速提取植物葉片最小外接矩形的算法[J]. 江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，14(3)：273–277.