基于機(jī)器視覺的杏核圖像識(shí)別系統(tǒng)設(shè)計(jì)

解 博，周 律

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

?

基于機(jī)器視覺的杏核圖像識(shí)別系統(tǒng)設(shè)計(jì)

解 博，周 律

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

針對(duì)杏核分揀效率問題，文中構(gòu)建了一種基于機(jī)器視覺的杏核圖像特征檢測(cè)系統(tǒng)。運(yùn)用多種數(shù)字圖像處理技術(shù)完成對(duì)不同杏核圖像的識(shí)別，前期基于Matlab完成算法研究，再采用VC++調(diào)用Opencv圖像處理函數(shù)庫實(shí)現(xiàn)分揀系統(tǒng)軟件。經(jīng)驗(yàn)證，雜質(zhì)杏核識(shí)別率可達(dá)94%，有效提高了杏核識(shí)別的準(zhǔn)確性和時(shí)效性。

Matlab；圖像處理；VC++；機(jī)器視覺

XIE Bo, ZHOU Lv

(School of Mechanical Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

傳統(tǒng)的杏核產(chǎn)品分揀多采用目測(cè)法通過杏核表面特征的差異實(shí)現(xiàn)人工分揀，分揀方法存在人力成本高、分揀效率低下、勞動(dòng)強(qiáng)度大、耗工耗時(shí)、檢測(cè)結(jié)果主觀性強(qiáng)等弊端。隨著人力資源成本的不斷提高，亟需找到一種新方法來代替?zhèn)鹘y(tǒng)人工分揀的方式，實(shí)現(xiàn)杏核產(chǎn)品的自動(dòng)化分揀。本研究設(shè)計(jì)出機(jī)器視覺檢測(cè)算法系統(tǒng)，在算法研究階段采用Matlab編程實(shí)現(xiàn)，運(yùn)用多種數(shù)字圖像處理技術(shù)，采用VC++開發(fā)平臺(tái)完成杏核識(shí)別軟件。本研究根據(jù)杏核產(chǎn)品的質(zhì)量及市場(chǎng)定位，利用計(jì)算機(jī)視覺技術(shù)[1-3]、圖像處理技術(shù)[4-5]研究了杏核分揀方法，搭建了基于機(jī)器視覺的杏核識(shí)別系統(tǒng)，可實(shí)現(xiàn)對(duì)發(fā)黑發(fā)霉、褐斑一類杏核的檢測(cè)，為后續(xù)分揀系統(tǒng)的研發(fā)提供了參考。

1 機(jī)器視覺采集系統(tǒng)設(shè)計(jì)

機(jī)器視覺檢測(cè)是利用鏡頭、攝像機(jī)、圖像采集卡等設(shè)備獲取圖像信息，基于計(jì)算機(jī)或嵌入式系統(tǒng)進(jìn)行分析計(jì)算獲得結(jié)果，進(jìn)而控制執(zhí)行設(shè)備完成相應(yīng)動(dòng)作的過程，其構(gòu)成如圖1所示。

圖1 機(jī)器視覺系統(tǒng)構(gòu)成

通過對(duì)杏核形狀、顏色及尺寸大小等方面的實(shí)驗(yàn)研究，最終對(duì)本系統(tǒng)中所涉及到的視覺設(shè)備進(jìn)行了如下的設(shè)計(jì)與選型：

研究使用的是日本W(wǎng)AT-535EX2型工業(yè)相機(jī)，總像素為811(H)×508(V)有效像素為768(H)×494(V)，足以滿足系統(tǒng)要求；本研究的圖像采集卡采用大恒公司的DH-CG400圖像采集卡，具有集成度高、功耗低等特點(diǎn)。由于工業(yè)檢測(cè)時(shí)周圍有環(huán)境光，照明方案設(shè)計(jì)需考慮排除周圍光線的干擾，因此本文設(shè)計(jì)了排除外界光源干擾的光源箱。本研究的照明方式選用漫射光照明，其安裝特點(diǎn)是在光照箱內(nèi)4個(gè)角落安裝上LED光源。

計(jì)算機(jī)是視覺檢測(cè)系統(tǒng)硬件環(huán)境，直接關(guān)系到圖像處理算法的運(yùn)行速度，以及整個(gè)系統(tǒng)的工作穩(wěn)定性。本研究利用現(xiàn)有的試驗(yàn)條件，所選用計(jì)算機(jī)配置如表1所示。

表1 系統(tǒng)計(jì)算機(jī)配置

2 杏核圖像處理

利用Matlab提供的數(shù)字圖像處理工具對(duì)獲取的杏核圖像進(jìn)行包括圖像濾波、閥值分割、邊緣檢測(cè)等預(yù)處理并進(jìn)一步進(jìn)行杏核圖像的二次分割，為后續(xù)圖像特征和參數(shù)的提取做好準(zhǔn)備。

2.1 杏核圖像濾波

在采集待檢測(cè)物體圖像時(shí)，由于受到各種因素干擾，如電磁光線以及攝像機(jī)內(nèi)部元器件性能等，實(shí)際獲取的數(shù)字圖像中不可避免地夾雜著大量的噪聲信號(hào)，導(dǎo)致圖像品質(zhì)下降。因此，為便于計(jì)算機(jī)對(duì)圖像進(jìn)行后期的檢測(cè)與識(shí)別，需進(jìn)行圖像預(yù)處理，消除或盡量減少噪聲，改善圖像質(zhì)量，突出感興趣信息。圖2為待處理的杏核圖像。

圖2 杏核初始圖像

中值濾波[6]是一種統(tǒng)計(jì)濾波方式。中值濾波過程中首先對(duì)模板單元內(nèi)的像素按灰度值進(jìn)行排序，然后將排序結(jié)果中的灰度中值作為該模板中心的灰度替代值。該方法對(duì)于存在較多獨(dú)立噪聲點(diǎn)的圖像切實(shí)可行，能極大限度的濾除孤立點(diǎn)，同時(shí)對(duì)圖像損壞較小，使圖像的邊緣保持清晰。中值濾波表達(dá)式為

g(x,y)=Med{f(x-k,y-l),(k,l∈W)}

(1)

其中，f(x,y)表示原圖像；g(x,y)表示中值濾波后的圖像；W表示中值濾波模型單元。濾波結(jié)果如圖3所示。

圖3 杏核圖像中值濾波處理結(jié)果

2.2 杏核圖像閥值分割

圖像分割[7]是杏核識(shí)別過程中至關(guān)重要的一步，只有準(zhǔn)確分離杏核與背景，提取出杏核區(qū)域，才能可靠地提取杏核特征，從而提高杏核識(shí)別的準(zhǔn)確性。由于杏核區(qū)域與背景之間灰度值差異明顯，可采用灰度閾值分割方法獲取杏核區(qū)域。本文采用自動(dòng)閥值中的Otsu法[8]進(jìn)行杏核圖像的閥值分割處理。根據(jù)圖像整體灰度分布，基于最小二乘原理，將圖像看作目標(biāo)和背景兩類，尋找最優(yōu)閾值，使目標(biāo)和背景之間的灰度方差最大，以實(shí)現(xiàn)圖像的最佳分割。背景和目標(biāo)的類間方差表示為

(2)

令k在0～L～1范圍內(nèi)，計(jì)算不同k值下的類間方差δ2(k)，使δ2(k)最大的那個(gè)k值就是最佳分割閾值。在使用Otsu閥值分割對(duì)圖像進(jìn)行閥值分割處理后，圖像杏核區(qū)域空洞少，能準(zhǔn)確地提取出杏核區(qū)域。分割效果如圖4所示。

圖4 Otsu閥值分割處理結(jié)果

2.3 杏核定位及杏核區(qū)域提取算法

圖像采集卡采集的杏核原始圖像大小為768×570像素，為減小運(yùn)算量、提高圖像處理速度，并為后續(xù)提取單粒杏核的識(shí)別特征做準(zhǔn)備，考慮提取僅包含杏核在內(nèi)的較小圖像區(qū)域，將其作為圖像處理對(duì)象，減小圖像處理面積。為精確提取包含杏核在內(nèi)的較小圖像區(qū)域，采用基于杏核重心的定位算法獲取杏核區(qū)域。定位算法如下：

首先對(duì)杏核的二值圖像進(jìn)行連通區(qū)域標(biāo)記，提取出一幅圖像中的多粒杏核。然后，計(jì)算每一粒杏核的重心坐標(biāo)，對(duì)于連通區(qū)域標(biāo)記后大小為M×N的連通區(qū)域f(x,y)，重心坐標(biāo)計(jì)算公式如下

(3)

(4)

其中，x,y為二值圖像的行與列；f(x,y)表示圖像像素的灰度值。獲取杏核區(qū)域重心坐標(biāo)后，以每粒杏核重心為中心，截取以各杏核重心為中心大小為像素的矩形區(qū)域，作為圖像處理和特征提取的單元。進(jìn)行杏核區(qū)域提取，提取結(jié)果如圖5所示。

圖5 采用重心定位算法獲取的杏核圖像

2.4 杏核邊緣檢測(cè)

邊緣是一種重要的圖像信息，是圖像處理過程中目標(biāo)與背景之間的分界線，依靠邊緣可將圖像目標(biāo)和背景分開，邊緣檢測(cè)[9]是一種圖像分割方法，同時(shí)也是后續(xù)提取形狀特征及其他特征的基礎(chǔ)。

邊緣是圖像中灰度值劇烈變化的像素點(diǎn)的集合。由于圖像中目標(biāo)和背景之間灰度值差異明顯，使得杏核圖像整體灰度分布并不連續(xù)，而邊緣恰是這些灰度變化最劇烈的像素點(diǎn)。由于圖像灰度分布較為復(fù)雜，本設(shè)計(jì)采用圖像一階導(dǎo)數(shù)和二階導(dǎo)數(shù)來計(jì)算邊緣，采用的邊緣算子為Sobel算子[10]。

圖6 邊緣檢測(cè)結(jié)果

2.5 發(fā)黑發(fā)霉杏核褐斑杏核圖像二次分割

觀察優(yōu)質(zhì)杏核與褐斑杏核、發(fā)黑發(fā)霉杏核的灰度分布直方圖可發(fā)現(xiàn)，優(yōu)質(zhì)杏核與褐斑杏核、發(fā)黑發(fā)霉杏核在較低灰度區(qū)間像素分布比例存在差異，考慮對(duì)褐斑杏核、發(fā)黑發(fā)霉杏核圖像進(jìn)行二次灰度閾值分割，提取出褐斑杏核區(qū)域、發(fā)黑發(fā)霉杏核區(qū)域，進(jìn)一步提取杏核特征。

經(jīng)Otsu自動(dòng)閾值分割操作后，可較好地提取出杏核區(qū)域，為進(jìn)一步分析優(yōu)質(zhì)杏核、褐斑杏核、發(fā)黑發(fā)霉杏核的杏核區(qū)域灰度特性，由于杏核灰度在較高灰度區(qū)間存在一個(gè)聚集分布，為了去除這部分灰度干擾，取杏核褐斑區(qū)域和發(fā)黑發(fā)霉區(qū)域作為前景，杏核其他區(qū)域作為背景，對(duì)于0～Ave(杏核整體灰度均值)區(qū)間灰度采用Otsu法進(jìn)行二次分割，計(jì)算前景與背景之間的分割閾值thresh2。確立了圖像中背景和目標(biāo)的類間方差判別公式為

(5)

發(fā)黑發(fā)霉杏核褐斑杏核圖像二次分割結(jié)果如圖7所示。

圖7 發(fā)黑發(fā)霉杏核二次分割圖像

3 杏核視覺檢測(cè)算法研究

3.1 杏核特征參數(shù)的提取

灰度特征[11]：根據(jù)計(jì)算得到的分割閾值，統(tǒng)計(jì)每一粒測(cè)試杏核的杏核區(qū)域灰度值位于閾值以下的像素所占比例，將此比例作為褐斑杏核、發(fā)黑發(fā)霉杏核及優(yōu)質(zhì)杏核識(shí)別的灰度識(shí)別特征。經(jīng)研究，優(yōu)質(zhì)杏核與褐斑杏核發(fā)黑發(fā)霉杏核較低區(qū)域灰度分布比例差別明顯，可作為識(shí)別特征。

紋理特征[12]：紋理是圖像灰度在空間位置上交織作用形成的一定灰度關(guān)系?；叶裙采仃囀瞧渲幸环N應(yīng)用最廣泛的紋理特征表達(dá)方法?；叶裙采仃囀且环N二階統(tǒng)計(jì)方法，可描述一定方向上相距特定距離的大量像素點(diǎn)的灰度統(tǒng)計(jì)信息。

3.2 杏核識(shí)別系統(tǒng)的設(shè)計(jì)

圖8 發(fā)黑發(fā)霉、褐斑杏核識(shí)別流程圖

采集杏核圖像，經(jīng)圖像濾波，Otsu灰度閾值分割，提取杏核區(qū)域，計(jì)算杏核區(qū)域像素灰度均值，若杏核像素灰度均值小于給定閾值，則該杏核為雜質(zhì)杏核；若灰度均值大于給定閾值T0，則判斷杏核區(qū)域灰度值位于給定灰度閾值Thresh1以下比例是否大于給定值P1，若大于，則該杏核為雜質(zhì)杏核；否則判斷該杏核紋理特征能量值是否

4 杏核分揀系統(tǒng)軟件設(shè)計(jì)

一套完備的杏核視覺檢測(cè)系統(tǒng)需要有良好的軟件系統(tǒng)支撐，設(shè)計(jì)在算法階段采用Matlab編程實(shí)現(xiàn)，充分利用了Matlab編程快速便捷的優(yōu)點(diǎn)，在軟件的最終完成階段，采用VC++調(diào)用Opencv圖像處理函數(shù)庫[13-15]實(shí)現(xiàn)，充分發(fā)揮其高效的執(zhí)行效率優(yōu)點(diǎn)。

本設(shè)計(jì)構(gòu)建的基于機(jī)器視覺的杏核識(shí)別系統(tǒng)主要由圖像采集、圖像預(yù)處理、圖像特征提取、杏核分類4大模塊組成：圖像采集模塊是調(diào)用圖像采集子程序，完成CCD攝像頭采集杏核圖像信息的過程，并可根據(jù)需要將圖像以BMP格式儲(chǔ)存到指定空間區(qū)域內(nèi)；圖像處理模塊包括杏核圖像濾波、杏核圖像分割、杏核圖像邊緣檢測(cè)等模塊；特征提取模塊包括杏核幾何形狀特征提取、杏核紋理特征提取部分；杏核分類就是根據(jù)顏色特征、紋理特征進(jìn)行的對(duì)發(fā)黑發(fā)霉、褐斑一類杏核的識(shí)別。系統(tǒng)界面如圖9所示。

圖9 杏核識(shí)別系統(tǒng)顯示界面

5 結(jié)束語

基于機(jī)器視覺的杏核識(shí)別系統(tǒng)具有高精度、非接觸、自動(dòng)化的特點(diǎn)，克服了傳統(tǒng)的人工分揀效率低、檢測(cè)結(jié)果主觀性強(qiáng)、一致性較差的弊端，具有較好的應(yīng)用價(jià)值。為實(shí)現(xiàn)對(duì)發(fā)黑發(fā)霉、褐斑杏核的檢測(cè)，研究了優(yōu)質(zhì)杏核與發(fā)黑發(fā)霉杏核、褐斑杏核在灰度特征和紋理特征方面的差異，利用改進(jìn)的Otsu閥值分割算法，對(duì)杏核圖像進(jìn)行二次分割，獲取分割閥值。通過大量的統(tǒng)計(jì)數(shù)據(jù)分析對(duì)比，確立了最終的特征閥值，建立了一種基于顏色和紋理特征閥值的杏核識(shí)別規(guī)則。

[1] 黃星奕,吳守一,方如明,等.計(jì)算機(jī)視覺在大米胚芽識(shí)別中的應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2000,31(1):62-65.

[2] 許俐.機(jī)器視覺測(cè)量大米留胚率的研究[J].江蘇理工大學(xué)學(xué)報(bào),1997,18 (6):8-11.

[3] 徐洪蕊.基于計(jì)算機(jī)視覺對(duì)“次郎”甜柿外部品質(zhì)檢測(cè)與分級(jí)的研究[D].南京: 南京農(nóng)業(yè)大學(xué),2010.

[4] 楊新華,王艷,段永軍,等.基于Matlab的圖像增強(qiáng)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[M]. 火力與指揮控制,2008,33(6):143-145, 153.

[5] 楊丹,趙海濱,龍哲,等.Matlab圖像處理實(shí)例詳解[M].北京:清華大學(xué)出版社,2013.

[6] 候宏花,陳樹越,郭保全.醫(yī)學(xué)B超圖像降噪處理的三種方法比較[J].測(cè)試技術(shù)學(xué)報(bào),2003,17(3):262-264.

[7] 趙榮椿,趙忠明,趙歆波.數(shù)字圖像處理與分析[M].北京:清華大學(xué)出版社,2013.

[8] 王鳳朝,黃樹采,韓朝超.基于改進(jìn)的二維Otsu法的圖像分割法[J].航空計(jì)算技術(shù),2008,38(4):4-7.

[9] 張凱麗,劉輝.邊緣檢測(cè)技術(shù)的發(fā)展研究[J].昆明理工大學(xué)學(xué)報(bào):理工版,2000,25(5):36-39.

[10] 容觀澳.計(jì)算機(jī)圖像處理學(xué)[M].北京: 清華大學(xué)出版社,1999.

[11] 汪黎明,陳健敏,王銳,等.織物折皺紋理灰度共生矩陣分析[J].青島大學(xué)學(xué)報(bào):工程技術(shù)版,2003,18(4):5-8.

[12] 徐小軍,邵英,郭尚芬.基于灰度共生矩陣的火焰圖像紋理特征分析[J].計(jì)算機(jī)技術(shù)與自動(dòng)化,2007,26(4):64-67.

[13] Bradski G,Kaehler A.學(xué)習(xí)Opencv[M]. 于仕琪,劉瑞禎,譯.北京:清華大學(xué)出版社,2009.

[14] 曲揚(yáng).精通Visual C++實(shí)效編程280例[M].北京:人民郵電出版社,2009.

[15] 劉銳寧,寧坤.Visual C++從入門到精通[M].北京:清華大學(xué)出版社,2010.

Design of an Almond Image Recognition System Based on Machine Vision

This paper constructs an almond image feature detection system based on machine vision for higher almond sorting efficiency. A variety of digital image processing technologies are employed for the identification of different almond images. The Matlab algorithm is studied and the sorting system software is implemented by using C++ image processing library to call Opencv. Tests show that the impurity almond recognition rate improves up to 94% after verification.

Matlab; image processing; VC++; machine vision

2015- 12- 28

解博(1990-)，男，碩士研究生。研究方向：機(jī)器視覺圖像處理。周律(1976-)，男，博士，講師，碩士生導(dǎo)師。研究方向：機(jī)電一體化。

10.16180/j.cnki.issn1007-7820.2016.10.028

TP391.41

A

1007-7820(2016)10-097-04