基于機(jī)器視覺(jué)和人工神經(jīng)網(wǎng)絡(luò)的庫(kù)爾勒香梨顏色分級(jí)

屈年巍,馬本學(xué),王維新,祁想想,肖文東

(石河子大學(xué)機(jī)械電氣工程學(xué)院,石河子832003)

基于機(jī)器視覺(jué)和人工神經(jīng)網(wǎng)絡(luò)的庫(kù)爾勒香梨顏色分級(jí)

屈年巍,馬本學(xué),王維新,祁想想,肖文東

(石河子大學(xué)機(jī)械電氣工程學(xué)院,石河子832003)

為實(shí)現(xiàn)香梨顏色的自動(dòng)化分級(jí),建立了機(jī)器視覺(jué)實(shí)驗(yàn)臺(tái),將實(shí)驗(yàn)臺(tái)采集到的香梨圖像由 RGB格式轉(zhuǎn)化為HSI格式進(jìn)行描述,并采用 H分量信息對(duì)圖像進(jìn)行背景分割,提取香梨表面像素的顏色信息,建立BP網(wǎng)絡(luò)對(duì)圖像顏色進(jìn)行分類,網(wǎng)絡(luò)輸入層有2個(gè)節(jié)點(diǎn),隱含層有7個(gè)節(jié)點(diǎn),輸出層有1個(gè)節(jié)點(diǎn),顏色分類結(jié)果的準(zhǔn)確率為95%。關(guān)鍵詞:機(jī)器視覺(jué);神經(jīng)網(wǎng)絡(luò);顏色;分級(jí);香梨

Abstract:In order to achieve the automation of fragrant pear color grading,a machine vision experiment platform was established.The RGB images of fragrant pears were acquired from the experiment platform,and then transformed the images of fragrant pears from RGB to HIS.The information of H element was used to separate the fragrant pear from background.The color information of the pixel on the surfaces of fragrant pears was counted.A BP artificial neural networks was established to classify the fragrant pears’color.There are two nodes of chroma in the input layer,seven nodes in the implicit layer and one node in the output layer.The accuracy rate of classification for color is 95%.

Key words:machine vision;neural network;color;grading;Korla fragrant pear

庫(kù)爾勒香梨是新疆在海內(nèi)外最負(fù)盛名的果品之一,在海外市場(chǎng)上被譽(yù)為“中華蜜梨”、“梨中珍品”。目前香梨分級(jí)主要是以果實(shí)大小作為分級(jí)標(biāo)準(zhǔn)。這嚴(yán)重影響了香梨的果品價(jià)值。在庫(kù)爾勒香梨國(guó)家標(biāo)準(zhǔn)(GB/T19859-2005)中,顏色也是判斷香梨品質(zhì)的重要指標(biāo)之一。而且在很多同類水果中,著色好且均勻一致的水果商品價(jià)值較高。顏色也在一定程度上代表著水果成熟度,間接反映了水果的糖度、酸度及口感等。因此,香梨按顏色分級(jí)也是香梨自動(dòng)化檢測(cè)中的一項(xiàng)重要內(nèi)容。隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展,計(jì)算機(jī)及視覺(jué)設(shè)備價(jià)格大幅度下降而速度成倍提高,為計(jì)算機(jī)視覺(jué)技術(shù)的廣泛應(yīng)用創(chuàng)造了條件[1]。

機(jī)器視覺(jué)系統(tǒng)工作的關(guān)鍵環(huán)節(jié)是圖像處理,而要解決此問(wèn)題必須先將成熟香梨果實(shí)的圖像從復(fù)雜的背景圖像中提取出來(lái),即對(duì)實(shí)際拍攝的彩色圖像進(jìn)行分割。目前常用的圖像分割技術(shù)有閾值分割法[2-3]、區(qū)域生長(zhǎng)法[4]、二維直方圖邊緣檢測(cè)與邊界跟蹤法[5]等。

國(guó)內(nèi)已經(jīng)有學(xué)者利用機(jī)器視覺(jué)對(duì)庫(kù)爾勒香梨果梗及類別進(jìn)行檢測(cè)與識(shí)別研究[6-7]。馮斌等[8]通過(guò)對(duì)不同著色等級(jí)的水果分析,以各色度在水果表面分布的分形維數(shù)為特征對(duì)蘋果進(jìn)行了分級(jí)。何東健等[9]通過(guò)機(jī)器視覺(jué)自動(dòng)檢測(cè)蘋果表面著色度,采用合適色相值累計(jì)著色面積百分比的方法對(duì)蘋果進(jìn)行了分級(jí)。本實(shí)驗(yàn)在分析庫(kù)爾勒香梨顏色特征的基礎(chǔ)上,運(yùn)用閾值分割,對(duì)基于顏色的香梨自動(dòng)分級(jí)方法進(jìn)行了研究。

1 材料與方法

1.1 材料

本實(shí)驗(yàn)系統(tǒng)分為硬件系統(tǒng)和軟件系統(tǒng)。其中硬件系統(tǒng)包括:日本JAI公司的CV-M7+CL相機(jī)、可調(diào)亮度白色L ED光源、光電傳感器、加拿大Matrox公司的SOL6MCL圖像采集卡、可調(diào)速傳送裝置、計(jì)算機(jī)等設(shè)備。裝置系統(tǒng)如圖1所示。

實(shí)驗(yàn)采用的軟件系統(tǒng)為MATLAB圖像處理工具包和神經(jīng)網(wǎng)絡(luò)工具包,MIL9.0圖像處理及采集軟件。

實(shí)驗(yàn)材料為采購(gòu)于石河子市市場(chǎng)上的庫(kù)爾勒香梨50個(gè),其中最大的188.81 g最小的93.46 g,平均重量115.38 g,香梨橫縱徑比(果形指數(shù))為0.70至0.95。其中脫萼果14,宿萼果36個(gè)。

圖1 機(jī)器視覺(jué)實(shí)驗(yàn)臺(tái)示意Fig.1 Scheme of the machine vision experiment platform

1.2 方法

將香梨橫放在傳送帶上,當(dāng)香梨運(yùn)動(dòng)至光電傳感器時(shí),傳感器信號(hào)被切斷,將信號(hào)發(fā)送至計(jì)算機(jī),計(jì)算機(jī)通過(guò)圖像采集卡觸發(fā)相機(jī),對(duì)香梨圖像進(jìn)行采集拍攝1幅圖像。每個(gè)香梨采集2幅圖像,分別位于香梨縱軸相反2個(gè)表面。

由實(shí)驗(yàn)系統(tǒng)采集到的香梨圖像為彩色圖像,由R、G、B 3種基色組成的合成圖像。為了提高處理速度,將 RGB圖像轉(zhuǎn)換為 HSI圖像,其中 H表示色度(Hue),代表顏色的類型;S表示飽和度(Saturation),代表顏色的純度;I表示強(qiáng)度(intensity),代表光亮的強(qiáng)度,其中 I分量與圖像的彩色信息無(wú)關(guān),圖像的濾波處理,這樣可將圖像由原來(lái)的三維降至一維,減少了2/3的運(yùn)算量,從而顯著提高運(yùn)算速度。H值可由式(1)計(jì)算。

上式中,R、G、B分別代表紅、綠、藍(lán)三原色刺激值。

一幅圖像包括目標(biāo)、背景和噪聲[10]。如果一幅圖像滿足這些條件,其灰度直方圖基本上可以看作是分別對(duì)目標(biāo)和背景的2個(gè)單峰直方圖混合構(gòu)成的。如果直方圖為較明顯的雙峰,則可以使用取閾值法來(lái)對(duì)背景較好的進(jìn)行分割。典型圖像雙峰直方圖模型見(jiàn)文獻(xiàn)[11]。

目前,許多模型都采用BP網(wǎng)絡(luò)(back propagation network)模型及其變化形式。該算法利用誤差反向傳播算法求解的多層前向神經(jīng)網(wǎng)絡(luò)模型。

BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要涉及輸入層、隱層、輸出層各層之間傳輸函數(shù)。由于香梨圖像信息中2個(gè)主要信息(平均值和方差)已經(jīng)被測(cè)量出來(lái),將其作為香梨表面信息的主要描述特征。因此,輸入層神經(jīng)元數(shù)量為2,而為將香梨顏色分為紅(0)和綠(1)2種,因此輸出層神經(jīng)元數(shù)量為1。為簡(jiǎn)化起見(jiàn),將隱層數(shù)量設(shè)為1,即單隱層。對(duì)用于模式識(shí)別/分類的BP網(wǎng)絡(luò),根據(jù)經(jīng)驗(yàn),可以參照以下公式進(jìn)行設(shè)計(jì):

式(2)中,n為隱層節(jié)點(diǎn)數(shù);ni為輸入節(jié)點(diǎn)數(shù);n0為輸出節(jié)點(diǎn)數(shù);a為1～10的常數(shù)。

在本實(shí)驗(yàn)中,隱層節(jié)點(diǎn)數(shù)取7,輸入層和隱層之間的傳輸函數(shù)采用‘tansig’。隱層和輸出層之間的函數(shù)采用‘purelin’。訓(xùn)練目標(biāo)和學(xué)習(xí)效率均采用系統(tǒng)默認(rèn)參數(shù)。由于主要輸入?yún)?shù)大小位于0到1之間,不存在大樣本吞吃小樣本的情況,因此沒(méi)有對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

2 結(jié)果與分析

根據(jù)以上分析,首先將香梨圖像由RGB格式轉(zhuǎn)換為 HSI格式[11],其中的 H分量即可獲得香梨表面的顏色信息。轉(zhuǎn)換之后的圖像如圖2所示。

將所得圖像進(jìn)行直方圖校正及閾值分割結(jié)果見(jiàn)圖3。

由圖3可知,香梨圖像在 H分量為典型雙峰直方圖,采用較大閾值方差法可有效將背景和香梨分開(kāi),令背景區(qū)域元素值為0與原圖像相乘,可將背景有效去除。分離后的圖像如圖4所示。

利用MA TLAB軟件圖像處理工具包統(tǒng)計(jì)背景分割后的香梨圖像的像素平均值和方差,平均值、方差和顏色的詳細(xì)信息見(jiàn)表1。

為方便記錄,將實(shí)際顏色為綠色的香梨標(biāo)記為1,紅色標(biāo)記為0。

圖2 RGB格式轉(zhuǎn)換為HSI格式的香梨圖像Fig.2 Image of pear change from RGB format to HSIformat

圖3 香梨圖像 H分量閾值分割Fig.3 Threshold of H weight

圖4 背景分割后香梨圖像Fig.4 Image of pear apart from background

表1 香梨圖像像素平均值、方差及顏色Tab.1 The means and square of pixels and the color of the pears

續(xù)表

將帶輸入向量和目標(biāo)向量輸入,如圖5所示。訓(xùn)練步數(shù)取3000步,在第2199步時(shí)出現(xiàn)最優(yōu)訓(xùn)練結(jié)果(圖6),訓(xùn)練狀態(tài)和訓(xùn)練回歸曲線分別見(jiàn)圖7、圖8。

將20個(gè)測(cè)試樣本由訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行檢測(cè),檢測(cè)的正確率為95%。

圖5 訓(xùn)練向量和目標(biāo)向量Fig.5 Training vector and target vector

圖6 最優(yōu)訓(xùn)練步數(shù)Fig.5 Epoch of best training performance

圖7 訓(xùn)練狀態(tài)Fig.7 Training state

圖8 訓(xùn)練回歸曲線Fig8.Regression curve

3 結(jié)論

對(duì)采集到的香梨圖像進(jìn)行處理分析,可以得到以下結(jié)論:

1)利用水果表面顏色信息數(shù)字模型的平均值及方差作為判斷香梨顏色的一種方法是可行的。

2)本實(shí)驗(yàn)對(duì)香梨顏色檢測(cè)的方法也可用于其它水果的檢測(cè)。

本次實(shí)驗(yàn)研究是在靜態(tài)條件下對(duì)庫(kù)爾勒香梨顏色進(jìn)行自動(dòng)識(shí)別,故今后研究擬進(jìn)行動(dòng)態(tài)檢測(cè)研究,為實(shí)現(xiàn)庫(kù)爾勒香梨顏色的自動(dòng)化分級(jí)檢測(cè)奠定基礎(chǔ)。

[1]趙茂程,侯文軍.我國(guó)基于機(jī)器視覺(jué)的水果自動(dòng)分級(jí)技術(shù)及研究進(jìn)展[J].包裝與食品機(jī)械,2007(5):5-8.

[2]趙杰文,劉木華,楊國(guó)彬.基于 HIS顏色特征的田間成熟番茄識(shí)別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2004,35(9):122-124,135.

[3]D M Bulanon,T Kataoka,YOta,et al Asegmentation algorithm for the automatic recognition of Fuji Apples atharves[J].Biosystems Engineering,2002,83(4):405-412.

[4]畢凌燕,余英林.基于XYZ空間的區(qū)域生長(zhǎng)法分割圖像[J].計(jì)算機(jī)工程與應(yīng)用,2003,39(17):56-57.

[5]張瑞合,姬長(zhǎng)英,沈明霞,等.計(jì)算機(jī)視覺(jué)技術(shù)在番茄收獲中的應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2001,32(5):50-52,58.

[6]馬本學(xué).基于數(shù)學(xué)形態(tài)學(xué)的香梨果梗提取方法[J].石河子大學(xué)學(xué)報(bào):自然科學(xué)版,2008,26(5):636-638.

[7]Benxue Ma,Yibin Ying.Fragrant pear sexuality recognition with machine vision[J].Proc of SPIE,2006,6381(11):1-8.

[8]馮斌,汪懋華.基于顏色分形的水果計(jì)算機(jī)視覺(jué)分級(jí)技術(shù)[J].農(nóng)業(yè)工程學(xué)報(bào),2002,18(2):141-144.

[9]何東健,楊青.果實(shí)表面顏色計(jì)算機(jī)視覺(jué)分級(jí)技術(shù)研究[J].農(nóng)業(yè)工程學(xué)報(bào),1998,14(3):202-205.

[10]Jiangsheng Gui,Benxue Ma,Xiuqin Rao,et al.Analysis and selection of the methods for fruit image denoise[J].Proc of SPIE,2006,761(17):1-8.

[11]謝鳳英,趙丹培.Visual C++數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2008.

[12]Rafael C Gonzalez,Richard E Woods,Steven L Eddins,et al.數(shù)字圖像處理(MATLAB版)[M].北京:電子工業(yè)出版社,2004.

Color Grading of Korla Fragrant Pears Based on Neural Network and Machine Vision

QUNianwei,MA Benxue,WANG Weixin,QI Xiangxiang,XIAO Wendong
(College of Mechanical Electrical Engineering,Shihezi University,Shihezi 832003,China)

TP391.41;S712

A

1007-7383(2010)04-0514-05

2010-02-14

國(guó)家自然科學(xué)基金項(xiàng)目(60665002)

屈年巍(1984-),男,碩士生,專業(yè)方向?yàn)閿?shù)字圖像處理及模式識(shí)別;e-mail:qnw?shz@sina.com。

馬本學(xué)(1970-),男,教授,從事農(nóng)產(chǎn)品品質(zhì)無(wú)損檢測(cè)及裝備方面研究;e-mail:mbx?shz@163.com。