基于計(jì)算機(jī)視覺(jué)的成熟番茄識(shí)別研究

方　政，胡曉輝，陳　永，李蘭鳳

(蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州　730070)

?

基于計(jì)算機(jī)視覺(jué)的成熟番茄識(shí)別研究

方政，胡曉輝，陳永，李蘭鳳

(蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州730070)

摘要：以番茄圖像為研究對(duì)象，提出一種成熟番茄識(shí)別方法。首先，以HSI模型中的色調(diào)分量為基礎(chǔ)進(jìn)行圖像分割，提取出成熟番茄目標(biāo)圖像；然后，再采用最大方差自動(dòng)取閾值法進(jìn)行分割處理，對(duì)得到的目標(biāo)圖像進(jìn)行輪廓提??；最后，對(duì)輪廓曲線(xiàn)采用Hough變換的方法進(jìn)行識(shí)別，以同一個(gè)輪廓圓識(shí)別的多個(gè)極值點(diǎn)的均值作為最終識(shí)別結(jié)果，在Hough變換之前采用最小外接矩形法進(jìn)行有效區(qū)域標(biāo)記，提高了Hough變換的效率。通過(guò)多幅番茄果實(shí)圖像的仿真測(cè)試表明：本算法對(duì)果實(shí)遮掩度為0、小于50%、大于50%這3種情況的識(shí)別率分別為78.7%、68.1%、41.9%，平均識(shí)別率達(dá)到70.6%。本算法對(duì)于成熟番茄可以較好識(shí)別，尤其對(duì)于存在重疊情況的番茄，識(shí)別準(zhǔn)確率較高。

關(guān)鍵詞：成熟番茄識(shí)別；輪廓提取；計(jì)算機(jī)視覺(jué)；有效區(qū)域；重疊

0引言

計(jì)算機(jī)視覺(jué)技術(shù)已經(jīng)在農(nóng)業(yè)領(lǐng)域中得到了較為廣泛的研究，涉及到諸多方面。李聰?shù)萚1]利用計(jì)算機(jī)視覺(jué)技術(shù)，研究了蘋(píng)果圖像自動(dòng)分級(jí)優(yōu)化問(wèn)題，利用計(jì)算機(jī)視覺(jué)方法提高蘋(píng)果自動(dòng)分級(jí)效率，加快分級(jí)速度。孫月強(qiáng)[2]對(duì)于蔬菜的病斑識(shí)別算法進(jìn)行研究，提出了一種小波變換的病斑識(shí)別方法。孟大偉[3]利用計(jì)算機(jī)視覺(jué)技術(shù)，通過(guò)水果的顏色特征和紋理特征，實(shí)現(xiàn)了水果圖像自動(dòng)識(shí)別。在番茄識(shí)別領(lǐng)域，張瑞合[4]等利用圖像分割對(duì)番茄進(jìn)行標(biāo)定，繼而采用面積配準(zhǔn)，采用體視成像進(jìn)行三維定位。蔣煥煜等[5]利用形心匹配和區(qū)域匹配的方法，獲取番茄位置信息實(shí)現(xiàn)識(shí)別。趙杰文等[6]利用HIS顏色特征，分割出成熟番茄區(qū)域，實(shí)現(xiàn)番茄的識(shí)別。紀(jì)平等[7]利用Canny算子對(duì)番茄進(jìn)行輪廓提取，再用圓對(duì)輪廓進(jìn)行擬合，實(shí)現(xiàn)了番茄的識(shí)別。

以上方法對(duì)于番茄的識(shí)別基本上都是基于顏色進(jìn)行背景分離，然后采用區(qū)域匹配或計(jì)算中心矩進(jìn)行位置信息獲取；而成熟番茄果形[8]主要呈現(xiàn)為橢球形，且多出現(xiàn)重疊情況，現(xiàn)有算法對(duì)于成熟番茄的識(shí)別效果不好，誤差率較高，無(wú)法滿(mǎn)足農(nóng)業(yè)生產(chǎn)的實(shí)際需求。

為此，以成熟番茄果實(shí)果形特點(diǎn)為研究對(duì)象，利用計(jì)算機(jī)視覺(jué)技術(shù)，對(duì)成熟番茄識(shí)別進(jìn)行了研究。本文通過(guò)色調(diào)分離出枝葉等背景和成熟番茄，再利用Hough變換識(shí)別果實(shí)輪廓，采用了外接矩形對(duì)有效區(qū)域進(jìn)行標(biāo)記，提高Hough變換的效率；通過(guò)求取多個(gè)識(shí)別極大值的均值，剔除突變點(diǎn)，提高識(shí)別準(zhǔn)確度，實(shí)現(xiàn)了對(duì)成熟番茄的識(shí)別。

1成熟番茄識(shí)別

本文算法通過(guò)圖像分割、最小外接矩標(biāo)記有效區(qū)域及Hough變換等步驟，實(shí)現(xiàn)對(duì)于成熟番茄果實(shí)的識(shí)別，算法流程如圖1所示。

圖1　算法流程圖

1.1　圖像分割

成熟番茄果實(shí)一般為紅色，而枝葉等背景通常為綠色，差異性較為明顯[9]。因此，本文通過(guò)顏色將果實(shí)和枝葉分離開(kāi)來(lái)，采用HSI[10-12]色彩模型，為減少光照等不利因素的影響，通過(guò)提取色調(diào)分量H分離出果實(shí)。

將輸入圖像由RGB格式轉(zhuǎn)換為HIS模型。其中，H、S、I這3個(gè)分量的計(jì)算公式為

(1)

(2)

(3)

式(3)中，有

提取H分量的圖像如圖2所示。

圖2　提取H分量的圖像

提取H分量之后，根據(jù)番茄圖像的特點(diǎn)，即番茄果實(shí)圖像的灰度分布和枝葉圖像的灰度分布分別對(duì)應(yīng)著灰度直方圖中的兩個(gè)波峰，因此只需選取適合的閾值，就能將成熟番茄圖像與枝葉這樣的背景圖像相分離。本文采用文獻(xiàn)[13]中的最大方差自動(dòng)取閾值法，該方法是利用方差的特性來(lái)進(jìn)行閾值選擇的。閾值T的計(jì)算方法為

T=max[σΔ2(t)]

=max{θ1(t)θ2(t)[μ1(t)-μ2(t)]2}

(4)

其中，σΔ2(t)為兩個(gè)被t分割開(kāi)的區(qū)域的方差；θ1(t)和θ2(t)分別為分割后的區(qū)域1和區(qū)域2的面積與整個(gè)圖像的面積的比值；μ1(t)和μ2(t)分別為區(qū)域1和區(qū)域2的平均灰度值。當(dāng)σΔ2(t)的值最大時(shí)，兩個(gè)區(qū)域的分離效果最好。

分割的結(jié)果如圖3所示。對(duì)圖像分割結(jié)果進(jìn)行輪廓提取，如圖4所示。獲取輪廓圖像之后，即可采用Hough變換進(jìn)行識(shí)別。由于Hough變換的特點(diǎn)，計(jì)算量較大，因此在識(shí)別前，采用外接矩形標(biāo)記[14]的方法進(jìn)行有效區(qū)域的標(biāo)記，以縮小計(jì)算的范圍、簡(jiǎn)化計(jì)算。

圖3　灰度直方圖與圖像分割結(jié)果

圖4　提取的邊緣輪廓曲線(xiàn)

1.2　外接矩形標(biāo)記

由于Hough變換的參數(shù)空間巨大，運(yùn)算耗費(fèi)時(shí)間長(zhǎng)，如果對(duì)整幅圖像直接進(jìn)行變換，必然耗費(fèi)巨大的計(jì)算資源，而很多非目標(biāo)區(qū)域的無(wú)效計(jì)算都是可以避免的。為簡(jiǎn)化計(jì)算、提高運(yùn)算效率，首先對(duì)圖像空間進(jìn)行區(qū)域標(biāo)記，使得所有番茄輪廓包含在有效區(qū)域中；然后，再對(duì)有效區(qū)域采用Hough變換進(jìn)行番茄識(shí)別的操作。

對(duì)整幅圖像進(jìn)行遍歷，以番茄圖像為目標(biāo)區(qū)域，劃定有效的圖像區(qū)域，將原先整幅圖像分成多個(gè)有效圖像區(qū)域，使用Hough變換時(shí)，僅僅對(duì)這些有效區(qū)域進(jìn)行處理。

最小外接矩形法標(biāo)記的有效區(qū)域如圖5所示。

圖5　最小外接矩形法標(biāo)記有效區(qū)域

獲取有效區(qū)域后，便可采用Hough變換的方法進(jìn)行目標(biāo)識(shí)別。

1.3　Hough變換

番茄的果實(shí)比較規(guī)則，一般為橢球體或近似球狀，在圖像上多反映為橢圓形或者近似圓形，因此可以采用Hough變換的方法進(jìn)行檢測(cè)識(shí)別。

1.3.1Hough變換的識(shí)別原理

Hough變換是由Paul Hough[15]提出的專(zhuān)利，現(xiàn)在已經(jīng)用于多種形狀的檢測(cè)，多數(shù)是圓或者是橢圓。Hough變換幾乎不受待識(shí)別形狀大小和在圖像中所處位置的影響，因而在計(jì)算機(jī)圖像處理中獲得了廣泛的應(yīng)用。

利用Hough變換檢測(cè)圓的主要思想和步驟是：

1)所有的經(jīng)過(guò)點(diǎn)(x1,y1)的圓都可以表示為(a1(i),b1(i),r1(i))，r1∈(0,+∞)，i∈(0,+∞)；每個(gè)不同的i的取值都對(duì)應(yīng)于一個(gè)不同的圓，(a1(i),b1(i),r1(i))表示為i個(gè)過(guò)點(diǎn)(x1,y1)的圓。

2)同理，過(guò)點(diǎn)(x2,y2)的圓可以表示為(a1(i),b1(i),r1(i))，r2∈(0,+∞，i∈(0,+∞)；過(guò)點(diǎn)(xn,yn)的圓可以表示為(an(i),bn(i),rn(i))，rn∈(0,+∞)，i∈(0,+∞)。

3)如果這些點(diǎn)在同一個(gè)圓上，就存在一個(gè)值(a0,b0,r0)，使得a0=a1=a2=…=an，b0=b1=b2=…=bn，r0=r1=r2=…=rn。也就是說(shuō)，這些點(diǎn)同時(shí)在圓(a0,b0,r0)上。

過(guò)點(diǎn)(x1,y1)的圓(a1(i),b1(i),r1(i))，當(dāng)r1(i)已經(jīng)確定時(shí)，(a1(i),b1(i))的軌跡是一個(gè)以(x1,y1,r1(i))為中心，半徑為r1(i)的圓。所有的圓(a1(i),b1(i),r1(i))就組成了一個(gè)以(x1,y1,0)為頂點(diǎn)、錐角為90°的圓錐面。同理，過(guò)點(diǎn)(x2,y2)的所有圓(a2(i),b2(i),r2(i))和過(guò)點(diǎn)(x3,y3)的所有圓(a3(i),b3(i),r3(i))都分別組成了一個(gè)以(x2,y2,0)和(x3,y3,0)為頂點(diǎn)，錐角為90°的圓錐面。這3個(gè)錐面的交點(diǎn)A (xa,ya,za)在平面XOY上的投影A'(xa,ya,0)就是同時(shí)過(guò)這3個(gè)點(diǎn)的圓的圓心，如圖6所示。

圖6　3個(gè)點(diǎn)的Hough變換

由于Hough變換的特點(diǎn)(見(jiàn)圖7)，是選擇多個(gè)不同點(diǎn)作為檢測(cè)點(diǎn)，求取過(guò)選擇的多個(gè)點(diǎn)的共同圓錐對(duì)應(yīng)的平面上的圓的方程，能夠在檢測(cè)點(diǎn)較少的情況下，實(shí)現(xiàn)對(duì)圓的復(fù)現(xiàn)，因此很適合利用圓的局部信息，復(fù)現(xiàn)整個(gè)圓的情況。這個(gè)特點(diǎn)非常適合識(shí)別重疊番茄的情況，因此該方法對(duì)于重疊番茄的識(shí)別，效果也比較好。

圖7　3個(gè)點(diǎn)的Hough變換俯視圖

1.3.2Hough變換識(shí)別番茄輪廓

將番茄的輪廓方程設(shè)為A=(a0,b0,r0)，估計(jì)出該方程的參數(shù)向量空間，并且將其離散化，使其成為一個(gè)三維數(shù)組A(a)。在對(duì)輪廓方程進(jìn)行Hough變換時(shí)，對(duì)于輪廓上的任意一個(gè)點(diǎn)(xn,yn)，求取三維數(shù)組A(a)的極大值點(diǎn)p。

由于絕大多數(shù)番茄的輪廓是橢圓，而非真正的圓，因此對(duì)于每個(gè)受檢測(cè)的番茄輪廓來(lái)說(shuō)，都有多個(gè)極大值點(diǎn)p1,p2,...,pn，屬于同一個(gè)番茄輪廓的極大值點(diǎn)相距較近，不同番茄的極大值點(diǎn)相距較遠(yuǎn)。通過(guò)設(shè)立一個(gè)距離閾值Tp，可以將不同番茄輪廓的極大值點(diǎn)分離開(kāi)來(lái)，對(duì)于同屬于同一個(gè)番茄輪廓的極大值點(diǎn)，求取它們平均值p'，以p'作為該輪廓的極大值點(diǎn)，確定其方程，完成對(duì)一個(gè)成熟番茄的識(shí)別。

通過(guò)以上圖像分割、圖像有效區(qū)域標(biāo)記、Hough變換識(shí)別圖像，即實(shí)現(xiàn)了對(duì)于成熟番茄的識(shí)別。

2仿真結(jié)果與分析

2.1　仿真測(cè)試

仿真測(cè)試圖像拍攝于蘭州交通大學(xué)農(nóng)業(yè)物聯(lián)網(wǎng)實(shí)驗(yàn)室溫室內(nèi)，圖像分辨率為800×600，JPG格式，使用的計(jì)算機(jī)具體參數(shù)為：Inter Core i3處理器，主頻為1.70GHz，內(nèi)存4G，采用的實(shí)驗(yàn)仿真軟件為MatLab7.0。

以本文算法、區(qū)域匹配算法[5]和邊緣擬合算法[7]對(duì)測(cè)試圖像進(jìn)行對(duì)比仿真測(cè)試。

仿真測(cè)試的圖像較多，限于篇幅，此處僅列出一幅具有代表性的圖像處理結(jié)果。本文算法處理的圖像如圖8所示。

圖8　遮掩度<50%的情況

圖8中，存在遮掩度為0、遮掩度<50%、遮掩度>50%這3種情況的番茄。由圖8可以看出：Hough變換后得到的圓能夠較為準(zhǔn)確地表示出番茄的位置和輪廓。

通過(guò)100幅圖像的測(cè)試，其共含有番茄437個(gè)：包括未成熟番茄果實(shí)35個(gè)，完全未被遮掩的成熟番茄果實(shí)249個(gè)，被遮掩部分少于1/2的成熟番茄果實(shí)91個(gè)，被遮掩部分超過(guò)1/2的成熟番茄果實(shí)62個(gè)。

本文算法成功識(shí)別出番茄284個(gè)：完全未被遮掩的成熟番茄果實(shí)196個(gè)，被遮掩部分少于1/2的成熟番茄果實(shí)62個(gè)，被遮掩部分超過(guò)1/2的成熟番茄果實(shí)26個(gè)。本文算法識(shí)別結(jié)果如表1所示。

表1　本文算法識(shí)別情況表

3種算法識(shí)別情況表2所示。

表2　3種算法識(shí)別情況對(duì)比　　　　　　　　%

2.2　結(jié)果分析

從表1可以看出：本文算法識(shí)別中，3種情況下的番茄平均識(shí)別率為70.6%；對(duì)于遮掩度為0的番茄識(shí)別率達(dá)到了78.7%，識(shí)別情況較為理想；對(duì)于遮掩度小于50%的番茄識(shí)別率達(dá)到了68.1%；對(duì)于遮掩度大于50%的番茄識(shí)別率為41.9%。

區(qū)域匹配算法、邊緣擬合算法及本文算法的平均識(shí)別率分別為65.7%，65.9%，70.6%，對(duì)于重疊遮擋情況下的平均識(shí)別率分別為39.9%，42.4%，57.5%。由以上數(shù)據(jù)可以看出：本文算法的識(shí)別效果較好，尤其在存在重疊遮擋情況下，識(shí)別率較其他兩種方法，提高較多。

本文算法在完全未被遮擋的番茄識(shí)別中，識(shí)別率略低于其他兩種方法。這是由于其他兩種方法是基于區(qū)域面積匹配和邊緣擬合，更符合單個(gè)番茄的識(shí)別特點(diǎn)，而本文算法也取得了較好的效果。

綜合看來(lái)，本文算法可以有效濾除未成熟番茄，識(shí)別成熟番茄，平均識(shí)別率達(dá)到了70.6%；尤其對(duì)于存在重疊情況的番茄，識(shí)別準(zhǔn)確率較高，誤識(shí)別較少。

3結(jié)論

本文提出了一種成熟番茄識(shí)別方法。首先利用了HSI模型中色調(diào)分量進(jìn)行圖像變換，采用最大方差自動(dòng)取閾值法進(jìn)行圖像分割。為提高計(jì)算效率，提取果實(shí)邊緣輪廓后采用最小外接矩形法進(jìn)行有效區(qū)域標(biāo)記，最后采用Hough變換對(duì)輪廓進(jìn)行識(shí)別。該識(shí)別方法能夠有效從圖像中識(shí)別出成熟番茄，自動(dòng)濾除掉未成熟番茄和枝葉等背景，識(shí)別效果比較好，尤其對(duì)于重疊遮擋情況下番茄的識(shí)別效果有了較大改善，更能滿(mǎn)足實(shí)際農(nóng)業(yè)生產(chǎn)的需要。

本文方法適合同樣是球形果形及輪廓近似圓形的瓜果識(shí)別，如柑橘、橙、荔枝等，因此可以在更多的圓形水果識(shí)別方面進(jìn)行更深一步的研究。

參考文獻(xiàn)：

[1]李聰，高海燕，袁超．基于計(jì)算機(jī)視覺(jué)的蘋(píng)果自動(dòng)分級(jí)方法研究[J]．計(jì)算機(jī)仿真,2012(9)：293-296.

[2]孫月強(qiáng)．非均勻光照下蔬菜病斑識(shí)別算法研究[J]．計(jì)算機(jī)仿真,2012(6)：257-260.

[3]孟大偉．基于紋理信息的水果圖像識(shí)別方法仿真研究[J].計(jì)算機(jī)仿真,2011(12)：293-296.

[4]張瑞合,姬長(zhǎng)英,沈明霞,等.計(jì)算機(jī)視覺(jué)技術(shù)在番茄收獲中的應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2001，32(5)：50-58.

[5]蔣煥煜，彭永石，申 川，等．基于雙目立體視覺(jué)技術(shù)的成熟番茄識(shí)別與定位[J]．農(nóng)業(yè)工程學(xué)報(bào)，2008，24(8)：279-283.

[6]趙杰文，劉木華，楊國(guó)彬．基于HIS顏色特征的田間成熟番茄識(shí)別技術(shù)[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2004，35(5)：122-135.

[7]紀(jì)平，王 俊，陳鶴碧，等．基于圖像的番茄識(shí)別與幾何尺寸測(cè)量[J]．安徽農(nóng)業(yè)科學(xué)，2012， 40(33)：16426-16428.

[8]董華芳，許延波．番茄品種農(nóng)藝性狀的聚類(lèi)分析[J]．北方園藝，2010(18)：12-15.

[9]汪小欽，王苗苗，王紹強(qiáng)，等．基于可見(jiàn)光波段無(wú)人機(jī)遙感的植被信息提取[J]．農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：152-159.

[10]Schertz C E, Brown G K. Basic considerations in mechanizing citrus harvest [J].Transactions of the ASAE, 1968,11(2):343-346.

[11]Parrish E, Goksel A K. Pictorial pattern recognition applied tofruit harvesting [J].Transactions of the ASAE, 1977,20(5):822-827.

[12]成喜春，全燕鳴．基于 HSI模型的彩色圖像背景減法[J].計(jì)算機(jī)應(yīng)用，2009(29)：231-235.

[13]方如明，蔡健榮．計(jì)算機(jī)圖像處理技術(shù)及其在農(nóng)業(yè)工程中應(yīng)用[M]．北京：清華大學(xué)出版社,1999．

[14]羅雪寧，彭云發(fā)，代希君,等．基于MATLAB的紅棗圖像處理研究[J].農(nóng)機(jī)化研究，2015,37(3):183-186．

[15]Hough P V C. Machine analysis of bubble chamber pictures[C]．Proceedings of International Conference on High Energy Accelerators and Instrumentation:Genvea：CERN，1959： 554-556．

Research on Recogniztion of Mature Tomato Based on Computer Vision

Fang Zheng， Hu Xiaohui， Chen Yong， Li Lanfeng

(School of Electronic and Information Engineering，Lanzhou Jiaotong University, Lanzhou 730070 , China)

Abstract：Takes the image of tomato as the research object and proposes a new kind method of recognizing mature tomato. First, takes the Hue of the HSI model as basis to make image segmentation to extract the image of mature tomato and use the maximum variance automatic threshold to make segmentation. The paper use the Hough transformation to recognize the contour after extract it from the target image and set the mean value of several maximum points of one contour as the value of recognition. Before the Hough transformation it use the minimum bounding rectangle(MBR) to marked the effective region, and this makes the Hough transformation effectively. A plenty of images of tomato was take into simulation test, the algorithm in this paper has the result as follow: 78.7% with the fruit cover rate 0%, 68.1% with the fruit cover rate less than 50% and 41.9%with the fruit cover rate more than 50%.The average recognition rate reached 70.6%, The algorithm proposed in this paper can recognize the mature tomato accuracy, especially for the covered tomatoes, the recognition is accuracy.

Key words：the recognition of mature tomato; extract contour; computer vision; effective area; covered

中圖分類(lèi)號(hào)：S126；TP391.9

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1003-188X(2016)08-0031-05

作者簡(jiǎn)介：方政(1990-)，男，合肥人，碩士研究生，(E-mail)fangzh0415@163.com。通訊作者：胡曉輝(1963-)，男，甘肅武威人，教授，碩士生導(dǎo)師。

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(61163009)；甘肅省科技支撐計(jì)劃項(xiàng)目(144NKCA040)；甘肅省教育廳科研資助項(xiàng)目(110405)

收稿日期：2015-07-16