基于HSV與形狀特征融合的花椒圖像識別*

汪杰，陳曼龍, 2，李奎，丁敏，王琨

(1. 陜西理工大學(xué)機(jī)械工程學(xué)院，陜西漢中，723000；2. 陜西省工業(yè)自動化重點實驗室，陜西漢中，723000)

0 引言

農(nóng)業(yè)生產(chǎn)中，果蔬采摘工作由于勞動強(qiáng)度大，相應(yīng)的果蔬采摘機(jī)器人研制得到密切關(guān)注。果蔬采摘機(jī)器人首先通過視覺系統(tǒng)對成熟果實現(xiàn)識別，將識別后的坐標(biāo)信息傳輸給驅(qū)動裝置，通過驅(qū)動裝置搭載的采摘機(jī)構(gòu)，實現(xiàn)果實的采摘和存儲。因此準(zhǔn)確的目標(biāo)識別是采摘機(jī)器人視覺系統(tǒng)的關(guān)鍵技術(shù)[1-3]。

當(dāng)采摘過程中環(huán)境變得復(fù)雜時[4]，花椒的識別率會降低。傳統(tǒng)花椒識別方法在順光條件下識別效果較好，但在遮陰條件下由于光照不足，導(dǎo)致部分花椒無法識別，同時識別過程中樹枝，葉片等會對識別產(chǎn)生嚴(yán)重干擾。近年來農(nóng)業(yè)生產(chǎn)現(xiàn)場果實識別技術(shù)得到了長足的進(jìn)步，在相關(guān)的圖像識別領(lǐng)域，學(xué)者們已經(jīng)做了大量研究。趙利平等[5]針對蘋果采摘機(jī)器人不能準(zhǔn)確定位夜間蘋果目標(biāo)的問題,提出一種融合GA的三點定位算法，可以較精確的實現(xiàn)夜間蘋果目標(biāo)的定位。熊俊濤等[6]提出了夜間荔枝采摘機(jī)器人識別算法，對夜間荔枝顏色圖像進(jìn)行特征分析，確定合適的顏色模型進(jìn)行荔枝圖像分割，實現(xiàn)了在夜視環(huán)境下荔枝的準(zhǔn)確采摘。 趙小麗設(shè)計了一套水果目標(biāo)物識別處理系統(tǒng),可以對蘋果、梨子、水蜜桃和香蕉這4種水果進(jìn)行識別與分類。劉小剛等[7]利用卷積神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練大量的草莓圖像數(shù)據(jù)集，以此提高果實的識別率。閆建偉等[8]采用帶有殘差模塊的神經(jīng)網(wǎng)絡(luò)進(jìn)行刺梨果實識別模型的訓(xùn)練，提高了刺梨的識別率。趙賢國[9]利用花粉的孔、凹凸度等結(jié)構(gòu)特征、灰度變化的特點，實現(xiàn)對不同花粉的識別。邱津怡等[10]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)( CNN) 的多尺度葡萄圖像識別方法，使得識別效果獲得了提升。苗中華等[11]提出了一種自然環(huán)境下重疊果實的圖像識別與邊界分割的組合優(yōu)化算法，可以從重疊物體圖像背景中識別出重疊目標(biāo)。Wang等[12]提出一種新穎的形狀描述方法多尺度弓高(March)，可以有效捕獲葉片形狀的全局特征和詳細(xì)特征,實現(xiàn)了葉片形狀的快速識別。雖然以上方法的識別效果較好，但均不能用于花椒識別，會出現(xiàn)識別率不高或者無法識別的情況。因此必須根據(jù)花椒的光照及分布特點進(jìn)行識別方法的研究。

花椒果實的特點為頂生聚傘狀、分布緊密，果實之間相互遮擋，影響識別率。當(dāng)果實和樹枝的顏色均偏暗時，僅僅通過單一特征很難準(zhǔn)確完成花椒的識別和定位，此外花椒容易受到樹枝及樹葉的遮擋，導(dǎo)致光照分布不均勻。

同態(tài)濾波常用于亮度調(diào)節(jié)，可以改善圖像光照不均勻的情況，增強(qiáng)圖像對比度[13]，因此首先通過同態(tài)濾波的方法解決了光照分布不均勻?qū)е碌淖R別率不高的問題。引入基于顏色和形狀特征相結(jié)合的方法，有效減少了單獨采用顏色特征識別后枝葉的干擾，將有助于提高花椒的識別率。

1 圖像同態(tài)濾波與花椒光線補(bǔ)償

1.1 圖像同態(tài)濾波

花椒圖像可以看作由光源入射分量i(x,y)和目標(biāo)物體反射分量r(x,y)組成。

其數(shù)學(xué)模型[14]

f(x,y)=i(x,y)·r(x,y)

(1)

首先分離i(x,y)和r(x,y)，然后分別抑制低頻照度分量i(x,y)，加強(qiáng)高頻反射分量r(x,y)，達(dá)到光線補(bǔ)償?shù)哪康?，同時圖像在暗區(qū)的細(xì)節(jié)得到增強(qiáng)，圖像的邊緣得到銳化。

因此將公式(1)兩邊取對數(shù)，將低頻i(x,y)和高頻r(x,y)分離，得到式(2)。

Inf(x,y)=Ini(x,y)+Inr(x,y)

(2)

分離后的部分進(jìn)行快速Fourier變換得到F(u,v)，得到表達(dá)式(3)。

F(u,v)=I(x,y)+R(x,y)

(3)

在頻率域范圍內(nèi)采用同態(tài)濾波函數(shù)H(u,v)處理，削弱低頻I(x,y)分量的同時增強(qiáng)了R(x,y)分量，得到式(4)。

H(u,v)F(u,v)=H(u,v)I(x,y)+H(u,v)R(x,y)

(4)

最后再經(jīng)過Fourier逆變換得到hf(u,v)和指數(shù)變換得到增強(qiáng)后的圖像g(x,y)。其變化公式[15]

hf(u,v)=hi(x,y)+hr(x,y)

(5)

g(x,y)=es(x,y)=ehi(x,y)·ehr(x,y)

(6)

1.2 濾波函數(shù)參數(shù)選擇

最終圖像的增強(qiáng)效果完全取決于濾波函數(shù)H(u,v)的效果，為了達(dá)到抑制低頻和增強(qiáng)高頻的作用，本文采用動態(tài)巴特沃斯同態(tài)濾波傳遞函數(shù)[16]。

(7)

式中：rH——高頻增益；

rL——低頻增益；

c——常數(shù)，在rL和rH之間變化，用來控制濾波函數(shù)的斜率變化；

D0——截止頻率，若圖片的大小為M×N。

則經(jīng)過Fourier變換后中心距離

(8)

其中D0的取值取決于入射分量和反射分量，通過對D(u,v)進(jìn)行中值運算來快速確認(rèn)。通過實驗驗證，遮陰狀態(tài)下的花椒圖像，當(dāng)rH取0.4，rL取0.1，D0取0.25，圖像的低頻分量減少，整體亮度更高，因此采用同態(tài)濾波進(jìn)行圖像預(yù)處理，可以改善圖像光照不均的問題。

1.3 同態(tài)濾波試驗結(jié)果

如圖1(a)所示由于樹葉遮擋，花椒圖像邊緣處光照明顯不足,采用同態(tài)濾波可以補(bǔ)充花椒邊緣處的光照。如圖1(b)所示為遮陰條件下同態(tài)濾波圖像，經(jīng)過同態(tài)濾波后，光線不足的邊緣得到了加強(qiáng)。

(a) 原圖

(b) 同態(tài)濾波圖圖1 遮陰條件下同態(tài)濾波Fig. 1 Homomorphic filtering analysis under shading

圖2(a)，圖3(a)為逆光條件下的花椒圖像，花椒圖像整體光照不均勻。圖2(b)和圖3(b)采用同態(tài)濾波對圖像光照較強(qiáng)的部位進(jìn)行減弱，圖像光照較弱的部分進(jìn)行加強(qiáng)。

從圖2、圖3可以看出經(jīng)過同態(tài)濾波后的圖像紋理更加清晰，整幅圖像光照分布更加均勻。因此將同態(tài)濾波應(yīng)用在花椒圖像識別中，可以解決整幅圖像的光照分布不均的問題，有利于后續(xù)的圖像處理，特別是遮陰狀態(tài)下的光照分布得到了較大改善，花椒圖像的邊緣得到了銳化。

(a) 原圖

(b) 同態(tài)濾波圖圖2 逆光條件下同態(tài)濾波Fig. 2 Homomorphic filtering analysis under backlight

(a) 原圖

(b) 同態(tài)濾波圖圖3 順光條件下同態(tài)濾波Fig. 3 Homomorphic filtering under light conditions

2 花椒圖像識別過程

經(jīng)過同態(tài)濾波的花椒圖像改善了圖像的光照分布，再通過HSV和形狀特征融合進(jìn)行花椒識別，因識別后要配合機(jī)械手的采摘，當(dāng)識別區(qū)域的花椒數(shù)目不足時，重新選取其它角度的花椒圖像進(jìn)行識別。后續(xù)的識別過程主要為HSV顏色分割和結(jié)合花椒的形狀特征的識別。

整個過程流程圖如圖4所示。

圖4 花椒識別流程圖Fig. 4 Prickly ash recognition cucumber indentification

2.1 花椒圖像的HSV空間特性

HSV是常用的顏色分割的方法，在該方法中,H主要決定圖像顏色，S決定圖像的飽和度，V主要決定圖像的亮度。HSV空間的各個分量之間是相互獨立的，而H和S分量受光照的影響較小，這也是選取該空間的原因之一[17]。HSV花椒圖像的分割如圖5所示。

(a) 原圖

(b) 基于HSV的識別效果圖5 HSV花椒圖像的分割Fig. 5 Segmentation of HSV pepper image

如圖5(b)所示為背光條件下利用H分量分割的效果，其分割的閾值參數(shù)設(shè)置為175～255時，可以實現(xiàn)較理想的分割。圖像中的紅色部分即為識別出的花椒圖像。因為花椒識別后往往需要配合機(jī)械手的采摘，多個目標(biāo)的存在明顯會對機(jī)械手的采摘產(chǎn)生干擾。如圖5(b)所示有少部分枝葉，花椒對整幅圖像存在較大干擾，還需要借助形狀特征提高花椒整幅圖像的識別準(zhǔn)確度。

2.2 基于形狀特征的花椒圖像識別

花椒的果實特點為頂生聚傘狀，如圖4紅色區(qū)域面積最大的部分即為需要識別的采摘區(qū)域。如圖6所示有多個花椒區(qū)域，顯然幾個面積較小的區(qū)域并非采摘區(qū)域。由于遮擋非采摘區(qū)域圓度特征受到了影響，而采摘區(qū)域的花椒果實外邊緣都近似圓形，因此分別提取圖像每個區(qū)域的面積及其外接圓面積，再利用花椒圓形度特征準(zhǔn)確識別目標(biāo)區(qū)域?；ń穲D像每個區(qū)域的圓形度計算公式[18]

(9)

式中：A——區(qū)域面積；

A′——區(qū)域最小外接圓面積。

(a) 基于HSV的識別效果

(b) HSV和形狀特征融合的效果圖6 HSV和形狀特征融合的花椒識別Fig. 6 Prickly ash recognition based onHSV and shape features

該指標(biāo)同樣認(rèn)為圓形區(qū)域最緊湊，其緊湊度為1。在計算中采用最小外接圓面積作為衡量區(qū)域形狀的標(biāo)準(zhǔn)。通過大量實驗表明，花椒識別過程中將圓形度值設(shè)置為0.85，可以較好的區(qū)分花椒區(qū)域。

因為機(jī)械手每次采摘只能針對一個目標(biāo)，因此在圖像處理過程中必須排除非采摘區(qū)域花椒的干擾。如上圖6(a)所示，通過HSV特性分割的圖像，圖像存在部分非采摘區(qū)域的干擾。借助HSV和形狀特征融合的方法tong-Y，如圖6(b)所示去掉了非采摘區(qū)域花椒的影響，可以較好的識別出采摘的目標(biāo)區(qū)域。

3 試驗結(jié)果及分析

本文按順光、背光、遮陰3種條件下進(jìn)行試驗，對比分析傳統(tǒng)的HSV顏色空間算法與本文基于HSV顏色空間和形狀特征識別結(jié)果的差異性。本實驗在漢中某花椒種植基地，采集235幅花椒圖進(jìn)行圖像處理，圖像格式為JPG格式，圖像處理計算機(jī)是Lenovo筆記本，WIN7操作系統(tǒng)，matlab2012b分析軟件。表1為不同情況下的分割識別率，采用本文方法Tong-Y的分割效果如圖7～圖9所示。

(a) 陰天順光原圖

(b) 陰天順光識別

(c) 晴天順光原圖

(d) 晴天順光識別圖7 順光條件下Tong-Y花椒識別Fig. 7 Tong-Y pepper identification under light conditions

(a) 陰天逆光原圖

(b) 陰天逆光識別

(c) 晴天逆光原圖

如表1所示，在不同光照條件下，本論文對每幅圖像上的實際花椒數(shù)目和識別出的花椒數(shù)目進(jìn)行統(tǒng)計。通過計算得出，Tong-Y方法對各種光照條件的花椒識別率有不同程度的提高。在順光狀態(tài)下兩者的識別率差異不大，而在背光狀態(tài)下提高13%，在遮陰狀態(tài)下提高21%。此外Tong-Y方法的平均召回率為94%，相對于HSV分割圖像法提高14%。通過表2可以看出Tong-Y在順光條件下效率僅提高了2.5%，主要是由于順光條件下Tong-Y方法對光照的補(bǔ)償作用不明顯，在背光條件下識別速率提高3.7%。而在遮陰條件下識別速率提升最為明顯，速率提高14.6%。

(a) 陰天遮擋原圖

(b) 陰天遮擋識別

(c) 晴天遮擋原圖

(d) 晴天遮擋識別圖9 遮陰條件下Tong-Y花椒識別Fig. 9 Tong-Y pepper identification under shading conditions

表1 花椒識別數(shù)量統(tǒng)計Tab. 1 Recognition rate statistics of pepper

表2 HSV分割同Tong-Y運行時間對比Tab. 2 HSV segmentation and Tong-Y running time comparison

4 結(jié)論

為使花椒采摘機(jī)器人能達(dá)到快速準(zhǔn)確識別花椒的目的，提出一種HSV顏色空間與形狀特征融合的方法對花椒圖像進(jìn)行分割。在順光、背光、遮陰3種條件下，先對原圖像進(jìn)行同態(tài)濾波，解決了光照分布不均勻的問題。用圖像的H分量對圖像進(jìn)行初步分割，再使用本論文的方法進(jìn)行識別。試驗結(jié)果表明：Tong-Y方法平均識別率達(dá)94%，其中順光、背光、遮陰下的識別率分別為96%，96%和91%；與傳統(tǒng)的HSV顏色空間算法相比，識別率均有所提高，特別是在遮陰下的識別率得到了較大提高。同時在遮陰條件下該方法的運行效率提高14.6%，有了一定提升。此外對于花椒之間相互遮擋導(dǎo)致識別率不高的問題，還需要進(jìn)一步的研究。