基于CLAHE和開閉運(yùn)算的綠色蘋果圖像分割

王 帆，呂繼東，申根榮，馬正華

(常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164)

基于CLAHE和開閉運(yùn)算的綠色蘋果圖像分割

王 帆，呂繼東，申根榮，馬正華

(常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164)

依據(jù)綠色蘋果圖像的自身特點(diǎn)，設(shè)計了一種分區(qū)域提取而后合并的圖像分割方法；首先對圖像進(jìn)行限制對比度自適應(yīng)直方圖均衡化(contrastlimitedadaptivehistogramequalization,CLAHE)，增大果實和背景的顏色差，而后獲取R-B色差圖像，得到以光常區(qū)域為主的區(qū)域；然后用CLAHE處理后的圖像進(jìn)行開閉運(yùn)算，提取局部極大值，得到以高亮區(qū)域為主的區(qū)域；最后將兩區(qū)域合并獲得完整的果實目標(biāo)區(qū)域；為了驗證該方法的有效性，運(yùn)用Hough算法檢測圓，并用相對偏差、圓心相對誤差及半徑相對誤差3個評價指標(biāo)來定量評價；試驗結(jié)果表明，提取區(qū)域與果實目標(biāo)區(qū)域相比，順光下，相對偏差、圓心和半徑相對誤差平均值分別為3.59%，4.76%和2.60%；逆光下，3個指標(biāo)的平均值分別為10.77%、16.77%、11.49%；無論是順光還是逆光都有很好的識別效果，能滿足機(jī)器人采摘果實的精確定位的要求。

綠色蘋果；限制對比度自適應(yīng)直方圖均衡化；局部極大值；區(qū)域合并

0 引言

精確識別定位是機(jī)器人采摘果實的關(guān)鍵，直接關(guān)系到機(jī)器人采摘的質(zhì)量。相關(guān)文獻(xiàn)中多是對紅色果實圖像分割識別的研究，而對綠色果實的分割識別研究較少。文獻(xiàn)[1]通過采用模板匹配的細(xì)化算法在2R-G圖像中提取果實輪廓，再用改進(jìn)的隨機(jī)Hough算法，實現(xiàn)果實的識別，識別效果較好。文獻(xiàn)[2]通過對R-B分量及灰度均值m、標(biāo)準(zhǔn)偏差σ和熵e等特征和最佳聚類數(shù)對蘋果圖像進(jìn)行K-均值聚類分割。文獻(xiàn)[3]通過建立混合分類器，將歸一化g分量、HSV空間的H、S分量和2G-R-B作為特征參數(shù)，識別近色背景中的綠色蘋果。文獻(xiàn)[4-5]通過訓(xùn)練建立BP神經(jīng)網(wǎng)絡(luò)，并將顏色、形狀特征作為輸入，建立綠色蘋果分割模型，分割綠色果實。文獻(xiàn)[6]依靠物體的顏色、質(zhì)地和形狀特征的組合重建三維空間，將果實區(qū)域從背景中分離。文獻(xiàn)[7]用果實的顏色特征和表面光滑性檢測得到屬于蘋果的高概率像素，形成“種子區(qū)域”，經(jīng)過擴(kuò)展得到綠色果實區(qū)域。

本文研究的綠色蘋果圖像，順光下，天空背景與果實受強(qiáng)光部分接近白色，葉子綠色較淺，與果實顏色相近，果實表面由強(qiáng)光引起的陰影面積較大；逆光下，圖像整體亮度低，葉子表面綠色較深，果實表面仍有部分陰影。果實表面亮度不均勻，運(yùn)用常見的顏色或者紋理特征不能有效地分割果實目標(biāo)；而將果實形狀特征和顏色特征融合通過建立綠色果實模型實現(xiàn)分割，果實表面紋理特征不明顯，需要較大的計算量。針對綠色蘋果的分割難點(diǎn)，設(shè)計了一種分區(qū)域提取而后合并的分割方法。

1 材料與方法

1.1 圖像采集與試驗

數(shù)碼相機(jī)型號Canon DIGITAL IXUS 200 IS，果實品種為王林蘋果，拍攝距離20～80 cm。試驗所用到的圖像均在自然環(huán)境下拍攝，圖像包括順光、逆光果實圖像共100幅；圖像分辨率為1136×852像素。圖像試驗軟件平臺為Matlab R2013a，計算機(jī)的處理器為Intel(R)Core(TM)2 Duo CPU E4600 @ 2.40 GHz，內(nèi)存為2 G。

1.2 圖像分割

自然環(huán)境下光照引起果實表面的受光不均勻?qū)⒐麑嵄砻娣譃楣獬^(qū)域、中間區(qū)域和高亮區(qū)域三部分。高亮區(qū)域是由于果實表面受強(qiáng)光照造成的，表面區(qū)域較亮。光常區(qū)域是果實表面光線較弱的區(qū)域，區(qū)域亮度較弱。果實表面受光強(qiáng)度正常的部分，稱為中間區(qū)域。文中分割出的以高亮區(qū)域為主的區(qū)域，包含高亮區(qū)域和中間區(qū)域；同樣，中間區(qū)域也被包含在以光常區(qū)域為主的區(qū)域內(nèi)。該文提取的兩種區(qū)域，會有重疊部分。果實表面受光不均勻，導(dǎo)致單個方法很難將其完整分割出來。本文先分別提取兩個區(qū)域(以高亮區(qū)域為主的區(qū)域和以光常區(qū)域為主的區(qū)域)，兩區(qū)域提取后進(jìn)行合并最終獲得完整的果實目標(biāo)區(qū)域，分割流程如圖1所示。

圖1 綠色蘋果分割流程圖

1.2.1 限制對比度自適應(yīng)直方圖均衡化

與一般的直方圖均衡化相比，CLAHE算法不同點(diǎn)在于其對比度限幅，相比AHE(對比度受限直方圖均衡化)，AHE法只能局部增強(qiáng)圖像的對比度，而CLAHE法是對圖像的每個小區(qū)域都必須使用對比度限幅。AHE法能夠使處理后的圖像平坦均勻，清晰度增強(qiáng)，但對噪聲敏感。CLAHE法不僅能抑制圖像噪聲，加強(qiáng)對比度，更重要的是突出圖像內(nèi)部細(xì)節(jié)[8]。為了更多地分割出綠色果實區(qū)域，使果實與背景顏色差異突出，本文應(yīng)用CLAHE算法處理圖像。其主要實現(xiàn)步驟為：

1)將圖像分成像素為M×N的多個連續(xù)均勻且不重疊的區(qū)域；

2)計算每個區(qū)域的直方圖函數(shù)。每個區(qū)域(m,n)相應(yīng)直方圖函數(shù)可以表示為Hm,n(r)，每個直方圖的灰度級是r，r的大小為[0,K-1]，K是灰度級個數(shù)；

3)計算剪切限幅值β：

(1)

式(1)中，α為截斷系數(shù)，其取值范圍為(0,1]，表示每個灰度級像素的最大百分比。因此β取決于區(qū)域大小。當(dāng)α=1時，β最小，此時β=M·N/K。對每個小區(qū)域用β裁剪Hm,n(R)，將超出β值的像素平均分布到其他灰度級中，如圖2(b)。為了防止新的直方圖函數(shù)再次超過β，就需要重復(fù)裁剪直到這個超出部分很小，如圖2(b)上部分陰影部分顯示，剪切效果如圖2(d)。為了提高速度，所用CLAHE算法的參數(shù)取M=5，N=5，α=0.4。

4)直方圖均衡化每一個子區(qū)域。

5)采用雙線性插值法[9]，參考各子塊中心點(diǎn)處灰度值，計算各點(diǎn)灰度值。處理方法如下：

如圖2(c)，像素所在位置記為S，像素值為e，表示為Pi,j(S)=e，在輸出圖像中記為e’，每個區(qū)域的中心分別為A、B、C、D，F(xiàn)A(e)、FB(e)、FC(e)、FD(e)分別為4個中心點(diǎn)的變換函數(shù)，4個區(qū)域變換函數(shù)的加權(quán)和為e’。設(shè)a、b分別是S點(diǎn)到直線AC和AB的距離，且lAC和lAB均為1，則對于每一個(a,b)有：

(2)

每個像素都可以用一個變換函數(shù)表示為：

(3)

式(2)、(3)中，像素點(diǎn)(i,j)的分布函數(shù)是Fi,j(e)。傳統(tǒng)自適應(yīng)直方圖均衡化，不管是否對對比度有限制，都對圖像中每一個像素點(diǎn)的直方圖函數(shù)、相應(yīng)的變換函數(shù)進(jìn)行計算，這樣使計算量大、時間過長。而這種插值法的過程極大降低了變換函數(shù)需要計算的次數(shù)，只是增加了一些雙線性插值的計算量。

最終效果圖如圖2(d)，與圖2(a)原圖相比，果實和背景的對比度明顯增強(qiáng)，果實與背景的色差明顯。分別提取原圖與CLAHE處理后圖像的R-B圖像，如圖3(a)與3(b)，CLAHE處理后的R-B圖像得到了相對比較完整的果實區(qū)域，且殘留的葉子區(qū)域細(xì)小，容易去除。

圖2 CLAHE算法示例

圖3 CLAHE處理效果圖

1.2.2 小區(qū)域去除/空洞填充

將R-B圖像轉(zhuǎn)化成二值圖像(如圖4(b)),圖像中殘留的分割碎片，通常是未分割掉的與果實顏色相近的葉子背景、草地和天空背景，而果實區(qū)域由于光照不均、遮擋造成的陰影，也會產(chǎn)生孔洞。對于分割碎片，本文以8鄰域標(biāo)記法[10]對圖像中的連通區(qū)域進(jìn)行標(biāo)記并統(tǒng)計總數(shù)，將小于最大連通區(qū)域1/12的小區(qū)域去除。而漫水填充算法[11]用來填補(bǔ)分割區(qū)域中或邊界的孔洞，如圖4(c)。

1.2.3 邊界對象去除

圖像采集過程中，當(dāng)采集果樹外圍的果實圖像時，所采集的圖像邊界往往會出現(xiàn)草地。草地也與果葉顏色相近，通過以上環(huán)節(jié)往往不能去除干凈，圖像邊界仍然會存在較大塊的草地區(qū)域。為此本文在上述分割結(jié)果的基礎(chǔ)上刪除與圖像邊界相連的對象。具體首先對各連通區(qū)域輪廓跟蹤獲取邊緣坐標(biāo)，然后對所獲取的各連通區(qū)域邊緣坐標(biāo)進(jìn)行判別，以確定是否與圖像的邊界相連，最后刪除與圖像的邊界相連的連通區(qū)域，如圖4(d)。圖5為提取的以光常區(qū)域為主的區(qū)域在原圖中圈出的效果圖。

圖4 以果實光常區(qū)域為主的提取圖

圖5 原圖中圈出以光常區(qū)域為主的區(qū)域

1.2.4 形態(tài)學(xué)開閉操作

由于不同的光照狀態(tài)下，綠色果實與背景邊緣像素差異不明顯，特別是天空、綠色草地背景，直接使用分水嶺分割，容易產(chǎn)生過度分割的現(xiàn)象。因此提取綠色蘋果圖像中果實高亮區(qū)域需要對圖像進(jìn)行CLAHE處理，以獲得更好的分割效果。具體方法如下：

1)圖像進(jìn)行CLAHE處理。

將2.2.4.1中腌制的生鮮肉泥壓制成型后入箱烘烤，烘烤溫度180 ℃，烘烤時間15 min。通過測定和計算烘烤前后肉脯紅度值的差值，判斷不同發(fā)色劑的熱穩(wěn)定性。計算公式為△a=a1-a2，式中：a1為烤前紅度值，a2為烤后紅度值。

2)進(jìn)行開運(yùn)算。該方法通過去掉圖像邊緣較小的突刺、切斷連通區(qū)域內(nèi)部的細(xì)長搭接實現(xiàn)圖像的分離。

3)進(jìn)行閉運(yùn)算。該方法通過填充連通區(qū)域中或邊緣的小缺口或空洞、連接較相近兩連通區(qū)域?qū)崿F(xiàn)圖像的連接。

如圖6(a)與6(c)，分別是CLAHE處理前的開閉操作圖像。圖6(b)與6(d)，分別為CLAHE處理后的開閉操作圖像。CLAHE處理后進(jìn)行開閉操作，圖像中局部極大值區(qū)域較大。

4)獲取圖像中的局部極大值。

局部極大值圖像(圖6(e))中，圖像有細(xì)小的空洞和小斑點(diǎn)殘留，進(jìn)行孔洞填充或小區(qū)域去除(圖6(f))，再去除邊界背景對象(圖6(g))，就得到了果實的以高亮區(qū)域為主的區(qū)域。如圖7是原圖像中圈出的以高亮區(qū)域為主的區(qū)域。

圖6 以果實高亮區(qū)域為主的提取圖

圖7 原圖中圈出以高亮區(qū)域為主的區(qū)域

1.2.5 區(qū)域合并

CLAHE處理后的圖像，增大了果實區(qū)域與葉子、枝干、草地、天空等背景的灰度級。提取R-B色差因子，得到果實的以光常區(qū)域為主的區(qū)域。利用形態(tài)學(xué)開閉運(yùn)算，提取局部極大值，得到果實的以高亮區(qū)域為主的區(qū)域。最后將以光常區(qū)域為主的區(qū)域與以高亮區(qū)域為主的區(qū)域合并，得到果實區(qū)域二值化圖像(圖8(a))，在原圖中圈出果實目標(biāo)區(qū)域(圖8(b))。圖8(b)說明，合并區(qū)域與果實實際區(qū)域很接近。

為了運(yùn)算簡單，用sobel算子檢測合并區(qū)域的輪廓。對于單個果實，直接使用Hough圓檢測算法。對于多個果實，用基于距離測度的角點(diǎn)檢測算法[12]尋找果實輪廓的角點(diǎn)，并求出與區(qū)域有相同標(biāo)準(zhǔn)二階中心距的所在橢圓的長軸與水平線所成的角度α，如式:

(4)

圖9 果實分割圖

圖8 合并區(qū)域效果圖

式(4)中，tanα為長軸的斜率，(xa，ya)為連通區(qū)域質(zhì)心點(diǎn)坐標(biāo)，由于果實質(zhì)心經(jīng)過長軸，帶入質(zhì)心坐標(biāo)，就可以計算出長軸所在直線。選擇分割點(diǎn)方法：選擇長軸的兩側(cè)，且兩角點(diǎn)所連線段最短，即可作為分割點(diǎn)，再用Hough算法。

1.2.7 Hough圓檢測

綠色蘋果類似圓形，為了計算方便，以圓形近似表示蘋果的形狀輪廓，因此果實輪廓邊緣可以用圓形公式[13]表示為:

(5)

式(5)中，x0、y0是綠色果實形心坐標(biāo)，r0是綠色果實輪廓的半徑。則x、y可以表示為：

x=x0+r0cosθ

(6)

(7)

則有:

(8)

式(8)說明，圓周上關(guān)于圓心對稱的兩點(diǎn)M(x1,y1)、N(x2,y2)，所在線段MN中點(diǎn)就是圓心。設(shè)半徑大小為r0，即:

(9)

(10)

從100張圖像中選取部分圖像，包括順光下單個果實、多個果實，逆光下單個果實、多個果實、葉子遮擋、果實遮擋。如圖9是順光逆光下的果實分割圖，分別顯示了原圖像、合并區(qū)域二值化圖像、原圖中圈出合并區(qū)域的圖像、Hough算法檢測圓的圖像。

2 試驗結(jié)果與分析

2.1 算法評價指標(biāo)

在機(jī)器人采摘果實時，其采摘質(zhì)量不僅與果實形狀有關(guān)，也與果實的形心和果實的大小有關(guān)。為了驗證本文所設(shè)計方法的有效性，用相對偏差[14]、圓心相對誤差CRError和半徑相對誤差RRError[15]作為評價識別誤差的指標(biāo)。

相對偏差描述如下：

(11)

式(11)中，L是果實形心與擬合圓圓心的距離，SY是果實實際區(qū)域的面積。

圓心相對誤差CRError可以表示為：

(12)

半徑相對誤差RRError可以表示為：

(13)

式(12)、(13)中，L同上，RealR是果實圖像的半徑，CalR是擬合圓的半徑。

2.2 果實識別實驗與分析

在上述方法中，用Hough算法得到擬合圓的半徑和圓心。然后，根據(jù)圖像實際形心、半徑和面積，來計算相對偏差、圓心相對誤差及半徑相對誤差三個評價指標(biāo)，定量檢測文中所用方法的有效性。如表1列出8張圖像中可識別出的果實數(shù)據(jù)，圖像中共有19個綠色果實，有3個果實因被遮擋部分超過果實面積的1/2未被識別出。圖像序號1～5為順光下的果實識別實驗，圖像序號6～8是逆光下的果實識別實驗。

表1 綠色蘋果識別實驗結(jié)果

表2 不同光照下果實識別實驗結(jié)果對比表

順光下，相對偏差、圓心和半徑相對誤差的平均值分別為3.59%、4.76%和2.60%；逆光下，3個指標(biāo)的平均值分別為10.77%、16.77%、11.49%。逆光狀態(tài)下，分割的果實目標(biāo)區(qū)域地面背景受強(qiáng)光被誤分割成目標(biāo)區(qū)域，由于葉子遮擋造成的陰影被誤判斷成背景，導(dǎo)致目標(biāo)區(qū)域的分割誤差，即圓心和半徑相對誤差(見表2)。順光狀態(tài)下，部分果實區(qū)域由于光照形成的陰影被誤當(dāng)成葉子背景而去除，本文算法在一定程度上減小了順光下的果實分割誤差。當(dāng)提取的果實目標(biāo)區(qū)域較接近果實實際區(qū)域時，果實的相對偏差、圓心相對誤差及半徑相對誤差較小。機(jī)器人采摘果實時，準(zhǔn)確地定位，一定程度上能夠提高機(jī)器人采摘質(zhì)量；相反，果實的相對偏差、圓心相對誤差及半徑相對誤差較大，會對機(jī)器人采摘果實加大難度。

3 結(jié)論

蘋果采摘現(xiàn)在已成為采摘機(jī)器人的研究重點(diǎn)。完整分割、精確定位對機(jī)器人的采摘質(zhì)量有很重要的作用。為了實現(xiàn)相近背景中綠色蘋果的分割，提出了一種分區(qū)域提取而后合并的果實分割方法，為了證明該方法的準(zhǔn)確性，將提取到的區(qū)域進(jìn)行Hough算法檢測圓，并將擬合圓的圓心坐標(biāo)和半徑與果實實際圓心坐標(biāo)、半徑進(jìn)行了定量比較。實驗結(jié)果證明：

1)CLAHE算法處理圖像，有效降低了綠色果實與葉子、草地等相近背景的分割難度。

2)與綠色果實實際圓心、半徑相比，分割的區(qū)域越接近實際區(qū)域，分割的相對偏差、圓心相對誤差及半徑相對誤差越小。順光下相對偏差、圓心和半徑相對誤差的平均值分別為3.59%、4.76%和2.60%；逆光下的這3個評價指標(biāo)的平均值分別為10.77%、16.77%和11.49%。

文中算法對于綠色果實的分割是可行的，為后續(xù)果實的準(zhǔn)確定位打下基礎(chǔ)。

[1] 謝忠紅，姬長英，郭小清，等.基于改進(jìn)Hough變換的類圓果實目標(biāo)檢測[J].農(nóng)業(yè)工程學(xué)報,2010,26(7):157-162.

[2] 司永勝,劉 剛,高 瑞,等.基于K-均值聚類的綠色蘋果識別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報,2009,40(s):100-104.

[3] 張春龍, 張 楫, 張俊雄, 等.近色背景中樹上綠色蘋果識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2014, 45(10):277-281.

[4] 荀 一, 陳 曉, 李 偉, 等.基于輪廓曲率的樹上蘋果自動識別[J].江蘇大學(xué)學(xué)報·自然科學(xué)版, 2007, 28(6):461-464.

[5] 張志強(qiáng), 張惠莉. 基于神經(jīng)網(wǎng)絡(luò)和圖像顏色、形狀特征的綠色蘋果圖像分割[J].農(nóng)業(yè)網(wǎng)絡(luò)信息, 2013(10):20-23.

[6] Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture, 2011,76(1):80-88.

[7] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012,81(2):45-57.

[8] 王 建，龐彥偉. 基于CLAHE的X射線行李圖像增強(qiáng)[J].天津大學(xué)學(xué)報，2010, 43(3):194-198.

[9] 姬 偉，陶 云，趙德安，等.基于CLAHE的蘋果樹樹枝迭代閾值分割方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2014,45(4):69-75.

[10] Nixon M S, Aguado A S. 特征提取與圖像處理 [M](第二版). 北京:電子工業(yè)出版社, 2010.

[11] Bradski G, Kaehler A. Learning OpenCV: computer vision with the OpenCV Library [M]. Beijing: Tsinghua University Press, 2009.

[12] 徐 越，李盈慧，宋懷波，等.基于Snake模型與角點(diǎn)檢測的雙果重疊蘋果目標(biāo)分割方法[J].農(nóng)業(yè)工程學(xué)報，2015,31(1)：196-203.

[13] 王小華，謝君廷，李本伍.一種新的基于梯度方向角的圓檢測算法[J].機(jī)電工程，2008,25(3)：30-32.

[14] 謝志勇，張鐵中，趙金英.基于Hough變換的成熟草莓識別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報,2007,38(3):106-109.

[15] 馬翠花，張學(xué)平，李育濤，等.基于顯著性檢測與改進(jìn)Hough變換方法識別未成熟番茄[J].農(nóng)業(yè)工程學(xué)報,2016,32(14):219-226.

Segmentation Method of Green Apple Image Based on CLAHE and Open and Close Operation

Wang Fan, Lü Jidong, Shen Genrong, Ma Zhenghua

(School of Information Science and Engineering, Changzhou University, Changzhou 213164, China)

According to the characteristics of green apple images, this paper designed a segmentation method which is merged after extraction. First of all, the contrast limited adaptive histogram equalization (CLAHE) algorithm was used to increase the color difference between the fruit and the background, and then obtained R - B image. The normal light region of fruit was extracted. Reoccupy open and close operation was processed after CLAHE, to extract the local maximum values, and highlighted area was extracted. Finally full fruit target area was obtained by merging the two regions . In order to verify the effectiveness of the method, Hough algorithm is used to detect circle, and three evaluation indexes is applied to quantitative assessment of the method, which are the relative error, relative error of the circle and relative error of the radius. This method has good recognition effect under both the frontlighting and backlight, and it can satisfy the requirement of precise localization of robot.

green apple; contrast limited adaptive histogram equalization; local maximum values; regional consolidation

2016-04-07；

2016-06-21。

江蘇省自然科學(xué)青年基金項目(BK20140266)；江蘇省高校自然科學(xué)研究面上項目(14KJB210001)；常州大學(xué)科研啟動費(fèi)資助項目(ZMF13020019)；常州市科技支撐工業(yè)項目(2014FX031)。

王 帆(1990-)，女，湖北宜城人，碩士研究生，主要從事圖像處理方向的研究。

馬正華(1962-)，男，江蘇昆山人，大學(xué)，主要從事機(jī)器視覺、嵌入式系統(tǒng)設(shè)計及應(yīng)用方向的研究。

1671-4598(2017)02-0141-05DOI：10.16526/j.cnki.11-4762/tp

TP

A