自然環(huán)境下重疊與遮擋蘋果圖像識(shí)別方法研究*

劉麗娟，竇佩佩，王慧

(石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，新疆石河子，832003)

0 引言

基于圖像處理技術(shù)的果實(shí)識(shí)別是實(shí)現(xiàn)果實(shí)定位、自動(dòng)化采摘和果樹估產(chǎn)的基礎(chǔ)。而自然環(huán)境中，果樹場景多樣性給果實(shí)識(shí)別帶來了巨大挑戰(zhàn)[1]，如復(fù)雜多變的背景、光照強(qiáng)度的變化、果實(shí)間的重疊與遮擋等。自然環(huán)境下采集到的果實(shí)圖片受光照變化、背景復(fù)雜等影響，導(dǎo)致目標(biāo)識(shí)別的有效性降低。國內(nèi)外學(xué)者針對此熱點(diǎn)問題進(jìn)行了研究[2-6]。閆彬等[2]對獼猴桃的RGB圖像采用K-means聚類算法和最大類間方差法相結(jié)合提取出獼猴桃的果萼。閆建偉等采用RGB色差分量法和YCbCr顏色空間模型對刺梨圖像進(jìn)行兩次閾值分割，最終刺梨果實(shí)識(shí)別正確率均高于92%。除了傳統(tǒng)的基于顏色空間的閾值分割方法，也有很多研究者采用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)果實(shí)目標(biāo)識(shí)別[7-11]。馬曉丹等[10]提出了一種將量子遺傳算法的全局搜索能力和模糊推理神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性相結(jié)合的算法來識(shí)別蘋果果實(shí)。趙德安等[11]提出了基于YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)的蘋果定位方法。

重疊與遮擋的果實(shí)圖像中要提取出單一目標(biāo)，研究較多的方法是通過重疊邊緣擬合或插值算法分割出單一目標(biāo)，如曲率分析算法[12-14]、模板匹配法[3, 15-16]、分水嶺算法[4]、霍夫變換法[17-19]等。但由于自然環(huán)境下的分割目標(biāo)存在噪聲干擾或者細(xì)小紋理，并且目標(biāo)果實(shí)不是標(biāo)準(zhǔn)的圓形，這些問題單一目標(biāo)分割多次，過分割是目標(biāo)識(shí)別算法中經(jīng)常遇到的并且需要克服的問題。

針對上述問題，本文對自然環(huán)境下重疊或遮擋果實(shí)的圖像識(shí)別定位算法進(jìn)行研究。通過多通道顏色閾值分割算法識(shí)別出重疊目標(biāo)，使用霍夫變換和圓形限制法識(shí)別并定位重疊或遮擋情況下的類圓單一個(gè)體目標(biāo)，實(shí)現(xiàn)對成熟蘋果圖像的有效識(shí)別。

1 材料與方法

1.1 試驗(yàn)材料

蘋果圖像的采集地點(diǎn)在新疆石河子市南區(qū)蘋果種植基地，采集時(shí)間為2019年9月的上午和傍晚，均在自然光下采集。采集的圖片包括了不同光照、單個(gè)果實(shí)、多個(gè)果實(shí)、重疊、遮擋等各種環(huán)境下的實(shí)際圖片。

1.2 果實(shí)識(shí)別方法

首先對圖像進(jìn)行預(yù)處理操作，包括兩部分操作：為了便于分析，將圖像統(tǒng)一剪裁成512像素×512像素大小；為了去除噪聲干擾，應(yīng)用雙邊濾波算法，這里的噪聲主要包括因相機(jī)硬件或其他原因造成的噪聲，或者是圖像中的細(xì)小紋理，特別是蘋果區(qū)域中的紋理，紋理細(xì)節(jié)太多會(huì)對識(shí)別精度有影響。

然后進(jìn)行圖像分割，獲得蘋果的二值圖像，主要方法是：使用顏色空間轉(zhuǎn)換，獲得更容易凸顯蘋果區(qū)域的圖像通道，這里經(jīng)過多次試驗(yàn)選擇lab顏色空間的a分量、YUV空間的U、V分量，分別利用改進(jìn)后的直方圖全局閾值法獲得二值圖像，再進(jìn)行形態(tài)濾波操作，獲得重疊與遮擋蘋果目標(biāo)的二值圖像。

最后重疊與遮擋的果實(shí)圖像中要提取出單一目標(biāo)，根據(jù)蘋果單一目標(biāo)類圓的特性，應(yīng)用霍夫變換分割目標(biāo)，但此時(shí)會(huì)存在過分割現(xiàn)象，提出圓心限制條件，去除不符合要求的圓心，最終識(shí)別出重疊與遮擋蘋果的圓心、像素大小和個(gè)數(shù)。

1.3 重疊與遮擋蘋果圖像識(shí)別算法

1.3.1 圖像預(yù)處理

目前相機(jī)在自然環(huán)境中獲取的照片已經(jīng)非常清晰，但本文的識(shí)別算法是基于顏色的識(shí)別，圖1中綠葉、樹干、特別是蘋果區(qū)域上的細(xì)小紋理會(huì)使得圖像在識(shí)別過程中受到干擾，錯(cuò)誤的把同一區(qū)域進(jìn)行分類，因此對原始圖像進(jìn)行濾波來消除紋理噪聲。為了保持邊緣信息，且能達(dá)到降噪平滑的效果，本文選用雙邊濾波法進(jìn)行噪聲濾波。由圖2可以看出經(jīng)過濾波后的蘋果和葉片區(qū)域更加平滑，且目標(biāo)間的邊緣信息仍能保留。

圖1 原圖

圖2 濾波后圖像

1.3.2 基于改進(jìn)的多通道閾值分割算法

在進(jìn)行圖像分割時(shí)，選取適當(dāng)?shù)念伾臻g是關(guān)鍵。不同顏色空間下的不同分量的灰度值之間存在很大差異，顏色空間轉(zhuǎn)換的目的是找到能明顯區(qū)分蘋果目標(biāo)和自然背景的顏色特征，目標(biāo)與背景的灰度值差異越大越容易找到合適的閾值進(jìn)行圖像分割。目前相機(jī)獲取的圖像都是在RGB彩色空間下的，但RGB空間下的3個(gè)分量存在強(qiáng)相關(guān)性，用該空間的顏色特征來分割圖像的準(zhǔn)確率不高。本研究將自然環(huán)境下獲取的RGB空間圖像分別轉(zhuǎn)換到Y(jié)UV空間和Lab空間，獲取多個(gè)通道的顏色特征，再進(jìn)行閾值分割。

YUV空間是對RGB空間的線性轉(zhuǎn)換，其中Y分量代表亮度，表示圖像的灰度值，U、V分量代表色差，U表示藍(lán)色偏移量，V表示紅色偏移量。若只選取V分量作為顏色特征，在閾值分割時(shí)會(huì)受到藍(lán)色天空的干擾，很容易把天空當(dāng)作背景，把樹葉和蘋果當(dāng)作目標(biāo)。如圖3所示為各分量直方圖，圖3(a)為U分量直方圖，U分量圖像是藍(lán)色部分灰度值最大，可以觀察出來此時(shí)的深谷在橫坐標(biāo)150左右，此時(shí)只能分割出天空和其他部分；圖3(b)為V分量直方圖，此時(shí)直方圖呈雙波谷，增加了閾值分割難度。因此選擇用U分量圖像先剔除藍(lán)色天空部分，再用V分量中的剩余部分進(jìn)行閾值分割，最終獲得蘋果目標(biāo)的二值圖像I_v。如圖3(c)所示，為經(jīng)過U_V分量閾值處理后的直方圖，此直方圖呈現(xiàn)明顯的雙峰單谷特性，很容易通過全局閾值分割出蘋果目標(biāo)。

通過式(1)計(jì)算出0為天空、1為樹葉和蘋果的二值圖像I_u，其中Tu表示通過U分量圖像Image_u的直方圖hu計(jì)算得到的最佳全局閾值，i和j表示圖像像素對應(yīng)的行和列。

(1)

式(2)表示二值圖像I_u與V分量圖像相與，得到新的L_v圖像，此圖像天空部分全為0。

L_v=Image_v.×I_u

(2)

通過式(3)、式(4)計(jì)算出1為蘋果目標(biāo)、0為背景的二值圖像I_v，如圖4(a)所示。其中Tv表示通過L_v的直方圖hv(需令hv(1)=0)計(jì)算得到的最佳全局閾值。

hv(1)=0

(3)

(4)

Lab空間是對RGB空間的非線性轉(zhuǎn)換，其中L分量代表亮度，a、b分量代表色差，a分量表示從綠色到紅色的變化，b分量表示從藍(lán)色到黃色的變化。選取a分量作為顏色特征，因a分量圖像直方圖中的背景和目標(biāo)有很明顯的雙峰，可以比較準(zhǔn)確的選取到好的全局閾值Ta，得到1為蘋果目標(biāo)、0為背景的二值圖像I_a，如圖4(b)所示。

YUV顏色空間是對RGB空間的線性轉(zhuǎn)換，而Lab顏色空間是對RGB顏色空間的非線性轉(zhuǎn)換。通過線性和非線性轉(zhuǎn)換的結(jié)合，最大限度的利用顏色信息去除背景。將兩種分割結(jié)果I_v和I_a進(jìn)行邏輯“與”運(yùn)算，得到分割后的二值圖像，如圖4(c)所示。

分割后的二值圖像存在大量的孤立誤分割區(qū)域，和沒有識(shí)別到的空洞，可通過形態(tài)學(xué)方法進(jìn)行處理。采用8×8的圓形結(jié)構(gòu)元對圖像先進(jìn)行開操作，再進(jìn)行閉操作，最后進(jìn)行圓形的孔洞填充，得到最終的重疊與遮擋蘋果目標(biāo)二值圖像I，如圖4(d)所示。

(a) U分量直方圖

(c) U_V圖像直方圖

(a) I_v二值圖像

1.3.3 基于改進(jìn)的霍夫變換檢測圓算法

蘋果目標(biāo)輪廓與圓相似，因此可以用圓來近似表示蘋果的形狀輪廓。霍夫變換(Hough Transformation)是圖像處理中的一種特征提取技術(shù)，它通過一種投票算法檢測具有特定形狀的物體。Hough變換最早應(yīng)用于直線的檢測，后來引入更高維度的空間，可以實(shí)現(xiàn)圓形檢測目的。

Hough變換檢測圓的主要思想是：首先建立三維的Hough空間，以圖像(二值圖像邊緣提取后的圖像)上的每一個(gè)非零點(diǎn)為圓上一點(diǎn)，以已知的半徑在參數(shù)平面上畫圓，對圓上覆蓋的坐標(biāo)點(diǎn)進(jìn)行投票，最后找出參數(shù)平面上的峰值，得到對應(yīng)于原圖中的圓心和半徑。

針對本研究蘋果單一目標(biāo)的圓形檢測，可以利用Hough變換檢測二值圖像中的圓，但由于蘋果并不是標(biāo)準(zhǔn)的圓形，用Hough變換會(huì)在同一個(gè)蘋果目標(biāo)上檢測到多個(gè)不同大小的圓，導(dǎo)致過分割問題，如圖5所示為只用Hough變換檢測圓的結(jié)果。本研究在Hough變換的基礎(chǔ)上增加了圓形約束的步驟，如圖6所示為使用圓形約束法后的結(jié)果。具體步驟分別包括估計(jì)圓心和半徑、圓形約束2個(gè)方向，具體參數(shù)設(shè)置和步驟如下。

步驟一：估計(jì)圓心和半徑。

1) 把形態(tài)學(xué)濾波后的二值圖像進(jìn)行sobel邊緣檢測，得到可能為圓形邊緣的前景點(diǎn)edges。

2) 設(shè)置Hough變換檢測圓參數(shù)：對檢測圓的半徑范圍進(jìn)行限制，取最小值min_r=0.05×min(nrows,ncols)，最大值max_r=0.5×min(nrows,ncols)，因圖像大小均為nrows×ncols=512×512，則檢測圓的最小值為min_r=25，最大值max_r=256。其中min(nrows,ncols)表示取圖像行數(shù)nrows和列數(shù)ncols的最小值。檢測時(shí)每次轉(zhuǎn)過的角度angle=0.1 rad；閾值p的取值范圍是[0, 1]，對于多圓檢測，閾值p不能設(shè)置太大,本研究經(jīng)過多次試驗(yàn)，取p=0.5。

3) 假如圖像中存在圓形，那么其輪廓必定屬于前景點(diǎn)。將圓的參數(shù)輪廓方程由x-y坐標(biāo)系轉(zhuǎn)換到a-b坐標(biāo)系，轉(zhuǎn)換公式為a=x-r×cos(angle)，b=y-r×sin(angle)，其中(x,y)為前景點(diǎn)的坐標(biāo)位置，(a,b)為可能圓心的坐標(biāo)位置，r為對應(yīng)圓心的半徑。

4) 遍歷所有的edges點(diǎn)，根據(jù)設(shè)定的圓半徑范圍[min_r, max_r]，角度取值為angle下，在累加投票圖中統(tǒng)計(jì)圓心位置滿足a>0，b>0時(shí)出現(xiàn)的次數(shù)。一個(gè)edges點(diǎn)需在所有可能的角度方向、半徑上投票。最終得到累加投票圖hough_space(a,b,r)。

5) 在hough_space中找到最大值max_para，然后在hough_space圖中找到值大于等于max_para×p的所有點(diǎn)，則對應(yīng)的(a,b)為估計(jì)的圓心、r為半徑。其中p為設(shè)定閾值。

1) 對兩個(gè)圓的圓心坐標(biāo)限制條件。圓心必須要在圖4(d)中蘋果目標(biāo)二值圖像亮區(qū)。

2) 去掉大圓套小圓中的小圓?？衫霉絛+r2≤r1，判斷若滿足此公式條件，去掉半徑較小的圓。

圖5 霍夫變換法檢測出的蘋果

圖6 圓形約束法檢測出的蘋果

2 結(jié)果與分析

2.1 不同算法的檢測效果分析

本研究算法分為3部分，即預(yù)處理、圖像閾值分割、圓形檢測。閾值圖像分割的目的是得到重疊與遮擋蘋果目標(biāo)二值圖像，圓形檢測的目的是根據(jù)二值圖像檢測其中的圓并標(biāo)注圓心和半徑。閾值圖像分割的質(zhì)量決定了圓的檢測效果，圓形檢測能識(shí)別并定位蘋果目標(biāo)個(gè)體。

2.1.1 分割算法的效果分析

為了驗(yàn)證本研究算法——基于改進(jìn)的多通道閾值分割算法，分別用直接Otsu、Kmeans迭代算法作對比，對自然環(huán)境下的蘋果圖像進(jìn)行分割。原圖為圖1，本文算法結(jié)果為圖4(d)，直接Otsu和Kmeans迭代算法的識(shí)別結(jié)果如圖7所示。

從圖7可以看出，Otsu算法不能準(zhǔn)確的識(shí)別出蘋果目標(biāo)，包含了許多樹枝等其他信息；Kemans迭代算法雖然沒有枝條等信息，但果實(shí)部分缺失嚴(yán)重，不能完整識(shí)別蘋果部分。這是由于Kemans算法中有一個(gè)分類個(gè)數(shù)k需要人為確定，而自然環(huán)境下的蘋果圖像背景復(fù)雜，不能簡單的把分類個(gè)數(shù)定為2，于是選擇了手肘法計(jì)算分類個(gè)數(shù)，又導(dǎo)致過分割現(xiàn)象。

(a) Otsu

為了定量分析分割算法的有效性，隨機(jī)抽取50幅蘋果目標(biāo)圖像樣本，計(jì)算本文算法對目標(biāo)分割的精度和實(shí)時(shí)性。將50幅圖像中的蘋果目標(biāo)進(jìn)行人工分割提取，得到圖像中真實(shí)目標(biāo)像素Tm，再利用分割算法，得到檢測的目標(biāo)像素個(gè)數(shù)Ta，利用式(5)、式(6)計(jì)算目標(biāo)分割的精確度(Ac)和假陽性率(FPR)。

(5)

(6)

如表1所示為50幅圖的平均精確度、平均假陽性率和平均運(yùn)算速度。由表1可知本文算法的精確度為95.5%，明顯高于Kmeans迭代法和直接Otsu法，本文算法的假陽性率為2.1%，明顯低于其他兩種算法，驗(yàn)證了算法的精度有效性。本文算法在Matlab上的運(yùn)行速度為1.65，明顯低于Kmeans迭代法，驗(yàn)證了算法的實(shí)時(shí)性。

表1 不同算法的分割試驗(yàn)結(jié)果Tab. 1 Segmentation results of different algorithms

2.1.2 圓形檢測算法的效果分析

圓形檢測的目的是對分割后的多個(gè)目標(biāo)二值化圖像進(jìn)行單一個(gè)體識(shí)別和定位，但由于蘋果目標(biāo)邊緣并不是完全的圓形曲率，會(huì)導(dǎo)致一個(gè)目標(biāo)檢測出多個(gè)大小不一的圓形。本文算法中圓形約束算法很好的解決了這一問題，把多余的圓形去除，定位正確的目標(biāo)個(gè)體。在選取的50幅蘋果目標(biāo)圖像樣本中，均可以準(zhǔn)確識(shí)別目標(biāo)個(gè)數(shù)。如表2所示，隨機(jī)選取5幅蘋果圖像，目標(biāo)個(gè)數(shù)范圍在1～9之間，從表2中可以看出應(yīng)用圓形約束后可以精準(zhǔn)檢測出目標(biāo)個(gè)數(shù)。

表2 圓形檢測算法的試驗(yàn)結(jié)果Tab. 2 Results of circular detection algorithm

2.2 不同試驗(yàn)材料的檢測效果分析

為進(jìn)一步驗(yàn)證本文提出的自然環(huán)境下目標(biāo)蘋果識(shí)別算法的有效性，需要在各種實(shí)際條件下來檢測，試驗(yàn)分別針對果實(shí)數(shù)目、遮擋情況、光照情況不同的蘋果圖像為試驗(yàn)材料，選擇直接霍夫變換檢測圓算法、圓形約束法作為圓檢測算法對比。

2.2.1 不同數(shù)量蘋果的檢測效果

采集圖片時(shí)，攝像頭距離果樹的遠(yuǎn)近不同，圖片中的果實(shí)數(shù)目、大小也會(huì)不同。當(dāng)果實(shí)數(shù)目較少、尺寸較大時(shí)，識(shí)別難度較低。但如果在多果實(shí)條件下，果實(shí)的尺寸變小、數(shù)目變多，識(shí)別難度增大。因此設(shè)置幾種算法對不同數(shù)量蘋果的檢測效果對比，如圖8所示為單個(gè)蘋果目標(biāo)的檢測效果，圖9為多個(gè)目標(biāo)的檢測效果。

(a) 原圖

2.2.2 不同遮擋情況的檢測效果

自然環(huán)境下的蘋果生長形態(tài)不一，本節(jié)選取3個(gè)典型的遮擋情況，有果實(shí)間重疊、樹葉遮擋、樹枝遮擋，分別如圖10～圖12所示，從試驗(yàn)結(jié)果來看，均能準(zhǔn)確識(shí)別蘋果部分。

(a) 原圖

(a) 原圖

(a) 原圖

(c) 霍夫變換檢測圓算法 (d) 圓形約束算法

2.2.3 不同光照情況的檢測效果

拍攝圖片時(shí)，拍攝時(shí)間、拍攝時(shí)的光照角度都會(huì)對檢測效果有影響，本節(jié)選取逆光光照弱時(shí)的蘋果圖像，逆光時(shí)蘋果和枝葉的亮度明顯降低，且分界線不明顯，檢測結(jié)果如圖13所示，從試驗(yàn)結(jié)果來看，能準(zhǔn)確識(shí)別蘋果部分。

(a) 原圖

3 結(jié)論

本文提出了一種自然環(huán)境下重疊或遮擋蘋果的圖像識(shí)別方法，該方法成功實(shí)現(xiàn)果實(shí)個(gè)體目標(biāo)分割與定位。

1) 算法包括圖像預(yù)處理、圖像目標(biāo)分割和個(gè)體目標(biāo)識(shí)別3個(gè)部分。選取雙邊濾波法對圖像進(jìn)行噪聲濾波，選取lab顏色空間a分量，YUV空間U、V分量對圖像進(jìn)行閾值分割，獲得蘋果目標(biāo)二值圖像，采用霍夫變換和圓形約束法識(shí)別并定位單一蘋果目標(biāo)。

2) 在圖像分割部分選用多通道的閾值分割算法，實(shí)現(xiàn)蘋果目標(biāo)與其他自然環(huán)境分離，平均精確度在95.5%，假陽性率在2.1%，在Matlab上的運(yùn)行速度為1.65 s，與傳統(tǒng)的Otsu和Kmeans迭代法相比，本文算法準(zhǔn)確度高，速度快，且避免了過分割。 在個(gè)體目標(biāo)識(shí)別定位部分，利用蘋果目標(biāo)的類圓性質(zhì)，選擇霍夫變換算法檢測圓，并增加了限制圓心算法，使結(jié)果能準(zhǔn)確識(shí)別并定位個(gè)體目標(biāo)。

3) 為進(jìn)一步驗(yàn)證算法的有效性，選取果實(shí)數(shù)目、遮擋情況、光照情況不同的蘋果圖像為試驗(yàn)材料，均能實(shí)現(xiàn)果實(shí)目標(biāo)識(shí)別和定位。