自然環(huán)境中的紅色番茄圖像識別方法研究

王曉慧，周昆鵬

（內(nèi)蒙古民族大學(xué)工學(xué)院，內(nèi)蒙古 通遼 028000）

我國是世界上番茄種植面積最大、產(chǎn)量最高的國家，年產(chǎn)量約5 500 萬t，占蔬菜總產(chǎn)量的7%左右。目前，我國番茄的種植、加工、出口量都處在穩(wěn)定增長階段，國內(nèi)市場的需求略有擴(kuò)大，消費(fèi)結(jié)構(gòu)也趨于穩(wěn)定。番茄產(chǎn)業(yè)對促進(jìn)社會經(jīng)濟(jì)發(fā)展和提高人民生活水平都起著重要的作用。在采摘作業(yè)方面，基本都是人工采摘番茄，但是，勞動力不足、采摘對象和采摘環(huán)境的復(fù)雜性高等問題，對人工采摘的模式提出了挑戰(zhàn)。因此，番茄采摘機(jī)器人的研究和應(yīng)用已十分必要。而采摘機(jī)器人要想識別出自然環(huán)境中的果實(shí)并能夠?qū)ζ渚_定位，最核心的解決方法是研究出一種識別率高、穩(wěn)定性好的識別技術(shù)。

在對番茄圖像識別研究方面，ILLINGWORTH等[1]通過對黑白圖像進(jìn)行Sobel 算子和閾值化處理以獲得圖像的邊界圖像和方向圖像，然后采用改進(jìn)的Hough 變換圓檢測識別輪廓。然而，這種算法的閾值需要人為去設(shè)定，且并不能適用于對光線有變化的圖像，加之枝葉的輪廓和果實(shí)的重疊，造成了識別的誤判和漏判，對識別結(jié)果影響很大，因此，此方法的果實(shí)識別率僅為68%。KONDO 等[2]研制的番茄采摘機(jī)器人采用彩色攝像機(jī)作為視覺傳感器，尋找和識別成熟的番茄果實(shí)，再用機(jī)械手將果實(shí)摘下來，采摘的速度大約是15 s/個(gè)，采摘成功率在70%左右。趙杰文等[3]根據(jù)色調(diào)/飽和度/強(qiáng)度（hue,saturation,intensity,HSI）模型彩色空間的特征對自然環(huán)境中成熟番茄的識別技術(shù)進(jìn)行了研究，使其可以很好地識別那些彼此之間不重疊的自然環(huán)境中的成熟番茄。李印清等[4]根據(jù)目標(biāo)區(qū)域的特征對自然環(huán)境中的番茄識別技術(shù)進(jìn)行了研究，由于其分割方法沒有利用自然環(huán)境中的成熟番茄與背景在顏色上的區(qū)別，實(shí)驗(yàn)效果并不理想，識別率約為74.3%。孫建桐等[5]基于幾何形態(tài)學(xué)與迭代隨機(jī)圓相結(jié)合的算法對串收番茄進(jìn)行了研究，識別準(zhǔn)確率為79.1%，此算法在一定程度上解決了復(fù)雜環(huán)境下多個(gè)果實(shí)粘連或被少量遮擋情況下的果實(shí)分割問題。

目前，果實(shí)采摘機(jī)器人對果實(shí)的識別率都不夠高，原因是在自然環(huán)境中工作時(shí)會受到光線、土壤、枝葉等背景噪聲以及果實(shí)之間相互重疊的影響。其中，對于相互重疊的番茄果實(shí)識別的難度非常高，這是總識別率低的最重要原因。針對上述問題，本文提出了一種基于圓擬合算法的番茄圖像識別方法，不僅對單個(gè)果實(shí)的識別率高，還較好地解決了復(fù)雜環(huán)境下多個(gè)果實(shí)重疊的識別問題。

1 圖像的預(yù)處理

實(shí)驗(yàn)在內(nèi)蒙古自治區(qū)通遼市開發(fā)區(qū)凌云園藝種植公司的番茄種植大棚內(nèi)進(jìn)行，通過照相機(jī)來采集番茄的彩色圖像。首先對番茄圖像進(jìn)行預(yù)處理，此前要求對自然環(huán)境中的番茄目標(biāo)、枝葉和土壤等背景環(huán)境的顏色和形狀等特征信息有一定了解，以便拍照時(shí)使得番茄圖像的目標(biāo)和背景呈現(xiàn)出明顯的差異，為后續(xù)的目標(biāo)分割打下良好的基礎(chǔ)。一般情況下，這些顏色特征信息在灰度級上面有著明顯的差異，所以需在不同彩色空間對圖片的灰度圖像及其灰度直方圖進(jìn)行比較和分析。本文采用Matlab軟件平臺進(jìn)行實(shí)驗(yàn)，首先從三原色（red,green,blue,RGB）、色調(diào)/飽和度/明度（hue, saturation, value,HSV）、HIS 3 個(gè)彩色空間分析，結(jié)果發(fā)現(xiàn)，番茄果實(shí)與枝葉背景沒有明顯的區(qū)別。

RGB顏色空間是最常用的彩色空間，且如今照相設(shè)備拍攝的圖像顏色信息都是基于RGB空間的，所以本文進(jìn)一步針對圖像做RGB顏色空間的研究。不同的光照強(qiáng)度、拍攝角度等條件的差異，對圖像的R、G、B 值都有較大的影響?；诖耍瑸槭沟肦、G、B 各分量之間的相關(guān)性降低，同時(shí)，也考慮到成熟番茄果實(shí)的紅色（R）分量和背景枝葉的綠色（G）分量之間存在顯著差異，采用色差分量運(yùn)算進(jìn)行圖像預(yù)處理。本實(shí)驗(yàn)對目標(biāo)圖像的RGB 顏色空間的各分量分別進(jìn)行色差運(yùn)算，結(jié)果如圖1 所示。從中可知，R-G色差分量圖中目標(biāo)與背景的差異最為顯著，因此，最終選擇利用R-G 色差圖作為預(yù)處理結(jié)果圖像，即后續(xù)分割的目標(biāo)圖像。

圖1 R、G、B各分量之間的色差圖像及灰度直方圖Fig.1 Color differences between each component image and gray histograms of R,G and B

2 目標(biāo)分割

分割的目的就是將番茄果實(shí)目標(biāo)從自然環(huán)境背景中準(zhǔn)確地分割出來，以實(shí)現(xiàn)識別系統(tǒng)對目標(biāo)的準(zhǔn)確識別。本研究采用了多種分割方法進(jìn)行實(shí)驗(yàn)。

2.1 邊緣檢測

采用邊緣檢測算法，將目標(biāo)的邊緣檢測出來，達(dá)到將目標(biāo)與背景分割開來的效果。所謂的邊緣就是目標(biāo)與背景的分界線，它表示某個(gè)區(qū)域的結(jié)束和另外一個(gè)區(qū)域的起始，而分界線所分開的每個(gè)區(qū)域的內(nèi)部屬性是相同的，且不同區(qū)域的內(nèi)部屬性是不一致的。邊緣檢測是依據(jù)檢測到的圖像中灰度值的變化，對圖像進(jìn)行一階導(dǎo)數(shù)或二階導(dǎo)數(shù)的計(jì)算，能夠非常有效地檢測出各個(gè)像素點(diǎn)在其鄰域內(nèi)的灰度值的變化，進(jìn)而檢測出邊緣。本實(shí)驗(yàn)采用幾種最常用的邊緣檢測算子，包括Roberts邊緣檢測算子、Prewitt 邊緣檢測算子、Sobel 邊緣檢測算子、高斯-拉普拉斯（Laplace of Gaussian, LoG）邊緣檢測算子、Canny邊緣檢測算子進(jìn)行處理。

首先，利用Roberts 邊緣檢測算子對RGB 灰度圖像和R-G 色差圖像進(jìn)行邊緣檢測，結(jié)果（圖2）顯示，對R-G色差分量圖像進(jìn)行分割能夠去掉大部分的背景噪聲，可以成功將圖像中的枝葉等背景信息區(qū)分開來，有效地將番茄果實(shí)部分檢測出來。說明本文選擇R-G 色差分量圖像作為分割圖像的選擇是正確的。其次，對R-G色差圖像進(jìn)行各類邊緣檢測，從中可以看出：Roberts、Prewitt、Sobel 這3 種算法的效果基本一致，都不同程度地出現(xiàn)了漏檢的情況。高斯-拉普拉斯邊緣檢測算法在連續(xù)性上效果較好，但是檢測圖像出現(xiàn)了雙邊緣等情況。Canny邊緣檢測算法也是一種連續(xù)性較好的檢測方法，缺點(diǎn)就是檢測圖像有太多的虛假邊緣出現(xiàn)。所以，邊緣檢測算法并不是理想的分割算法。

2.2 分水嶺分割和閾值分割

分水嶺分割是一種借鑒了形態(tài)學(xué)理論的分割方法，將水文學(xué)和地形學(xué)的概念融入圖像分割中，灰度值被解釋為地形的高度，其中，山峰用高灰度值來表示，山谷用低灰度值來表示，圖像分割的目的就是要找出灰度級圖像中不同的吸水盆地和分水嶺，進(jìn)而達(dá)到有效分割。

閾值分割是數(shù)字圖像處理中一種簡單而有效的分割方法。圖像中每個(gè)像素點(diǎn)的灰度值和閾值進(jìn)行比較[6]，大于閾值的像素點(diǎn)都用“255”這個(gè)灰度值來代替，將其劃分為目標(biāo)部分；小于閾值的像素點(diǎn)都用“0”這個(gè)灰度值來代替，將其劃分為背景部分。圖像最終被分割成黑白2 種類型，完成基于閾值的圖像分割。最大類間方差法（Otsu）是一種常用的自動確定閾值的方法，速度快，操作簡單，其確定最佳閾值的原則是令分割后圖像中各個(gè)像素類的類間方差取得最大值[7]。

圖2 灰度圖像的Roberts邊緣檢測及R-G圖像的各種邊緣檢測Fig.2 Roberts edge detection of the gray image and various edge detections of R-G images

基于Otsu 和分水嶺分割算法的R-G 色差圖像分割結(jié)果如圖3 所示。從中可知：分水嶺分割雖然能夠?qū)⒎压麑?shí)從背景中分割出來，但也會將目標(biāo)區(qū)域分割成若干細(xì)小目標(biāo)區(qū)域，產(chǎn)生很大的噪聲，所以從分割效果來看，此方法并不理想；然而，相比較而言，Otsu 分割方法的分割效果最為理想。當(dāng)然，任何分割的效果都不是完美的，用此方法分割不同條件下的圖像時(shí)存在著噪聲的干擾，如目標(biāo)邊緣的毛刺、缺陷，光照和枝葉等因素造成的內(nèi)部空洞和缺失，果實(shí)重疊造成的區(qū)域相連等。因此，可考慮進(jìn)一步優(yōu)化分割效果，對分割后圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理，利用腐蝕（erosion）、膨脹（dilation）或者是二者組合使用產(chǎn)生的開運(yùn)算、閉運(yùn)算等操作算子，去除噪聲邊緣的小毛刺、凹陷、不平滑等小噪聲，提高后續(xù)目標(biāo)特征提取和識別效率[8]。

圖3 R-G圖像的Otsu和分水嶺分割Fig.3 Otsu segmentation and watershed segmentation of R-G images

3 特征提取與識別

3.1 圖像特征提取

在番茄圖像經(jīng)有效分割后，需要對番茄果實(shí)目標(biāo)進(jìn)行特征提取，進(jìn)而對其進(jìn)行識別研究和后續(xù)的分析及定位。首先對分割后的圖像進(jìn)行區(qū)域標(biāo)記[9]，通過對圖像中每個(gè)獨(dú)立的連通區(qū)域進(jìn)行標(biāo)記，以便對其幾何特征和形狀特征等信息進(jìn)行提取。本研究提取了番茄果實(shí)目標(biāo)的周長、面積、圓形度、矩形度、偏心度以及質(zhì)心，這6個(gè)特征信息可以很好地歸納輪廓特征的特征向量。

提取目標(biāo)區(qū)域的周長是為了得出此目標(biāo)區(qū)域的圓形度特征參數(shù)；提取目標(biāo)區(qū)域的面積是為了得出此目標(biāo)區(qū)域的圓形度、矩形度等特征參數(shù)，還可根據(jù)面積的大小去除一些噪聲。圓形度、矩形度和偏心度可以反映區(qū)域形狀接近圓形的程度，當(dāng)目標(biāo)區(qū)域的圓形度越接近于1，矩形度參數(shù)值越接近于π/4，偏心度參數(shù)越接近于1，則此目標(biāo)區(qū)域的形狀就越接近于圓形，根據(jù)這個(gè)特點(diǎn)就可以找到符合番茄形狀特征的條件。

質(zhì)心是區(qū)域面積的中心，它反映了圖像中物體的位置?；诙祱D像的質(zhì)量分布都是均勻的，所以目標(biāo)區(qū)域的質(zhì)心便與形心重合[10]。在將自然環(huán)境中的番茄果實(shí)識別出來后需要確定其位置，為采摘定位提供數(shù)據(jù)，所以需要準(zhǔn)確地將目標(biāo)區(qū)域的番茄果實(shí)的質(zhì)心提取出來。

3.2 果實(shí)識別

3.2.1 基于反向傳播人工神經(jīng)網(wǎng)絡(luò)（back propagation-artificial neural network, BP-ANN）的果實(shí)識別

人工神經(jīng)網(wǎng)絡(luò)（artificial neural network,ANN）是通過高度非線性進(jìn)行自適應(yīng)、自組織和實(shí)時(shí)學(xué)習(xí)，進(jìn)而達(dá)到處理信息目的的一種網(wǎng)絡(luò)。但是這種網(wǎng)絡(luò)是需要提前知道一些相互對應(yīng)的輸入－輸出數(shù)據(jù)，通過對這些數(shù)據(jù)進(jìn)行分析，找出它們之間遵循的規(guī)律，這個(gè)過程就稱之為訓(xùn)練，訓(xùn)練后的網(wǎng)絡(luò)再對新的輸入數(shù)據(jù)進(jìn)行分析，得到輸出結(jié)果[11]。

人工神經(jīng)網(wǎng)絡(luò)目前已被廣泛地應(yīng)用于圖像處理與識別、字符識別、語音識別、圖案識別和分類、過程控制和優(yōu)化等領(lǐng)域[12]。對人工神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用已經(jīng)獲得了較大的成果。當(dāng)前，已經(jīng)研發(fā)的神經(jīng)網(wǎng)絡(luò)模型接近40 種，最常用的神經(jīng)網(wǎng)絡(luò)包括感知器、BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)等。

BP神經(jīng)網(wǎng)絡(luò)是允許包含多個(gè)隱含層的網(wǎng)絡(luò)，具有處理線性不可分問題的能力[13-14]。該網(wǎng)絡(luò)算法預(yù)測精度高，可實(shí)現(xiàn)參數(shù)自動修正，且對全局最優(yōu)解有著良好的逼近能力[15]，解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，對神經(jīng)網(wǎng)絡(luò)的發(fā)展起到了極大的促進(jìn)作用。

提取番茄目標(biāo)的特征參數(shù)后，利用這些特征參數(shù)建立BP 神經(jīng)網(wǎng)絡(luò)算法。實(shí)驗(yàn)選擇3 層BP 神經(jīng)網(wǎng)絡(luò)[16]對自然環(huán)境中的番茄進(jìn)行識別：輸入層采用3 個(gè)神經(jīng)元，分別是在前面特征提取部分已經(jīng)處理好的番茄果實(shí)目標(biāo)區(qū)域的圓形度、矩形度和偏心度3 個(gè)特征值；隱含層采用7 個(gè)神經(jīng)元；輸出層為1 個(gè)神經(jīng)元。輸出為1 表示判定為番茄目標(biāo)，輸出為0表示判定為非番茄目標(biāo)。部分實(shí)驗(yàn)結(jié)果如圖4 所示：圖4A、B 顯示，該算法對無遮擋和被枝葉等背景遮擋的番茄能夠成功識別，定位較準(zhǔn)；圖4C 顯示，對于紅色番茄間相互重疊的情況，錯誤地將其識別為一個(gè)目標(biāo)；圖4D顯示，面對紅色和綠色番茄間的重疊情況時(shí)可以很好地識別出成熟的紅色番茄目標(biāo)。

圖4 BP神經(jīng)網(wǎng)絡(luò)的識別結(jié)果Fig.4 Recognition results based on BP neural network

在對實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)時(shí)，為更好地分析結(jié)果，將番茄按照其著生情況分為3 類：1）沒有被任何背景所遮擋的番茄果實(shí)數(shù)是234 個(gè)；2）只被枝葉等背景信息所遮擋，沒有與其他番茄果實(shí)重疊的番茄果實(shí)數(shù)是156 個(gè)；3）番茄果實(shí)之間相互重疊的有305 個(gè)。共有番茄果實(shí)695 個(gè)。對于不同目標(biāo)圖像的識別率如表1 所示。從中可見，BP 神經(jīng)網(wǎng)絡(luò)算法對無遮擋和被枝葉等背景信息遮擋的果實(shí)識別率比較高，但對于相互重疊的番茄果實(shí)的識別率特別低。該算法的識別時(shí)間大多在0～2 s 之間，對單個(gè)果實(shí)目標(biāo)比對多個(gè)果實(shí)目標(biāo)的識別稍快。

表1 BP神經(jīng)網(wǎng)絡(luò)算法得出的識別結(jié)果Table 1 Recognition results obtained by BP neural network algorithm

3.2.2 基于圓擬合算法的果實(shí)識別

番茄的輪廓一般被近似地看成圓形，而經(jīng)常使用Hough變換方法來提取目標(biāo)的圓形特征[17]。本研究也采用Hough 變換方法進(jìn)行識別，雖然該方法對番茄果實(shí)之間重疊的部分有較好的輪廓識別，在提高識別率上也有一定的效果，但識別結(jié)果的輪廓經(jīng)常出現(xiàn)斷裂、缺失等情況，得出的結(jié)果并不理想，導(dǎo)致識別率降低和準(zhǔn)確性下降。因此，本研究對Hough 變換方法進(jìn)行了改進(jìn)，采用圓擬合的方法對目標(biāo)果實(shí)的輪廓進(jìn)行提取識別，部分實(shí)驗(yàn)結(jié)果如圖5所示。

圓擬合算法的識別時(shí)間大多在0～2 s 之間，對單個(gè)果實(shí)目標(biāo)比對多個(gè)果實(shí)目標(biāo)的識別稍快。識別率如表2 所示：對無遮擋的番茄果實(shí)的識別率達(dá)到93.58%，對被枝葉等背景信息遮擋的番茄果實(shí)的識別率達(dá)到89.74%，這2 類的識別率達(dá)到要求，且圓擬合算法的綜合識別率達(dá)到90.07%，重點(diǎn)是對于相互重疊的番茄果實(shí)的識別率也達(dá)到了87.54%。這就解決了前面幾種算法對于相互重疊的番茄果實(shí)的識別率特別低的難題。

圖5 基于圓擬合算法的識別結(jié)果Fig.5 Recognition results based on circle fitting algorithm

表2 圓擬合算法得出的識別結(jié)果Table 2 Recognition results obtained by circle fitting algorithm

3.2.3 2 種識別方法結(jié)果的對比

圓擬合算法對無遮擋和被枝葉等背景信息遮擋的果實(shí)的識別率分別為93.58%和89.74%，稍低于BP 神經(jīng)網(wǎng)絡(luò)算法的97.00%和92.94%，主要原因在于無遮擋的番茄果實(shí)受到成熟度和光照強(qiáng)度等因素影響，造成分割后圖像果實(shí)目標(biāo)部分缺失；被背景信息遮擋的番茄果實(shí)目標(biāo)也會部分缺失。當(dāng)果實(shí)缺失部分較多時(shí)就會造成利用圓擬合算法識別時(shí)得出的半徑較小，在去除非目標(biāo)物時(shí)目標(biāo)物被當(dāng)作非目標(biāo)去除了，導(dǎo)致目標(biāo)物無法被成功識別。但是，這2部分的識別率相差3百分點(diǎn)左右，差異不顯著。而對于相互重疊的番茄果實(shí)的識別，圓擬合算法識別率為87.54%，遠(yuǎn)遠(yuǎn)高于BP 神經(jīng)網(wǎng)絡(luò)算法的52.13%，主要原因在于BP 神經(jīng)網(wǎng)絡(luò)算法在對大部分重疊果實(shí)識別時(shí)不能區(qū)分開重疊區(qū)域，最終將其作為一個(gè)番茄果實(shí)識別，導(dǎo)致識別率很低；而圓擬合算法有效地解決了對重疊番茄目標(biāo)圖像的識別問題。圓擬合算法總的識別率為90.07%，遠(yuǎn)高于BP神經(jīng)網(wǎng)絡(luò)算法的76.40%，在識別速度方面2種算法基本一致，都是對單個(gè)果實(shí)目標(biāo)的識別比對多個(gè)果實(shí)目標(biāo)稍快。所以，采用圓擬合算法作為番茄采摘機(jī)器人識別系統(tǒng)的識別方法更優(yōu)。

4 結(jié)論

本研究以自然環(huán)境中的番茄圖像為研究對象，鑒于在自然環(huán)境中會受到背景中的光線、土壤、枝葉等噪聲和果實(shí)之間相互重疊的影響，首先采用RG 色差算法對圖像的目標(biāo)和背景進(jìn)行預(yù)處理，使二者呈現(xiàn)明顯差異，然后采用邊緣檢測、分水嶺分割和閾值分割算法對預(yù)處理后的圖像進(jìn)行目標(biāo)和背景分割處理。通過對比各種方法的實(shí)驗(yàn)結(jié)果可知，采用閾值分割中的最大類間方差法效果最優(yōu)；再次，采用數(shù)學(xué)形態(tài)學(xué)方法對分割后的圖像進(jìn)行簡單去噪處理，進(jìn)而進(jìn)行特征提取和識別，建立了基于BP 神經(jīng)網(wǎng)絡(luò)的識別算法和圓擬合的識別算法。從識別結(jié)果來看，圓擬合算法對無遮擋和由于枝葉等遮擋的果實(shí)識別率很高，對相互重疊的番茄果實(shí)的識別率也比較好，最終總的識別率達(dá)到90.07%。同時(shí)，圓擬合算法還能夠較準(zhǔn)確地得到果實(shí)中心，并且獲得的擬合圓的半徑與番茄果實(shí)的半徑也基本一致，即得到紅色番茄果實(shí)的輪廓、質(zhì)心和半徑，進(jìn)而定位果實(shí)目標(biāo)。此研究為后續(xù)的采摘工作打下了堅(jiān)實(shí)的理論基礎(chǔ)，可以應(yīng)用于采摘機(jī)器人的識別系統(tǒng)。本研究對多個(gè)果實(shí)目標(biāo)的識別稍慢，所以提高算法的執(zhí)行速度是下一步研究工作的重點(diǎn)內(nèi)容；同時(shí)，實(shí)驗(yàn)過程中番茄圖像采集的顏色類型較少，只針對紅色或者橘紅色番茄進(jìn)行采集，后續(xù)可開展針對多種顏色如黃色、綠色和花紋色等類型的番茄識別算法研究，提高算法的適應(yīng)性。