機(jī)器視覺(jué)技術(shù)在水果采摘機(jī)器人中的應(yīng)用*

鄭如新，孫青云，張 可，程 冬，徐 鵬

（南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037）

我國(guó)是一個(gè)發(fā)展中國(guó)家，同時(shí)也是一個(gè)農(nóng)業(yè)大國(guó)，而農(nóng)業(yè)的種植和收獲問(wèn)題也一直影響著我國(guó)社會(huì)的發(fā)展。自進(jìn)入21 世紀(jì)以來(lái)，隨著科技的進(jìn)步及社會(huì)的發(fā)展，農(nóng)業(yè)的發(fā)展方向也逐漸由人工轉(zhuǎn)為機(jī)械化，由自動(dòng)化轉(zhuǎn)為人工智能化。要使農(nóng)業(yè)發(fā)展逐漸智能化，需要將圖像處理技術(shù)應(yīng)用到農(nóng)業(yè)領(lǐng)域，提高農(nóng)業(yè)生產(chǎn)效率。農(nóng)業(yè)的智能化作為一個(gè)新興的發(fā)展模式，能夠提高農(nóng)業(yè)生產(chǎn)和管理效率，減少不必要的人力、物力和財(cái)力，這其中人工智能技術(shù)發(fā)揮了至關(guān)重要的作用[1]，智能化的水果采摘機(jī)器人也應(yīng)運(yùn)而生。

1 機(jī)器視覺(jué)技術(shù)研究現(xiàn)狀

目前，我國(guó)生產(chǎn)了大量的林果以及農(nóng)作物，如果僅靠人工采收，難以實(shí)現(xiàn)農(nóng)業(yè)的智能化和自動(dòng)化，將機(jī)器視覺(jué)技術(shù)應(yīng)用到植物采摘中是非常有必要的。越來(lái)越多的機(jī)構(gòu)和相關(guān)領(lǐng)域?qū)＜议_(kāi)始對(duì)農(nóng)業(yè)的智能化進(jìn)行研究，國(guó)內(nèi)的機(jī)器人采摘技術(shù)發(fā)展迅速，但智能化采摘機(jī)器人還處于初始研究階段，且研究部門(mén)主要是各大高校和農(nóng)業(yè)機(jī)械研究院[2]。

1.1 圖像的預(yù)處理

要使機(jī)械手精準(zhǔn)采摘目標(biāo)水果，就必須對(duì)目標(biāo)植物進(jìn)行識(shí)別操作，圖像識(shí)別是采摘的前提。圖像識(shí)別分為圖像預(yù)處理、圖像的分割和特征的識(shí)別等。

在進(jìn)行圖像處理之前，還需要對(duì)圖像進(jìn)行預(yù)處理，主要是為了提高圖像的質(zhì)量，除去一些圖像上的噪聲以及提高圖像的清晰度等。典型的去噪的方法有均值濾波、中值濾波、維納濾波和形態(tài)學(xué)方法等。

蘇博妮等[3]先對(duì)彩色草莓圖像添加方差為0.02 的椒鹽噪聲，然后利用均值濾波、中值濾波、維納濾波分別對(duì)草莓圖像進(jìn)行預(yù)處理研究，最后發(fā)現(xiàn)中值濾波的效果最好，對(duì)椒鹽噪聲去除得比較徹底，草莓的紋理細(xì)節(jié)清晰，圖像背景噪聲也幾乎看不出來(lái)，因而其去噪效果比均值濾波和維納濾波都好。均值濾波去噪效果比維納濾波效果稍好，但均值濾波會(huì)使草莓邊緣細(xì)節(jié)模糊。

蔣煥煜等[4]對(duì)成熟的番茄進(jìn)行識(shí)別和定位，但是在經(jīng)過(guò)圖像分割之后圖像中仍有許多像素以噪聲的形式存在，這些噪聲主要是背景區(qū)域的像素被認(rèn)為是目標(biāo)對(duì)象或是番茄部分被誤判為背景而形成的。之后利用了形態(tài)學(xué)處理方法中的開(kāi)環(huán)運(yùn)算，成功消除了背景中的噪聲。

李振雨等[5]研究蘋(píng)果的識(shí)別定位，為了更好地突出蘋(píng)果果實(shí)圖像，需對(duì)圖像進(jìn)行直方圖均衡化的預(yù)處理，使用直方圖均衡化函數(shù)對(duì)灰度值進(jìn)行調(diào)整，從而擴(kuò)大前景和背景灰度的差別，以實(shí)現(xiàn)對(duì)比度的增強(qiáng)，更好地提高了圖像的質(zhì)量。

上海交通大學(xué)的Zeng Q B 等[6]對(duì)重疊的植物果實(shí)提出了一種基于雙邊濾波算法的預(yù)處理方式，該算法可以很好地解決因模糊邊界而導(dǎo)致的邊界信息的丟失，可以有效地平滑灰度圖像，去除許多小細(xì)節(jié)，保留邊緣，從而能夠更好地對(duì)圖像進(jìn)行預(yù)處理。

1.2 目標(biāo)的識(shí)別與分割

圖像分割是指將圖像中具有特殊意義的不同區(qū)域劃分開(kāi)來(lái)，這些區(qū)域是互不相交的，每一個(gè)區(qū)域滿足灰度、紋理、色彩等特征的某種相似性準(zhǔn)則。圖像分割是圖像處理分析過(guò)程中的重要步驟，圖像分割的方法有基于固定閾值的圖像分割、基于區(qū)域生長(zhǎng)的圖像分割、基于邊緣的圖像分割、基于地形地貌的圖像分割等。其中，基于固定閾值的圖像分割方法是應(yīng)用得最廣泛，能夠快速地將目標(biāo)圖像與背景分割開(kāi)來(lái)的方法。

西安科技大學(xué)的景曉梅[7]在自然環(huán)境下對(duì)蘋(píng)果使用了三種圖像分割方法，分別是閾值法、邊緣檢測(cè)法以及K-means聚類(lèi)算法，并分析了這三種方法的優(yōu)缺點(diǎn)，最后通過(guò)實(shí)驗(yàn)的比較，發(fā)現(xiàn)K-means 聚類(lèi)算法在Lab 顏色空間模型中，可以將蘋(píng)果圖像很好地從背景中分割開(kāi)，但是在光照不均勻的條件下會(huì)造成分割困難，因此，此類(lèi)算法對(duì)于光照的要求很?chē)?yán)格。

北京工業(yè)大學(xué)的王麗麗[8]對(duì)番茄的識(shí)別定位進(jìn)行了研究，他們通過(guò)采用Otsu 算法和橢圓模板法對(duì)成熟的番茄進(jìn)行圖像分割，然后選擇包含番茄彩色圖像的矩形區(qū)域，得到匹配點(diǎn)的三維坐標(biāo)。實(shí)驗(yàn)表明，該方法識(shí)別出成熟番茄的成功率為99%。

重慶理工大學(xué)的胡友呈等[9]使用一種基于區(qū)域特征的成熟柑橘果實(shí)及枝葉的分割識(shí)別方法。該方法主要使用的是支持向量機(jī)算法（Support Vector Machine,SVM）對(duì)成熟的柑橘進(jìn)行了圖像分割。該方法首先分析了柑橘的顏色特征，然后利用顏色信息的映射關(guān)系，進(jìn)行特征降維，減少參數(shù)數(shù)量，最后獲得最佳的圖像ROI 區(qū)域，減少搜索區(qū)域，從而提高算法的時(shí)效性。該算法對(duì)外界環(huán)境的抗干擾能力較強(qiáng)，穩(wěn)定性較好。

1.3 圖像的特征匹配

當(dāng)把圖像成功地分割出來(lái)后，就需要對(duì)圖像進(jìn)行特征匹配處理。圖像的識(shí)別需要對(duì)圖像進(jìn)行特征匹配，簡(jiǎn)單地說(shuō)，就是找出從一幅圖像到另一幅圖像中對(duì)應(yīng)點(diǎn)的最佳變換位置。特征匹配方法主要分為基于灰度值相關(guān)的辦法和特征提取方法。

上海交通大學(xué)的金理鉆[10]研究了黃瓜采摘機(jī)器人，也是采用了基于紋理特征的提取方法進(jìn)行特征的匹配，最后得出結(jié)論，由灰度共生矩陣能夠算出14 種紋理特征。盡管此矩陣提取的紋理特征具有不錯(cuò)的分類(lèi)能力，但是這么多的計(jì)算量，實(shí)際上也不可取，因此有人不斷地對(duì)其進(jìn)行改進(jìn)。

仲愷農(nóng)業(yè)工程學(xué)院的張瑞華等[11]針對(duì)獼猴桃的識(shí)別，考慮到獼猴桃的特殊外形，采用了Hough 變換的方法對(duì)獼猴桃進(jìn)行特征匹配。由于完整的一幅圖像會(huì)占據(jù)比較多的背景區(qū)域，而背景區(qū)域越多，對(duì)圖像的識(shí)別就越復(fù)雜，可以采用最小外接矩形的方法劃出圖像中的目標(biāo)區(qū)域，縮小運(yùn)用橢圓形擬合獼猴桃果實(shí)的處理面積，同時(shí)也提高了運(yùn)行效率。

上述特征匹配方式始終存在一些缺點(diǎn)，在部分比較復(fù)雜的外界條件中，上述方法可能并不適用，會(huì)導(dǎo)致特征提取效果較差。

上海理工大學(xué)的張純純等[12]運(yùn)用了基于深度學(xué)習(xí)的YOLO 算法對(duì)目標(biāo)物體進(jìn)行特征匹配，其結(jié)果是YOLO 算法能精準(zhǔn)檢測(cè)出目標(biāo)物體并用矩形框出。

中科院的甘露[13]運(yùn)用了基于改進(jìn)的多尺度融合的SSD深度學(xué)習(xí)的模型，并且實(shí)現(xiàn)了多尺度融合的小目標(biāo)檢測(cè)算法，提升了小目標(biāo)檢測(cè)的準(zhǔn)確率。

不管是通過(guò)紋理特征和顏色特征對(duì)目標(biāo)進(jìn)行特征匹配，還是通過(guò)一些深度學(xué)習(xí)和卷積神經(jīng)的算法改進(jìn)，都是為了進(jìn)行圖像的特征匹配。考慮到每一種方法都有自己的優(yōu)點(diǎn)和缺點(diǎn)，因此在一些特殊的情況下可以聯(lián)合使用多種特征匹配方法，以便更好地進(jìn)行圖像的特征匹配。

1.4 植物采摘的定位技術(shù)

在世界坐標(biāo)系中確定水果采摘點(diǎn)是最后一個(gè)重要的步驟，定位的準(zhǔn)確與否直接關(guān)系后面的采摘是否能夠成功。近年來(lái)，許多國(guó)內(nèi)外學(xué)者都對(duì)植物采摘定位技術(shù)進(jìn)行了研究，也取得了一些很好的成果。

定位功能模塊是使用雙目立體視覺(jué)從不同角度獲取目標(biāo)的2 幅圖像，并基于視差原理獲取物體三維幾何信息，同時(shí)獲得圖像的深度信息并進(jìn)行測(cè)距，得到三維坐標(biāo)[14]。

攝像機(jī)獲得原始圖像信息通過(guò)一系列圖像處理過(guò)程后，可以將果實(shí)目標(biāo)從背景中分割出來(lái)，進(jìn)而利用雙目視覺(jué)具備檢測(cè)物體立體信息的特點(diǎn)計(jì)算出果實(shí)的空間位置信息。

佳木斯大學(xué)的顏申等[15]針對(duì)橘類(lèi)水果進(jìn)行了識(shí)別定位系統(tǒng)的設(shè)計(jì)，他們鑒于橘類(lèi)水果的輪廓近似圓形，使用霍夫變換的圓檢測(cè)方法對(duì)目標(biāo)進(jìn)行識(shí)別定位，實(shí)驗(yàn)結(jié)果能夠達(dá)到80%的準(zhǔn)確率。但是，在有樹(shù)枝樹(shù)葉的遮擋或者光照不均勻的情況下，識(shí)別率只能達(dá)到60%左右。

河北農(nóng)業(yè)大學(xué)的司永勝等[16]提出了利用歸一化的紅綠色差(R-G)/(R+G)分割蘋(píng)果的方法，對(duì)不同光照情況下拍攝的蘋(píng)果圖像進(jìn)行識(shí)別與定位。結(jié)果顯示，該方法能夠很好地消除由于光照不均勻而產(chǎn)生陰影所帶來(lái)的影響，定位的準(zhǔn)確率能夠達(dá)到92%。

浙江大學(xué)的項(xiàng)榮[17]在識(shí)別定位番茄的過(guò)程中采用了三類(lèi)立體匹配的番茄定位方法，并進(jìn)行了研究。與單純基于區(qū)域匹配的方法相比，其具有較小匹配計(jì)算量的優(yōu)點(diǎn)。

天津理工大學(xué)的趙輝等[18]根據(jù)蘋(píng)果的空間定位提出了一種LCCP 算法，對(duì)蘋(píng)果點(diǎn)云進(jìn)行實(shí)例化分割。實(shí)驗(yàn)表明，該LCCP 算法能夠高效地對(duì)空間果實(shí)進(jìn)行識(shí)別，對(duì)多果實(shí)且存在層疊遮擋的情況亦能取得不錯(cuò)的效果，能夠?qū)埲秉c(diǎn)云進(jìn)行較為精確的擬合，以此獲取果實(shí)的形狀與位置信息。

2 機(jī)器視覺(jué)技術(shù)在水果采摘機(jī)器人中應(yīng)用存在的問(wèn)題

在水果采摘機(jī)器人的應(yīng)用中，機(jī)器視覺(jué)扮演了舉足輕重的角色。機(jī)器視覺(jué)技術(shù)在水果采摘機(jī)器人中具有識(shí)別目標(biāo)水果的外觀以及準(zhǔn)確定位的功能，同時(shí)還能對(duì)周?chē)沫h(huán)境進(jìn)行實(shí)時(shí)勘察，但是大部分的機(jī)器都處于實(shí)驗(yàn)室研究階段，目前的研究中存在的問(wèn)題有以下幾點(diǎn)。

2.1 視覺(jué)的響應(yīng)處理速度受算法影響大

水果采摘機(jī)器人主要由行走模塊、視覺(jué)模塊、控制模塊和末端執(zhí)行模塊四部分組成。采摘機(jī)器人的視覺(jué)系統(tǒng)主要是由2個(gè)相同型號(hào)的工業(yè)相機(jī)通過(guò)連接板固定搭建而成，再配上圖像采集卡以及需要的光源設(shè)備等。水果采摘作業(yè)所需要的視覺(jué)識(shí)別、定位精度和速度要低于一般工業(yè)應(yīng)用要求，因此識(shí)別和響應(yīng)速率取決于算法及其程序的時(shí)間復(fù)雜度。

2.2 識(shí)別的準(zhǔn)確率容易受到外界因素影響

在水果采摘機(jī)器人中，水果識(shí)別準(zhǔn)確率的高低會(huì)直接影響末端執(zhí)行機(jī)構(gòu)的準(zhǔn)確采摘。農(nóng)業(yè)采摘機(jī)器人不同于工業(yè)機(jī)器人，農(nóng)業(yè)機(jī)器人需要適應(yīng)各種田間復(fù)雜的作業(yè)環(huán)境；而水果的生長(zhǎng)是隨機(jī)的，生長(zhǎng)的差異性也決定了水果采摘機(jī)器人識(shí)別率的高低。例如，有的水果有枝葉的遮擋，還有的水果會(huì)生長(zhǎng)在一起，造成水果的重疊遮擋，這些都會(huì)影響水果采摘機(jī)器人的識(shí)別率。

3 結(jié)束語(yǔ)

綜上所述，水果采摘機(jī)器人已經(jīng)得到了廣泛的運(yùn)用，但是在運(yùn)用的同時(shí)還存在著一些不足：

1）在針對(duì)水果植物方面的圖像處理上，有的算法在遇到重疊或者遮擋時(shí)并不能夠準(zhǔn)確快速地分割出目標(biāo)物體。同時(shí)在自然環(huán)境下，由于受到光照、噪聲等一些外界條件的影響，算法的適用性和魯棒性較差。

2）自然環(huán)境存在許多不確定因素，如光線問(wèn)題、地理?xiàng)l件問(wèn)題等，會(huì)導(dǎo)致水果采摘機(jī)器人對(duì)需要采摘的作物難以達(dá)到準(zhǔn)確識(shí)別的效果。因此，要想讓視覺(jué)采摘機(jī)器人充分地運(yùn)用于現(xiàn)實(shí)之中還有待研究。

文章根據(jù)目前水果采摘機(jī)器人存在的不足提出以下幾點(diǎn)建議：

1）優(yōu)化視覺(jué)算法。對(duì)于長(zhǎng)相形狀不同、品種也不相同的水果，可以從水果的形狀方面考慮優(yōu)化一些識(shí)別算法。針對(duì)長(zhǎng)相形狀比較相似但種類(lèi)不同的水果，可以考慮使用顏色算法去識(shí)別，因?yàn)轭伾图y理是水果特有的特征，這樣就可以避免因形狀相似而無(wú)法識(shí)別的問(wèn)題。

2）改善機(jī)器人的作業(yè)環(huán)境。水果采摘機(jī)器人大多是在田間工作，而田間的作業(yè)環(huán)境都是屬于非結(jié)構(gòu)化環(huán)境，因此在種植水果時(shí)可以考慮加入一些科學(xué)化的、規(guī)范化的種植方式，使水果可以生長(zhǎng)得比較均勻，這樣就會(huì)降低圖像處理的難度。