基于機(jī)器視覺的林果識(shí)別定位技術(shù)進(jìn)展分析

鄭如新， 孫青云， 肖國棟， 馬素慧

(1.南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037；2.天津微深科技有限公司，天津 300000；3.河北科技師范學(xué)院機(jī)電工程學(xué)院，河北 秦皇島 066000)

我國是一個(gè)農(nóng)業(yè)大國，農(nóng)林業(yè)自然就在我國占據(jù)舉足輕重的地位。從改革開放以來，我國各類林果栽植總面積和總產(chǎn)量一直穩(wěn)居世界第一。我國農(nóng)林業(yè)的產(chǎn)量每年都在逐步增加，到了2019年我國各類林果種植面積突破1 500萬畝[1-2]，林果產(chǎn)業(yè)的發(fā)展迅速進(jìn)入了市場(chǎng)，但是在林果成熟的同時(shí)，也面臨著收獲問題。林果收獲是一個(gè)季節(jié)性較強(qiáng)和勞動(dòng)密集型的工作，據(jù)了解林果采摘所用勞動(dòng)力占整個(gè)生產(chǎn)過程所用勞動(dòng)力的30%～40%[3-4]。目前，我國的林果收獲大多數(shù)還是靠人工來完成，從種植、養(yǎng)護(hù)，最后到收獲，基本上離不開人工的干預(yù)[5]。由于林果特殊的種植和生長特點(diǎn)，傳統(tǒng)人工采收作業(yè)勞動(dòng)強(qiáng)度大，耗費(fèi)時(shí)間多，長時(shí)間作業(yè)更會(huì)導(dǎo)致人工疲勞，效率低下，嚴(yán)重影響了林果產(chǎn)業(yè)鏈更快、更好地向前發(fā)展。由于勞動(dòng)成本過高，人口老齡化的加劇，使用人工去完成林果的采摘更是難上加難，因此使用機(jī)械代替人工完成林果采摘迫在眉睫，也是以后農(nóng)林業(yè)發(fā)展的必然趨勢(shì)，將農(nóng)業(yè)機(jī)械引入到林果的采摘中，不僅降低了勞動(dòng)強(qiáng)度提高了效率，還能保證林果的質(zhì)量[6-7]。

可以預(yù)見，在林果采摘過程中融合機(jī)器視覺技術(shù)，將顯著提高當(dāng)前我國農(nóng)林業(yè)生產(chǎn)產(chǎn)業(yè)化效率和智能化水平，有力推動(dòng)農(nóng)業(yè)機(jī)械的改造升級(jí)，使得農(nóng)業(yè)機(jī)械更加自動(dòng)化、智能化[8]。本文將闡述近年來機(jī)器視覺算法及理論在林果識(shí)別[9]、林果定位[10]、林果缺陷檢測(cè)[11]等采摘中的應(yīng)用現(xiàn)狀，通過比較相關(guān)算法及理論的優(yōu)缺點(diǎn)，分析當(dāng)前機(jī)器視覺技術(shù)在林果采摘中應(yīng)用的不足，提出今后的發(fā)展方向，意為機(jī)器視覺技術(shù)在林果采摘中的應(yīng)用尋找新的突破點(diǎn)并為我國農(nóng)業(yè)的智能化、自動(dòng)化發(fā)展貢獻(xiàn)綿薄之力。

1 機(jī)器視覺

機(jī)器視覺技術(shù)首先在國外開始發(fā)展起來，在20世紀(jì)50年代時(shí)機(jī)器視覺技術(shù)剛開始起步，應(yīng)用范圍比較小，只能做一些簡單的平面圖像處理。經(jīng)過十多年的發(fā)展，機(jī)器視覺技術(shù)開始慢慢向三維上面去應(yīng)用。他是一種使用計(jì)算機(jī)來模擬人類視覺，并且使用軟件算法來對(duì)相機(jī)采集到的圖像進(jìn)行分析和理解，以進(jìn)行自動(dòng)識(shí)別和定位的過程。到目前為止，機(jī)器視覺經(jīng)過了半個(gè)多世紀(jì)的發(fā)展，已經(jīng)廣泛地應(yīng)用于工業(yè)、醫(yī)療保險(xiǎn)、航空航天、軍事等各個(gè)領(lǐng)域，在國民經(jīng)濟(jì)中發(fā)揮著越來越大的作用[12-14]。

機(jī)器視覺就像人類的眼睛，通過眼睛對(duì)目標(biāo)物體進(jìn)行識(shí)別定位，即先通過視覺傳感器(相機(jī)、鏡頭、光源等)獲取目標(biāo)圖像，再對(duì)獲取到的圖像進(jìn)行算法處理。在應(yīng)用方面，機(jī)器視覺也與“機(jī)器”聯(lián)系密切。當(dāng)視覺軟件完成圖像檢測(cè)后，緊接著就要和外部單元進(jìn)行通信，以完成對(duì)機(jī)器設(shè)備的運(yùn)動(dòng)控制[15]。

2 機(jī)器視覺在林果識(shí)別中的應(yīng)用

林果產(chǎn)業(yè)是繼糧食和蔬菜之后我國農(nóng)業(yè)的第三大產(chǎn)業(yè)，在我國農(nóng)業(yè)方面扮演著重要的角色，是我國農(nóng)業(yè)方面的支柱產(chǎn)業(yè)[16]。林果包含蘋果、柑橘、葡萄、核桃、草莓等，都具有豐富的維生素。目前，我國林果種植規(guī)模和產(chǎn)量已經(jīng)達(dá)到了世界首位[17-20]，如果一直依靠人工來采摘林果，長此以往不僅效率低下，而且無法滿足我國農(nóng)業(yè)機(jī)械朝著智能化、自動(dòng)化方向的發(fā)展。因此，將智能化的農(nóng)業(yè)機(jī)械引入林果的采摘中十分有必要。近年來隨著人工智能的不斷發(fā)展，機(jī)器視覺被運(yùn)用到智能化林果采摘機(jī)械中，該技術(shù)能夠做到人類無法實(shí)現(xiàn)的功能。機(jī)器視覺技術(shù)的發(fā)展對(duì)計(jì)算機(jī)輔助目視識(shí)別定位技術(shù)在林果識(shí)別定位中的應(yīng)用起著舉足輕重的作用，常被應(yīng)用于林果識(shí)別、林果定位、林果缺陷檢測(cè)等多項(xiàng)工作中[21]。

2.1 林果識(shí)別

林果的識(shí)別一般是林果采摘的第一步，通過相機(jī)對(duì)不同形狀的林果進(jìn)行特征識(shí)別，提取出林果中共同的特征，再通過這些特征去識(shí)別[22-24]。近年來有許多學(xué)者對(duì)于林果的識(shí)別做出了大量的研究工作，出現(xiàn)了許多相關(guān)的研究成果。美國學(xué)者Schertz和Brown在1968年率先提出自動(dòng)采摘機(jī)器人對(duì)林果進(jìn)行收獲的構(gòu)想[25]，其中最重要的部分就是對(duì)林果進(jìn)行識(shí)別和定位，因此視覺系統(tǒng)是果蔬機(jī)器人的重要組成部分。Arman Arefi[26]等提出了一種新的利用機(jī)器視覺系統(tǒng)引導(dǎo)機(jī)器人臂挑選成熟番茄的分割算法，在溫室條件下共采集了110張番茄圖像，并且利用顏色空間模型RGB、HSV和YIQ來對(duì)番茄背景進(jìn)行分割，從后面的背景中成功提取出番茄，再通過組合空間模型的方法，將背景進(jìn)行細(xì)化，提取出的目標(biāo)更加完整。研究結(jié)果表明，該算法的總精度可以達(dá)到96.36%。A.R.Jimenez[27]等利用了激光測(cè)距儀對(duì)鱷梨進(jìn)行識(shí)別，原理是紅外激光測(cè)距儀傳感器，提供射程和反射率圖像，通過生成4個(gè)特征元，來證明該處存在目標(biāo)物體，最后通過三維位置、半徑和表面反射率來進(jìn)行外界輸出，結(jié)果表明，該系統(tǒng)具有良好的鱷梨檢測(cè)率。David C.Slaughter[28]等對(duì)柑橘識(shí)別進(jìn)行研究，先僅利用數(shù)字彩色圖像中的顏色信息來區(qū)分橘子和橘子林的自然背景，再通過利用貝葉斯分類器正確地對(duì)所分析的自然場(chǎng)景中75%以上的柑橘像素進(jìn)行了分類，最后表明，可以為60 Hz幀率的機(jī)器人機(jī)械手提供指導(dǎo)信息。高橋照夫等對(duì)蘋果的識(shí)別進(jìn)行了深入研究，他們?cè)囼?yàn)了多種算法，探究了果實(shí)在不同顏色時(shí)的有效探測(cè)范圍。結(jié)果表明當(dāng)蘋果的顏色為紅色時(shí)，探測(cè)范圍為 1.5～5.5 m，當(dāng)蘋果的顏色呈現(xiàn)黃綠色時(shí)，探測(cè)范圍為2～4 m。最終的測(cè)距誤差約為5%。E.J.Van Henten[29]等研究了A*-search算法，同時(shí)結(jié)合路徑搜索算法生成了無碰撞的機(jī)械器運(yùn)動(dòng)，使得黃瓜采摘機(jī)器人能夠順利識(shí)別并定位到黃瓜所在位置，實(shí)現(xiàn)采摘的全過程。結(jié)果表明，該方法對(duì)于七自由度采摘機(jī)器人能夠?qū)崿F(xiàn)無碰撞運(yùn)動(dòng)，其視覺系統(tǒng)經(jīng)過實(shí)驗(yàn)證明溫室中黃瓜的識(shí)別率達(dá)到95%，并且該算法易于實(shí)現(xiàn)，具有較強(qiáng)的魯棒性。李振雨[30]等針對(duì)蘋果采摘機(jī)器人提出了一種蘋果識(shí)別方法，采用角點(diǎn)檢測(cè)的方法，根據(jù)圖像提取的角點(diǎn)來檢測(cè)蘋果圖像曲率，通過計(jì)算曲線段上的多個(gè)像素平均角方向之間的差值對(duì)曲率進(jìn)行平滑處理，獲取圖像曲率集中峰值點(diǎn)，最后對(duì)曲率峰點(diǎn)值進(jìn)行像素坐標(biāo)定位從而實(shí)現(xiàn)對(duì)蘋果的識(shí)別。但是由于在自然生長環(huán)境中蘋果會(huì)產(chǎn)生非結(jié)構(gòu)化的生長，就會(huì)出現(xiàn)有重疊問題，當(dāng)蘋果之間出現(xiàn)遮擋重疊，該方法不適用。劉麗娟[31]等針對(duì)蘋果重疊遮擋問題，提出了一種組合優(yōu)化解決方案。首先通過lab和YUV顏色模型空間中的a、U和V分量將蘋果圖像從背景中提取出來，針對(duì)不規(guī)則蘋果再利用霍夫變換和圓形約束法講目標(biāo)逐一識(shí)別出來。詹文田[32]等基于Adaboost算法，結(jié)合多個(gè)顏色空間模型，通過采集300多個(gè)獼猴桃果實(shí)和背景樣本用分類器進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果表明，采用Adaboost算法能夠非常有效地解決復(fù)雜背景下的天空、樹枝和田地等影響，非常適合于非結(jié)構(gòu)化的獼猴桃場(chǎng)景識(shí)別，并且識(shí)別率高達(dá)96.7%，有效提高了獼猴桃采摘機(jī)器人的工作效率。李元強(qiáng)[33]等針對(duì)葡萄的識(shí)別提出了一種K-Means聚類算法和HSV顏色空間模型分量相結(jié)合的方法，再通過YOLO卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)葡萄圖象進(jìn)行訓(xùn)練，結(jié)果表明，當(dāng)定位距離控制在0.8～1.5 m時(shí)，對(duì)葡萄識(shí)別的誤差小于1%，完全可以滿足葡萄采摘機(jī)器人的工作要求。

在林果的識(shí)別方面，常用的顏色空間模型如RGB、HSV和YIQ等，以及通過組合空間模型能夠?qū)⒛繕?biāo)對(duì)象從背景中分離出來，但是這種方法只適合于林果的單一特征，往往結(jié)果不太精確且泛化力不高，對(duì)于特征不是很明顯的林果往往難以識(shí)別。目前最常用的方法是采用分類器方法進(jìn)行訓(xùn)練，在林果識(shí)別方面常用的分類器包括BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、多層感知機(jī)等，雖然該方法能夠達(dá)到較高的識(shí)別率，但是速度較慢，花費(fèi)的時(shí)間較長，樣本越大花費(fèi)的時(shí)間越長，同時(shí)還會(huì)出現(xiàn)多分類問題的干擾。為了解決這個(gè)問題，在針對(duì)林果識(shí)別中引入深度學(xué)習(xí)方法進(jìn)行識(shí)別，大幅度提高識(shí)別速度和大樣本集帶來的識(shí)別不穩(wěn)定性問題。

2.2 林果定位

林果的定位也是林果采摘機(jī)器人工作中的重要一步，在林果識(shí)別完之后，下一步要做的就是對(duì)林果進(jìn)行目標(biāo)定位。通過對(duì)林果進(jìn)行定位，再將定位好的坐標(biāo)通過線程傳給末端執(zhí)行機(jī)構(gòu)對(duì)林果進(jìn)行采摘，定位功能是雙目相機(jī)分別從兩個(gè)不同的角度去采集相同的目標(biāo)圖像，并基于視差原理獲取物體三維幾何信息，同時(shí)獲得圖像的深度信息，并進(jìn)行測(cè)距，得到三維坐標(biāo)。近些年來，許多的國內(nèi)外學(xué)者都對(duì)林果采摘定位技術(shù)進(jìn)行了研究，也取得了一些很好的成果。

趙輝[34]等提出一種基于RGB-D相機(jī)的蘋果的定位方法，首先通過深度相機(jī)獲取到蘋果的深度信息，再將深度信息與分割出來的蘋果圖像進(jìn)行融合，同時(shí)得到蘋果所在區(qū)域的點(diǎn)云圖像，利用LCCP(locally convex connected patches)算法將點(diǎn)云圖進(jìn)行局部分析細(xì)化，最后使用多線程獲取果實(shí)的半徑以及球心位置。結(jié)果表明，該方法可以很好地獲取蘋果質(zhì)心坐標(biāo)。顏申[35]等針對(duì)柑橘進(jìn)行了識(shí)別定位系統(tǒng)的設(shè)計(jì)，由于柑橘的輪廓形狀近似圓形，因此采用霍夫變換的圓檢測(cè)的方法來對(duì)其目標(biāo)進(jìn)行識(shí)別定位，結(jié)果表明，該方法對(duì)柑橘定位成功率能夠達(dá)到80%，但是在有樹枝樹葉的遮擋或者光照不均勻的情況下識(shí)別率只能達(dá)到60%左右。由于柑橘自身的生長環(huán)境與特點(diǎn)，存在樹葉遮擋或者光照不均勻是無法避免的情況，楊長輝[36]等針對(duì)該情況提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的方法，分類準(zhǔn)則設(shè)置為5種，然后在YOLO v3(You only look once)卷積層模塊中添加3層最大池化層，實(shí)驗(yàn)表明，該方法可以避免周圍障礙物的位置信息成功定位到柑橘位置坐標(biāo)，時(shí)間也減少很多，同時(shí)速度得到了提升。李金彥[37]等針對(duì)枸杞的定位利用Canny邊緣檢測(cè)算法識(shí)別出枸杞輪廓圖像，再結(jié)合最小二乘法進(jìn)行橢圓擬合得到枸杞圖像的質(zhì)心，利用質(zhì)心坐標(biāo)對(duì)枸杞進(jìn)行三維定位，實(shí)驗(yàn)結(jié)果表明，該方法能夠?qū)崿F(xiàn)復(fù)雜背景下枸杞多目標(biāo)的定位，并可推廣到類圓形目標(biāo)的抓取過程。張凱良[38]提出了一種圖像處理與激光輔助測(cè)距相結(jié)合的草莓采摘位置自動(dòng)定位方法，首先利用鏡像匹配法計(jì)算出草莓在自然狀態(tài)下的平面位置信息，進(jìn)一步在激光束的輔助作用下，利用幾何光學(xué)計(jì)算在機(jī)械手方向上的草莓深度信息。結(jié)果表明，該方法的平均計(jì)算時(shí)間為381 ms，測(cè)距最大誤差為1.6 mm，平均誤差為0.5 mm。

近幾年來，運(yùn)用機(jī)器視覺技術(shù)在林果定位方面的應(yīng)用成果有很多，常用的手段包括雙目視覺、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、紅外激光等，常用的智能算法包括遺傳算法(GA)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、支持向量機(jī)(SVM)等機(jī)器學(xué)習(xí)算法。相比較林果識(shí)別而言，深度學(xué)習(xí)在林果的定位中運(yùn)用較為廣泛。從BP神經(jīng)網(wǎng)絡(luò)、SVM等淺層學(xué)習(xí)算法到卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法，林果定位的準(zhǔn)確度不斷提高。

3 機(jī)器視覺在林果檢測(cè)中的應(yīng)用

并不是所有的林果都是完好無損的，林果在一定程度上都會(huì)出現(xiàn)潰爛、傷疤、雨斑等缺陷，因此在林果的采摘工作完成之后，需要對(duì)林果進(jìn)行缺陷檢測(cè)，將有缺陷的林果識(shí)別出來，繼而對(duì)其進(jìn)行分選工作。

邱光應(yīng)[39]等在針對(duì)蘋果缺陷檢測(cè)方面，提出一種基于決策樹支持向量機(jī)(DT-SVM)的蘋果表面缺陷識(shí)別方法。在R通道中利用Otsu法和連通域標(biāo)記法提取目標(biāo)區(qū)域(果梗、花萼和缺陷)的顏色、紋理和形狀特征，最后利用決策樹支持向量機(jī)進(jìn)行識(shí)別。實(shí)驗(yàn)表明，通過采集600幅左右的蘋果照片，利用該方法對(duì)其進(jìn)行缺陷識(shí)別，達(dá)到了97.7%的準(zhǔn)確率。張明[40]等通過采取R-B組合顏色空間模型的方法，提出的一種區(qū)域亮度自適應(yīng)校正算法對(duì)臍橙表面缺陷進(jìn)行檢測(cè)，結(jié)果表明運(yùn)用該方法對(duì)臍橙的潰瘍、薊馬、介殼等缺陷檢測(cè)率達(dá)到95.8%，并且對(duì)每幅圖像的處理時(shí)間為0.29 s。劉陽[41]等利用機(jī)器學(xué)習(xí)的方法對(duì)青梅表面缺陷進(jìn)行了識(shí)別，首先通過單通道灰度圖像提取、圖像濾波、灰度二值化及特征提取等預(yù)處理操作，將青梅從背景中提取出來，再采用高斯混合模型對(duì)青梅圖像進(jìn)行訓(xùn)練，通過348張圖像訓(xùn)練，實(shí)驗(yàn)表明，對(duì)青梅缺陷檢測(cè)結(jié)果達(dá)到94.44%。龔中良[42]等通過HSV顏色空間模型對(duì)柑橘表面進(jìn)行缺陷檢測(cè)，在HSV顏色模型下利用V分量灰度圖邊緣檢測(cè)與形態(tài)學(xué)處理的方法以提取柑橘表面的缺陷特征，最后結(jié)果表明，柑橘表面缺陷檢測(cè)的總體識(shí)別率為92%，所用方法能有效地識(shí)別柑橘表面的缺陷。

在林果檢測(cè)方面，利用機(jī)器學(xué)習(xí)主要體現(xiàn)在對(duì)林果的特征缺陷識(shí)別方面。常用的智能算法有BP神經(jīng)網(wǎng)絡(luò)、模糊算法、蟻群算法以及在這些算法上的改進(jìn)，運(yùn)用這些算法雖可以實(shí)現(xiàn)其功能，但識(shí)別精確度不高，會(huì)出現(xiàn)漏識(shí)、錯(cuò)識(shí)等，可以考慮將人工神經(jīng)網(wǎng)絡(luò)與模糊算法、遺傳算法、專家系統(tǒng)等智能算法相結(jié)合，取長補(bǔ)短；或考慮在林果檢測(cè)過程中引入深度學(xué)習(xí)和互聯(lián)網(wǎng)通信，繼而獲得較高的缺陷檢測(cè)度。

4 結(jié)論與展望

近年來，機(jī)器視覺的發(fā)展突飛猛進(jìn)，但是如何將機(jī)器視覺技術(shù)與林果采摘加工產(chǎn)業(yè)相融合，實(shí)現(xiàn)林果采摘產(chǎn)業(yè)精準(zhǔn)化識(shí)別和智能化控制，從而在可持續(xù)發(fā)展的前提下切實(shí)提高林果生產(chǎn)產(chǎn)業(yè)化效率，是我國林業(yè)發(fā)展中的重要課題。近年來，隨著機(jī)器視覺在林果識(shí)別、林果定位以及林果缺陷檢測(cè)中的應(yīng)用，圖像識(shí)別技術(shù)和機(jī)器學(xué)習(xí)算法的發(fā)展在林果產(chǎn)業(yè)化過程中的作用和影響力越來越大，但機(jī)器視覺技術(shù)與整個(gè)林果采摘部分工序融合的程度還比較低，想要完成整個(gè)采摘過程，還是有技術(shù)瓶頸需要突破。為了加深、加快機(jī)器視覺技術(shù)與林果采摘產(chǎn)業(yè)的融合，引領(lǐng)農(nóng)林化產(chǎn)業(yè)向自動(dòng)化、智能化方向發(fā)展，筆者提出以下建議：

(1)可以將多種算法相配合使用，同時(shí)研究高精度、高效率、魯棒性更強(qiáng)的算法應(yīng)用于林果采摘中，同時(shí)將深度學(xué)習(xí)算法引入到林果采摘的各個(gè)過程中，從而能夠?qū)崿F(xiàn)林果采摘的精準(zhǔn)識(shí)別和智能控制，再通過對(duì)林果的檢測(cè)，挑選出更多的符合市場(chǎng)要求的林果。

(2)由于大部分的林果都是種植在自然的非結(jié)構(gòu)化的環(huán)境中，因此林果采摘機(jī)器人需要進(jìn)入田間工作，這樣非目標(biāo)物體就會(huì)多了很多，需要對(duì)機(jī)器人的作業(yè)環(huán)境做出適當(dāng)改善，在對(duì)林果進(jìn)行種植時(shí)，可以考慮進(jìn)行規(guī)范化種植，控制林果的生長，使其朝著均勻化、規(guī)范化生長，以便減少圖像處理難度。

(3)積極與企業(yè)開展合作，研發(fā)出林果采摘產(chǎn)業(yè)更加智能化的設(shè)備，建立完善林果采摘智能生產(chǎn)體系，形成自主知識(shí)產(chǎn)權(quán)并且逐步取代傳統(tǒng)人工采摘。