采摘機(jī)器人分割與識(shí)別算法的研究現(xiàn)狀

李天華，孫萌，婁偉，2，張觀山，2，李玉華，2，李欽正

（1.山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院，山東 泰安 271018；2.山東省農(nóng)業(yè)裝備智能化工程實(shí)驗(yàn)室，山東 泰安 271018；3.農(nóng)業(yè)部黃淮海設(shè)施農(nóng)業(yè)工程科學(xué)觀測(cè)實(shí)驗(yàn)站，山東 泰安 271018）

采摘是果蔬生產(chǎn)的重要環(huán)節(jié)之一，需要消耗大量的人力、物力。隨著生活水平的提高，人們對(duì)果蔬的需求量逐年上升，而與之相對(duì)的是勞動(dòng)力嚴(yán)重缺乏的問(wèn)題。根據(jù)測(cè)算，我國(guó)自2000年開(kāi)始逐漸進(jìn)入人口老齡化階段，老齡化趨勢(shì)日益嚴(yán)重，預(yù)計(jì)到2025年人口老齡化率達(dá)到14%，進(jìn)入深度老齡化社會(huì)階段，到2035年達(dá)到21%，進(jìn)入超級(jí)老齡化社會(huì)階段［1］；另外，隨著農(nóng)村人口逐漸向城市流動(dòng)等問(wèn)題，農(nóng)村勞動(dòng)力流失嚴(yán)重，勞動(dòng)成本不斷提高。因此，實(shí)現(xiàn)智能化采摘對(duì)于我國(guó)果蔬產(chǎn)業(yè)可持續(xù)發(fā)展尤為迫切，采摘機(jī)器人的研發(fā)成為當(dāng)前研究的熱點(diǎn)。對(duì)于采摘機(jī)器人來(lái)說(shuō)，要準(zhǔn)確高效地完成目標(biāo)果實(shí)的采摘，識(shí)別是關(guān)鍵，直接影響采摘的效率和精度。

人類(lèi)對(duì)于采摘機(jī)器人識(shí)別技術(shù)的研究從很早就已經(jīng)開(kāi)始了，1968年Schertz和Brown［2］就將機(jī)器視覺(jué)引入到了果實(shí)的識(shí)別中，1977年P(guān)arrish等［3］建立了第一個(gè)用于識(shí)別蘋(píng)果的視覺(jué)系統(tǒng)。近年來(lái)有關(guān)分割識(shí)別算法的研究也有很多，這對(duì)于提升采摘機(jī)器人的識(shí)別準(zhǔn)確性具有重要意義。但實(shí)際生產(chǎn)應(yīng)用的采摘環(huán)境復(fù)雜，影響識(shí)別準(zhǔn)確性的因素較多，如何精準(zhǔn)識(shí)別目標(biāo)果實(shí)仍是目前亟待解決的問(wèn)題，這使得采摘機(jī)器人仍難以廣泛應(yīng)用到實(shí)際采摘中。本文綜述了近年來(lái)用于采摘機(jī)器人的分割識(shí)別算法，分析了目前仍面臨的問(wèn)題與挑戰(zhàn)，并對(duì)未來(lái)分割識(shí)別算法的發(fā)展趨勢(shì)進(jìn)行了展望。

1 基于特征的識(shí)別

通常我們?cè)诜直嬉粋€(gè)物體是不是需要的目標(biāo)時(shí)，先會(huì)利用其顏色、形狀以及紋理等特征進(jìn)行直觀判斷。因此，在設(shè)計(jì)采摘機(jī)器人對(duì)目標(biāo)進(jìn)行識(shí)別時(shí)，最直接的方式就是對(duì)目標(biāo)特征進(jìn)行匹配，其中最常用的是基于顏色和形狀特征的分割識(shí)別算法。

1.1 基于顏色特征的分割識(shí)別算法

如果目標(biāo)果實(shí)自身的顏色與背景相差較大，顏色就是區(qū)分目標(biāo)與復(fù)雜自然背景最突出的特征之一，利用該特征，選用合適的顏色空間，就可從圖像中提取出目標(biāo)果實(shí)區(qū)域。

常用的基礎(chǔ)顏色空間有RGB、HIS、Lab、YIQ、YUV、HSV等，選擇或構(gòu)造能使目標(biāo)果實(shí)與背景顏色差異明顯的顏色通道，就可以有效地分割出圖像中的目標(biāo)果實(shí)區(qū)域［4］。如Thendral等［5］基于YIQ、Lab等顏色空間對(duì)目標(biāo)果實(shí)進(jìn)行了分割與識(shí)別；Feng等［6］基于HIS顏色空間對(duì)圖像進(jìn)行了識(shí)別；王曉楠等［7］基于HIS色彩模型對(duì)圖像進(jìn)行了分割識(shí)別；Malik等［8］基于改進(jìn)的HSV將紅色番茄從背景中識(shí)別出來(lái)；Ling等［9］通過(guò)對(duì)RGB圖像進(jìn)行顏色分析，結(jié)合分類(lèi)器實(shí)現(xiàn)了番茄的檢測(cè)識(shí)別。

由于基礎(chǔ)的顏色空間對(duì)某些目標(biāo)的識(shí)別效果會(huì)受到光照環(huán)境的影響，為了降低這種影響，改善識(shí)別效果，有些學(xué)者通過(guò)對(duì)顏色通道進(jìn)行加權(quán)運(yùn)算或組合等處理，突出需要識(shí)別的目標(biāo)，從而提高識(shí)別精度。如Zhou等［10］提出了一種基于色差R-B和G-R的蘋(píng)果識(shí)別算法，用R-B＞40識(shí)別偏綠的蘋(píng)果，R-G＞0識(shí)別紅色的蘋(píng)果；麥春艷等［11］利用色差R-G將目標(biāo)蘋(píng)果圖像從背景中識(shí)別出來(lái)；董建民等［12］通過(guò)融合HSI顏色空間和Lab顏色空間的分割結(jié)果完成對(duì)番茄的識(shí)別。

通過(guò)顏色特征直接分割識(shí)別自身顏色與背景差異較大的目標(biāo)果實(shí)，只需按照基礎(chǔ)顏色空間中的顏色通道進(jìn)行分割，不需要經(jīng)過(guò)建模等過(guò)程就可以達(dá)到較好識(shí)別效果，具有運(yùn)行速度快、準(zhǔn)確度和實(shí)時(shí)性較高等特點(diǎn)。而對(duì)于一些在單一基礎(chǔ)顏色空間中無(wú)法達(dá)到較好識(shí)別效果的目標(biāo)，可以通過(guò)對(duì)顏色通道進(jìn)行組合等處理獲得較好地識(shí)別效果，但不同顏色通道的組合過(guò)程比較困難，且適用的目標(biāo)有限。

1.2 基于形狀特征的分割識(shí)別算法

形狀也是識(shí)別果實(shí)的重要特征性狀，因此利用形狀特征對(duì)采摘目標(biāo)進(jìn)行分割識(shí)別可行。常用的分割識(shí)別算法有三種：基于曲率的算法、基于邊緣信息的邊緣檢測(cè)、基于任意規(guī)則幾何形狀的霍夫變換。

對(duì)于輪廓為弧形的果實(shí)，如柑橘、番茄等，可以通過(guò)曲率信息或直接利用圓形特征對(duì)目標(biāo)進(jìn)行識(shí)別。Xiang等［13］基于邊緣曲率分析與圓回歸相結(jié)合的方法實(shí)現(xiàn)了對(duì)相互粘附的番茄的識(shí)別。Si等［14］基于隨機(jī)環(huán)法（RRM）從輪廓圖像中提取果形特征。孫建桐等［15］以串收番茄為研究對(duì)象，在圖像預(yù)處理的基礎(chǔ)上，提出一種基于幾何形態(tài)學(xué)和迭代隨機(jī)圓相結(jié)合的目標(biāo)提取算法。劉妤等［16］通過(guò)一種基于輪廓曲率和距離分析的分割方法，實(shí)現(xiàn)了重疊柑橘的識(shí)別。

當(dāng)目標(biāo)與背景的亮度差異較明顯時(shí)，邊緣信息也可作為圖像分割識(shí)別的基本特征之一。常用的邊緣檢測(cè)算子主要有Canny算子、Prewitt算子等［4］。Fu等［17］采用Canny算子等傳統(tǒng)的圖像處理方法實(shí)現(xiàn)了目標(biāo)果實(shí)的檢測(cè)。劉現(xiàn)等［18］基于Canny邊緣算子對(duì)福橘進(jìn)行檢測(cè)，提升了福橘智能分選的效率。陳禮鵬等［19］通過(guò)對(duì)去除了小面積區(qū)域后的圖像進(jìn)行Prewitt算子邊緣檢測(cè)，完成了對(duì)多目標(biāo)獼猴桃果實(shí)的識(shí)別分割。

此外，對(duì)于規(guī)則幾何形狀果實(shí)還有一種常用的算法——霍夫變換檢測(cè)，其通過(guò)線條特征來(lái)判別形狀的種類(lèi)，可檢測(cè)任意給定的幾何形狀，通常與邊緣檢測(cè)算子一起使用。周文靜等［20］利用圓形Hough變換（CHT）對(duì)葡萄果粒進(jìn)行了識(shí)別；Gongal等［21］使用圓形Hough變換對(duì)圖像中的蘋(píng)果目標(biāo)進(jìn)行了分割識(shí)別。當(dāng)采摘點(diǎn)為果實(shí)的果梗部分時(shí)，霍夫變換也可用來(lái)定位采摘點(diǎn)。如熊俊濤等［22］利用霍夫直線擬合結(jié)合角度約束法找到主穗梗所對(duì)應(yīng)的直線，并將直線的中點(diǎn)確認(rèn)為采摘點(diǎn)，實(shí)現(xiàn)了擾動(dòng)葡萄采摘點(diǎn)的定位。

基于果實(shí)形狀特征的分割識(shí)別算法應(yīng)用廣泛，此處比較了三類(lèi)常用算法的優(yōu)缺點(diǎn)，如表1所示。

表1 基于形狀特征的常用分割識(shí)別算法的優(yōu)缺點(diǎn)

2 基于像素的識(shí)別

基于像素對(duì)圖像進(jìn)行處理也可以實(shí)現(xiàn)對(duì)目標(biāo)物的分割識(shí)別。一般需將采集的原始圖轉(zhuǎn)換成灰度圖，即對(duì)像素值進(jìn)行0或1轉(zhuǎn)換形成二值化圖像，此時(shí)的灰度值即為像素值。常用的基于像素的分割識(shí)別方法有閾值分割法、區(qū)域生長(zhǎng)法以及歸一化識(shí)別算法。

2.1 基于閾值的分割識(shí)別算法

對(duì)于目標(biāo)和背景占據(jù)不同灰度級(jí)范圍的圖像，可以使用閾值分割算法，包括固定閾值分割和動(dòng)態(tài)閾值分割兩種方法。閾值分割只適用于灰度圖，因此需要先對(duì)采集的圖像進(jìn)行灰度處理。Xu等［23］利用HSV顏色信息識(shí)別目標(biāo)草莓，并通過(guò)固定閾值實(shí)現(xiàn)了草莓圖像的分割。

動(dòng)態(tài)閾值分割法中最常用的是最大類(lèi)間方差算法（Otsu），其通過(guò)計(jì)算方差尋找灰度級(jí)，將圖像分成兩個(gè)部分，使得同部分間的灰度值差異最小，而不同部分間的灰度值差異最大，從而實(shí)現(xiàn)目標(biāo)的分割。Lü等［24］利用Otsu對(duì)蘋(píng)果圖像進(jìn)行了分割識(shí)別。Dai等［25］在進(jìn)行了2R-GB色差法灰度值變換后，采用自適應(yīng)閾值Otsu算法對(duì)圖像進(jìn)行了分割。梁喜鳳等［26］通過(guò)對(duì)R-G直方圖采用Otsu進(jìn)行動(dòng)態(tài)閾值分割，實(shí)現(xiàn)了對(duì)目標(biāo)果實(shí)串的分割。王冰心等［27］通過(guò)Otsu動(dòng)態(tài)閾值分割法對(duì)果實(shí)簇區(qū)域進(jìn)行了分割識(shí)別。齊銳麗等［28］通過(guò)HSV空間的H分量與改進(jìn)的Otsu算法相結(jié)合的方式，實(shí)現(xiàn)了花椒圖像的分割。

固定閾值分割算法的處理速度快，實(shí)時(shí)性較好，但其對(duì)于光照變化的適應(yīng)能力有限，而大多數(shù)采摘機(jī)器人的工作環(huán)境較為復(fù)雜，外界光照條件變化較多，因此固定閾值算法的分割效果往往欠佳。而動(dòng)態(tài)閾值分割法的閾值是通過(guò)計(jì)算得出的，會(huì)隨著光照的變換而動(dòng)態(tài)計(jì)算合適的閾值，受亮度等的影響較小，適用范圍更加廣泛。張日升等［29］在利用閾值分割法對(duì)滸苔進(jìn)行識(shí)別時(shí)發(fā)現(xiàn)，固定閾值法的分割精度較低，而Otsu的分割效果較好（圖1）。

圖1 滸苔圖像的固定閾值分割與Otsu分割效果對(duì)比

2.2 基于歸一化法的識(shí)別算法

歸一化互相關(guān)匹配（NCC）是基于灰度特征的匹配方法中比較經(jīng)典的算法，其基本原理是將模板圖像與待搜索圖像的灰度矩陣進(jìn)行比較，得到相關(guān)性最高的匹配位置。歸一化互相關(guān)匹配算法具有較好的魯棒性和很高的匹配精度，但是計(jì)算量很大，不能滿足實(shí)時(shí)性要求較高的系統(tǒng)［30］。因此在實(shí)際應(yīng)用于采摘機(jī)器人時(shí)，通常要根據(jù)采摘需求對(duì)NCC進(jìn)行改進(jìn)。趙德安等［31］通過(guò)對(duì)圖像進(jìn)行快速歸一化匹配，實(shí)現(xiàn)了對(duì)重疊果實(shí)的跟蹤識(shí)別。Li等［32］利用基于快速歸一化互相關(guān)的方法，利用室外采集的彩色圖像對(duì)未成熟的綠色柑橘進(jìn)行了識(shí)別。李寒等［33］利用快速歸一化互相關(guān)函數(shù)算法對(duì)綠熟番茄果實(shí)的潛在區(qū)域進(jìn)行檢測(cè)，實(shí)現(xiàn)了對(duì)目標(biāo)果實(shí)的識(shí)別。呂繼東等［34，35］采用Fast Inverse Square Root算法和快速哈特萊變換對(duì)去均值的歸一化相關(guān)匹配算法進(jìn)行加速優(yōu)化，并用于識(shí)別目標(biāo)果實(shí)，減少了振蕩果實(shí)動(dòng)態(tài)識(shí)別的匹配識(shí)別時(shí)間。

改進(jìn)后的歸一化算法運(yùn)行速度有所提高，而且對(duì)于采集目標(biāo)發(fā)生的較小的移動(dòng)或旋轉(zhuǎn)，以及光照變化帶來(lái)的色差等問(wèn)題適應(yīng)能力較強(qiáng)，通常用于振蕩幅度較小時(shí)的目標(biāo)果實(shí)識(shí)別。

2.3 基于區(qū)域生長(zhǎng)的分割識(shí)別算法

區(qū)域生長(zhǎng)法是基于像素進(jìn)行處理的方法，通過(guò)將具有相似屬性如強(qiáng)度、灰度級(jí)、紋理顏色等的相鄰像素合并到同一區(qū)域，實(shí)現(xiàn)成組像素或區(qū)域的增長(zhǎng)，從而完成目標(biāo)的識(shí)別。Tao等［36］將區(qū)域生長(zhǎng)方法與RGB顏色相結(jié)合，實(shí)現(xiàn)了目標(biāo)蘋(píng)果從背景中的識(shí)別。滕大偉等［37］把圖像用G-B顏色因子處理后，結(jié)合區(qū)域生長(zhǎng)算法實(shí)現(xiàn)了圖像的分割。盧夏衍等［38］通過(guò)多算法混合的區(qū)域生長(zhǎng)算法實(shí)現(xiàn)了溫室幼苗圖像的分割。Sun等［39］使用區(qū)域生長(zhǎng)法對(duì)葉子病變的區(qū)域進(jìn)行了分割。

區(qū)域生長(zhǎng)法能將具有相同特征的聯(lián)通區(qū)域分割出來(lái)，可以提供很好的邊界信息和分割結(jié)果。但計(jì)算較為復(fù)雜，實(shí)時(shí)性較差，而且對(duì)于陰影、光斑處的分割識(shí)別效果不是很好。因此，基于區(qū)域生長(zhǎng)法的不足，有的學(xué)者對(duì)其進(jìn)行了改進(jìn)，以改善分割識(shí)別的效果。韓紀(jì)普等［40］基于超像素對(duì)區(qū)域生長(zhǎng)算法進(jìn)行了改進(jìn)，使其能夠在一定程度上解決分割空洞等問(wèn)題。

3 基于機(jī)器學(xué)習(xí)的識(shí)別

機(jī)器學(xué)習(xí)作為實(shí)現(xiàn)智能化的關(guān)鍵技術(shù)之一，近年來(lái)被廣泛應(yīng)用于采摘機(jī)器人的視覺(jué)識(shí)別中，可分為無(wú)監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。機(jī)器學(xué)習(xí)在采摘機(jī)器人中較常應(yīng)用的方法是聚類(lèi)和深度學(xué)習(xí)。

3.1 基于聚類(lèi)的分割識(shí)別算法

聚類(lèi)是一種無(wú)監(jiān)督學(xué)習(xí)方式，只需要通過(guò)計(jì)算相似度把相似的東西分為一類(lèi)，而不需要具體分析這一類(lèi)是什么，通常不需要使用訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)。根據(jù)聚類(lèi)方式的不同，產(chǎn)生了許多聚類(lèi)算法，本文對(duì)較常用的K均值聚類(lèi)（K-means）和模糊C均值聚類(lèi)（FCM）進(jìn)行闡述。

K-means是基于劃分的聚類(lèi)方式，通過(guò)選擇K個(gè)點(diǎn)作為初始中心點(diǎn)，然后對(duì)其他點(diǎn)進(jìn)行迭代重置，最后劃分成幾類(lèi)，使得類(lèi)內(nèi)的點(diǎn)都足夠近，類(lèi)間的點(diǎn)都足夠遠(yuǎn)，最終實(shí)現(xiàn)識(shí)別。Jiao［41］與吳雪梅［42］等通過(guò)對(duì)Lab顏色空間處理后的圖像進(jìn)行K-means聚類(lèi)，分別實(shí)現(xiàn)了目標(biāo)蘋(píng)果與茶葉嫩芽的分割識(shí)別。羅陸鋒等［43］利用HSV顏色空間和改進(jìn)的K-means聚類(lèi)方法，對(duì)葡萄圖像進(jìn)行了分割。楊帆等［44］將K-means聚類(lèi)算法與Canny邊緣檢測(cè)算法相結(jié)合，實(shí)現(xiàn)了遮擋或重疊橘子的分割識(shí)別。Niu等［45］將K-means聚類(lèi)算法與凸殼理論相結(jié)合，實(shí)現(xiàn)了對(duì)目標(biāo)蘋(píng)果的分割識(shí)別。

FCM是一種基于模糊劃分的聚類(lèi)方式，通過(guò)判斷每個(gè)點(diǎn)的隸屬度來(lái)進(jìn)行聚類(lèi)。王富春等［46］提出了一種基于FCM的目標(biāo)識(shí)別方法，通過(guò)利用FCM對(duì)圖像進(jìn)行模糊聚類(lèi)，并對(duì)聚類(lèi)后的果實(shí)圖像與丟失的部分目標(biāo)圖像進(jìn)行相加，完成了番茄的識(shí)別分割。熊俊濤等［1］利用FCM算法分別與一維隨機(jī)信號(hào)直方圖分析法［47］、Hough變換直線擬合［48］以及Otsu［49，50］相結(jié)合，實(shí)現(xiàn)了荔枝果實(shí)的分割與識(shí)別。Yang等［51］基于HSV色彩空間結(jié)合基于S分量的快速FCM算法，將白菊花從背景中分割識(shí)別出來(lái)。

分別用K-means與FCM算法對(duì)同一張圖片進(jìn)行處理，其顯示的二值化圖像如圖2所示。通過(guò)對(duì)兩種聚類(lèi)方法優(yōu)缺點(diǎn)的比較（表2），可以看出，K-means聚類(lèi)處理數(shù)據(jù)的速度快，在圖像識(shí)別過(guò)程中有較好的實(shí)時(shí)性，但其抗干擾能力較差，且對(duì)于K值的選取較為困難；而FCM識(shí)別的結(jié)果更加合理，但計(jì)算量較大，識(shí)別速度不如Kmeans聚類(lèi)快。

圖2 K-means與FCM處理圖片效果對(duì)比

表2 K-means與FCM聚類(lèi)方法比較

3.2 基于深度學(xué)習(xí)的分割識(shí)別算法

深度學(xué)習(xí)作為近些年快速發(fā)展的技術(shù)，逐漸被廣泛應(yīng)用于采摘機(jī)器人分割識(shí)別圖像，其主要通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)大量目標(biāo)圖像的數(shù)據(jù)集進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)目標(biāo)果實(shí)的分割識(shí)別。用于圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)有很多，其中最常用的是YOLO系列和R-CNN及其衍生網(wǎng)絡(luò)。閆建偉等［52］提出了一種基于Faster RCNN改進(jìn)的網(wǎng)絡(luò)，實(shí)現(xiàn)了自然環(huán)境下刺梨果實(shí)的識(shí)別。張?jiān)酰?3］利用Mask-RCNN與Kinect V2相機(jī)實(shí)現(xiàn)了果園中蘋(píng)果的分割識(shí)別。趙德安等［54］用YOLO v3神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了復(fù)雜環(huán)境下蘋(píng)果的識(shí)別。熊俊濤等［55］基于改進(jìn)的YOLO v3網(wǎng)絡(luò)對(duì)夜間自然環(huán)境下成熟的柑橘進(jìn)行了識(shí)別。閆建偉等［56］采用帶有殘差模塊的YOLO v3神經(jīng)網(wǎng)絡(luò)對(duì)刺梨果實(shí)進(jìn)行了識(shí)別。

基于深度學(xué)習(xí)的分割識(shí)別算法具有較好的識(shí)別效果，但為了提升其識(shí)別性能，大多數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)都比較復(fù)雜，且不同的網(wǎng)絡(luò)在速度或精度上都有不同的優(yōu)勢(shì)和不足。本文對(duì)果實(shí)采摘中最常用的兩種網(wǎng)絡(luò)及其部分衍生網(wǎng)絡(luò)進(jìn)行對(duì)比發(fā)現(xiàn)，識(shí)別精度較好的網(wǎng)絡(luò)，如R-CNN系列的twostage網(wǎng)絡(luò)，檢測(cè)速度通常較低，在實(shí)際應(yīng)用中的實(shí)時(shí)性有所欠缺；而對(duì)于YOLO系列的onestage網(wǎng)絡(luò)，其識(shí)別速度較快，實(shí)時(shí)性較好，但在識(shí)別精度方面相較于前者還有所不足（表3）。

表3 R-CNN系列網(wǎng)絡(luò)及其各自的衍生網(wǎng)絡(luò)與YOLO網(wǎng)絡(luò)對(duì)比

雖然目前針對(duì)這些問(wèn)題都有相應(yīng)的算法改進(jìn)，但其分割識(shí)別的效果仍需進(jìn)一步提高。

4.1.2 遮擋或重疊 在自然條件下，果實(shí)的生長(zhǎng)不會(huì)全部顯露在最明顯的外部，目標(biāo)果實(shí)可能會(huì)面臨枝蔓、樹(shù)葉和其他果實(shí)的遮擋等問(wèn)題，而且大多數(shù)情況下是多種遮擋共同存在，如圖5，這些都會(huì)給識(shí)別帶來(lái)一定困難。這種情況下，無(wú)論是基于顏色還是基于形狀對(duì)果實(shí)進(jìn)行識(shí)別，可能都無(wú)法達(dá)到理想的效果。目前對(duì)被遮擋或者重疊的果實(shí)進(jìn)行識(shí)別，采用的大多是多種算法相結(jié)合的方式，可在一定程度上解決遮擋或重疊面積較小的果實(shí)的識(shí)別，但對(duì)于遮擋或重疊面積較大的果實(shí)仍未找到有效的識(shí)別算法。

圖5 果實(shí)遮擋重疊

4 存在問(wèn)題及展望

4.1 存在問(wèn)題

4.1.1 光照影響 光照的變化可能會(huì)引起果實(shí)表面顏色產(chǎn)生色差，而對(duì)于生長(zhǎng)周期相近的果實(shí)，其顏色本就比較相近，若僅通過(guò)顏色進(jìn)行分割識(shí)別，容易產(chǎn)生誤差。番茄完全成熟時(shí)，其表面呈正紅色，而在半成熟尚未達(dá)到完全成熟時(shí)，其表面為橘色，如圖3a；而在光照條件的影響下，部分完全成熟的番茄也會(huì)呈現(xiàn)出橘色，如圖3b，從而引起識(shí)別錯(cuò)誤。

圖3 不同光線下不同生長(zhǎng)期番茄的顏色對(duì)比

當(dāng)順光或者夜間加光源采摘時(shí)表面具有果臘的果實(shí)，如蘋(píng)果、柑橘等，由于光照的影響，易在果實(shí)表面形成光斑，如圖4所示，使其在進(jìn)行圖像分割時(shí)會(huì)出現(xiàn)孔洞等干擾，進(jìn)而產(chǎn)生識(shí)別誤差。

圖4 果實(shí)光斑

4.1.3 振蕩 在自然采摘條件下，果實(shí)一般不會(huì)處于完全靜止的狀態(tài)，風(fēng)力、鳥(niǎo)類(lèi)或進(jìn)行采摘?jiǎng)幼鲿r(shí)，都會(huì)使果實(shí)發(fā)生或大或小的振蕩。這時(shí)采摘機(jī)器人若采集圖像，就可能會(huì)出現(xiàn)圖像模糊、噪聲大等情況，從而影響進(jìn)一步的分割識(shí)別。對(duì)于振蕩果實(shí)的識(shí)別，除了對(duì)算法進(jìn)行優(yōu)化外，對(duì)相機(jī)性能的要求也較高，今后仍需進(jìn)行改進(jìn)。

4.2 趨勢(shì)展望

由于田間環(huán)境的復(fù)雜多樣性，單種分割識(shí)別算法的識(shí)別效果大多遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際需求，如：只基于顏色特征的識(shí)別方法容易受到光照影響，僅通過(guò)形狀進(jìn)行識(shí)別會(huì)因遮擋或重疊而產(chǎn)生錯(cuò)誤等，因此基于多種物體特征或者采用多種分割識(shí)別算法組合對(duì)圖像進(jìn)行處理，可在一定程度上改善識(shí)別效果，提高識(shí)別準(zhǔn)確度。但采用組合算法時(shí)，需要進(jìn)行多方面考慮，以減少方法組合可能帶來(lái)的識(shí)別效率低等問(wèn)題。

對(duì)于被遮擋的果實(shí)，一方面隨著深度學(xué)習(xí)在采摘識(shí)別中的應(yīng)用逐漸增加，經(jīng)過(guò)大量的數(shù)據(jù)訓(xùn)練后，深度神經(jīng)網(wǎng)絡(luò)對(duì)于被遮擋果實(shí)的識(shí)別準(zhǔn)確度已有所提高。隨著深度神經(jīng)網(wǎng)絡(luò)的不斷改進(jìn)和算法的進(jìn)一步優(yōu)化，其識(shí)別效果將會(huì)進(jìn)一步提高。另一方面還可以通過(guò)運(yùn)行設(shè)備從多角度采集圖像，使得被擋住的果實(shí)能夠在其他角度下遮擋減少或完整呈現(xiàn)，從而達(dá)到識(shí)別的目的。

5 總結(jié)

分割和識(shí)別算法作為識(shí)別過(guò)程中不可或缺的一部分，其優(yōu)化情況直接關(guān)系到識(shí)別的效果。隨著學(xué)者們研究時(shí)考慮到的影響因素愈發(fā)全面以及對(duì)多種算法進(jìn)行組合嘗試，識(shí)別特定目標(biāo)的效果也在逐漸提升，尤其是基于特征和像素識(shí)別方式的組合，在一定程度上提高了重疊或光照影響下的目標(biāo)識(shí)別精度。而且隨著智能化技術(shù)的飛速發(fā)展，具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)越來(lái)越多地被應(yīng)用于識(shí)別采摘，由一開(kāi)始的CNN網(wǎng)絡(luò)發(fā)展到如今的YOLO等，基于深度學(xué)習(xí)的分割識(shí)別算法逐漸趨于成熟。雖然到目前為止，對(duì)于基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的識(shí)別還無(wú)法兼顧精度和速度，但對(duì)網(wǎng)絡(luò)的改進(jìn)或者新網(wǎng)絡(luò)的推出都將使識(shí)別性能在某方面有進(jìn)一步的提升。

分割和識(shí)別算法還有很多，本文僅針對(duì)采摘機(jī)器人最常用的幾種方式進(jìn)行分類(lèi)匯總，而且目前關(guān)于光照影響、遮擋重疊以及振蕩果實(shí)的識(shí)別效果仍待提高，相信隨著已有算法的不斷改進(jìn)和新算法的提出，這些問(wèn)題將會(huì)逐漸被解決，識(shí)別效果將會(huì)越來(lái)越好，采摘機(jī)器人在田間的廣泛應(yīng)用將指日可待。