采摘機器人視覺系統(tǒng)研究進展

金壽祥　周宏平　姜洪喆　孫夢夢

摘要： 視覺是采摘機器人感知外部環(huán)境的重要手段之一。采摘機器人的采摘效率與準確率很大程度上受到其視覺子系統(tǒng)識別與定位性能影響。近年來，研究者圍繞采摘機器人的視覺系統(tǒng)開展了大量研究。伴隨人工智能深度學(xué)習(xí)的發(fā)展，機器人視覺研究取得了較大進步，采摘機器人進入了實際應(yīng)用階段。本文針對采摘機器人視覺系統(tǒng)研究現(xiàn)狀，主要從視覺數(shù)據(jù)獲取方法、采摘點識別技術(shù)和采摘點定位技術(shù)3個方面進行總結(jié)分析，指出了當前采摘機器人采摘點識別與定位過程中面臨的一些挑戰(zhàn)，最后對未來采摘機器人視覺系統(tǒng)的發(fā)展進行了展望。

關(guān)鍵詞： 視覺數(shù)據(jù)；采摘點識別；三維定位；深度學(xué)習(xí)

中圖分類號： TP242.6⁺²文獻標識碼： A 文章編號： 1000-4440（2023）02-0582-14

Research progress on visual system of picking robot

JIN Shou-xiang， ZHOU Hong-ping， JIANG Hong-zhe， SUN Meng-meng

（School of Mechanical and Electronic Engineering， Nanjing Forestry University， Nanjing 210037， China）

Abstract： Vision is one of the important means for picking robots to perceive the external environment. The picking efficiency and accuracy of the picking robots are largely affected by the recognition and positioning performance of its vision subsystem. In recent years， a lot of researches have been carried out regarding the visual system of picking robots. With the development of artificial intelligence deep learning， research of robot vision has made great progress， which opened the stage of practical application of picking robots. In view of the research status of the picking robots visual system， this paper summarized and analyzed from three aspects， such as visual data acquisition method， picking point recognition technology and picking point positioning technology， and pointed out some challenges faced by the current picking robots in the process of picking point identification and positioning. Finally， the development of visual system for picking robots in the future was prospected.

Key words： visual data；picking point identification；three dimensions positioning；deep learning

果實采摘需要大量勞動力參與^[1]，而近年來農(nóng)業(yè)勞動力出現(xiàn)了老齡化與短缺的問題^[2]。戶外露天環(huán)境下階段性、機械性和重復(fù)性的勞動使農(nóng)業(yè)面臨的勞動力短缺問題更加嚴峻^[3]。勞動力的減少導(dǎo)致農(nóng)作物生產(chǎn)能力下降與采摘成本上升^[4]。因此實現(xiàn)采摘過程的自動化和智能化是解決勞動力短缺問題的最佳方案之一^[5]。采摘機器人通常含有3個子系統(tǒng)：視覺系統(tǒng)、動作執(zhí)行系統(tǒng)和末端執(zhí)行器^[6]。視覺系統(tǒng)負責(zé)對采摘環(huán)境中的果實進行識別與定位，動作執(zhí)行系統(tǒng)和末端執(zhí)行器負責(zé)采摘。而視覺系統(tǒng)的運行又可分為3個階段：數(shù)據(jù)獲取、目標識別、三維定位。視覺系統(tǒng)識別效率與定位精度將直接影響到采摘機器人的工作效率與成功率^[7-8]。

在農(nóng)業(yè)生產(chǎn)中，由于果實生長環(huán)境不同、空間分布雜亂，果實的大小、形狀和顏色等特性也會有所不同^[9]。自然環(huán)境中的果實普遍存在著因果實重疊^[10]、果實被葉片和枝條遮擋^[11]、光照條件變化^[12]而導(dǎo)致的果實圖像不清晰的現(xiàn)象。另外，采摘機器人執(zhí)行采摘動作時對環(huán)境產(chǎn)生的擾動，可能干擾之前的定位結(jié)果。上述因素給視覺數(shù)據(jù)的獲取和采摘點的識別與定位帶來了巨大挑戰(zhàn)。

深度學(xué)習(xí)未出現(xiàn)之前，關(guān)于采摘機器人視覺系統(tǒng)中的識別技術(shù)已有大量研究。按照技術(shù)發(fā)展過程可分為以下2類：①傳統(tǒng)數(shù)字圖像處理技術(shù)，如基于單一特征的顏色、形狀、紋理等特征分析^[13-15]；②基于傳統(tǒng)機器學(xué)習(xí)的識別方法，如K-means聚類算法、K近鄰（K-nearest neighbor，KNN）算法、支持向量機（Support vector machine，SVM）算法等^[16-17]。近年來，受人工智能技術(shù)發(fā)展與硬件性能大幅提升的影響，深度學(xué)習(xí)技術(shù)在圖像識別、目標檢測上取得了非凡的成就^[18]。相比于傳統(tǒng)數(shù)字圖像處理與機器學(xué)習(xí)基于顏色、紋理、形狀等特征匹配的果實識別方法，深度學(xué)習(xí)利用深層神經(jīng)網(wǎng)絡(luò)強大的特征自學(xué)習(xí)能力在果實識別與采摘點定位任務(wù)中取得了較好的效果^[19-21]。

本文擬對近年來采摘機器人視覺系統(tǒng)的研究進展進行綜述，為后續(xù)的研究提供參考。

1 視覺數(shù)據(jù)的獲取方法

視覺是一種感知環(huán)境的重要方法，是目標識別與定位的基礎(chǔ)。計算機視覺數(shù)據(jù)主要有二維平面數(shù)據(jù)和三維空間數(shù)據(jù)。視覺系統(tǒng)由圖像傳感器和圖像處理單元組成，是采摘機器人感知外部環(huán)境的重要手段^[22]。

1.1 二維數(shù)據(jù)的獲取

二維視覺數(shù)據(jù)通常指二維彩色圖像，由圖像傳感器獲得，被廣泛用于目標識別。圖像傳感器按原理可分為電荷耦合器件（Charge coupled device，CCD）傳感器和互補金屬氧化物半導(dǎo)體（Complementary metal-oxide-semiconductor，CMOS）傳感器^[23]。其中，單目相機是使用最廣泛的圖像采集設(shè)備，其結(jié)構(gòu)簡單、價格便宜、使用要求低。RGB（Red，green，blue）圖像是最常見的二維圖像色彩模式，也有部分學(xué)者使用HSV（Hue，saturation，value）、Lab、YIQ（Luminance，in-phase，quadrature-phase）等色彩模式^[24-26]。彩色圖像中包含的顏色、紋理、形狀等特征常被用于果實的識別。如，馬帥等^[27]使用HUAWEI mate30設(shè)備采集梨園中結(jié)果期的梨樹RGB圖像，構(gòu)建了自然環(huán)境下的梨果實識別數(shù)據(jù)集，但是不包含夜間情況。針對此問題，Xiong等^[28]利用CCD相機在人工照明條件下采集夜間綠葡萄的RGB圖像，解決了綠葡萄夜間檢測和采摘的問題。此外，畢松等^[29]使用Basler acA2440-20gc相機獲取不同光照條件、果實被遮擋等情況下的柑橘RGB圖像，實現(xiàn)了復(fù)雜環(huán)境下的柑橘識別。

由于彩色圖像缺少深度信息，難以直接用于采摘點三維定位，通常是將彩色圖像與深度圖像融合，作為采摘點三維定位的依據(jù)^[30]。即先在彩色圖像上對果實進行識別與采摘點定位，再將彩色圖像上的坐標映射到相應(yīng)的深度圖上，以該點深度值作為采摘點深度坐標。

1.2 三維數(shù)據(jù)的獲取

三維視覺數(shù)據(jù)是在二維數(shù)據(jù)的基礎(chǔ)上添加了深度方向數(shù)據(jù)，可為采摘點的三維空間定位提供基礎(chǔ)。表1列出了目前常用的三維數(shù)據(jù)獲取方法。

1.2.1 雙目相機 雙目相機一般由2個型號相同的單目相機按相應(yīng)的位置組合而成，通常是水平放置。雙目相機通過空間中任意一點的位置在2個相機生成圖像中的視差計算該點的深度值^[31]，原理如圖1所示。

根據(jù)圖1中的幾何關(guān)系可得：

即可得到P點的深度坐標Z_c：

其中（u_L-u_R）即為視差。同理，按照幾何關(guān)系也可算出P點橫坐標和縱坐標與左右相機之間的關(guān)系。但是在相機成像過程中還存在一定程度的畸變，在實際使用中需要通過矯正來抵消畸變影響^[32]。

雙目相機硬件成本低、深度圖分辨率高，是較早出現(xiàn)的三維視覺數(shù)據(jù)采集設(shè)備^[33]。例如，Ling等^[34]為了實現(xiàn)番茄自動采摘，使用2個相同的水平放置的CCD相機組成的雙目相機采集番茄果實的彩色圖，建立了一個番茄識別數(shù)據(jù)集，用于番茄識別，成功率達到了96%。再根據(jù)雙目測距原理得到番茄的深度坐標，機械手末端定位誤差不超過10 mm。同樣的，龐超凡^[35]使用雙目相機采集了不同遮擋情況下的小金橘的彩色圖像，用來對小金橘進行識別定位，但是對多個被遮擋過多的小金橘定位效果并不佳。為提高多目標定位精度，曹春卿等^[36]提出一種基于雙目視覺技術(shù)的多目標蘋果識別定位模型，可以準確識別多種場景下的目標蘋果。

根據(jù)雙目相機成像原理，每個像素點的深度信息都需要通過計算獲得，計算量較大。另外，雙目相機十分依賴圖像的特征匹配尋找左右圖像中相同的像素點，使得算法復(fù)雜度高^[37]。而且雙目相機是一種被動成像相機，所以對照明條件非常敏感，在光照不足、背光和強光等環(huán)境下的使用效果較差。

1.2.2RGB-D相機 RGB-D（Red、green、blue-depth）相機一般由一個RGB相機和一個深度相機組合而成，可輸出視場內(nèi)的彩色圖像和深度點云數(shù)據(jù)^[38]。根據(jù)成像原理，深度相機又可分為結(jié)構(gòu)光（Structured light，SL）型、飛行時間（Time-of-flight，TOF）型和主動立體紅外（Active infrared stereo ，AIRS）型^[39]，如圖2、圖3所示。

結(jié)構(gòu)光型、飛行時間型和主動立體紅外型都使用了紅外光作為深度信息的獲取方式，差別在于紅外光的形式不同。結(jié)構(gòu)光型相機通過發(fā)射特定編碼后的紅外光到被測物體表面，利用紅外光從發(fā)射到接受過程中的失真程度提取深度信息，典型的設(shè)備有Kinect v1、Xtion PRO Live等；飛行時間型相機通過測量紅外線從發(fā)射到經(jīng)物體表面反射回接收器的時間計算深度信息，常見的設(shè)備有Kinect v2、Creative Senz3D等；AIRS是結(jié)構(gòu)光型相機與雙目相機的結(jié)合，使用2個紅外線接收器，彌補了雙目相機在室外場景使用的缺點，代表產(chǎn)品有RealSense D400系列^[39-42]。例如，劉景娜^[43]設(shè)計了一種基于Kinect v1傳感器的番茄信息采集系統(tǒng)，實現(xiàn)了番茄植株外形的三維重建與果實的識別與計數(shù)。孫寶霞等^[44]基于Kinect v2與筆記本電腦組成的系統(tǒng)采集了不同光照度下的920幅龍眼圖像作為龍眼識別數(shù)據(jù)集。張勤等^[45]使用RealSense D435i相機拍攝不同照明條件下的葡萄串，利用采集到的葡萄串RGB-D融合圖像實現(xiàn)了復(fù)雜環(huán)境下的葡萄串識別與采摘點的定位，采摘點定位成功率達到93.83%、深度誤差僅為3 mm。

結(jié)構(gòu)光型相機近距離檢測精度高，不受物體紋理影響，但是其檢測精度會隨著檢測距離變遠而極度下降，且易受強光干擾，不適合在室外工作環(huán)境中使用；飛行時間型相機檢測距離較遠，受光照變化和物體紋理的影響較小，但其深度圖分辨率相對較低，功耗較高，硬件成本也高^[46]。

1.2.3 激光雷達 激光雷達（Light detection and ranging，LiDAR）按原理可分為飛行時間法和相干探測法兩類，都是主動發(fā)射激光到被測物體表面生成點云數(shù)據(jù)，如圖4所示。激光雷達在自動駕駛目標檢測領(lǐng)域已被廣泛使用^[47-48]。近年來，有部分學(xué)者將其應(yīng)用在果實識別與定位上，并取得不錯的效果。如，Gené-Mola等^[49]為了實現(xiàn)夜間無光條件下的蘋果識別，在夜間使用Velodyne VLP-16激光雷達掃描儀生成了蘋果樹的3D點云數(shù)據(jù)，利用蘋果樹的樹葉、枝干和果實對激光的反射率不同，實現(xiàn)了果園中蘋果的識別與定位。為了減少遮擋對掃描結(jié)果的影響，Mendez等^[50]使用ScanStation P20型激光掃描儀從4個方位掃描橙樹，得到橙樹四周的三維點云數(shù)據(jù)。同樣的，Tang等^[51]使用Faro Focus 3D X330地面激光掃描儀獲取油茶樹點云數(shù)據(jù)，得到的掃描結(jié)果不僅包含點云的強度信息，還包含對應(yīng)物體表面的RGB顏色信息。

激光雷達是一種主動測量的方法^[52]，測量效果不受光照條件的影響，可以直接用于夜間果實檢測^[53]。但是，激光雷達的價格相比普通相機較貴，且分辨率不高，另外，對3D點云數(shù)據(jù)的識別技術(shù)正處于發(fā)展階段，使基于激光雷達方法的果實識別效果通常差于使用RGB-D相機的效果^[54]。但隨著深度學(xué)習(xí)技術(shù)在點云數(shù)據(jù)處理上的發(fā)展，未來的情況可能會有所好轉(zhuǎn)。

2 果實識別技術(shù)的研究進展

果實的識別是智能化采摘過程中的第一個環(huán)節(jié)，也是最關(guān)鍵的一步^[55]，識別的準確率直接影響到后續(xù)采摘點的三維定位精度。隨著科技的進步，果實識別技術(shù)從基于數(shù)字圖像處理的方法^[56]發(fā)展到基于機器學(xué)習(xí)的識別方法^[57]，再發(fā)展到基于深度學(xué)習(xí)的識別方法^[58]，識別模型的準確性、實時性和魯棒性不斷提高，這也使得采摘機器人能被實際應(yīng)用。表2介紹了一些果實的識別效果。

2.1 基于傳統(tǒng)數(shù)字圖像處理的識別方法

人們在觀察物體時，通常先注意到物體的形狀、顏色和紋理等特征，并基于此判斷物體的類別。傳統(tǒng)數(shù)字圖像處理方法就使用了類似原理，先由研究人員通過個人經(jīng)驗篩選出待采摘果實的特征，再利用計算機對所獲彩色圖像進行特征匹配，當某個區(qū)域的匹配率高于設(shè)定的閾值時，就認為該區(qū)域存在目標果實。

2.1.1 基于單一特征識別 基于單一特征的果實識別方法只采用一種果實特征進行識別，需要果實與背景環(huán)境有明顯的特征區(qū)別時才具有可行性。由于該類模型只使用單一特征，所以其結(jié)構(gòu)一般較為簡潔，便于操作。

根據(jù)果實的生長特性，當可采摘果實與背景顏色差異明顯時可使用顏色特征來對果實進行識別。如Zhuang等^[59]通過自適應(yīng)增強柑橘RGB圖像中RG通道色度，使柑橘果實與背景差異增大，再利用大津閾值法、形態(tài)學(xué)操作、凸包操作方法從圖像中定位潛在柑橘區(qū)域，但該方法受果實顏色與背景差異程度影響，為此，柳長源等^[60]使用深度圖像提出了一種基于果實形態(tài)特征的果實識別方法，利用各像素點的梯度向量篩選果實中心點，再以果實中心點搜索果實邊界點，平均識別準確率達到了84.8%。Lin等^[61]提出了一種基于輪廓信息的果實識別方法，使用其推導(dǎo)出的形狀描述符表示任意部分的幾何特性，再通過特征匹配得到感興趣的子片段，然后使用改進霍夫變換聚合這些子片段獲得候選果實，該方法在柑橘、番茄、南瓜、芒果的識別應(yīng)用中都取得了不錯的效果。

但是，基于單一特征的果實識別方法忽略了果實的其他特征，損失了許多有用的特征信息，導(dǎo)致其對環(huán)境敏感程度較高、魯棒性差。對于一些成熟期果實顏色與背景差異不大，且形狀、紋理變化不明顯的果實，只選擇一種特征很難達到果實識別精度要求。

2.1.2 基于多特征融合識別 彩色圖像中包含著形狀、顏色、紋理等多種特征信息，使用單一特征進行果實識別會導(dǎo)致大量有效信息被浪費。因此，為了充分利用圖像中的信息、提高模型的準確性和魯棒性，部分學(xué)者使用多個特征結(jié)合來識別目標果實^[70-72]。不同特征的優(yōu)缺點存在明顯差異：顏色特征對光照度差異較為敏感；形狀與紋理特征對果實重疊和遮擋較為敏感。當這些特征被組合使用時，它們優(yōu)點互補，對環(huán)境變化的敏感程度就會下降，從而提高模型的識別準確率^[73]。例如，汪杰等^[74]提出了一種HSV和形狀特征融合的花椒識別方法，該方法采用同態(tài)濾波進行光照補償，再利用圓度特征排除背景干擾，提高了復(fù)雜背景下花椒的識別準確率。Wu等^[75]提出了一種融合顏色特征和三維幾何特征的水蜜桃識別方法。該方法首先使用顏色特征與方向特征對圖像進行初步分割，再根據(jù)分割結(jié)果采用歐式距離算法聚類三維點云數(shù)據(jù)，最后利用深度直方圖分布情況來判斷該區(qū)域是否為水蜜桃果實，與傳統(tǒng)顏色分割方法相比，該方法的分割準確率達到了98.99%。

但是，目前數(shù)字圖像處理技術(shù)中的果實識別方法幾乎都需要設(shè)置顏色、形狀或紋理等閾值，然而每幅圖像的最佳閾值都存在差異，導(dǎo)致識別結(jié)果的好壞取決于訓(xùn)練數(shù)據(jù)的質(zhì)量?；谌斯ぬ卣魈崛〉姆椒ㄓ执嬖谝欢ǖ木窒扌?，造成特征遺漏和利用不充分等現(xiàn)象，影響模型識別準確率。

2.2 基于傳統(tǒng)機器學(xué)習(xí)的識別方法

機器學(xué)習(xí)是人工智能領(lǐng)域的一個重要分支。簡單來說，機器學(xué)習(xí)就是通過算法不斷迭代，從大量數(shù)據(jù)中尋找相應(yīng)特征。機器學(xué)習(xí)根據(jù)輸入數(shù)據(jù)是否需要被標注，可分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩類^[76]。

2.2.1 監(jiān)督學(xué)習(xí) 監(jiān)督學(xué)習(xí)從人工標注的數(shù)據(jù)中學(xué)習(xí)規(guī)律，學(xué)習(xí)效果依賴于數(shù)據(jù)預(yù)處理的質(zhì)量，需要大量、準確的人工標注數(shù)據(jù)集。監(jiān)督學(xué)習(xí)通過建立數(shù)據(jù)值與標簽值之間的映射關(guān)系，經(jīng)過不斷迭代數(shù)據(jù)、調(diào)整模型參數(shù)值，最終使模型接近真實映射關(guān)系^[77]。常見的監(jiān)督學(xué)習(xí)算法有K最近鄰算法（K-nearest-neighbor，KNN）、AdaBoost分類器算法、支持向量機（Support vector machine，SVM）^[78]。例如，Ling等^[34]利用AdaBoost分類器檢測番茄圖像滑動子窗口中包含的是番茄果實還是背景，再使用平均像素值（APV）分類器對AdaBoost分類器選擇的圖像進行分割，識別成功率達到了98%。雷歡等^[79]首先利用顏色直方圖提取了蘋果的顏色特征，再考慮蘋果表皮的局部與全局紋理特征，基于多特征融合與SVM構(gòu)建蘋果品種的識別模型，在推理耗時僅2 ms的情況下，平均識別準確率達到了94%。

監(jiān)督學(xué)習(xí)通過循環(huán)迭代學(xué)習(xí)數(shù)據(jù)特征與標注信息之間的關(guān)系，建立分類、回歸模型。因此，模型對于數(shù)據(jù)標注的要求較高，不允許出現(xiàn)太多的異常值，否則將會導(dǎo)致模型識別效果變差。

2.2.2 無監(jiān)督學(xué)習(xí) 無監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)相反，一般不要求對數(shù)據(jù)進行特別分類標注，省去了標注數(shù)據(jù)的時間。相反，無監(jiān)督學(xué)習(xí)算法基于統(tǒng)計學(xué)方法，學(xué)習(xí)總結(jié)數(shù)據(jù)中未體現(xiàn)的規(guī)律，將相似特征的數(shù)據(jù)進行聚類^[80]。無監(jiān)督學(xué)習(xí)算法中，K-means（k均值聚類）算法最具有代表性。K-means算法通過給定的k值在數(shù)據(jù)集中找到k個聚類群落，再反復(fù)迭代數(shù)據(jù)，最后將數(shù)據(jù)集中的數(shù)據(jù)按相似程度聚類到k個群落中，從而達到分類效果。例如，Luo等^[81]基于有效顏色分量，利用K-means算法獲取葡萄園圖像中的葡萄簇的像素區(qū)域，實現(xiàn)了葡萄簇與背景的分割。Jiao等^[24]利用K-means算法對Lab圖像中的蘋果與背景進行初步分割，再利用形態(tài)學(xué)中的侵蝕與膨脹操作提取蘋果準確輪廓，能夠快速識別重疊蘋果。

盡管無監(jiān)督學(xué)習(xí)算法省去了數(shù)據(jù)標注環(huán)節(jié)，節(jié)約了訓(xùn)練周期，但訓(xùn)練結(jié)果存在一些不確定性。訓(xùn)練時所用的數(shù)據(jù)集對聚類模型影響過大，導(dǎo)致無監(jiān)督聚類算法的魯棒性較差。另外，K-means聚類算法需要人為設(shè)定k值，而不同的k值也會使聚類結(jié)果產(chǎn)生較大的差異。傳統(tǒng)機器學(xué)習(xí)方法在簡單的果實識別任務(wù)中被大量使用，但是在識別背景環(huán)境復(fù)雜、形態(tài)差異不明顯的果實時，識別效果還達不到要求。

2.3 基于深度學(xué)習(xí)的識別方法

深度學(xué)習(xí)擴充了機器學(xué)習(xí)的范圍，屬于機器學(xué)習(xí)的延伸領(lǐng)域^[82]。深度學(xué)習(xí)利用深度神經(jīng)網(wǎng)絡(luò)和隨機梯度下降（Stochastic gradient descent，SGD）算法自動學(xué)習(xí)、提取目標特征。深層網(wǎng)絡(luò)能從大量樣本中學(xué)習(xí)到復(fù)雜特征，從而使模型獲得更好的識別效果。近些年來果實識別研究的相關(guān)文獻表明，基于深度學(xué)習(xí)的目標檢測方法（圖5）已經(jīng)成為目前果實識別的主要方法。

2.3.1 兩階段目標識別算法 兩階段目標識別、分割算法由生成候選框和候選框分類2個階段組成。第一階段由區(qū)域生成網(wǎng)絡(luò)（Region proposal network，RPN）結(jié)構(gòu)生成一系列目標候選框，第二階段利用深層神經(jīng)網(wǎng)絡(luò)對特征圖上每個候選框所對應(yīng)的特征樣本進行分類，再經(jīng)過非極大值抑制（Non-maximum suppression，NMS）處理，剔除冗余的樣本^[83]，如圖6所示。由于該類算法需要在檢測之前生成預(yù)選框，導(dǎo)致模型整體結(jié)構(gòu)復(fù)雜、訓(xùn)練時間較長、推理速度較慢。例如，李旭等^[84]基于Vgg16為主干的Faster-RCNN網(wǎng)絡(luò)檢測復(fù)雜背景下的茶葉嫩芽，當采用一芽一葉/二葉標注時，識別準確率與召回率分別為98%和76%，單張圖像檢測用時0.20 s，相比數(shù)字圖像處理的方法快了0.52 s，且效果更好。針對采摘點難以直接預(yù)測的問題，Zheng等^[85]在Mask-RCNN模型的ROIAilgn層后添加關(guān)鍵點檢測分支用來預(yù)測芒果圖像中采摘點位置，最終采摘點檢測的最佳精度和召回率分別達到了98.4%和90.8%。Wang等^[86]在Faster-RCNN基礎(chǔ)上，使用添加注意力機制的ResNet50作為主干網(wǎng)絡(luò)提高特征提取能力，采用軟非極大值抑制方法降低重疊果實漏檢率，平均精度達到了98.46%。

雖然兩階段識別算法在果實識別上獲得了不錯的成績，但是由于其復(fù)雜的模型結(jié)構(gòu)與龐大的計算量，導(dǎo)致該類算法運行速度難以達到實時檢測（運行速度≥30 FPS）的需求，這也是兩階段算法的通病。而目前移動端平臺的性能很難達到此類模型的最佳運行條件，因此，該類算法實際應(yīng)用的并不多。

2.3.2 一階段目標識別算法與兩階段目標識別算法不同，一階段識別算法省去了提取候選框的步驟，直接預(yù)測邊界框的大小、置信度和類別概率信息。因此，一階段算法與二階段算法相比，模型結(jié)構(gòu)更為簡單、訓(xùn)練時間更短、運行速度更快^[87]。由于目前移動端設(shè)備計算能力有限，所以在綜合考慮檢測精度與模型大小的情況下，輕量級的一階段算法，如YOLO與YOLACT算法被大量使用在果實識別中。例如Liu等^[62]將YOLOv3算法中用來檢測物體位置的方形預(yù)測框設(shè)置成圓形，用來識別圖像中的番茄，減少了模型參數(shù)，提高了對圓形果實的擬合程度，相比于未改進之前，該模型的召回率和精度分別提高了2個和3個百分點，達到了93.09%和94.75%。Xu等^[88]基于YOLOv5s算法對自然環(huán)境下的花椒果實進行檢測，平均識別精度（MAP）達到了0.945，在NVIDA Jetson TX2設(shè)備上運行速度達到了每秒33 幀，實現(xiàn)了實時檢測。何斌等^[89]為實現(xiàn)夜間情況下番茄果實的快速識別，提出了一種基于改進YOLO v5的識別方法（圖7），通過在損失函數(shù)中增加中心距離度量，提高了被遮擋與暗光下的果實識別精度。楊福增等^[90]使用基于無錨框的CenterNet目標檢測模型，實現(xiàn)了密集分布場景下的蘋果果實識別，該方法省去了錨框和非極大值抑制過程，平均識別精度為93.63%。

與二階段算法相比，一階段算法通常能以較少的模型參數(shù)量與計算量取得相對較高的果實識別準確率。因此，在果實識別的研究中，越來越多的學(xué)者選擇采用或者基于一階段目標檢測算法進行改進，構(gòu)建不同的果實識別模型。

3 采摘點定位技術(shù)

圖像中的果實被識別之后，還需要確定采摘點相對于機器人的空間坐標，才能指導(dǎo)機器人利用動作執(zhí)行系統(tǒng)與末端執(zhí)行器完成采摘動作^[91]。對于不同種類的果實，采摘點有的在果實上，有的在果梗上。如圖8所示，蘋果^[92]、柑橘^[93]等較大的果實，一般選擇逐個采摘，通常以果實中心作為采摘點；對于番茄^[94]、荔枝^[95]、葡萄^[96]等小型簇狀果實，基本選擇整串采摘，一般將果實上部的果梗上的一個點作為采摘點。

采摘點定位準確性將直接決定采摘機器人的采摘效果。通過果實在圖像中的位置可以得到采摘點在像素坐標系下的二維坐標，還需要將其轉(zhuǎn)化為機械臂坐標系下的三維坐標，才能正確指引采摘裝置完成采摘，流程如圖9所示。

3.1 采摘點的二維定位

針對采摘點在果實上位置不同的情況，一般利用果實與采摘點的位置關(guān)系，將識別出的果實邊界框或掩膜的中心作為采摘點，得到采摘點的像素坐標。例如，任亞婧等^[97]使用形態(tài)學(xué)操作獲取圖像中的蘋果掩膜的質(zhì)心作為采摘點。但是，果梗通常是與背景顏色相近的細長條狀體，對于采摘點在果?；蛑Ω缮系那闆r，很難直接確定采摘點在果梗上的位置，所以一般采用間接方法定位。根據(jù)果實的生長特性，先確定果實在彩色圖像中的位置，再利用果實、果梗與采摘點之間的自然位置關(guān)系，在圖像中推斷出果梗上適合采摘的位置作為采摘點。例如，Luo等^[81]為了實現(xiàn)葡萄的自動采摘，利用k均值聚類與有效顏色分割算法獲取重疊葡萄簇的輪廓，根據(jù)每個像素區(qū)域的幾何信息確定葡萄果梗感興趣區(qū)域，再利用重心等幾何約束關(guān)系計算出每個葡萄果梗上的采摘點坐標。同時，為實現(xiàn)整串番茄的采收，Rong等^[98]先使用YOLCAT++網(wǎng)絡(luò)分割出番茄圖像中的番茄簇和果梗，再判斷番茄簇與果梗的位置關(guān)系，剔除無效的果梗掩膜，然后利用最小二乘法擬合果梗的掩膜，得到對應(yīng)的果梗曲線，通過幾何計算，將果梗曲線的中點作為番茄串采摘點。

經(jīng)過上述采摘點的定位流程得到的是采摘點在像素坐標系下的二維坐標，如圖10中的P點，該坐標無法直接使用，還需要將其轉(zhuǎn)化到機械臂坐標系（世界坐標系）下的三維坐標，才能正確指引采摘裝置執(zhí)行采摘動作。

3.2 采摘點的三維定位

采摘點的三維定位是由2D向3D轉(zhuǎn)換的過程。在確定了采摘點的像素坐標后，通過圖像與像素坐標系之間的轉(zhuǎn)換關(guān)系，得到采摘點在圖像坐標系下的二維坐標，利用相機與圖像坐標系之間的轉(zhuǎn)換關(guān)系，計算得到采摘點在相機坐標系下的三維坐標^[64，99]。再通過手眼標定方法，獲得相機坐標系與采摘機器人坐標系之間的轉(zhuǎn)換關(guān)系，最后，通過上述的轉(zhuǎn)換關(guān)系得到采摘點在機器人坐標系下的三維坐標^[100]。

3.2.1 圖像坐標系與像素坐標系的關(guān)系 如圖11所示，像素坐標系原點為圖像左上角O_uv點，反映像素排列情況^[101]。圖像坐標系的原點為相機光軸與成像平面的交點，通常情況下是成像平面的中點^[102]。2個坐標系的轉(zhuǎn)換關(guān)系如下：

將公式（3）轉(zhuǎn)換為齊次矩陣形式：

其中d_x與d_y分別表示一列和一行像素所對應(yīng)的圖像坐標系中的距離，單位為mm/pixel。（u，v）為采摘點在像素坐標系中的坐標，（x，y）表示采摘點在圖像坐標系中的坐標，（u₀，v₀）為圖像坐標系原點O在像素坐標系上的坐標。

3.2.2 相機坐標系與圖像坐標系的關(guān)系 如圖12所示，相機坐標系是三維坐標系，反映空間中目標物與相機的位置關(guān)系。從相機坐標系到圖像坐標系是3D到2D的投影，投影關(guān)系如下：

其中，（X_C，Y_C，Z_C）為采摘點P在相機坐標系下的坐標。

將公式（5）轉(zhuǎn)換成矩陣形式：

公式（6）展現(xiàn)了相機坐標系到圖像坐標系的轉(zhuǎn)換關(guān)系，其中f為相機焦距。Z_C為采摘點到相機坐標系原點的深度距離，即采摘點在深度圖像與RGB圖像對應(yīng)位置上的值。通常是取深度圖上與RGB圖像中識別出的果實掩膜或邊界框?qū)?yīng)區(qū)域的值，經(jīng)過一些過濾、取平均值等操作，得到采摘點的深度信息^[95]。

3.2.3 機械臂坐標系與相機坐標系的關(guān)系 機械臂與相機存在2種位置關(guān)系，相機固定稱為“眼固定”、相機在機械臂上稱為“眼在手上”，如圖13所示，其中base代表基座，end代表機械臂末端執(zhí)行器^[103-104]。

當“眼在手上”時，相機標定的目的是確定機械臂末端與相機坐標系的轉(zhuǎn)換關(guān)系；當“眼固定”時，相機標定的目的則是機械臂與相機坐標系的轉(zhuǎn)換關(guān)系。2種轉(zhuǎn)換本質(zhì)上都是2個空間坐標系之間的轉(zhuǎn)換，存在如下的轉(zhuǎn)換關(guān)系：

其中，R為旋轉(zhuǎn)矩陣，T為平移矩陣，（X_W，Y_W，Z_W）為采摘點在世界坐標系下的坐標。手眼標定方法通過相機拍攝不同位置的標定板，建立約束方程，得到包含轉(zhuǎn)換矩陣X的方程AX=XB，其中A、B已知，可求得X^[105]：

式中，X為世界坐標系向相機坐標系的轉(zhuǎn)換矩陣。

通過上述推導(dǎo)的坐標系轉(zhuǎn)換關(guān)系，由公式（4）、公式（6）、和公式（7）可得到世界坐標系到像素坐標系的轉(zhuǎn)換關(guān)系：

式中，d_x、d_y與f為相機內(nèi)參，用矩陣M表示，可通過相機標定獲得^[106]。根據(jù)采摘點像素坐標（u，v）和深度坐標Z_C，利用公式（9）就可計算出采摘點的三維坐標。

例如，Li等^[107]基于無人機搭建了一個龍眼的自動化采摘平臺，利用以MobileNet為主干的YOLOv4網(wǎng)絡(luò)識別RGB圖像中的龍眼，以識別到的龍眼邊界框與果梗的交點作為采摘點，再將圖像上的采摘點映射到深度圖上獲得采摘點深度坐標，計算得到采摘點的空間坐標。采摘點的識別準確率達到88.89%，采摘成功率達到66.67%。同時，Li等^[99]設(shè)計了一種茶葉采摘機器人，該機器人通過RGB-D相機采集茶葉莖RGB-D融合圖像，利用YOLOv3模型識別茶葉莖，選擇茶葉莖與邊界框下邊的交點作為采摘點，再通過坐標轉(zhuǎn)換關(guān)系得到采摘點在機械臂坐標系下的三維坐標，茶葉采摘成功率為83.18%。同時，為了簡化采摘點從2D向3D的轉(zhuǎn)換過程，Gené-Mola等^[49]利用移動地面激光掃描儀（MTLS）生成蘋果樹的3D點云圖像，根據(jù)蘋果果實、葉片和枝干對激光雷達反射率的不同對其進行了分割，定位和識別的成功率分別達到了87.5%和82.4%，取得了與基于RGB-D方法相近的成功率，且該方法不受光照變化的影響，還可以直接從3D點云圖中獲取目標物的三維坐標。因此，采摘點三維定位流程不一定要遵循先2D再3D的定位流程，如何縮短采摘點三維坐標定位流程，也是未來研究的重要方向。獲得采摘點在采摘空間中的三維坐標后，將該坐標轉(zhuǎn)化并輸入到采摘執(zhí)行器，通過預(yù)先設(shè)計的軌跡規(guī)劃策略，即可控制采摘裝置完成果實采摘的任務(wù)。

4 發(fā)展趨勢

經(jīng)過上文的分析可以發(fā)現(xiàn)，深度學(xué)習(xí)目標檢測技術(shù)和高性能硬件的使用，使得采摘機器人的果實識別能力有了較大提升。但是，目前的機器人視覺在復(fù)雜環(huán)境下對果實的識別能力和人類相比仍有差距。未來的研究過程中，如何繼續(xù)在提高模型的識別準確率的同時簡化模型結(jié)構(gòu)仍是重點。因此，深度學(xué)習(xí)技術(shù)將來仍然是果實識別的主要方法。從目前的采摘機器人視覺系統(tǒng)技術(shù)的發(fā)展情況看，本文總結(jié)了以下幾個發(fā)展趨勢：

（1）數(shù)據(jù)共享。訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型需要大量數(shù)據(jù)，目前基于一種果實數(shù)據(jù)訓(xùn)練出的模型只能識別一種果實，但深度神經(jīng)網(wǎng)絡(luò)的能力遠不止于此。未來可以通過數(shù)據(jù)共享，訓(xùn)練出豐富的、通用的果實識別模型，減少重復(fù)性的研究。

（2）規(guī)范化種植。當前，果實檢測過程面臨著果實受樹葉和枝條遮擋、光照變化等不利因素影響，極大地增加了檢測難度。采用規(guī)范化種植，合理安排種植間隙、定期修剪枝干，可以減少上述不利情況的發(fā)生，降低果實識別難度、提高采摘點定位精度和效率。

（3）夜間識別。機器人相比人工的優(yōu)勢在于其不間斷、重復(fù)性的機械勞動。但是目前的采摘點定位研究主要是針對白天的情況展開，很少考慮到夜間照明情況。這使得采摘機器人喪失了這一重要優(yōu)勢。因此，實現(xiàn)夜間環(huán)境下采摘點的精準定位將大幅提高采摘機器人的使用效率和應(yīng)用前景。

（4）高性能硬件。受硬件性能的影響，圖像傳感器獲得的圖像分辨率遠小于人眼，且計算能力也不足以支撐高像素圖像計算。因此，高性能的圖像傳感器和圖像處理器也是機器視覺的研究重點，它將直接提高視覺系統(tǒng)的檢測性能。

（5）5G傳輸技術(shù)。面對越來越龐大的檢測模型，移動端設(shè)備難以有效承載。利用5G數(shù)據(jù)傳輸技術(shù)，將視覺傳感器獲取的數(shù)據(jù)傳輸?shù)皆贫诉M行計算，再將檢測結(jié)果反饋給機器人主控制器，控制機械手完成果實采摘。利用5G傳輸?shù)目焖傩院驮贫说膹姶筮\算性能，可以大大節(jié)約計算時間，提高采摘效率。

參考文獻：

[1] 張文翔， 張兵園， 貢 宇， 等. 果蔬采摘機器人機械臂研究現(xiàn)狀與展望[J]. 中國農(nóng)機化學(xué)報， 2022，43（9）： 232-237.

[2] WANG Z H， XUN Y， WANG Y K， et al. Review of smart robots for fruit and vegetable picking in agriculture[J]. International Journal of Agricultural and Biological Engineering， 2021，14（6）： 33-54.

[3] VERBIEST R， RUYSEN K， VANWALLEGHEM T， et al. Automation and robotics in the cultivation of pome fruit： where do we stand today？[J]. Journal of Field Robotics， 2021，38（4）： 513-531.

[4] BAI Y H， GUO Y X， ZHANG Q， et al. Multi-network fusion algorithm with transfer learning for green cucumber segmentation and recognition under complex natural environment[J]. Computers and Electronics in Agriculture， 2022，194： 1-27.

[5] 姚成勝，肖雅雯，楊一單. 農(nóng)業(yè)勞動力轉(zhuǎn)移與農(nóng)業(yè)機械化對中國糧食生產(chǎn)的關(guān)聯(lián)影響分析[J]. 農(nóng)業(yè)現(xiàn)代化研究， 2022，43（2）： 1-15.

[6] MONTOYA-CAVERO L， D?AZ DE LE?N TORRES R， G?MEZ-ESPINOSA A， et al. Vision systems for harvesting robots： produce detection and localization[J]. Computers and Electronics in Agriculture， 2022，192： 1-27.

[7] 李會賓，史 云. 果園采摘機器人研究綜述[J]. 中國農(nóng)業(yè)信息， 2019，31（6）： 1-9.

[8] 劉 妤，劉 灑，楊長輝，等. 基于雙目立體視覺的重疊柑橘空間定位[J]. 中國農(nóng)業(yè)科技導(dǎo)報， 2020，22（9）： 104-112.

[9] JUN J， KIM J， SEOL J， et al. Towards an efficient tomato harvesting robot： 3D perception， manipulation， and end-effector[J]. IEEE Access， 2021，9： 17631-17640.

[10]LV J D， WANG Y J， NI H M， et al. Method for discriminating of the shape of overlapped apple fruit images[J]. Biosystems Engineering， 2019，186： 118-129.

[11]劉振宇，丁宇祺. 自然環(huán)境中被遮擋果實的識別方法研究[J]. 計算機應(yīng)用研究， 2020，37（S2）： 333-335.

[12]何 斌，張亦博，龔健林，等. 基于改進YOLOv5的夜間溫室番茄果實快速識別[J]. 農(nóng)業(yè)機械學(xué)報， 2022，53（5）： 1-10.

[13]雷旺雄，盧 軍. 葡萄采摘機器人采摘點的視覺定位[J]. 江蘇農(nóng)業(yè)學(xué)報， 2020，36（4）： 1015-1021.

[14]陳志健，伍德林，劉 路，等. 復(fù)雜背景下油茶果采收機重疊果實定位方法研究[J]. 安徽農(nóng)業(yè)大學(xué)學(xué)報， 2021，48（5）： 842-848.

[15]汪 杰，陳曼龍，李 奎，等. 基于HSV與形狀特征融合的花椒圖像識別[J]. 中國農(nóng)機化學(xué)報， 2021，42（10）： 180-185.

[16]楊 帆，李鵬飛，劉 庚，等. 橘子采摘機器人目標識別定位方法與實驗研究[J]. 西安理工大學(xué)學(xué)報， 2018，34（4）： 460-467.

[17]王 瑾，王瑞榮，李曉紅. 番茄采摘機器人目標識別方法研究[J]. 江蘇農(nóng)業(yè)科學(xué)， 2021，49（20）： 217-222.

[18]趙立新，邢潤哲，白銀光，等. 深度學(xué)習(xí)在目標檢測的研究綜述[J]. 科學(xué)技術(shù)與工程， 2021，21（30）： 12787-12795.

[19]包曉敏，王思琪. 基于深度學(xué)習(xí)的目標檢測算法綜述[J]. 傳感器與微系統(tǒng)， 2022，41（4）： 5-9.

[20]楊長輝，劉艷平，王 毅，等. 自然環(huán)境下柑橘采摘機器人識別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機械學(xué)報， 2019，50（12）： 14-22.

[21]傅隆生，馮亞利，ELKAMIL T，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的田間多簇獼猴桃圖像識別方法[J]. 農(nóng)業(yè)工程學(xué)報， 2018，34（2）： 205-211.

[22]TANG Y C， CHEN M Y， WANG C L， et al. Recognition and localization methods for vision-based fruit picking robots： a review[J]. Frontiers in Plant Science， 2020，11： 1-17.

[23]魏宏飛，張季萌. 基于CMOS傳感器的采摘機器人計算機視覺系統(tǒng)研究[J]. 農(nóng)機化研究， 2022，44（12）： 221-224.

[24]JIAO Y H， LUO R， LI Q W， et al. Detection and localization of overlapped fruits application in an apple harvesting robot[J]. Electronics， 2020，9（6）： 1-14.

[25]MALIK M H， ZHANG T， LI H， et al. Mature tomato fruit detection algorithm based on improved HSV and watershed algorithm[J]. IFAC-PapersOnLine， 2018，51（17）： 431-436.

[26]牛 晗，伍希志. 基于大津算法連通域的松果多目標識別定位[J]. 江蘇農(nóng)業(yè)科學(xué)， 2021，49（15）： 193-198.

[27]馬 帥，張 艷，周桂紅，等. 基于改進YOLOv4模型的自然環(huán)境下梨果實識別[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報， 2022，45（3）： 105-111.

[28]XIONG J T， LIU Z， LIN R， et al. Green grape detection and picking-point calculation in a night-time natural environment using a charge-coupled device （CCD） vision sensor with artificial illumination[J]. Sensors， 2018，18（4）： 1-17.

[29]畢 松，高 峰，陳俊文，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標識別方法[J]. 農(nóng)業(yè)機械學(xué)報， 2019，50（5）： 181-186.

[30]ZHOU H Y， WANG X， AU W， et al. Intelligent robots for fruit harvesting： recent developments and future challenges[J]. Precision Agriculture， 2022，23（5）： 1856-1907.

[31]劉 妤，劉 灑，楊長輝，等. 基于雙目立體視覺的重疊柑橘空間定位[J]. 中國農(nóng)業(yè)科技導(dǎo)報， 2020，22（9）： 104-112.

[32]鄒朋朋，張滋黎，王 平，等. 基于共線向量與平面單應(yīng)性的雙目相機標定方法[J]. 光學(xué)學(xué)報， 2017，37（11）： 244-252.

[33]楊皓天，萬 騰. 葡萄采摘機械臂的雙目定位與抓取精度研究[J]. 農(nóng)機化研究， 2022，44（12）： 49-54.

[34]LING X， ZHAO Y S， GONG L， et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision[J]. Robotics and Autonomous Systems， 2019，114： 134-143.

[35]龐超凡. 基于雙目視覺小金桔果實的識別及定位采摘研究[D]. 鄭州：河南農(nóng)業(yè)大學(xué)， 2021.

[36]曹春卿，張吳平，李富忠，等. 自然場景下多目標蘋果識別定位融合算法研究[J]. 湖北農(nóng)業(yè)科學(xué)， 2022，61（7）： 145-151.

[37]陳 炎，楊麗麗，王振鵬. 雙目視覺的匹配算法綜述[J]. 圖學(xué)學(xué)報， 2020，41（5）： 702-708.

[38]LI Y J， FENG Q C， LI T， et al. Advance of target visual information acquisition technology for fresh fruit robotic harvesting： a review[J]. Agronomy， 2022，12（6）： 1-19.

[39]FU L S， GAO F F， WU J Z， et al. Application of consumer RGB-D cameras for fruit detection and localization in field： a critical review[J]. Computers and Electronics in Agriculture， 2020，177： 1-12.

[40]GONGAL A， AMATYA S， KARKEE M， et al. Sensors and systems for fruit detection and localization： a review[J]. Computers and Electronics in Agriculture， 2015，116： 8-19.

[41]SUN Q X， CHAI X J， ZENG Z K， et al. Noise-tolerant RGB-D feature fusion network for outdoor fruit detect[J]. Computers and Electronics in Agriculture， 2022，198： 1-13.

[42]趙 輝，李 浩，岳有軍，等. 基于RGB-D相機的矮砧蘋果識別與定位[J]. 計算機工程與設(shè)計， 2020，41（8）： 2278-2283.

[43]劉景娜. 基于Kinect的移動式番茄生長信息采集系統(tǒng)的研制[D]. 南京：南京農(nóng)業(yè)大學(xué)， 2020.

[44]孫寶霞，鄭鎮(zhèn)輝，胡文馨，等. 基于RGB-D的龍眼實時檢測與定位方法[J]. 林業(yè)工程學(xué)報， 2022，7（3）： 150-157.

[45]張 勤，陳建敏，李 彬，等. 基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法[J]. 農(nóng)業(yè)工程學(xué)報， 2021，37（18）： 143-152.

[46]彭孝東，時 磊，何 靜，等. 消費級RGB-D相機在農(nóng)業(yè)領(lǐng)域應(yīng)用現(xiàn)狀與發(fā)展趨勢[J]. 中國農(nóng)機化學(xué)報， 2022，43（4）： 206-215.

[47]彭育輝，江 銘，馬中原，等. 汽車自動駕駛關(guān)鍵技術(shù)研究進展[J]. 福州大學(xué)學(xué)報（自然科學(xué)版）， 2021，49（5）： 691-701.

[48]羅玉濤，秦 瀚. 基于稀疏彩色點云的自動駕駛汽車3D目標檢測方法[J]. 汽車工程， 2021，43（4）： 492-500.

[49]GEN?-MOLA J， GREGORIO E， GUEVARA J， et al. Fruit detection in an apple orchard using a mobile terrestrial laser scanner[J]. Biosystems Engineering， 2019，187： 171-184.

[50]M?NDEZ V， P?REZ-ROMERO A， SOLA-GUIRADO R， et al. In-field estimation of orange number and size by 3D laser scanning[J]. Agronomy， 2019，9（12）： 1-18.

[51]TANG J， JIANG F G， LONG Y， et al. Identification of the yield of camellia oleifera based on color space by the optimized mean shift clustering algorithm using terrestrial laser scanning[J]. Remote Sensing， 2022，14（3）： 1-18.

[52]溫玉維，鄧長勇，曾德培，等. 三維激光掃描儀在電力工程實測實量中的應(yīng)用[J]. 測繪通報， 2021（10）： 163-167.

[53]TSOULIAS N， PARAFOROS D S， XANTHOPOULOS G， et al. Apple shape detection based on geometric and radiometric features using a LiDAR laser scanner[J]. Remote Sensing， 2020，12（15）： 1-18.

[54]WU Y T， WANG Y Y， ZHANG S W， et al. Deep 3D object detection networks using LiDAR data： a review[J]. IEEE Sensors Journal， 2021，21（2）： 1152-1171.

[55]JIA W K， ZHANG Y， LIAN J， et al. Apple harvesting robot under information technology： a review[J]. International Journal of Advanced Robotic Systems， 2020，17（3）： 1-16.

[56]ZHUANG J J， HOU C J， TANG Y， et al. Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios[J]. Biosystems Engineering， 2019，187： 1-20.

[57]JIAO Y H， LUO R， LI Q W， et al. Detection and localization of overlapped fruits application in an apple harvesting robot[J]. Electronics， 2020，9（6）： 1-14.

[58]寧政通，羅陸鋒，廖嘉欣，等. 基于深度學(xué)習(xí)的葡萄果梗識別與最優(yōu)采摘定位[J]. 農(nóng)業(yè)工程學(xué)報， 2021，37（9）： 222-229.

[59]ZHUANG J J， LUO S M， HOU C J， et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electronics in Agriculture， 2018，152： 64-73.

[60]柳長源，賴楠旭，畢曉君. 基于深度圖像的球形果實識別定位算法[J]. 農(nóng)業(yè)機械學(xué)報， 2022，53（10）： 228-235.

[61]LIN G C， TANG Y C， ZOU X J， et al. Fruit detection in natural environment using partial shape matching and probabilistic Hough transform[J]. Precision Agriculture， 2020，21（1）： 160-177.

[62]LIU G X， NOUAZE J C， TOUKO P L， et al. YOLO-Tomato： a robust algorithm for tomato detection based on YOLOv3[J]. Sensors， 2020，20（7）： 1-20.

[63]高夢圓，馬雙寶，董玉婕，等. 基于實例分割蘋果采摘機器人視覺定位與檢測[J]. 江蘇農(nóng)業(yè)科學(xué)， 2022，50（3）： 201-208.

[64]BENAVIDES M， CANT?N-GARB?N M， S?NCHEZ-MOLINA J A， et al. Automatic tomato and peduncle location system based on computer vision for use in robotized harvesting[J]. Applied Sciences， 2020，10（17）： 1-21.

[65]劉 芳，劉玉坤，林 森，等. 基于改進型YOLO的復(fù)雜環(huán)境下番茄果實快速識別方法[J]. 農(nóng)業(yè)機械學(xué)報， 2020，51（6）： 229-237.

[66]ZHONG Z， XIONG J T， ZHENG Z H， et al. A method for litchi picking points calculation in natural environment based on main fruit bearing branch detection[J]. Computers and Electronics in Agriculture， 2021，189： 1-11.

[67]YU Y， ZHANG K l， YANG L， et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture， 2019，163： 1-9.

[68]楊長輝，劉艷平，王 毅，等. 自然環(huán)境下柑橘采摘機器人識別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機械學(xué)報， 2019，50（12）： 14-22.

[69]黃彤鑌，黃河清，李 震，等. 基于YOLOv5改進模型的柑橘果實識別方法[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報， 2022，41（4）： 170-177.

[70]TANG Y F， ZHANG Y W， ZHU Y. A research on the fruit recognition algorithm based on the multi-feature fusion[C]. Harbin： ICMCCE， 2020.

[71]ZHANG C L， ZHANG K F， GE L Z， et al. A method for organs classification and fruit counting on pomegranate trees based on multi-features fusion and support vector machine by 3D point cloud[J]. Scientia Horticulturae， 2021，278： 1-9.

[72]雷 歡，焦?jié)申?，馬敬奇，等. 基于多特征融合與SVM的蘋果品種快速識別算法[J]. 自動化與信息工程， 2020，41（4）： 13-17.

[73]WU J G， ZHANG B H， ZHOU J， et al. Automatic recognition of ripening tomatoes by combining multi-feature fusion with a bi-layer classification strategy for harvesting robots[J]. Sensors， 2019，19（3）： 1-22.

[74]汪 杰，陳曼龍，李 奎，等. 基于HSV與形狀特征融合的花椒圖像識別[J]. 中國農(nóng)機化學(xué)報， 2021，42（10）： 180-185.

[75]WU G， LI B， ZHU Q B， et al. Using color and 3D geometry features to segment fruit point cloud and improve fruit recognition accuracy[J]. Computers and Electronics in Agriculture， 2020，174： 1-8.

[76]楊曉靜，張福東，胡長斌. 機器學(xué)習(xí)綜述[J]. 科技經(jīng)濟市場， 2021（10）： 40-42.

[77]JIANG T， GRADUS J L， ROSELLINI A J. Supervised machine learning： a brief primer[J]. Behavior Therapy， 2020，51（5）： 675-687.

[78]鄭太雄，江明哲，馮明馳. 基于視覺的采摘機器人目標識別與定位方法研究綜述[J]. 儀器儀表學(xué)報， 2021，42（9）： 28-51.

[79]雷 歡，焦?jié)申?，馬敬奇，等. 基于多特征融合與SVM的蘋果品種快速識別算法[J]. 自動化與信息工程， 2020，41（4）： 13-17.

[80]ALZUBI J， NAYYAR A， KUMAR A. Machine learning from theory to algorithms： an overview[C]. Bangalore， INDIA： NCCI， 2018.

[81]LUO L F， TANG Y C， LU Q H， et al. A vision methodology for harvesting robot to detect cutting points on peduncles of double overlapping grape clusters in a vineyard[J]. Computers in Industry， 2018，99： 130-139.

[82]余 凱，賈 磊，陳雨強，等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計算機研究與發(fā)展， 2013，50（9）： 1799-1804.

[83]GUO Y M， LIU Y， OERLEMANS A， et al. Deep learning for visual understanding： a review[J]. Neurocomputing， 2016，187： 27-48.

[84]李 旭，李振海，楊海濱，等. 基于Faster R-CNN網(wǎng)絡(luò)的茶葉嫩芽檢測[J]. 農(nóng)業(yè)機械學(xué)報， 2022，53（5）： 217-214.

[85]ZHENG C， CHEN P F， PANG J， et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard[J]. Biosystems Engineering， 2021，206： 32-54.

[86]WANG P， NIU T， HE D J. Tomato young fruits detection method under near color background based on improved Faster R-CNN with attention mechanism[J]. Agriculture， 2021，11（11）： 1-13.

[87]李章維，胡安順，王曉飛. 基于視覺的目標檢測方法綜述[J]. 計算機工程與應(yīng)用， 2020，56（8）： 1-9.

[88]XU Z B， HUANG X P， HUANG Y， et al. A real-time Zanthoxylum target detection method for an intelligent picking robot under a complex background， based on an improved YOLOv5s architecture[J]. Sensors， 2022，22（2）： 1-15.

[89]何 斌，張亦博，龔健林，等. 基于改進YOLO v5的夜間溫室番茄果實快速識別[J]. 農(nóng)業(yè)機械學(xué)報， 2022，53（5）： 201-208.

[90]楊福增，雷小燕，劉志杰，等. 基于CenterNet的密集場景下多蘋果目標快速識別方法[J]. 農(nóng)業(yè)機械學(xué)報， 2022，53（2）： 265-273.

[91]MONTOYA-CAVERO L， TORRES R D D L， G?MEZ-ESPINOSA A， et al. Vision systems for harvesting robots： produce detection and localization[J]. Computers and Electronics in Agriculture， 2022，192： 1-27.

[92]LI T， FENG Q C， QIU Q， et al. Occluded apple fruit detection and localization with a frustum-based point-cloud-processing approach for robotic harvesting[J]. Remote Sensing， 2022，14（3）： 1-18.

[93]熊棣文，孔文斌，馮 洋. 在樹柑桔果實識別與定位技術(shù)發(fā)展現(xiàn)狀及展望[J]. 中國南方果樹， 2021，50（2）： 185-190.

[94]BENAVIDES M， CANT?N-GARB?N M， S?NCHEZ-MOLINA J A， et al. Automatic tomato and peduncle location system based on computer vision for use in robotized harvesting[J]. Applied Sciences， 2020，10（17）： 1-21.

[95]LI J H， TANG Y C， ZOU X J， et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots[J]. IEEE Access， 2020，8： 117746-117758.

[96]羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機器人采摘點的自動定位[J]. 農(nóng)業(yè)工程學(xué)報， 2015，31（2）： 14-21.

[97]任亞婧，張寧寧，徐媛媛，等. 基于視覺識別的成熟蘋果識別及采摘定位系統(tǒng)[J]. 現(xiàn)代電子技術(shù)， 2021，44（11）： 73-77.

[98]RONG J C， DAI G L， WANG P B. A peduncle detection method of tomato for autonomous harvesting[J]. Complex & Intelligent Systems， 2021，8（4）： 2955-2969.

[99]LI Y T， HE L Y， JIA J M， et al. In-field tea shoot detection and 3D localization using an RGB-D camera[J]. Computers and Electronics in Agriculture， 2021，185： 1-12.

[100]王 芳，崔丹丹，李 林. 基于深度學(xué)習(xí)的采摘機器人目標識別定位算法[J]. 電子測量技術(shù)， 2021，44（20）： 162-167.

[101]李瑞龍. 自動駕駛場景下的三維目標檢測技術(shù)研究[D]. 長春：中國科學(xué)院大學(xué)（中國科學(xué)院長春光學(xué)精密機械與物理研究所）， 2022.

[102]齊銳麗. 基于機器視覺花椒目標識別與定位技術(shù)研究[D]. 漢中：陜西理工大學(xué)， 2020.

[103]周 俊，劉 銳，張高陽. 基于立體視覺的水果采摘機器人系統(tǒng)設(shè)計[J]. 農(nóng)業(yè)機械學(xué)報， 2010，41（6）： 158-162.

[104]胡小平，左富勇，謝 珂. 微裝配機器人手眼標定方法研究[J]. 儀器儀表學(xué)報， 2012，33（7）： 1521-1526.

[105]KLAUS H S， GERD H. Optimal hand-eye calibration[C]. Beijing： IEEE， 2006.

[106]卜令昕. 結(jié)構(gòu)化果園蘋果收獲機器人關(guān)鍵技術(shù)研究[D]. 楊凌：西北農(nóng)林科技大學(xué)， 2021.

[107]LI D H， SUN X X， ELKHOUCHLAA H， et al. Fast detection and location of longan fruits using UAV images[J]. Computers and Electronics in Agriculture， 2021，190： 1-15.

（責(zé)任編輯：陳海霞）