蔬菜采摘機(jī)器人及其關(guān)鍵技術(shù)研究進(jìn)展

孫成宇　閆建偉　張富貴　茍園旻　徐勇

摘要：蔬菜采摘機(jī)器人對(duì)蔬菜生產(chǎn)機(jī)械化、自動(dòng)化、智能化具有重要意義。對(duì)國(guó)內(nèi)外蔬菜采摘機(jī)器人研究現(xiàn)狀、關(guān)鍵技術(shù)進(jìn)行總結(jié)、分析，包括優(yōu)化末端執(zhí)行器提升采摘效率，優(yōu)化圖像處理算法和深度學(xué)習(xí)模型提高識(shí)別精度。并對(duì)蔬菜采摘機(jī)器人的夾持式、吸持式和仿生式三類末端執(zhí)行器的特點(diǎn)及適合場(chǎng)景進(jìn)行分析。分析蔬菜采摘機(jī)器人視覺(jué)系統(tǒng)的組成結(jié)構(gòu)，對(duì)比三種識(shí)別方法：傳統(tǒng)的圖像處理方法基于顏色、紋理特征等；機(jī)器學(xué)習(xí)方法如K-means聚類算法和支持向量機(jī)SVM算法等；深度學(xué)習(xí)方法如YOLO、Faster RCNN和SSD網(wǎng)絡(luò)等。根據(jù)不同蔬菜的生長(zhǎng)環(huán)境及自身特性，歸納出適應(yīng)的識(shí)別方法，并對(duì)比識(shí)別效果。最后，指出蔬菜采摘機(jī)器人在作業(yè)對(duì)象、作業(yè)環(huán)境、自身硬件、生產(chǎn)成本方面存在的問(wèn)題；并在蔬菜種植模式、軟件系統(tǒng)、硬件系統(tǒng)以及利用區(qū)域特性方面作出展望。

關(guān)鍵詞：蔬菜；采摘機(jī)器人；視覺(jué)系統(tǒng)；末端采摘裝置；發(fā)展趨勢(shì)

中圖分類號(hào)：S233.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：20955553 （2023） 11006310

Research progress of vegetable picking robot and its key technologies

Sun Chengyu， Yan Jianwei， Zhang Fugui， Gou Yuanmin， Xu Yong

（School of Mechanical Engineering， Guizhou University， Guiyang， 550025， China）

Abstract：The vegetable picking robot plays a crucial role in the mechanization， automation， and intelligentization of vegetable production. This paper summarizes and analyzes the research status and key technologies of vegetable picking robots at home and abroad， including optimizing end effectors to improve picking efficiency and enhancing recognition accuracy through advanced image processing algorithms and deep learning models. The characteristics and suitable scenarios of three types of end effectors for vegetable picking robots， namely gripper-based， suction-based， and biomimetic-based， are analyzed. The composition and structure of the visual system in vegetable picking robots are discussed， and three recognition methods are compared： traditional image processing methods based on color and texture features， machine learning methods such as K-means clustering and support vector machine （SVM） algorithms， and deep learning methods such as YOLO， Faster RCNN， and SSD networks. Based on the growth environment and characteristics of different vegetables， suitable recognition methods are summarized and compared in terms of recognition performance. Additionally， issues related to the target of operation， working environment， hardware constraints， and production costs of vegetable picking robots are identified， followed by prospective analysis on vegetable cultivation patterns， software systems， hardware systems， and leveraging regional characteristics.

Keywords：vegetables； picking robot； vision system； end picking device； development trend

0引言

蔬菜采摘收獲是蔬菜生產(chǎn)中耗時(shí)最多的一個(gè)環(huán)節(jié)。隨著蔬菜種植模式向規(guī)模化、工廠化方向發(fā)展以及機(jī)器視覺(jué)、人工智能等發(fā)展，各類蔬菜采摘機(jī)器人近年來(lái)取得了很大進(jìn)步。蔬菜采摘機(jī)器人涵蓋的學(xué)科領(lǐng)域比較廣泛，從整體構(gòu)架上來(lái)看涉及機(jī)械和材料科學(xué)領(lǐng)域；內(nèi)部構(gòu)件需要電子信息和計(jì)算機(jī)方面的知識(shí)；從運(yùn)用的場(chǎng)景來(lái)看，涉及生物科學(xué)和農(nóng)業(yè)的專業(yè)知識(shí)，總的來(lái)說(shuō)就是集多學(xué)科于一體的交叉科學(xué)。采摘機(jī)器人將會(huì)涉及到視覺(jué)感應(yīng)系統(tǒng)，重點(diǎn)引用了圖像傳感器和距離傳感器，圖像傳感器包括CCD黑白攝像機(jī)、立體照相機(jī)等，而距離感應(yīng)器則有激光測(cè)距或者超聲波、無(wú)線［13］。

日本、美國(guó)、英國(guó)、西班牙等發(fā)達(dá)國(guó)家起步早，于20世紀(jì)80年代已開(kāi)始相關(guān)研究，并取得了一系列成果［45］。而我國(guó)在這方面入門比較晚，但是也取得了相應(yīng)的研究成果。例如，中國(guó)農(nóng)業(yè)大學(xué)研究的仿自然環(huán)境條件下番茄采摘機(jī)器人，并設(shè)計(jì)了其總體構(gòu)架。實(shí)現(xiàn)番茄采摘機(jī)器人全自動(dòng)化，減少工作期間人機(jī)交互［6］。本文針對(duì)典型蔬菜采摘機(jī)器人國(guó)內(nèi)外研究進(jìn)展及其關(guān)鍵技術(shù)進(jìn)行分析，提出現(xiàn)存一些問(wèn)題，并對(duì)蔬菜采摘機(jī)器人未來(lái)發(fā)展進(jìn)行展望。

1典型蔬菜采摘機(jī)器人國(guó)內(nèi)外研究進(jìn)展

1.1番茄采摘機(jī)器人

番茄是日常生活中較為常見(jiàn)的蔬菜，其容易識(shí)別、果實(shí)易采摘的特征致使它早在20世紀(jì)末期就被當(dāng)作采摘機(jī)器的試驗(yàn)對(duì)象。1983年從第一臺(tái)番茄采摘機(jī)器人問(wèn)世到現(xiàn)在番茄采摘機(jī)器人經(jīng)歷了近40年的研究發(fā)展，其研究歷程見(jiàn)圖1［57］。池田武史提出番茄在葉莖重疊的情況下的識(shí)別技術(shù)。機(jī)器人圖像處理技術(shù)的研究對(duì)于采摘工作是必不可少的，其中運(yùn)用了RGB-D傳感器進(jìn)行分析，以確保完成采摘作業(yè)并且能識(shí)別到周圍的障礙物。Jun等［8］提出的高效番茄收獲機(jī)器人，這種機(jī)器人是基于深度學(xué)習(xí)檢測(cè)番茄，然后提取目標(biāo)作物的三維坐標(biāo)，基于三維坐標(biāo)控制機(jī)械手運(yùn)動(dòng)。另外還設(shè)計(jì)并測(cè)試一種帶有輔助單元的剪刀形切割模塊，用于克服結(jié)構(gòu)限制并實(shí)現(xiàn)有效切割。

國(guó)內(nèi)，中國(guó)農(nóng)業(yè)大學(xué)、南京農(nóng)業(yè)大學(xué)等也對(duì)此領(lǐng)域做出了相應(yīng)的研究并取得一系列成果［1， 9］。于豐華等［6］發(fā)明的番茄采摘機(jī)器人配備STM32微控制器為主要控制器，并使用由RaspBerry Pi 4B控制器驅(qū)動(dòng)的深度攝像頭。用于識(shí)別成熟番茄的設(shè)備上以及具有壓力傳感器的柔性手爪上。朱智惟等［10］為實(shí)現(xiàn)高效自動(dòng)化采摘，提出改進(jìn)YOLOv5s模型，通過(guò)跨層連接和軟性非極大值抑制實(shí)現(xiàn)多尺度特征融合，識(shí)別準(zhǔn)確率達(dá)97.62%左右，應(yīng)用到番茄采摘機(jī)器人系統(tǒng)實(shí)現(xiàn)準(zhǔn)確采摘。

1.2黃瓜采摘機(jī)器人

早在1996年，荷蘭農(nóng)業(yè)環(huán)境工程研究所研制出一種多功能黃瓜采摘機(jī)械。該機(jī)械得在特定的栽培環(huán)境下使用，黃瓜按照吊掛生長(zhǎng)，這樣做是因?yàn)辄S瓜的果實(shí)與莖葉顏色近似，吊掛生長(zhǎng)便于識(shí)別過(guò)程中區(qū)分。此外，在相機(jī)前添加濾波片，再根據(jù)黃瓜的光譜反射特性可以更好地識(shí)別。此研究為后續(xù)的研究和種植模式奠定良好基礎(chǔ)［1113］。中國(guó)、日本等國(guó)家對(duì)黃瓜采摘機(jī)器人的研究也在穩(wěn)步推進(jìn)。中國(guó)農(nóng)業(yè)大學(xué)湯修映等研究黃瓜采摘機(jī)器人的路徑規(guī)劃與避障系統(tǒng)，基于三次多項(xiàng)式插值函數(shù)提出新的運(yùn)動(dòng)軌跡算法，為穩(wěn)定運(yùn)行提供了堅(jiān)實(shí)的基礎(chǔ)。近年來(lái)，學(xué)者們提出運(yùn)用深度學(xué)習(xí)和多特征融合對(duì)自然環(huán)境中的黃瓜進(jìn)行自動(dòng)識(shí)別采摘。荷蘭研發(fā)視覺(jué)系統(tǒng)和機(jī)器深度學(xué)習(xí)軟件，在農(nóng)產(chǎn)品自動(dòng)分級(jí)、分類、包裝等領(lǐng)域提供解決方案。最新研發(fā)的Crux Agribotics黃瓜巡檢采收機(jī)器人，很好地實(shí)現(xiàn)了自動(dòng)化采收，另外該機(jī)器人還配備病蟲害檢測(cè)功能、修剪功能、實(shí)時(shí)傳輸作物信息。

1.3蘑菇采摘機(jī)器人

Hu等［14］提出一種基于單目視覺(jué)的直徑和中心點(diǎn)位置測(cè)量方法運(yùn)用在雙孢蘑菇采摘機(jī)器人上，通過(guò)攝像機(jī)的水平移動(dòng)來(lái)測(cè)量雙孢蘑菇中心點(diǎn)的三維坐標(biāo)，并提出橢圓擬合算法來(lái)提高定位精度。此外，深度信息用于補(bǔ)償雙孢蘑菇直徑測(cè)量的誤差，成功率高達(dá)90%。王玲等［15］采用結(jié)構(gòu)光SR300深度相機(jī)針對(duì)褐蘑菇采摘，結(jié)合土壤表面深度的眾數(shù)，自適應(yīng)選擇動(dòng)態(tài)閾值， 提取蘑菇菌蓋二值圖，將此技術(shù)運(yùn)用在工廠化模式下。國(guó)內(nèi)對(duì)蘑菇采摘的研究可以追溯到1995年，吉林工業(yè)大學(xué)的周云山等［16］在已有的機(jī)器人本體的基礎(chǔ)上，提出利用計(jì)算機(jī)視覺(jué)識(shí)別提取蘑菇邊界輪廓的方法，并取得一定成效。平菇作為日常食用菌中較為常見(jiàn)的品種之一，有不少學(xué)者將其作為研究對(duì)象。蘇州大學(xué)的楊千［17］將溫室種植的平菇作為采摘目標(biāo)。在分析相對(duì)應(yīng)的研究對(duì)象，明確工作原理的基礎(chǔ)上，提出基于深度學(xué)習(xí)的改進(jìn)SSD-MobileNet網(wǎng)絡(luò)用于檢測(cè)，分析SSD網(wǎng)絡(luò)和MobileNet v1網(wǎng)絡(luò)的各自特點(diǎn)，最終組合生成該檢測(cè)算法。在采摘定位層面使用D-H建模分析，得到每一運(yùn)動(dòng)單元的關(guān)系，使用“8領(lǐng)域”均值法得到平菇的相對(duì)坐標(biāo)，將定位誤差控制在4mm以內(nèi)。最終的試驗(yàn)結(jié)果達(dá)到91.4%的采摘成功率，但是單體采摘時(shí)長(zhǎng)還有待改進(jìn)。

1.4茄子采摘機(jī)器人

日本對(duì)茄子采摘機(jī)器人做研究，Hayashi等［1819］提出茄子收獲機(jī)器人，采用一種結(jié)合顏色分段操作和垂直分割操作的機(jī)器視覺(jué)算法，在不同的光照條件下都能作用，驅(qū)動(dòng)操縱器的視覺(jué)反饋模糊控制模型。初期原型具有判斷機(jī)制、抓果機(jī)制和剪梗機(jī)制，根據(jù)果實(shí)長(zhǎng)度選擇性地選取果實(shí)，但是其成功率很低。其研究成果為自動(dòng)化收獲茄子帶來(lái)了新的理念，并證明了可行性。Hayashi等隨后又增加了機(jī)械臂自由度的同時(shí)還設(shè)立了超聲傳感器，使其功能更合理。Sepulveda等［20］將基于支持向量機(jī)（SVM）分類器的算法用于雙臂茄子采摘機(jī)器人上，有效處理遮擋情況下的自動(dòng)檢測(cè)和定位。宋健等［21］研發(fā)的開(kāi)放式采摘機(jī)器人由DMC 2280型多軸運(yùn)動(dòng)控制器、安川交流伺服驅(qū)動(dòng)系統(tǒng)以及彩色攝像機(jī)和機(jī)械結(jié)構(gòu)組成，并對(duì)整體結(jié)構(gòu)做出了優(yōu)化設(shè)計(jì)。用直方圖的固定雙閾值法對(duì)G-B灰度圖像進(jìn)行分割。隨后又對(duì)茄子采摘機(jī)器人的視覺(jué)和定位系統(tǒng)做出深層次的研究，利用閾值分割算法在亮度的基礎(chǔ)上對(duì)灰度圖像進(jìn)行分割，在標(biāo)定過(guò)程中使用雙目系統(tǒng)自行標(biāo)定，質(zhì)心為匹配基元。在此基礎(chǔ)上，進(jìn)一步提高視覺(jué)系統(tǒng)的運(yùn)算速度及可靠性，使用基于像素基色差值進(jìn)行識(shí)別，采用了數(shù)學(xué)形態(tài)學(xué)方法的結(jié)合，去除干擾，并用搜索方向旋轉(zhuǎn)法提取特征信息，有較高的成功率。

1.5小結(jié)

隨著美國(guó)、歐盟等先進(jìn)國(guó)家的采摘機(jī)器人相關(guān)產(chǎn)業(yè)逐漸完善，我國(guó)也必須迎頭趕上。國(guó)外從20世紀(jì)60年代就開(kāi)始研究此類機(jī)械，中國(guó)對(duì)于蔬菜采摘機(jī)器人的研究比較滯后。近年來(lái)我國(guó)也取得了一些突破，尤其在環(huán)境和地形較好的區(qū)域表現(xiàn)出色，在西部山地丘陵等地仍不好實(shí)現(xiàn)完全自動(dòng)化。多數(shù)采摘機(jī)械產(chǎn)品仍處于實(shí)驗(yàn)室階段，真正商用的產(chǎn)品比較少。針對(duì)存在的問(wèn)題，未來(lái)還需要加強(qiáng)對(duì)機(jī)械結(jié)構(gòu)的優(yōu)化，編寫簡(jiǎn)潔高效的代碼，達(dá)到設(shè)備采摘靈活度高、智能程度高、適用范圍廣、價(jià)格適中的目的。

2關(guān)鍵技術(shù)研究進(jìn)展

2.1末端執(zhí)行器采摘裝置

蔬菜采摘機(jī)器人中的末端執(zhí)行器是關(guān)鍵技術(shù)之一，其設(shè)計(jì)的好與壞，將直接影響采摘的成功率和破損率。末端執(zhí)行器可以分為夾持式、吸持式、仿生機(jī)械手［2225］，其特點(diǎn)如表1所示。

2.1.1夾持式

日本蔬菜與茶葉研究所的Hayashi等［18］開(kāi)發(fā)了茄子采摘機(jī)器人的末端執(zhí)行器。執(zhí)行機(jī)構(gòu)通過(guò)彩色攝像頭初步檢測(cè)蔬菜位置，通過(guò)超聲波傳感器確定蔬菜位置，并用剪刀切割菜梗。該執(zhí)行器能自動(dòng)定位蔬菜和菜梗的位置，便于采摘。中國(guó)農(nóng)業(yè)大學(xué)的紀(jì)超等［26］設(shè)計(jì)的溫室黃瓜采摘機(jī)器人，該機(jī)器人末端執(zhí)行器由氣動(dòng)柔性手指頭、切刀片和二次近景定位鏡頭等構(gòu)成。柔性手指中使用了柔性材質(zhì)橡皮，能夠在特定作用力下夾持蔬菜且不引起蔬菜損傷。二次近景定位攝像機(jī)在末端執(zhí)行器到達(dá)定位點(diǎn)時(shí)，能及時(shí)采集黃瓜的近景信息，算出切割部位以避免直接切傷蔬菜。該末端執(zhí)行器的優(yōu)勢(shì)在于夾持裝置的柔性，能夠減少夾持黃瓜時(shí)給其所造成的傷害。因此，可以將軟體機(jī)器手爪技術(shù)應(yīng)用于蔬菜采摘中。采用柔性材質(zhì)，通過(guò)負(fù)載變化來(lái)修改自身外形與尺寸并且擁有無(wú)限自由度的新型末端執(zhí)行器。西南大學(xué)的陳子文等［27］提出一種基于氣動(dòng)無(wú)損夾持控制的末端執(zhí)行器應(yīng)用在番茄采摘中，通過(guò)ASAMS對(duì)運(yùn)動(dòng)動(dòng)力學(xué)仿真，設(shè)計(jì)有壓力反饋的電氣控制伺服系統(tǒng)，以此來(lái)實(shí)現(xiàn)無(wú)損夾持。在重慶市璧山區(qū)的采摘試驗(yàn)中，成功率達(dá)到96.03%。浙江工業(yè)大學(xué)的錢少明等［28］在測(cè)定成熟黃瓜的基本特性的前提下，末端夾持器選擇氣動(dòng)柔性驅(qū)動(dòng)器彎曲關(guān)節(jié)，實(shí)驗(yàn)結(jié)果表明，裝配硅膠片的機(jī)爪對(duì)黃瓜表面壓損可以忽略不計(jì)，采摘成功率達(dá)9成。

2.1.2吸持式

吸持式和夾持式在外觀上有共通之處，但其內(nèi)部元器件有吸盤輔助蔬菜采摘。Van Hentan等［11］研發(fā)的黃瓜采摘機(jī)器人及末端執(zhí)行器，其末端執(zhí)行器部分主要由機(jī)械手指、吸盤和切割器組成，該吸盤提供了將黃瓜穩(wěn)定在機(jī)械手指可控范圍之內(nèi)的力，穩(wěn)定住黃瓜后切割器開(kāi)始工作，從而收獲植株。但是實(shí)驗(yàn)中出現(xiàn)無(wú)法釋放黃瓜的情況，說(shuō)明其系統(tǒng)優(yōu)化存在問(wèn)題，有待改進(jìn)。劉繼展等［29］設(shè)計(jì)的番茄采摘機(jī)器人末端執(zhí)行器，配備真空吸盤設(shè)備將蔬菜從菜株上剝離，通過(guò)手指夾持機(jī)構(gòu)對(duì)番茄可靠抓握，防止在切割過(guò)程中番茄穩(wěn)定性較差的情況出現(xiàn)，而果梗切斷裝置使用的是激光，作者摒棄傳統(tǒng)的扭斷、刀具切割的方法，使用激光切割可以有效地避免果實(shí)的損傷破裂。同時(shí)在末端執(zhí)行器上還裝配感知系統(tǒng)，對(duì)植株距離的把控以及周圍的視覺(jué)感知都有不錯(cuò)的效果。該執(zhí)行器通用性較之前設(shè)備高一些，可適用于類似形狀的蔬菜采摘。

2.1.3仿生機(jī)械手

仿生機(jī)械手是通過(guò)模擬生物形狀、構(gòu)造和操控的原理，設(shè)計(jì)并生產(chǎn)出功能更集中、效能更高、生物學(xué)特性更佳的機(jī)械手臂。把可運(yùn)用于生物體系中的優(yōu)越構(gòu)造和物理特征相結(jié)合，將能夠得到比大自然所形成的生物系統(tǒng)特性更全面的仿生機(jī)器。劉子娟等［30］提出仿蛇嘴機(jī)構(gòu)的理念，通過(guò)運(yùn)動(dòng)學(xué)分析，對(duì)參數(shù)進(jìn)行優(yōu)化，設(shè)計(jì)出較為理想的機(jī)構(gòu)。在此基礎(chǔ)上，重慶大學(xué)的王毅等［31］提出仿蛇嘴咬合式采摘執(zhí)行末端，設(shè)計(jì)之初應(yīng)用在柑橘采摘上，而咬合式的提出主要是參照了響尾蛇的咬合動(dòng)作和蛇嘴的構(gòu)造，從而設(shè)計(jì)了這種咬合式的執(zhí)行末端。在設(shè)計(jì)過(guò)程中，進(jìn)行了運(yùn)動(dòng)學(xué)建模仿真，此機(jī)構(gòu)要實(shí)現(xiàn)上下顎以相同軌跡運(yùn)動(dòng)的同時(shí)，蛇頭骨骼結(jié)構(gòu)中的下顎運(yùn)動(dòng)要相對(duì)獨(dú)立，執(zhí)行末端的張角盡可能大。最終采摘實(shí)驗(yàn)的成功率達(dá)87.5%。這種思想的提出為其應(yīng)用在蔬菜采摘領(lǐng)域提供了很好的思路。Quan等［32］設(shè)計(jì)的多功能蜓爪式仿生末端執(zhí)行器很好地利用了仿生這一原理。首先是獲得蜻蜓的相關(guān)物理信息，得到對(duì)應(yīng)的數(shù)據(jù)。利用D-H法建立運(yùn)動(dòng)模型，得到主要抓取部位，測(cè)定極限值，最后進(jìn)行試驗(yàn)。末端執(zhí)行器中手指和關(guān)節(jié)數(shù)量要仔細(xì)考量，這里使用欠驅(qū)動(dòng)機(jī)械手，每個(gè)手指由三個(gè)關(guān)節(jié)構(gòu)成，指節(jié)內(nèi)的柔性鐵絲收緊后，接觸表面的力傳感器開(kāi)始作用，達(dá)到界值停止收縮。該實(shí)驗(yàn)的對(duì)象是成熟的番茄、茄子、柿子椒等蔬菜，試驗(yàn)效果較好。

此處提到的欠驅(qū)動(dòng)式（驅(qū)動(dòng)數(shù)少于自由度數(shù)）末端執(zhí)行器［33］，目前國(guó)內(nèi)外大多研究都體現(xiàn)在結(jié)構(gòu)的優(yōu)化設(shè)計(jì)上，目前尚未有學(xué)者將其應(yīng)用在蔬菜采摘這一領(lǐng)域，大多數(shù)停留在實(shí)驗(yàn)階段。例如雷翔鵬等［34］研究了欠驅(qū)動(dòng)手爪在不同抓取模式下的運(yùn)動(dòng)特性和抓取能力，以及在特定條件下優(yōu)化基指節(jié)內(nèi)推桿的長(zhǎng)度和擺動(dòng)角度，以最小化連接手指處的應(yīng)力，有效增強(qiáng)了欠驅(qū)動(dòng)手爪的實(shí)用性和可靠性。

2.2視覺(jué)系統(tǒng)

蔬菜采摘機(jī)器人的機(jī)器視覺(jué)主要包括相機(jī)、采集卡、圖像處理卡等，其中機(jī)器人能夠有效識(shí)別作物的關(guān)鍵點(diǎn)在于圖像的識(shí)別（處理）以及視覺(jué)定位。在視覺(jué)系統(tǒng)上的研究可以追溯到20世紀(jì)90年代，采摘機(jī)器人的目標(biāo)檢測(cè)與識(shí)別技術(shù)近年來(lái)通過(guò)迭代更新，取得良好的成效，可以將其分為3個(gè)研究階段如表2所示。

三個(gè)研究階段為：（1）相對(duì)傳統(tǒng)的數(shù)字圖像處理技術(shù)，該方法主要涉及蔬菜相關(guān)特征的提取與識(shí)別［3537］；（2）隨著機(jī)器學(xué)習(xí)的發(fā)展，學(xué)術(shù)界又提出基于機(jī)器學(xué)習(xí)的圖像分割技術(shù)與分類器［3841］；（3）直到2006年杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出深度學(xué)習(xí)的概念以后，深度學(xué)習(xí)掀起學(xué)術(shù)界的新浪潮，不少學(xué)者將深度學(xué)習(xí)應(yīng)用在蔬菜采摘機(jī)器人之中［37， 4243］，并取得一定研究成果。

1） 基于蔬菜特征的數(shù)字圖像處理技術(shù)。呂小蓮等［44］基于顏色特征對(duì)成熟的番茄進(jìn)行采摘，在確定采摘對(duì)象顏色特征的基礎(chǔ)上，建立基于色差信息的改進(jìn)Ostu分割算法的識(shí)別模型，通過(guò)對(duì)圖像的處理去除自然背景，掃清GMM方法提取輪廓豐滿但是存在自然背景噪聲的運(yùn)行障礙。Chaivivatrakul等［45］提出一種基于紋理分析的植物綠色果實(shí)檢測(cè)方法。該方法包括興趣點(diǎn)特征提取和描述符計(jì)算、利用支持向量機(jī)進(jìn)行興趣點(diǎn)分類、候選果點(diǎn)映射、形態(tài)閉合和果實(shí)區(qū)域提取。針對(duì)苦瓜的24種興趣點(diǎn)特征和興趣點(diǎn)描述符的組合進(jìn)行評(píng)估，取得較高的精度，苦瓜的檢出率為100%。足以說(shuō)明該方法具有精確定位和監(jiān)測(cè)。未來(lái)的工作將探索檢測(cè)和跟蹤的結(jié)合，以進(jìn)一步改進(jìn)該方法。以上的特征提取方法都是針對(duì)單個(gè)特征，在某些特定情況下其識(shí)別精度稍顯乏力。于是，后來(lái)就有學(xué)者針對(duì)多個(gè)特征融合的圖像處理技術(shù)展開(kāi)一系列研究。Payne等［46］使用多特征融合的方式對(duì)作物的產(chǎn)量進(jìn)行計(jì)數(shù)，對(duì)獲取的圖像進(jìn)行分析，使用RGB和YCbCr顏色范圍內(nèi)的顏色分割和基于相鄰像素可變性的紋理分割，將像素分割為果實(shí)和背景像素。對(duì)生成的斑點(diǎn)進(jìn)行計(jì)數(shù)，以獲得每張圖像的果實(shí)計(jì)數(shù)。告別了單一特征在檢測(cè)時(shí)會(huì)遇到干擾的情況，多特征融合提高了檢測(cè)的精度和魯棒性。但是，這類方法也存在不足性，要是對(duì)于較不成熟的果實(shí)，其具有的顏色特征就可能會(huì)少，所以要較少地對(duì)顏色分割的強(qiáng)調(diào)，轉(zhuǎn)而考慮使用周長(zhǎng)匹配作為改進(jìn)果實(shí)檢測(cè)的一種手段。同時(shí)，也應(yīng)該研究在野外條件下建立一致的光照條件的方法。

2） 基于機(jī)器學(xué)習(xí)的圖像處理技術(shù)。采用機(jī)器學(xué)習(xí)的方法對(duì)圖像進(jìn)行識(shí)別，從給定的訓(xùn)練樣本集出發(fā)，找到并總結(jié)樣本數(shù)據(jù)規(guī)律，從而對(duì)目標(biāo)作物的圖像做出預(yù)測(cè)、識(shí)別。機(jī)器學(xué)習(xí)的類別主要有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等。學(xué)術(shù)界對(duì)這些方法都展開(kāi)廣泛的研究［47］。在無(wú)監(jiān)督學(xué)習(xí)中通常會(huì)使用到聚類算法，K-means聚類使用較為廣泛。由于在自然采摘條件下，機(jī)器人的視覺(jué)系統(tǒng)往往會(huì)受到光照條件的影響，為了消除這一影響，Wang等［3940］提出一種針對(duì)不同光照的分割算法。改進(jìn)小波變換應(yīng)用在作物圖像中，對(duì)作物表面的照明進(jìn)行歸一化處理?；赗etinex的圖像增強(qiáng)算法對(duì)光照歸一化圖像中的作物進(jìn)行突出顯示。采用K-means聚類的方法對(duì)作物圖像進(jìn)行分割，對(duì)不同光照的影響具有魯棒性，并能精確分割不同顏色的果實(shí)，該算法的平均處理時(shí)間僅為1365ms。Luo等［47］利用基于K-means聚類和有效顏色成分的分割算法，根據(jù)每個(gè)像素區(qū)域的幾何信息確定每個(gè)目標(biāo)作物的感興趣區(qū)域，并利用幾何約束方法確定合適的切割點(diǎn)。對(duì)從不同角度捕獲的作物圖像進(jìn)行了測(cè)試，平均識(shí)別準(zhǔn)確率為88.33%。該方法的結(jié)果在很大程度上依賴于每個(gè)作物像素區(qū)域提取的準(zhǔn)確性，當(dāng)提取精度不理想時(shí)，該方法在某些情況下可能會(huì)失敗。在監(jiān)督學(xué)習(xí)領(lǐng)域，中國(guó)農(nóng)業(yè)大學(xué)的李寒等［48］基于貝葉斯分類器算法，提出溫室綠熟番茄機(jī)器視覺(jué)檢測(cè)方法。要解決光線不均勻、有陰影或者遮擋的目標(biāo)作物的問(wèn)題，作者使用快速歸一化互相關(guān)函數(shù)對(duì)果實(shí)潛在區(qū)域檢測(cè)，隨后用區(qū)域分類器分類并判別是否為綠果。采取局部極大值法和隨機(jī)圓環(huán)變換檢測(cè)圓算法，分辨紅綠果同時(shí)存在的情況。為解決背景色近似的問(wèn)題，還使用了有機(jī)結(jié)合紋理特征的方法。除此之外，還有基于支持向量機(jī)（Support Vector Machine）算法，它是一種線性分類和非線性分類都支持的二元分類算法，對(duì)于分類的精度要求很高。Lu等［49］提出針對(duì)實(shí)驗(yàn)階段的訓(xùn)練照片與自然環(huán)境下真實(shí)果實(shí)的不同，同時(shí)要有效地分辨紅綠藍(lán)色彩，作者使用形態(tài)學(xué)操作，使多類支持向量機(jī)（SVM）同時(shí)對(duì)果實(shí)和枝條進(jìn)行分割，避免了傳統(tǒng)的閾值分割的低效性，識(shí)別率為92.4%，且直徑大于5個(gè)像素的分支可以被識(shí)別。為去除彩色圖像中的噪聲以及提高識(shí)別的精度和效率。Ji等［41］提出采用向量中值濾波器去除彩色圖像噪聲，基于區(qū)域增長(zhǎng)和顏色特征變化的圖像分割方式。在獲得圖像的色彩特性和形態(tài)特點(diǎn)以后，提供一個(gè)通過(guò)支持向量機(jī)的蘋果識(shí)別分類算法來(lái)實(shí)現(xiàn)此目的。為去除背景和光照對(duì)圖像識(shí)別的干擾，并檢測(cè)未成熟的綠色柑橘果實(shí)。Sengupta等［50］提出的檢測(cè)算法中，形狀分析和紋理分類是該算法的兩個(gè)組成部分。形狀分析可以檢測(cè)盡可能多的目標(biāo)。利用支持向量機(jī)（SVM）進(jìn)行紋理分類，采用Canny邊緣檢測(cè)結(jié)合基于圖的連接組件算法和霍夫線檢測(cè)來(lái)去除假陽(yáng)性，用尺度不變特征變換（SIFT）算法檢測(cè)關(guān)鍵點(diǎn)進(jìn)一步去除。最后達(dá)到在自然環(huán)境下檢測(cè)率80.4%的效果。

3） 基于深度學(xué)習(xí)的識(shí)別技術(shù)。近年來(lái)，不少學(xué)者將目光鎖定在“深度學(xué)習(xí)”這一版塊，思考如何將其更好地運(yùn)用在蔬菜采摘機(jī)器人領(lǐng)域。基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型種類繁多，但無(wú)外乎也可分為兩個(gè)大類，即單階段檢測(cè)算法和兩階段檢測(cè)算法。在單階段檢測(cè)算法中，比較常見(jiàn)的就是YOLO（You Only Look Once）網(wǎng)絡(luò)模型和SSD網(wǎng)絡(luò)模型。YOLO網(wǎng)絡(luò)模型首先提出是在2016年，經(jīng)過(guò)迭代更新已經(jīng)從YOLOv1發(fā)展到Y(jié)OLOv5。YOLO算法是當(dāng)前目標(biāo)檢測(cè)算法領(lǐng)域中的佼佼者，它可以同時(shí)對(duì)目標(biāo)圖像中的目標(biāo)進(jìn)行檢測(cè)和分類，突出其檢測(cè)速度快、高效，有效地彌補(bǔ)Faster RCNN算法在檢測(cè)速度上難以滿足實(shí)時(shí)需求的弊端。YOLOv1就是利用概率和邊界做回歸模型求解，相較其他算法在運(yùn)行速度上有所提高，由于多次的卷積運(yùn)算會(huì)將小目標(biāo)（特征）過(guò)濾掉，造成精度的缺失。在保持原有的檢測(cè)速度基礎(chǔ)上，提出的v2增強(qiáng)預(yù)測(cè)精度、識(shí)別對(duì)象更多。v3保留v1大部分特征，通過(guò)改變模型結(jié)構(gòu)的大小，實(shí)現(xiàn)速度與檢測(cè)精度平衡。2020年在v3的基礎(chǔ)上，做出相對(duì)全方位的改進(jìn)，提出新的高效檢測(cè)算法YOLO v4，其集大成者，對(duì)模型進(jìn)行不斷地調(diào)參、堆料。時(shí)隔兩個(gè)月學(xué)術(shù)界就提出了YOLO v5算法，其性能與v4相差無(wú)幾，創(chuàng)新點(diǎn)并不多，但是速度卻遠(yuǎn)超v4，模型尺寸也非常小。張宏鳴等［51］基于改進(jìn)的YOLO算法對(duì)玉米幼苗進(jìn)行識(shí)別，獲得幼苗株數(shù)數(shù)據(jù)。與原來(lái)的算法相比，改進(jìn)的FE-YOLO算法突出植株特征，用特征增強(qiáng)機(jī)制快速獲取幼苗株數(shù)，在模型中，構(gòu)建基于動(dòng)態(tài)激活的輕量特征網(wǎng)絡(luò)，引入注意力機(jī)制，實(shí)驗(yàn)表明召回率和mAP都有所提高，識(shí)別精度得到提高。郭瑞等［52］提出將v4運(yùn)用在大豆的豆莢測(cè)數(shù)實(shí)驗(yàn)中，為了較好地計(jì)算單株大豆擁有的豆莢數(shù)，除了使用的聚類算法和注意力機(jī)制以外，還做出了改進(jìn)。使用遷移學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練，獲取的最優(yōu)模型才用作對(duì)測(cè)試機(jī)的預(yù)測(cè)。總的來(lái)說(shuō)，YOLO算法在不斷地升級(jí)優(yōu)化，力圖達(dá)到更完美、更實(shí)用。至于SSD網(wǎng)絡(luò)模型，彭紅星等［53］提出利用改進(jìn)的SSD模型對(duì)自然環(huán)境下的植株進(jìn)行識(shí)別，改進(jìn)點(diǎn)在于將輸入模型替換為ResNet-101，并基于遷移學(xué)習(xí)方法和隨機(jī)梯度下降算法對(duì)模型進(jìn)行優(yōu)化，在Caffe框架下得出不同類型的果實(shí)具有較優(yōu)的實(shí)驗(yàn)結(jié)果。還有學(xué)者針對(duì)茶葉檢測(cè)使用了SSD算法，在提取超綠因子和形態(tài)學(xué)處理的基礎(chǔ)上，又對(duì)數(shù)據(jù)集擴(kuò)充，進(jìn)行了人工標(biāo)注，在神經(jīng)網(wǎng)絡(luò)的計(jì)算下，調(diào)整相關(guān)的參數(shù)，得到一個(gè)理想的檢測(cè)模型。

兩階段檢測(cè)算法中涉及的種類就比較多，其中Faster R-CNN就比較常見(jiàn)，在果蔬采摘識(shí)別領(lǐng)域也有不少應(yīng)用。杜玉紅等［54］提出使用改進(jìn)Faster RCNN模型對(duì)棉花的異性纖維進(jìn)行識(shí)別，由于異性纖維的尺寸和形狀相對(duì)多樣性，采用RseNet-50取代了VGG16作為特征提取網(wǎng)絡(luò)，對(duì)生成的候選框還需要使用k-means++聚類算法來(lái)改進(jìn)，才能更好地實(shí)現(xiàn)定位和分類。除此之外，F(xiàn)CN網(wǎng)絡(luò)［55］對(duì)原始圖像的尺寸要求不高，識(shí)別效率高，但是精度不高。SegNet網(wǎng)絡(luò)［56］可以有效地分辨出果實(shí)和背景圖像，甚至對(duì)目標(biāo)的邊界輪廓也能做出精準(zhǔn)識(shí)別，分析出相對(duì)位置。Mask-RCNN網(wǎng)絡(luò)［57］可以對(duì)小的目標(biāo)進(jìn)行有效地識(shí)別，避免了在卷積運(yùn)算中被忽略，可以使用在遮擋和目標(biāo)重疊的情況。綜上所述，深度學(xué)習(xí)的網(wǎng)絡(luò)模型種類很多，根據(jù)特定情況選擇合理的算法才能達(dá)到理想的效果。

3存在問(wèn)題與展望

3.1存在問(wèn)題

1） 作業(yè)環(huán)境的復(fù)雜性。蔬菜采摘機(jī)器人應(yīng)用的場(chǎng)景往往是非結(jié)構(gòu)性。光譜反射特性是目前廣泛采用的識(shí)別原理，但受到天氣情況和光線等因素的影響。在光線較差或強(qiáng)光照射下，視覺(jué)系統(tǒng)很難準(zhǔn)確識(shí)別邊界。此外，目標(biāo)作物被遮擋也是一個(gè)考慮因素，雖然基于深度學(xué)習(xí)的方法可以解決這個(gè)問(wèn)題，但需要大量的樣本和較長(zhǎng)的識(shí)別時(shí)間。難以建立誤差補(bǔ)償機(jī)制是因?yàn)闄C(jī)器視覺(jué)和作業(yè)環(huán)境的復(fù)雜性之間的挑戰(zhàn)。當(dāng)遇到訓(xùn)練之外的意外情況時(shí)，視覺(jué)系統(tǒng)往往難以正確識(shí)別，導(dǎo)致誤識(shí)別的后果。此外，在圖像處理過(guò)程中還會(huì)受到噪聲的干擾，從而導(dǎo)致識(shí)別系統(tǒng)的不穩(wěn)定和性能下降。針對(duì)這些問(wèn)題，需要進(jìn)一步優(yōu)化和改進(jìn)識(shí)別算法，以提高機(jī)器人在復(fù)雜環(huán)境下的作業(yè)能力。

2） 作業(yè)對(duì)象的不穩(wěn)定性。作業(yè)對(duì)象的個(gè)體差異性和隨機(jī)性。針對(duì)這一問(wèn)題，視覺(jué)系統(tǒng)需要有足夠大的訓(xùn)練樣本來(lái)支持其工作，因?yàn)槊總€(gè)作業(yè)對(duì)象的特征略有不同。此外，蔬菜的成熟度和不同時(shí)期的顏色區(qū)間也存在差異，這也增加了識(shí)別的復(fù)雜性。在果實(shí)成熟的階段，平均采摘周期較長(zhǎng)，導(dǎo)致部分地區(qū)的采摘效率較低。在采摘過(guò)程中，還要注意到蔬菜的柔軟易損特性，例如嫩葉和柔軟的菜皮容易受到損傷。因此，需要改進(jìn)執(zhí)行末端的設(shè)計(jì)，提高其通用性和實(shí)用性，以避免對(duì)蔬菜造成不必要的損害。綜上所述，為了能夠有效應(yīng)對(duì)作業(yè)對(duì)象的不穩(wěn)定性，采摘機(jī)器人的視覺(jué)系統(tǒng)和執(zhí)行末端需要不斷改進(jìn)和優(yōu)化。

3） 硬件存在的不足。目前，對(duì)于執(zhí)行末端的自由度控制還沒(méi)有達(dá)到理想效果。雖然較高的自由度可以提高靈活性和采摘效果，但相應(yīng)的控制難度也增加。目前，欠驅(qū)動(dòng)式執(zhí)行末端仍處于實(shí)驗(yàn)階段，并未廣泛應(yīng)用。此外，激光測(cè)距儀也面臨一些問(wèn)題。一方面，激光可能會(huì)受到障礙物的遮擋而無(wú)法準(zhǔn)確照射到目標(biāo)上；另一方面，如果測(cè)距過(guò)遠(yuǎn)，可能會(huì)導(dǎo)致激光失焦，從而影響設(shè)備性能。激光測(cè)距儀本身也存在系統(tǒng)復(fù)雜、速度慢和高成本等問(wèn)題，不是最佳選擇。除了距離傳感器外，使用視覺(jué)傳感器也存在問(wèn)題。景深相機(jī)的分辨率受到限制，難以實(shí)現(xiàn)理想精度的測(cè)量，通常需要其他輔助設(shè)備來(lái)提高測(cè)量精度。此外，難以解決產(chǎn)生的未知誤差，相機(jī)鏡頭可能與周圍環(huán)境發(fā)生碰撞，導(dǎo)致畸變，影響成像精度，同時(shí)也會(huì)降低識(shí)別和特征提取的效果。因此，對(duì)于硬件不足的問(wèn)題，需要進(jìn)一步改進(jìn)和優(yōu)化，以提高采摘機(jī)器人的性能。

4） 采摘機(jī)器人的成本。隨著中國(guó)人口老齡化問(wèn)題的出現(xiàn)，農(nóng)業(yè)勞動(dòng)力受到了一定的影響，因此在必要的情況下，推廣智能設(shè)備成為一種解決方案。要實(shí)現(xiàn)蔬菜采摘機(jī)器人的廣泛應(yīng)用和推廣，需要在降低產(chǎn)品成本方面下功夫。只有當(dāng)采摘機(jī)器人的成本性價(jià)比高于人工作業(yè)時(shí)，才能有廣泛應(yīng)用的空間。在中國(guó)的山地丘陵地區(qū)農(nóng)業(yè)機(jī)械的使用率相對(duì)較低。這些地區(qū)地勢(shì)陡峭、道路狹窄，常規(guī)農(nóng)業(yè)機(jī)械難以到達(dá)耕作區(qū)域。通常情況下，勞動(dòng)力需要將農(nóng)業(yè)機(jī)械搬運(yùn)到目標(biāo)作業(yè)地，但由于勞動(dòng)力短缺的現(xiàn)狀，常規(guī)設(shè)備很難解決這個(gè)問(wèn)題。為了解決這些問(wèn)題，需要在研發(fā)采摘機(jī)器人時(shí)注重降低成本，并確保其適應(yīng)不同地區(qū)的特點(diǎn)和需求。

3.2展望

1） 從蔬菜本身出發(fā)。采取合理的栽培模式可以方便采摘機(jī)器人的收獲，并減少識(shí)別過(guò)程中的背景干擾和莖葉干擾。例如，采用懸掛式種植黃瓜可以讓成熟的果實(shí)顯露在棚架下方，減少了干擾，從而使圖像處理和末端執(zhí)行器的工作更加容易。同時(shí)，需要更新農(nóng)民傳統(tǒng)種植模式和方法的理念。即使不考慮普及采摘機(jī)器人，這種方法也有助于為蔬菜采摘機(jī)器人的實(shí)驗(yàn)提供支持。因此，通過(guò)合理的栽培模式和更新種植理念，可以為采摘機(jī)器人的應(yīng)用提供更好的條件。

2） 改善軟件系統(tǒng)?？梢酝ㄟ^(guò)優(yōu)化和升級(jí)基于相機(jī)視覺(jué)捕捉的算法，更好地提取目標(biāo)作物的特征，并減少識(shí)別所需的時(shí)間。目前基于深度學(xué)習(xí)的方法得到了廣泛應(yīng)用，可以結(jié)合現(xiàn)有的大數(shù)據(jù)產(chǎn)業(yè)構(gòu)建產(chǎn)品數(shù)據(jù)庫(kù)，數(shù)據(jù)越全面，效果會(huì)越好。人工智能在過(guò)去十年中取得了巨大進(jìn)步，為我們提供了各種便利，這是通過(guò)大量數(shù)據(jù)和訓(xùn)練獲得的結(jié)果。通過(guò)反復(fù)訓(xùn)練相同類型的圖片或動(dòng)作，系統(tǒng)可以學(xué)習(xí)并改進(jìn)。然而，目前的研究仍存在一些困難。由于機(jī)器學(xué)習(xí)的數(shù)據(jù)集需要精心策劃，這些數(shù)據(jù)集都存在局限性。在訓(xùn)練系統(tǒng)時(shí)，需要確定一個(gè)發(fā)展軌跡，使網(wǎng)絡(luò)能夠發(fā)生變化?？梢钥紤]三個(gè)方面的方法：一是引導(dǎo)和約束信息處理；二是從多樣化、多模式的輸入中學(xué)習(xí)；三是輸入是通過(guò)發(fā)展和主動(dòng)學(xué)習(xí)來(lái)塑造的。在學(xué)習(xí)過(guò)程中，通常會(huì)盡量消除針對(duì)性干擾，讓數(shù)據(jù)本身來(lái)驅(qū)動(dòng)學(xué)習(xí)。因此，機(jī)器需要內(nèi)置偏好以塑造學(xué)習(xí)過(guò)程，并需要從更豐富的數(shù)據(jù)集中學(xué)習(xí)。因此，優(yōu)化軟件系統(tǒng)可以為采摘機(jī)器人的性能提供重要支持。

3） 優(yōu)化硬件系統(tǒng)?；跈C(jī)械結(jié)構(gòu)進(jìn)行設(shè)計(jì)，使蔬菜采摘機(jī)器人便于控制并具備整體靈活性。機(jī)器人在工作過(guò)程中具有復(fù)雜多變的運(yùn)動(dòng)軌跡，因此機(jī)械結(jié)構(gòu)應(yīng)滿足這一要求，設(shè)置合理的自由度，并在必要時(shí)采用欠驅(qū)動(dòng)式執(zhí)行末端。同時(shí)，機(jī)器人整體外觀應(yīng)緊湊，并符合運(yùn)動(dòng)軌跡的要求。此外，還需要進(jìn)行運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)分析，以確保機(jī)器人能夠平穩(wěn)運(yùn)動(dòng)、合理避障，并提高系統(tǒng)和設(shè)備的通用性。

當(dāng)前的采摘機(jī)器人大多采用專用的控制系統(tǒng)、執(zhí)行末端和程序代碼。在進(jìn)一步研究中，應(yīng)致力于突破機(jī)器人的限制性，形成可擴(kuò)展、靈活多變、模塊化的產(chǎn)業(yè)格局。這將有助于減少開(kāi)發(fā)成本和調(diào)試時(shí)間，實(shí)現(xiàn)一機(jī)多用的目標(biāo)。此外，還應(yīng)致力于研究多傳感器融合技術(shù)，充分考慮識(shí)別精度和機(jī)器成本之間的權(quán)衡，在合理的區(qū)間內(nèi)實(shí)現(xiàn)低成本、高精度的目標(biāo)。

4） 因地制宜。在不同地區(qū)，應(yīng)根據(jù)地方情況進(jìn)行適宜的蔬菜收獲方式選擇。在東部平原地區(qū)，蔬菜種植已實(shí)行自動(dòng)化產(chǎn)業(yè)體系，采用模塊化種植以方便采摘機(jī)器人的收獲，并取得了良好成效。而在西部丘陵地區(qū)，由于地形限制，大規(guī)模自動(dòng)化收獲可能受到阻礙，因此可以考慮實(shí)行人機(jī)交互蔬菜收獲模式。傳統(tǒng)的人工收獲強(qiáng)度大且效率低，但在此基礎(chǔ)上增設(shè)基于人工操作的采摘機(jī)，可以提高收獲效率，并降低在復(fù)雜環(huán)境下機(jī)器故障的概率。因此，在不同地區(qū)應(yīng)采取適合當(dāng)?shù)貤l件的蔬菜收獲方式，以最大程度地提高效率和可靠性。

4結(jié)語(yǔ)

本文對(duì)經(jīng)典的蔬菜采摘機(jī)器人取得的研究進(jìn)展做了歸納總結(jié)，包括目標(biāo)識(shí)別、定位和末端執(zhí)行器優(yōu)化設(shè)計(jì)等方面。重點(diǎn)總結(jié)了采摘機(jī)器人的末端執(zhí)行器和視覺(jué)系統(tǒng)。文章梳理了夾持式結(jié)構(gòu)、吸持式結(jié)構(gòu)和仿生式末端執(zhí)行器的特點(diǎn)及應(yīng)用情況。在視覺(jué)系統(tǒng)方面，文中對(duì)于不同類型的識(shí)別技術(shù)進(jìn)行了分析和比較。最后，還對(duì)當(dāng)前的研究現(xiàn)狀進(jìn)行了評(píng)估，并提出展望。

1） 對(duì)各類蔬菜采摘機(jī)器人的研究歷程進(jìn)行分析，可以得出國(guó)內(nèi)在蔬菜采摘機(jī)器人研究方面起步較晚，國(guó)外學(xué)者在末端執(zhí)行器創(chuàng)新和識(shí)別系統(tǒng)應(yīng)用方面取得了領(lǐng)先。近年來(lái)國(guó)內(nèi)的研究也取得了創(chuàng)造性的突破。

2） 在末端執(zhí)行器的研究領(lǐng)域，夾持式和吸持式結(jié)構(gòu)的研究和應(yīng)用趨于成熟，而仿生式機(jī)構(gòu)的研發(fā)和應(yīng)用受到研究者的關(guān)注。其具有較強(qiáng)的靈活性和適應(yīng)性，能夠更好地適應(yīng)復(fù)雜環(huán)境和完成精細(xì)任務(wù)，難點(diǎn)在于設(shè)計(jì)和控制方面的突破。

3） 在視覺(jué)系統(tǒng)的研究領(lǐng)域，重點(diǎn)比較了基于圖像處理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的三類方法。傳統(tǒng)的圖像處理方法基于蔬菜特征，具有時(shí)效性和經(jīng)驗(yàn)性，但抗干擾能力差，容易受到環(huán)境的影響。機(jī)器學(xué)習(xí)方法準(zhǔn)確性高，但需要大量標(biāo)注數(shù)據(jù)和復(fù)雜的參數(shù)調(diào)優(yōu)。深度學(xué)習(xí)方法雖然模型訓(xùn)練時(shí)間長(zhǎng)，但具備自動(dòng)特征學(xué)習(xí)、高準(zhǔn)確性和抗干擾能力強(qiáng)等優(yōu)勢(shì)，已成為蔬菜識(shí)別領(lǐng)域的主流方法，具有較高的精度和魯棒性。

4） 盡管采摘機(jī)器人在靈活程度、自動(dòng)化程度等方面還存在各式各樣的不足，隨著新技術(shù)的出現(xiàn)、科研水平的不斷提高，對(duì)于采摘機(jī)器人的研究深度也穩(wěn)步攀升，在蔬菜采摘機(jī)器人關(guān)鍵技術(shù)和機(jī)構(gòu)方面將會(huì)取得一些突破性的進(jìn)展。

參考文獻(xiàn)

［1］劉繼展. 溫室采摘機(jī)器人技術(shù)研究進(jìn)展分析［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2017， 48（12）： 1-18.Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 1-18.

［2］黃梓宸， Sugiyama Saki. 日本設(shè)施農(nóng)業(yè)采收機(jī)器人研究應(yīng)用進(jìn)展及對(duì)中國(guó)的啟示［J］. 智慧農(nóng)業(yè)（中英文）， 2022， 4（2）： 135-149.Huang Zichen， Sugiyama Saki. Research progress and enlightenment of Japanese harvesting robot in facility agriculture ［J］. Smart Agriculture， 2022， 4（2）： 135-149.

［3］Du Yuefeng， Fu Shenghui， Mao Enrong， et al. Development situation and prospects of intelligent design for agricultural machinery ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（9）： 1-17.

［4］Yasukawa S， Li B， Sonoda T， et al. Development of a tomato harvesting robot ［C］. 2017 International Conference on Artificial Life and Robotics， Miyazaki. 2017： 408-411.

［5］Takuya F， Shinsuke Y， Kazuo I. System development of tomato harvesting robot based on modular design ［C］. In： 2019 International Workshop on Smart Info-Media Systems in Asia： SS1-1. Tokyo， Japan： The Institute of Electronics， Information and Communication Engineers， 2019.

［6］于豐華， 周傳琦， 楊鑫， 等. 日光溫室番茄采摘機(jī)器人設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2022， 53（1）： 41-49.Yu Fenghua， Zhou Chuanqi， Yang Xin， et al. Design of tomato picking robot in solar greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（1）： 41-49.

［7］Chen K， Yang J， Jiang S， et al. Multi-sensor fusion tomato picking robot localization and mapping research ［J］. Journal of Physics： Conference Series， 2023， 2477（1）： 012057.

［8］Jun J， Seol J， Son H I. A novel end-effector for tomato harvesting robot： Mechanism and evaluation ［C］. 2020 20th International Conference on Control， Automation and Systems （ICCAS）. IEEE， 2020： 118-121.

［9］古煒豪， 秦廣明， 周詩(shī)豪， 等. 基于雙目定位的番茄采摘系統(tǒng)設(shè)計(jì)［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2016， 37（11）： 135-138.Gu Weihao， Qin Guangming， Zhou Shihao， et al. Design of tomato picking system based on binocular positioning ［J］. Journal of Chinese Agricultural Mechanization， 2016， 37（11）： 135-138.

［10］朱智惟， 單建華， 余賢海， 等. 基于YOLOv5s的番茄采摘機(jī)器人目標(biāo)檢測(cè)技術(shù)［J］. 傳感器與微系統(tǒng)， 2023， 42（6）： 129-132.Zhu Zhiwei， Shan Jianhua， Yu Xianhai， et al. Target detection technology of tomato picking robot based on YOLOv5s ［J］. Transducer and Microsystem Technologies， 2023， 42（6）： 129-132.

［11］Van Henten E J， Van Tuijl B A J， Hemming J， et al. Field test of an autonomous cucumber picking robot ［J］. Biosystems Engineering， 2003， 86（3）： 305-313.

［12］Park Y， Seol J， Pak J， et al. Human-centered approach for an efficient cucumber harvesting robot system： Harvest ordering， visual servoing， and end-effector ［J］. Computers and Electronics in Agriculture， 2023， 212： 108116.

［13］張燕軍， 吳華昕， 蘇偉， 等. 氣力驅(qū)動(dòng)的黃瓜梗剪切裝置設(shè)計(jì)與試驗(yàn)［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（2）： 101-108.Zhang Yanjun， Wu Huaxin， Su Wei， et al. Design and experiment of pneumatic cutting device for cucumber stalk ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 101-108.

［14］Hu Xiaomei， W Chuan， Y Tao. Design and application of visual system in the Agaricus bisporus picking robot ［A］. 2018 International Symposium on Power Electronics and Control Engineering （ispece 2018）［C］. Bristol： Iop Publishing Ltd， 2019， 1187： 032034.

［15］王玲， 徐偉， 杜開(kāi)煒， 等. 基于SR300深度相機(jī)的褐蘑菇原位測(cè)量技術(shù)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2018， 49（12）： 13-19， 108.Wang Ling， Xu Wei， Du Kaiwei， et al. Portabella mushrooms measurement in situ based on SR300 depth camera ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（12）： 13-19， 108.

［16］周云山， 李強(qiáng)， 李紅英， 等. 計(jì)算機(jī)視覺(jué)在蘑菇采摘機(jī)器人上的應(yīng)用［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 1995（4）： 27-32.Zhou Yunshan， Li Qiang， Li Hongying， et al. Application of computer vision in mushroom picking robot ［J］. Transactions of the Chinese Society of Agricultural Engineering， 1995（4）： 27-32.

［17］楊千. 平菇采摘機(jī)器人目標(biāo)識(shí)別與定位控制關(guān)鍵技術(shù)研究［D］. 蘇州： 蘇州大學(xué)， 2020.Yang Qian. Research on key technology of target recognition and positioning control of pleurotus ostreatus picking robot ［D］. Suzhou： Soochow University， 2020.

［18］Hayashi S， Ganno K， Ishii Y， et al. Development of a harvesting end-effector for eggplants.［J］. Shokubutsu Kojo Gakkaishi， 2001， 13（2）： 97-103.

［19］Hayashi S， Ganno K， Ishii Y， et al. Robotic harvesting system for eggplants ［J］. Japan Agricultural Research Quarterly： JARQ， 2002， 36（3）： 163-168.

［20］Sepulveda D， Fernandez R， Navas E， et al. Robotic aubergine harvesting using dual-arm manipulation ［J］. IEEE Access， 2020， 8： 121889-121904.

［21］宋健， 王凱， 張曉琛. 茄子采摘機(jī)器人目標(biāo)識(shí)別與測(cè)距方法［J］. 實(shí)驗(yàn)室研究與探索， 2015， 34（9）： 54-57.Song Jian， Wang Kai， Zhang Xiaochen. A target recognition and ranging method for eggplant picking robot ［J］. Research and Exploration in Laboratory， 2015， 34（9）： 54-57.

［22］苑進(jìn). 選擇性收獲機(jī)器人技術(shù)研究進(jìn)展與分析［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（9）： 1-17.Yuan Jin. Research progress analysis of robotics selective harvesting technologies ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（9）： 1-17.

［23］李國(guó)利， 姬長(zhǎng)英， 翟力欣. 果蔬采摘機(jī)器人末端執(zhí)行器研究進(jìn)展與分析［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2014， 35（5）： 231-236， 240.Li Guoli， Ji Changying， Zhai Lixin. Research progress and analysis of end-effector for fruits and vegetables picking robot ［J］. Journal of Chinese Agricultural Mechanization， 2014， 35（5）： 231-236， 240

［24］Avigad G， Salomon S， Kahani A， et al. Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized pneumatic robot arms ［P］. US Patent： 11477942， 2022-10-25.

［25］彭艷， 劉勇敢， 楊揚(yáng)， 等. 軟體機(jī)械手爪在果蔬采摘中的應(yīng)用研究進(jìn)展［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（9）： 11-20.Peng Yan， Liu Yonggan， Yang Yang， et al. Research advances in the application of soft robotic grippers for fruit and vegetable picking ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（9）： 11-20.

［26］紀(jì)超， 馮青春， 袁挺， 等. 溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析［J］. 機(jī)器人， 2011， 33（6）： 726-730.Ji Chao， Feng Qingchun， Yuan Ting， et al. Development and performance analysis on cucumber harvesting robot system in greenhouse ［J］. Robot， 2011， 33（6）： 726-730.

［27］陳子文， 楊明金， 李云伍， 等. 基于氣動(dòng)無(wú)損夾持控制的番茄采摘末端執(zhí)行器設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（2）： 27-35.Chen Ziwen， Yang Mingjin， Li Yunwu， et al. Design and experiment of tomato picking end-effector based on non-destructive pneumatic clamping control ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（2）： 27-35.

［28］錢少明， 楊慶華， 王志恒， 等. 黃瓜抓持特性與末端采摘執(zhí)行器研究［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2010， 26（7）： 107-112.Qian Shaoming， Yang Qinghua， Wang Zhiheng， et al. Research on holding characteristics of cucumber and end-effector of cucumber picking ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（7）： 107-112.

［29］劉繼展， 李萍萍， 李智國(guó). 番茄采摘機(jī)器人末端執(zhí)行器的硬件設(shè)計(jì)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2008（3）： 109-112.Liu Jizhan， Li Pingping， Li Zhiguo. Hardware design of the end-effector for tomato-harvesting robot ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2008（3）： 109-112.

［30］劉子娟， 費(fèi)健， 付莊， 等. 仿生蛇嘴的機(jī)構(gòu)原理與設(shè)計(jì)［A］. 2011年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第一分冊(cè)）［C］. 中國(guó)自動(dòng)化學(xué)會(huì)智能自動(dòng)化專業(yè)委員會(huì)， 2011： 485-489.

［31］王毅， 許洪斌， 張茂， 等. 仿蛇嘴咬合式柑橘采摘末端執(zhí)行器設(shè)計(jì)與實(shí)驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2018， 49（10）： 54-64.Wang Yi， Xu Hongbin， Zhang Mao， et al. Design and experiment of bite-model end-effector for citrus harvesting by simulating with mouth of snake ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（10）： 54-64.

［32］Quan Longzhe， Zhao Lin， Li Xinghui， et al. Design and test of multifunctional dragonfly claws form bio-mimetic end effector ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（8）.

［33］魏博， 何金銀， 石陽(yáng)， 等. 欠驅(qū)動(dòng)式柑橘采摘末端執(zhí)行器設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（10）： 120-128.Wei Bo， He Jinyin， Shi Yang， et al. Design and experiment of underactuated end-effector for citrus picking ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（10）： 120-128.

［34］雷翔鵬， 劉業(yè)峰. 欠驅(qū)動(dòng)多指機(jī)械手抓取能力分析與優(yōu)化研究［J］. 控制工程， 2022， 29（4）： 730-737.Lei Xiangpeng， Liu Yefeng. Research and optimization design of grasping capability for under-actuated multi-finger manipulator ［J］. Control Engineering of China， 2022， 29（4）： 730-737.

［35］劉林， 苑進(jìn)， 張巖， 等. 日光溫室基質(zhì)培生菜鮮質(zhì)量無(wú)損估算方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（9）： 230-240.Liu Lin， Yuan Jin， Zhang Yan， et al. Non-destructive estimation method for fresh weight of substrate cultured lettuce in a solar greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（9）： 230-240.

［36］彭紅星， 鄒湘軍， 陳麗娟， 等. 基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2014， 45（4）： 61-68， 75.Peng Hongxing， Zou Xiangjun， Chen Lijuan， et al. Fast recognition of multi color objects in Litchi field based on double Otsu algorithm ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2014， 45（4）： 61-68， 75.

［37］Lin G， Tang Y， Zou X， et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field ［J］. Sensors， Basel： Mdpi， 2019， 19（2）： 428.

［38］Moallem P， Serajoddin A， Pourghassem H. Computer vision-based apple grading for golden delicious apples based on surface features ［J］. Information Processing in Agriculture， 2017， 4（1）： 33-40.

［39］Wang C， Tang Y， Zou X， et al. A robust fruit image segmentation algorithm against varying illumination for vision system of fruit harvesting robot ［J］. Optik， Jena： Elsevier Gmbh， Urban & Fischer Verlag， 2017， 131： 626-631.

［40］Wang C， Zou X， Tang Y， et al. Localisation of litchi in an unstructured environment using binocular stereo vision ［J］. Biosystems Engineering， San Diego： Academic Press Inc Elsevier Science， 2016， 145： 39-51.

［41］Ji W， Zhao D， Cheng F， et al. Automatic recognition vision system guided for apple harvesting robot ［J］. Computers & Electrical Engineering， Oxford： Pergamon-Elsevier Science Ltd， 2012， 38（5）： 1186-1195.

［42］Chen S W， Shivakumar S S， Dcunha S， et al. Counting apples and oranges with deep learning： a data-driven approach ［J］. Ieee Robotics and Automation Letters， Piscataway： Ieee-Inst Electrical Electronics Engineers Inc， 2017， 2（2）： 781-788.

［43］Shelhamer E， Long J， Darrell T. Fully convolutional networks for semantic segmentation ［J］. Ieee Transactions on Pattern Analysis and Machine Intelligence， Los Alamitos： Ieee Computer Soc， 2017， 39（4）： 640-651.

［44］呂小蓮， 呂小榮， 盧秉福. 基于顏色信息的采摘西紅柿識(shí)別方法［J］. 計(jì)算機(jī)工程， 2010， 36（11）： 178-179， 182.Lü Xiaolian， Lü Xiaorong， Lu Bingfu. Identification methods of picking tomatoes based on color information ［J］. Computer Engineering， 2010， 36（11）： 178-179， 182.

［45］Chaivivatrakul S， Dailey M N. Texture-based fruit detection ［J］. Precision Agriculture， Dordrecht： Springer， 2014， 15（6）： 662-683.

［46］Payne A B， Walsh K B， Subedi P P， et al. Estimation of mango crop yield using image analysis-segmentation method ［J］. Computers and Electronics in Agriculture， 2013， 91： 57-64.

［47］Luo L， Tang Y， Zou X， et al. Robust grape cluster detection in a vineyard by combining the AdaBoost framework and multiple color components ［J］. Sensors， Basel： Mdpi， 2016， 16（12）： 2098.

［48］李寒， 張漫， 高宇， 等. 溫室綠熟番茄機(jī)器視覺(jué)檢測(cè)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2017， 33（S1）： 328-334， 388.Li Han， Zhang Man， Gao Yu， et al. Green ripe tomato detection method based on machine vision in greenhouse ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（S1）： 328-334.

［49］Lü Qiang， Cai Jianrong， Liu Bin， et al. Identification of fruit and branch in natural scenes for citrus harvesting robot using machine vision and support vector machine ［J］. International Journal of Agricultural and Biological Engineering， 2014， 7（2）： 115-121.

［50］Sengupta S， Lee W S. Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions ［J］. Biosystems Engineering， 2014， 117： 51-61.

［51］張宏鳴， 付振宇， 韓文霆， 等. 基于改進(jìn)YOLO的玉米幼苗株數(shù)獲取方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（4）：221-229.Zhang Hongming， Fu Zhenyu， Han Wenting， et al. Detection method of maize seedlings number based on improved YOLO［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（4）： 221-229.

［52］郭瑞， 于翀宇， 賀紅， 等. 采用改進(jìn)YOLOv4算法的大豆單株豆莢數(shù)檢測(cè)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（18）： 179-187.Guo Rui， Yu Chongyu， He Hong， et al. Detection method of soybean pod number per plant using improved YOLOv4 algorithm ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（18）： 179-187.

［53］彭紅星， 黃博， 邵園園， 等. 自然環(huán)境下多類水果采摘目標(biāo)識(shí)別的通用改進(jìn)SSD模型［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（16）： 155-162.Peng Hongxing， Huang Bo， Shao Yuanyuan， et al. General improved SSD model for picking object recognition of multiple fruits in natural environment ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（16）： 155-162.

［54］杜玉紅， 董超群， 趙地， 等. 改進(jìn)Faster RCNN模型在棉花異性纖維識(shí)別中的應(yīng)用［J］. 激光與光電子學(xué)進(jìn)展， 2020， 57（12）： 132-141.Du Yuhong， Dong Chaoqun， Zhao Di， et al. Application of improved Faster RCNN model for foreign fiber identification in cotton ［J］. Laser & Optoelectronics Progress， 2020， 57（12）： 132-141.

［55］Lin G， Tang Y， Zou X， et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field ［J］. Sensors， Basel： Mdpi， 2019， 19（2）： 428.

［56］Barth R， Hemming J， Van Henten E J. Angle estimation between plant parts for grasp optimisation in harvest robots ［J］. Biosystems Engineering， San Diego： Academic Press Inc Elsevier Science， 2019， 183： 26-46.

［57］Yu Y， Zhang K， Yang L， et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN ［J］. Computers and Electronics in Agriculture， Oxford： Elsevier Sci Ltd， 2019， 163： 104846.