蘋果機(jī)器人采摘存在的關(guān)鍵問題及對(duì)策

陳光明， 孔浩然， 章永年， 李佩娟

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇南京210031；2.江蘇省智能化農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，江蘇南京210031；3.南京工程學(xué)院工業(yè)中心/創(chuàng)新創(chuàng)業(yè)學(xué)院，江蘇南京211167)

在世界各國推廣農(nóng)業(yè)機(jī)械化的歷史進(jìn)程中，大多數(shù)國家都認(rèn)識(shí)到果蔬采收技術(shù)的機(jī)械化水平是阻礙農(nóng)業(yè)機(jī)械化水平提高的主要障礙之一[1]。果蔬采收存在周期短、采收時(shí)期集中、工作強(qiáng)度高的問題，并且采收工作量占總工作量的比例大、勞動(dòng)力短缺、人工成本高等問題較多[2-3]。因此，降低采收工作強(qiáng)度、提高果蔬采收效率和采收機(jī)械智能化水平，是提高中國農(nóng)業(yè)現(xiàn)代化水平的內(nèi)在必然要求[4]。

基于電動(dòng)的蘋果采摘機(jī)器人關(guān)鍵系統(tǒng)組成如圖1所示。一款適用于商業(yè)化要求的采摘機(jī)器人系統(tǒng)一般由信息采集系統(tǒng)、控制系統(tǒng)、機(jī)械系統(tǒng)、能源裝置等組成。信息采集系統(tǒng)由各種傳感器組成，包括相機(jī)、全球定位系統(tǒng)(GPS)及各種類型的傳感器，主要負(fù)責(zé)收集各種信息，并將其傳遞給控制系統(tǒng)；控制系統(tǒng)會(huì)對(duì)各種信息進(jìn)行處理分析，進(jìn)而控制機(jī)械系統(tǒng)進(jìn)行整機(jī)和機(jī)械臂移動(dòng)以及控制末端執(zhí)行器進(jìn)行采摘等動(dòng)作；機(jī)械系統(tǒng)作為執(zhí)行機(jī)構(gòu)，完成控制系統(tǒng)指定的命令。本研究通過研究分析近年來國內(nèi)外蘋果采摘機(jī)器人的最新研究成果，對(duì)采摘機(jī)器人關(guān)鍵系統(tǒng)面臨的難點(diǎn)進(jìn)行分析，并提出相應(yīng)對(duì)策。

1：雙目攝像頭；2：柔性夾爪；3：協(xié)作機(jī)械臂；4：下果臺(tái)；5：柔性夾爪控制箱；6：協(xié)作機(jī)械臂控制箱；7：顯示器；8：工控機(jī)；9：電機(jī)驅(qū)動(dòng)器；10：全球定位系統(tǒng)(GPS)天線；11：電氣箱；12：履帶式移動(dòng)底盤；13：鋰電池系統(tǒng)。圖1 雙臂式蘋果采摘機(jī)器人示意圖Fig.1 Schematic diagram of double-arm apple picking robot

1 國內(nèi)外有關(guān)蘋果采摘機(jī)器人的研究進(jìn)展

美國在20世紀(jì)40-50年代便實(shí)現(xiàn)了大田作物生產(chǎn)全過程的機(jī)械化，并開始進(jìn)行水果生產(chǎn)機(jī)械化的研究。在20世紀(jì)50年代末，美國研究人員在世界范圍內(nèi)開始了蘋果機(jī)械收獲的研究，并取得了很多成果，日本、荷蘭等國同樣處于領(lǐng)先地位。然而目前國內(nèi)大多數(shù)智能采摘機(jī)器人的研究僅處于設(shè)計(jì)和試驗(yàn)驗(yàn)證階段，與大多數(shù)發(fā)達(dá)國家相比，中國農(nóng)業(yè)采摘機(jī)器人的智能化程度還有很大的發(fā)展空間[5-6]。

1.1 國外蘋果采摘機(jī)器人的研究現(xiàn)狀

圖2是美國一家創(chuàng)業(yè)公司于2016年開發(fā)的一款負(fù)壓式蘋果采摘機(jī)器人，它能通過其搭載的三維掃描雷達(dá)實(shí)現(xiàn)自動(dòng)駕駛，通過人工智能技術(shù)實(shí)現(xiàn)基于視覺的蘋果及其質(zhì)量的實(shí)時(shí)探測，使用負(fù)壓式末端執(zhí)行器從果樹上吸取蘋果，從而降低果損率，并開發(fā)了機(jī)器人自動(dòng)操作軟件，單果采摘耗時(shí)2 s。然而，由于負(fù)壓管道運(yùn)動(dòng)距離較短，因此很難從樹冠內(nèi)部摘取蘋果。

圖2 負(fù)壓式蘋果采摘機(jī)器人Fig.2 Picking robot of apples based on negative pressure

為了解決上述機(jī)器人負(fù)壓管道運(yùn)動(dòng)距離較短的問題，2021年美國密歇根州立大學(xué)的Zhang等[7]對(duì)機(jī)械系統(tǒng)進(jìn)行了優(yōu)化，其開發(fā)的氣動(dòng)式長沖程蘋果采摘機(jī)器人如圖3所示。采摘機(jī)構(gòu)在云臺(tái)模塊的基礎(chǔ)上增加了1個(gè)棱柱關(guān)節(jié)，以擴(kuò)大機(jī)械手工作空間的深度，棱柱關(guān)節(jié)是1個(gè)行程長度為0.61 m的氣動(dòng)無桿氣缸和1個(gè)滑塊組成，氣動(dòng)系統(tǒng)由1臺(tái)113.56 L的空氣壓縮機(jī)驅(qū)動(dòng)，使采摘系統(tǒng)可以在1 s內(nèi)完成整個(gè)行程；末端執(zhí)行器采用直徑為0.064 m的軟硅膠真空杯，采摘時(shí)其貼合蘋果以降低果實(shí)損傷率。機(jī)器人收獲單個(gè)蘋果的總時(shí)長為8.8 s，在無人控制的情況下，采摘成功率為64%[7]。目前，該機(jī)器人仍處于試驗(yàn)階段，沒有配套果實(shí)收集轉(zhuǎn)運(yùn)系統(tǒng)。

圖3 氣動(dòng)式長沖程蘋果采摘機(jī)器人Fig.3 Picking robot of apples based on pneumatic type

圖4為以色列一家科技公司于2017年公布的水果收獲機(jī)FFRobot，其能夠?qū)⒊墒?、健康的蘋果與其他蘋果加以區(qū)分并進(jìn)行精確定位。各機(jī)械手均采用3個(gè)單關(guān)節(jié)手指的結(jié)構(gòu)，手指內(nèi)部呈弧形并配有柔質(zhì)護(hù)墊，模仿人手抓取蘋果時(shí)的形態(tài)，抓取蘋果后，通過扭轉(zhuǎn)或旋轉(zhuǎn)方式從樹上摘下蘋果，采摘成功率為85%。雖然機(jī)械手的運(yùn)動(dòng)沖程較大，能夠克服普通機(jī)械手難以對(duì)樹冠內(nèi)部蘋果進(jìn)行采摘的難點(diǎn)，但采摘過程中容易損壞毗鄰蘋果[8]。

圖4 FFRobot三爪機(jī)械手蘋果采摘機(jī)器人Fig.4 Picking robot of apples based on three-claw manipulator FFRobot

日本農(nóng)業(yè)和食品技術(shù)綜合研究機(jī)構(gòu)、日本立命館大學(xué)和汽車零部件制造商日本電裝公司聯(lián)合于2021年公布1款全自動(dòng)采摘機(jī)器人(圖5)，該機(jī)器人通過錯(cuò)位安裝2個(gè)機(jī)械臂進(jìn)行協(xié)同工作，單臂、單次采摘流程用時(shí)12 s，每個(gè)機(jī)械臂配備2個(gè)相機(jī)，采集數(shù)據(jù)經(jīng)控制系統(tǒng)處理后，能夠?qū)崿F(xiàn)果實(shí)的識(shí)別定位、采摘姿態(tài)選取、雙臂防碰撞等功能，可對(duì)高度為0.8～2.0 m的蘋果樹等9種果樹進(jìn)行果實(shí)識(shí)別與采摘工作，相對(duì)于單臂采摘機(jī)器人而言可以提高工作效率。

圖5 日本雙機(jī)械臂果實(shí)采摘機(jī)器人Fig.5 Japanese double-arm fruit picking robot

1.2 國內(nèi)蘋果采摘機(jī)器人的研究現(xiàn)狀

南京農(nóng)業(yè)大學(xué)顧寶興[9]于2012年設(shè)計(jì)了1款智能水果采摘機(jī)器人(圖6)。該機(jī)器人選用工業(yè)機(jī)械臂與自設(shè)計(jì)末端執(zhí)行器方案，以工控機(jī)為上位機(jī)，結(jié)合機(jī)械臂、末端執(zhí)行器、移動(dòng)平臺(tái)控制器以形成完善的控制系統(tǒng)，此外，通過系統(tǒng)搭建采摘機(jī)器人遠(yuǎn)程視頻監(jiān)控，開發(fā)了視覺與DGPS結(jié)合的導(dǎo)航系統(tǒng)，使得導(dǎo)航偏差率相對(duì)于單視覺導(dǎo)航與DGPS導(dǎo)航方式降低了30%。

圖6 智能水果采摘機(jī)器人Fig.6 Smart fruit picking robot

南京農(nóng)業(yè)大學(xué)的李國利等[10]于2016年設(shè)計(jì)了1種多末端蘋果采摘機(jī)器人機(jī)械手(圖7)，該機(jī)器人機(jī)械手通過雙目相機(jī)采集傳輸圖像，經(jīng)上位機(jī)計(jì)算，在遵循“最短路徑”與“主臂多動(dòng)，從臂少動(dòng)”原則的基礎(chǔ)上，對(duì)采摘點(diǎn)坐標(biāo)進(jìn)行確定和任務(wù)分配。經(jīng)試驗(yàn)驗(yàn)證，相較于夾持式末端執(zhí)行器，該機(jī)械手采摘單果的平均耗時(shí)減少了22.4%，其在實(shí)驗(yàn)室環(huán)境下的采摘成功率為82.14%，與單末端執(zhí)行器采摘單果的平均耗時(shí)(16.1 s)相比，多末端蘋果采摘機(jī)器人機(jī)械手采摘單果的平均耗時(shí)為4.5 s，降幅達(dá)72%[10-12]。

圖7 多末端蘋果采摘機(jī)器人機(jī)械手Fig.7 Manipulator of apple picking robot with multiple ends

2 蘋果機(jī)器人采摘存在的關(guān)鍵問題及對(duì)策

2.1 機(jī)器人采摘存在的關(guān)鍵問題

2.1.1 工作環(huán)境復(fù)雜多變 中國蘋果生產(chǎn)以小微農(nóng)戶為主，種植區(qū)域集中在渤海灣、西北高原和黃河故道，這些地區(qū)的地形以山地、丘陵和高原為主，地面不平坦，地勢起伏較大，土壤情況復(fù)雜，氣候多變，對(duì)移動(dòng)底盤的爬坡能力、抗傾覆能力要求較高；種植區(qū)域行距、株距較小，且各地環(huán)境不同，導(dǎo)致蘋果果園農(nóng)藝標(biāo)準(zhǔn)差異過大[13]，使得在設(shè)計(jì)采摘機(jī)器人的過程中，不得不考慮車身尺寸、機(jī)械臂種類與工作空間廣度、機(jī)械系統(tǒng)與能源系統(tǒng)成本之間的協(xié)調(diào)性問題，個(gè)性化的設(shè)計(jì)不利于商業(yè)化推廣，且在多種因素限制下，采摘機(jī)器人無人化駕駛技術(shù)仍處于試驗(yàn)階段。

2.1.2 復(fù)雜環(huán)境下的目標(biāo)果實(shí)識(shí)別較難 果實(shí)、樹枝和樹葉之間相互遮擋會(huì)影響判斷，加上真實(shí)工作環(huán)境下光照條件對(duì)采集圖像質(zhì)量造成的不確定性影響以及果實(shí)振蕩等因素，均會(huì)影響蘋果果實(shí)的識(shí)別、定位精度[14]。根據(jù)設(shè)計(jì)思路不同，有時(shí)還需對(duì)果梗、果梗方向和果實(shí)質(zhì)心進(jìn)行識(shí)別與特征提取。以上問題對(duì)信息采集及處理系統(tǒng)的要求較高，雖然能夠通過相應(yīng)算法在一定程度上解決果實(shí)被遮擋及果梗振蕩等問題，但是準(zhǔn)確性較低，并且如果有實(shí)時(shí)性分析的要求時(shí)，則對(duì)控制系統(tǒng)處理器的算力要求較高。

2.1.3 機(jī)械系統(tǒng)末端執(zhí)行器設(shè)計(jì)難度大 在多方面條件的限制下，即使換用不同機(jī)械采摘系統(tǒng)，采摘過程中的剛性碰撞也不可避免，導(dǎo)致果實(shí)、果樹受損。相機(jī)參數(shù)標(biāo)定、目標(biāo)識(shí)別定位、機(jī)械臂運(yùn)動(dòng)等過程中產(chǎn)生的誤差都會(huì)導(dǎo)致實(shí)際工作時(shí)末端執(zhí)行器不能準(zhǔn)確移動(dòng)至目標(biāo)果實(shí)處。這個(gè)問題雖然可以通過末端執(zhí)行器的設(shè)計(jì)來消除誤差，但增大了設(shè)計(jì)難度。

2.2 解決蘋果機(jī)器人采摘關(guān)鍵問題的思路對(duì)策

2.2.1 農(nóng)業(yè)采摘機(jī)器人與標(biāo)準(zhǔn)化果園農(nóng)藝相結(jié)合 結(jié)合國內(nèi)情況，學(xué)習(xí)國外先進(jìn)果園種植方法，通過農(nóng)藝手段，使蘋果盡可能生長在同一垂直面上，既可以省去復(fù)雜視覺定位算法的處理過程，又能消除樹冠內(nèi)部果實(shí)難采摘的問題，提高采摘率，做到農(nóng)業(yè)采摘機(jī)器人與標(biāo)準(zhǔn)化果園相結(jié)合。

2.2.2 模塊化可重構(gòu)底盤的設(shè)計(jì) 將履帶式移動(dòng)平臺(tái)和輪式移動(dòng)平臺(tái)集中在一起，通過改進(jìn)底盤機(jī)構(gòu)，可在復(fù)雜果園與平坦道路環(huán)境中自由切換履帶式與輪式底盤，以增強(qiáng)采摘機(jī)器人的環(huán)境適應(yīng)能力，減少能量損耗，降低使用成本，提高移動(dòng)底盤的使用效率。該設(shè)計(jì)具有一定的經(jīng)濟(jì)價(jià)值，模塊化的設(shè)計(jì)便于功能模塊的選擇與產(chǎn)品使用和維護(hù)，能夠提高移動(dòng)底盤的使用率。

2.2.3 視覺識(shí)別和快速定位 蘋果的準(zhǔn)確識(shí)別和快速定位是提高采摘效率的基本前提和保證，不同類型視覺方案的特點(diǎn)如表1所示[15]。通過相機(jī)獲取圖像后，由上位機(jī)進(jìn)行圖像處理。傳統(tǒng)處理圖像的方法是針對(duì)識(shí)別目標(biāo)物色彩與外形特征進(jìn)行特征信息的分析提取工作，流程包括但不限于基于方向梯度直方圖(HOG)的特征提取、基于窮舉策略的區(qū)域選擇和基于自適應(yīng)提升(Adaboost)的分類器分類等[16]。隨著基于深度學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)的發(fā)展，視覺識(shí)別有了新的思路，其工作流程一般分為兩類，一類是基于區(qū)域生成方法，首先由相應(yīng)算法生成目標(biāo)候選框，然后針對(duì)候選框內(nèi)的目標(biāo)進(jìn)行識(shí)別分類；另一類是基于回歸方法，目標(biāo)定位與預(yù)測分類工作同時(shí)進(jìn)行。第1種方法的識(shí)別成功率高，錯(cuò)識(shí)率低，但工作周期長，難以滿足實(shí)時(shí)工作的需求；第2種方法的識(shí)別速度快，準(zhǔn)確性也接近第1種方法。與DCNN法相比，傳統(tǒng)圖像處理方法運(yùn)行函數(shù)的復(fù)雜性更高，泛化能力差，并且后者需要足夠量的數(shù)據(jù)集，且對(duì)控制系統(tǒng)算力的要求較高。

表1 不同類型視覺方案的特點(diǎn)

隨著芯片技術(shù)的突破，DCNN的使用將更廣泛。在現(xiàn)階段，基于實(shí)時(shí)性探測需求與硬件成本考量，傳統(tǒng)圖像處理與深度學(xué)習(xí)混合探測方案已成為主流趨勢之一，既能提高識(shí)別精度，又占用相對(duì)少的系統(tǒng)資源。

2.2.4 采摘機(jī)械臂的選擇 目前，中國大多數(shù)采摘機(jī)器人都選擇工業(yè)機(jī)械臂作為機(jī)械手系統(tǒng)，這樣做的優(yōu)點(diǎn)很多：能夠縮短采摘機(jī)器人的研發(fā)時(shí)間；使用壽命長，定位精度高；有完整的支持程序，可以在現(xiàn)有程序的基礎(chǔ)上重新處理；具有良好的轉(zhuǎn)動(dòng)慣量協(xié)調(diào)性，可有效提高采摘速度。但是該系統(tǒng)也存在成本高、功耗大、無法適應(yīng)復(fù)雜多變的采摘環(huán)境等問題。相比之下，自設(shè)計(jì)機(jī)械臂雖然在一定程度上解決了工業(yè)機(jī)械臂功率過大、成本較高、工作環(huán)境適應(yīng)性差的問題，但會(huì)延長開發(fā)周期，并且工作效率低于工業(yè)機(jī)械臂。

結(jié)合國內(nèi)外成熟的采摘機(jī)器人，選用協(xié)作機(jī)械臂較為合適，各個(gè)機(jī)械臂分別負(fù)責(zé)不同的區(qū)域，并可有效提高采摘效率。直角坐標(biāo)系機(jī)械臂適配經(jīng)特定農(nóng)藝處理的果園，加裝可伸縮末端執(zhí)行器，可進(jìn)行樹冠內(nèi)部果實(shí)的采摘工作。現(xiàn)階段，關(guān)于定點(diǎn)運(yùn)動(dòng)、直線及圓弧插補(bǔ)運(yùn)動(dòng)的控制早已趨于成熟，但在機(jī)械臂的柔順控制、運(yùn)動(dòng)過程避障、相鄰機(jī)械臂的防碰撞系統(tǒng)等方面仍有較大研發(fā)空間。

2.2.5 末端執(zhí)行器設(shè)計(jì) 采摘效率和采摘過程中因機(jī)械剛性碰撞引起的果實(shí)損傷率是評(píng)估采摘機(jī)器人性能的2個(gè)重要指標(biāo)。末端執(zhí)行器作為和蘋果果實(shí)直接接觸的執(zhí)行機(jī)構(gòu)，其結(jié)構(gòu)設(shè)計(jì)和采摘?jiǎng)幼鞯脑O(shè)計(jì)是降低果實(shí)損傷率、延長果實(shí)貯藏期最直接有效的方法。不同類型的蘋果采摘端執(zhí)行器的特性如表2所示。

表2 不同類型蘋果采摘末端執(zhí)行器的特點(diǎn)

末端執(zhí)行器的設(shè)計(jì)應(yīng)集成到采摘機(jī)器人的整個(gè)工作流程中。首先針對(duì)不同品種果樹果梗及不同時(shí)期果實(shí)力學(xué)特性(如果實(shí)受壓情況等)，建立專門的機(jī)械損傷評(píng)估分類模型，并以此為依據(jù)，進(jìn)行末端執(zhí)行器機(jī)械結(jié)構(gòu)的輔助設(shè)計(jì)[17-18]，復(fù)合式末端執(zhí)行器的設(shè)計(jì)是結(jié)構(gòu)設(shè)計(jì)的主流趨勢，通過創(chuàng)新性結(jié)構(gòu)拓展末端執(zhí)行器的通用性，一種結(jié)構(gòu)能夠適應(yīng)多種形狀相似的果蔬品種采摘工作，從而提高末端執(zhí)行器的使用頻率。同時(shí)，使用柔性傳感器代替剛性傳感器安放于末端執(zhí)行器與果實(shí)接觸部位，實(shí)時(shí)進(jìn)行力學(xué)數(shù)據(jù)的采集，通過多傳感器融合采集相關(guān)信息以實(shí)現(xiàn)柔順控制，降低果實(shí)損傷率[19-20]。

3 展望

蘋果采摘機(jī)器人的關(guān)鍵系統(tǒng)如下：以基于GPS等導(dǎo)航系統(tǒng)進(jìn)行定位移動(dòng)的底盤行走機(jī)構(gòu)作為“腳”，以機(jī)械臂與末端執(zhí)行器作為“手”，以末端視覺識(shí)別與快速定位系統(tǒng)作為“眼”，以基于人工智能的總控制系統(tǒng)作為“腦”，以機(jī)械車體作為“身”。隨著充電樁的普及，電池和驅(qū)動(dòng)電機(jī)組成的新能源系統(tǒng)將代替內(nèi)燃機(jī)作為“動(dòng)力源”。與之配合工作的還有蘋果收集裝置與適合采摘機(jī)器人大展拳腳的智慧果園。

根據(jù)實(shí)際研發(fā)需求，重點(diǎn)進(jìn)行現(xiàn)代果園無人化收獲農(nóng)藝-農(nóng)機(jī)融合模式研究與鮮食果品高效低損采收、現(xiàn)場預(yù)分選分級(jí)、果箱收集轉(zhuǎn)運(yùn)等無人化關(guān)鍵技術(shù)與裝備的研發(fā)，進(jìn)而構(gòu)建現(xiàn)代果園無人化收獲成套技術(shù)體系并建立示范基地，以期有效解決國內(nèi)果園收獲裝備亟缺、勞動(dòng)力成本上升等問題。

蘋果采摘機(jī)器人的研發(fā)需要多領(lǐng)域、多學(xué)科交叉融合，涉及農(nóng)藝、機(jī)械設(shè)計(jì)、電氣系統(tǒng)、傳感器、機(jī)器人視覺、深度學(xué)習(xí)、控制算法、系統(tǒng)集成等多方面的關(guān)鍵技術(shù)，研發(fā)難度大、成本高。針對(duì)國內(nèi)蘋果采摘機(jī)器人發(fā)展較為滯后、農(nóng)藝和農(nóng)機(jī)結(jié)合不緊密的現(xiàn)狀，本研究為國內(nèi)未來蘋果采摘機(jī)器人各系統(tǒng)的設(shè)計(jì)給出優(yōu)化設(shè)計(jì)方案。研制出一款適應(yīng)復(fù)雜環(huán)境的高效率、低果實(shí)損傷、低成本、維護(hù)簡單、功能較全且操作難度低的商用蘋果采摘機(jī)器人，具有十分重要的現(xiàn)實(shí)意義。