基于視覺定位的串并混聯(lián)型百香果采摘機(jī)器人研究*

張日紅，歐炬基，丁力行，李小敏，林桂潮，鐘建鳴

(仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院,廣州市,510550)

0 引言

百香果廣泛種植于熱帶和亞熱帶地區(qū),在中國主要分布在廣東、福建和廣西等南方省份,大部分用于自然消費(fèi)和工業(yè)加工[1],目前百香果采摘主要以人工作業(yè)為主,這種方式耗時(shí)長和成本高昂,不能滿足現(xiàn)代農(nóng)業(yè)的發(fā)展需求[2]。傳統(tǒng)百香果種植方式多為平頂棚架,這種種植方式枝條雜亂,相互纏繞,容易滋生病蟲害。雙層垂簾式高密度種植采用的是立體的搭架種植方式,便于管理、采光充足、病害少、產(chǎn)量高[3-4],適合智能機(jī)器人采摘作業(yè)。

隨著計(jì)算機(jī)圖像處理技術(shù)、人工智能和電子技術(shù)的發(fā)展和成熟,經(jīng)過國內(nèi)外眾多學(xué)者研究,各類不同的采摘機(jī)器人的樣機(jī)研制與方法研究都有了重大突破。在樣機(jī)研制方面,如蘋果采摘機(jī)器人、番茄采摘機(jī)器人、獼猴桃采摘機(jī)器人、甜椒采摘機(jī)器人等[5-8],這些研究都極大地促進(jìn)了采摘機(jī)器人的迅速發(fā)展。在方法研究方面,Kuznetsova等[9]提出一種經(jīng)過預(yù)處理和后處理技術(shù)使YOLOv3算法,能夠應(yīng)用于蘋果和橙子收獲機(jī)器人機(jī)器視覺系統(tǒng)。Lü等[10]對分割出來的蘋果利用邊緣檢測和改進(jìn)的RHT變換對蘋果進(jìn)行識別,識別結(jié)果能基本滿足機(jī)器人的采摘要求。寧政通等[11]相續(xù)使用改進(jìn)的Mask R-CNN網(wǎng)絡(luò)進(jìn)行粗分割和區(qū)域生長法進(jìn)行細(xì)分割的處理方法,提取果梗質(zhì)心預(yù)測葡萄采摘點(diǎn)。張勤等[12]通過YOLOv4目標(biāo)檢測算法獲取感興趣區(qū)域,再融合RGB-D圖像中的深度信息和顏色特征提取番茄串采摘點(diǎn),耗時(shí)54 ms。

隨著技術(shù)的不斷發(fā)展,國內(nèi)針對百香果采摘機(jī)器人的研究也具有較多研究基礎(chǔ)。在機(jī)械采摘方面,如黃才貴等[13-14]設(shè)計(jì)了百香果采摘末端執(zhí)行機(jī)構(gòu),和基于機(jī)器視覺的百香果采摘分級機(jī)器人平臺。在百香果的檢測方面,林營志等[15]利用YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)建立了復(fù)雜背景下的百香果果實(shí)定位模型,唐熔釵等[16]通過增強(qiáng)特征提升了模型對百香果小目標(biāo)的識別能力,張展榜等[17]通過優(yōu)化先驗(yàn)框尺寸與非極大抑制算法提高了模型在不同密集場景下的適應(yīng)性和檢測能力。Tu等[18]針對自然復(fù)雜生長場景下的百香果,在Faster R-CNN目標(biāo)檢測算法的基礎(chǔ)上提出了一種多尺度的MS-FRCNN網(wǎng)絡(luò)優(yōu)化模型,提升了對百香果小目標(biāo)的檢測能力,涂淑琴等[19]運(yùn)用FPN+ResNet-101網(wǎng)絡(luò)模型對百香果目標(biāo)進(jìn)行了快速識別。綜上所述,國內(nèi)外面向百香果智能采摘的研究主要集中在機(jī)構(gòu)設(shè)計(jì)和識別定位層面,針對百香果智能采摘技術(shù)的技術(shù)集成和試驗(yàn)應(yīng)用研究甚少。因此,本文以垂簾式種植工藝的百香果為研究對象,綜合運(yùn)用深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)一個(gè)融合深度信息的百香果采摘點(diǎn)識別定位系統(tǒng)。在此基礎(chǔ)上,研制一款具備四自由度的串并混聯(lián)型百香果采摘機(jī)器人,并進(jìn)行運(yùn)動學(xué)模型分析和手眼標(biāo)定試驗(yàn)。

1 百香果采摘機(jī)器人設(shè)計(jì)

1.1 機(jī)器人系統(tǒng)組成

本文基于垂簾棚架式百香果種植場景,研制了一種串并混聯(lián)型百香果采摘機(jī)器人,如圖1所示。該機(jī)器人由串并混聯(lián)型機(jī)械臂、末端剪切執(zhí)行器、移動車體、深度相機(jī)、控制電箱、智能控制終端和移動電源所組成。串并混聯(lián)型機(jī)械臂具備升降、伸縮、回轉(zhuǎn)和擺頭四個(gè)功能,整個(gè)機(jī)械臂安裝于能在水平面上平動的移動車體上,每個(gè)車輪上配套的交流伺服電機(jī)為750 W。末端剪切執(zhí)行器與RealSenseTMDepth Camera D435i深度相機(jī)(以下簡稱D435i深度相機(jī))安裝在機(jī)械臂的末端擺頭電機(jī)上。智能控制終端選用配置NVIDIA GeForce GTX 2060Ti GPU和Intel Core i5-10400 CPU的計(jì)算機(jī)作為上位機(jī)。整機(jī)通過兩臺大功率移動電源供電。

圖1 百香果采摘機(jī)器人系統(tǒng)組成

1.2 串并混聯(lián)型機(jī)械臂結(jié)構(gòu)

串并混聯(lián)型機(jī)械臂可實(shí)現(xiàn)末端剪切執(zhí)行器的伸縮、升降、回轉(zhuǎn)和擺頭四個(gè)功能的伺服運(yùn)動。如圖2所示,串并混聯(lián)式機(jī)械臂采用由連桿和拉桿組成的雙平行桿嵌套結(jié)構(gòu),可使末端剪切執(zhí)行器始終保持水平姿態(tài)。機(jī)械臂的伸縮、升降和回轉(zhuǎn)傳動裝置均布置于回轉(zhuǎn)支撐齒輪上方的框架安裝支架上,伺服電機(jī)的最大回轉(zhuǎn)轉(zhuǎn)速為3 000 r/min和最大扭矩為0.64 N·m,其動力均由伺服電機(jī)經(jīng)蝸輪蝸桿減速器一次減速后分別通過水平、豎直螺桿和齒輪傳動驅(qū)動實(shí)現(xiàn)。蝸輪蝸桿減速比為1∶20,絲杠導(dǎo)程為10 mm,回轉(zhuǎn)齒輪減速比為20∶94。機(jī)械臂的擺頭裝置通過銜接連桿保持豎直狀態(tài),擺頭伺服電機(jī)的最大回轉(zhuǎn)轉(zhuǎn)速為15 r/min,最大扭矩為50 N·m。

圖2 串并混聯(lián)式機(jī)械臂結(jié)構(gòu)組成

1.3 末端剪切執(zhí)行器設(shè)計(jì)

末端執(zhí)行器保持水平的狀態(tài),可以對百香果的果梗進(jìn)行剪切。如圖3所示,安裝在擺頭伺服電機(jī)上的末端剪切執(zhí)行器由電機(jī)支架、伺服夾爪電機(jī)、刀片托架和剪切刀片所組成,并與D435i深度相機(jī)構(gòu)成“Eye in Hand”系統(tǒng),具備較高的近距離目標(biāo)捕獲能力。伺服夾爪電機(jī)行程為40 mm,最大夾持力為65 N,最大速度為80 mm/s。

圖3 末端剪切執(zhí)行器結(jié)構(gòu)圖

1.4 百香果采摘機(jī)器人通信原理

串并混聯(lián)型機(jī)械臂和末端剪切執(zhí)行器的伺服驅(qū)動數(shù)據(jù)指令由三菱FX5U-80MT/ES可編程控制器(以下簡稱FX5U)發(fā)出,移動車體采用ARDUINO模塊實(shí)現(xiàn)雙輪差速伺服驅(qū)動控制。如圖4所示,百香果采摘機(jī)器人通過D435i深度相機(jī)實(shí)時(shí)獲取周圍環(huán)境數(shù)據(jù),主要包含RGB圖像和深度距離信息,以USB串口通信的方式發(fā)送到百香果視覺識別與定位單元獲取采摘點(diǎn)信息,經(jīng)降維迭代求解和分析后得到目標(biāo)點(diǎn)期望位姿Texp和采摘作業(yè)指令信號。

圖4 百香果機(jī)器人通信原理

車體控制單元通過分析作業(yè)指令信號來輸出移動車體運(yùn)動信息,并采用USB串口通信方式與ARDUINO控制模塊實(shí)時(shí)通信。機(jī)械臂定位單元以目標(biāo)點(diǎn)期望位姿Texp作為已知輸入條件求解機(jī)械臂的運(yùn)動控制參數(shù)Pmc,采用MDBUS/TCP通信的方式將與FX5U實(shí)時(shí)通信。FX5U和ARDUINO控制模塊通過輸出數(shù)字信號給伺服驅(qū)動器,分別控制移動車體運(yùn)動和機(jī)械臂與末端剪切執(zhí)行器運(yùn)行到目標(biāo)采摘位置。

2 機(jī)械臂逆運(yùn)動學(xué)降維迭代求解算法

正運(yùn)動學(xué)是根據(jù)已知機(jī)械臂運(yùn)動參數(shù)求解機(jī)械臂末端位姿,逆運(yùn)動學(xué)是在已知機(jī)械臂末端位姿的條件下求解運(yùn)動學(xué)控制參數(shù)。圖5為機(jī)械臂等效結(jié)構(gòu)示意圖,根據(jù)表1的參數(shù),研發(fā)設(shè)計(jì)的機(jī)械臂不滿足解耦條件[20]中的“a×d=b×c”,求取非線性逆解難度大。為簡化機(jī)械臂運(yùn)動學(xué)模型和計(jì)算,本文結(jié)合張晴暉等[21]逆運(yùn)動學(xué)降維求解的思想,先把回轉(zhuǎn)和擺頭兩個(gè)關(guān)節(jié)去掉,將三維空間的數(shù)學(xué)模型降到二維空間,最后使用牛頓迭代的方法求得逆解。

表1 機(jī)械臂等效結(jié)構(gòu)參數(shù)

圖5 機(jī)械臂等效結(jié)構(gòu)示意圖

2.1 機(jī)械臂運(yùn)動學(xué)建模

根據(jù)機(jī)械臂的雙平行桿嵌套結(jié)構(gòu)的特性對圖2中的機(jī)械臂模型進(jìn)行適當(dāng)簡化:將雙平行桿簡化為單平行桿。以回轉(zhuǎn)機(jī)構(gòu)中心原點(diǎn)O0,建立O0-X0Y0Z0基坐標(biāo)系,以垂直移動模塊和水平移動模塊垂直交點(diǎn)O1,建立O1-X1Z1平面坐標(biāo)系,以擺頭伺服電機(jī)中心原點(diǎn)M,建立O2-X2Y2Z2坐標(biāo)系。B、C、D和E為平行桿結(jié)構(gòu)的四個(gè)端點(diǎn)。F點(diǎn)為DE延伸端的位置點(diǎn),M點(diǎn)為末端剪切執(zhí)行器的回轉(zhuǎn)原點(diǎn),N點(diǎn)為末端剪切執(zhí)行器回轉(zhuǎn)中心與末端剪切執(zhí)行器水平段的交點(diǎn),H點(diǎn)為末端剪切執(zhí)行器中剪切刀片的中心點(diǎn)。表1列出了機(jī)械臂的等效結(jié)構(gòu)參數(shù)。

如圖5所示,θ為回轉(zhuǎn)結(jié)構(gòu)繞O0-X0Y0Z0坐標(biāo)系Z0軸的旋轉(zhuǎn)角度,φ為末端剪切執(zhí)行器繞O2-X2Y2Z2坐標(biāo)系Z2軸的旋轉(zhuǎn)角度,α和β分別為CE和FE在O1-X1Z1平面坐標(biāo)系下與X1軸正方向和負(fù)方向的夾角。在O1-X1Z1平面坐標(biāo)系下,A(0,Az1)為機(jī)械臂的垂直移動滑塊原點(diǎn),C(Cx1,0)為機(jī)械臂的水平移動滑塊原點(diǎn)。表2為機(jī)械臂關(guān)節(jié)運(yùn)動參數(shù)范圍。

表2 機(jī)械臂關(guān)節(jié)運(yùn)動參數(shù)范圍

2.2 機(jī)械臂運(yùn)動學(xué)模型與工作空間

參照圖5所示的機(jī)械臂等效結(jié)構(gòu)示意圖,根據(jù)式(1)將A點(diǎn)在Z1軸的坐標(biāo)與C點(diǎn)在X1軸的坐標(biāo)引入?yún)?shù)α和β加以表示。在O1-X1Z1平面坐標(biāo)系下,不考慮θ和φ變化帶來的作用,公式(2)通過幾何降維處理獲得F點(diǎn)坐標(biāo)(Fx1,Fz1)?？紤]θ和φ變化帶來的作用,結(jié)合式(3),將H點(diǎn)的坐標(biāo)映射到O0-X0Y0Z0基坐標(biāo)系下,最后根據(jù)式(4)得到機(jī)械臂關(guān)于(α,β,θ,φ)的正運(yùn)動學(xué)模型T。

(1)

(2)

(3)

(4)

串并混聯(lián)型機(jī)械臂的運(yùn)動學(xué)模型使用集合關(guān)系構(gòu)建的,沒有考慮移動車體帶來的影響。試驗(yàn)種植基地中百香果棚架間距為2 m,結(jié)果高度集中在600～1 300 mm,試驗(yàn)移動車體高度為250 mm。圖6中每個(gè)空間點(diǎn)是考慮移動車體帶來的影響下,在世界坐標(biāo)系o-xyz下,通過隨機(jī)賦值機(jī)械臂的運(yùn)動控制參數(shù)Pmc(Az1,Cx1,θ,φ)并求解正向運(yùn)動學(xué)模型T得到的。仿真得到x軸和y軸上的工作區(qū)間比需要的大,z軸工作高度范圍為578～1 317 mm,滿足百香果采摘空間要求。

(a) x-y平面的工作空間

2.3 機(jī)械臂逆運(yùn)動學(xué)求解算法

如圖7所示,本文采用牛頓迭代法求出目標(biāo)點(diǎn)期望位姿Texp的逆解數(shù)值解(α,β,θ,φ)。根據(jù)式(1)將φ和α轉(zhuǎn)換為Az1和Cx1,最后得到機(jī)械臂的運(yùn)動控制參數(shù)Pmc(Az1,Cx1,θ,φ)。試驗(yàn)結(jié)果表明,對于工作空間內(nèi)的任意目標(biāo)位姿,使用牛頓迭代法一般迭代160次就可以求得逆解數(shù)值解。按照采摘實(shí)際情況,在機(jī)器人右側(cè)隨機(jī)選取10個(gè)不同的位置進(jìn)行逆運(yùn)動學(xué)求解試驗(yàn),設(shè)置的閾值為e=10-7,每次求解的平均迭代次數(shù)為163,平均耗時(shí)0.084 s。試驗(yàn)結(jié)果表明,基于降維迭代的逆運(yùn)動學(xué)求解算法的精度和求解時(shí)間都滿足機(jī)械臂求逆解的要求。

圖7 牛頓迭代法求取逆解數(shù)值解

2.4 手眼標(biāo)定

引導(dǎo)機(jī)械臂實(shí)施采摘,需要得到采摘點(diǎn)相對機(jī)械臂基坐標(biāo)系的坐標(biāo)?；诎傧愎烧c(diǎn)定位方法獲取百香果采摘點(diǎn)的像素坐標(biāo)(up,vp)后,從D435i深度相機(jī)的深度信息中可以直接獲取采摘點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)(xc,yc,zc)?！癊ye in Hand”標(biāo)定是求解相機(jī)坐標(biāo)系到機(jī)械臂末端的變換矩陣TCE。將基坐標(biāo)系固定不動,通過移動機(jī)械臂末端從不同角度拍攝n張標(biāo)定板圖片,可以獲得n-1個(gè)“TATCE=TCETB”方程,采用Tsai等[22]所提出的方法求解得到TCM。由確定的正運(yùn)動學(xué)模型T,結(jié)合式(5)可以得到采摘點(diǎn)在O0-X0Y0Z0基坐標(biāo)系下的坐標(biāo)(Px,Py,Pz)。

(5)

3 采摘點(diǎn)識別與定位算法

為解決在復(fù)雜背景下精準(zhǔn)定位百香果采摘點(diǎn)的問題,根據(jù)百香果與果梗的連通關(guān)系,采用YOLO v5s目標(biāo)檢測算法快速識別與提取百香果ROI,以百香果ROI中心位置向上偏移構(gòu)建果梗采摘點(diǎn)區(qū)域,融合深度信息搜索采摘點(diǎn)位置。

3.1 圖像樣本采集與數(shù)據(jù)預(yù)處理

百香果圖像數(shù)據(jù)采集自廣東省湛江科學(xué)研究院的紫色百香果種植基地,品種為紫香一號,垂簾式種植工藝,為避免葉面過于茂密,影響光照條件,在百香果生長期和結(jié)果期都進(jìn)行剪枝操作。

為保證所制作數(shù)據(jù)集的多樣性,在白天上午、中午與下午時(shí)段采集百香果RGB圖像共2 560張,采集RGB-D深度圖像412張。從所采集的RGB圖像中篩選出質(zhì)量穩(wěn)定的圖像1 852張,圖像樣本中主要包含無遮擋和遮擋的背景環(huán)境。其中1 552張用于數(shù)據(jù)集訓(xùn)練,300張用于數(shù)據(jù)集測試。為了提高百香果識別模型的泛化能力,對訓(xùn)練集的圖像進(jìn)行亮度、鏡像翻轉(zhuǎn)和添加噪聲的數(shù)據(jù)增強(qiáng)操作,訓(xùn)練數(shù)據(jù)集擴(kuò)增處理后所得到的共2 800張。

由于要進(jìn)行百香果果實(shí)目標(biāo)識別和采摘點(diǎn)定位研究,圖像標(biāo)注時(shí),除了需要基于每個(gè)百香果的最小外接矩形進(jìn)行標(biāo)注,還要在最小外接矩形頂部包含百香果的一部分果梗,以保證矩形框內(nèi)盡可能少地包含背景且盡可能多地包含采摘點(diǎn)區(qū)域。

3.2 快速提取百香果ROI

YOLO系列目標(biāo)檢測算法[23-25]是一階段目標(biāo)檢測算法的經(jīng)典代表,在保持較好性能的前提下將檢測問題轉(zhuǎn)換成回歸問題。YOLO v5是在YOLO v4[26]的基礎(chǔ)上改進(jìn),使其網(wǎng)絡(luò)模型的權(quán)重文件大幅度減小,檢測精度更高和運(yùn)行速度更快,根據(jù)特征提取模塊數(shù)量和卷積核數(shù)量不同,分為YOLO v5s、YOLO v5m、YOLO v5l與YOLO v5x四種架構(gòu)。

如圖8所示,本文采用YOLO v5s目標(biāo)檢測算法,在復(fù)雜背景下通過對輸入圖像全局檢測,融合多尺度特征快速識別百香果目標(biāo)。

(a) 原圖

根據(jù)YOLO v5s目標(biāo)檢測模型檢測結(jié)果,構(gòu)建一個(gè)一維向量提取百香果ROI位置信息(xl,yl,w,h),其中xl,yl為百香果ROI在圖像中左上角坐標(biāo),w,h為百香果ROI的寬度和高度。

3.3 百香果采摘點(diǎn)定位算法

百香果的果梗顏色與背景顏色相近,很難通過識別算法直接獲取果梗位置。根據(jù)百香果與果梗具備連通關(guān)系并且基本沒有支撐物干擾百香果垂簾生長,使用YOLO v5s快速識別并提取百香果ROI,以ROI中心點(diǎn)向上偏移構(gòu)建果梗采摘點(diǎn)區(qū)域,再融合深度信息搜索采摘點(diǎn)。如圖9所示,根據(jù)串并混聯(lián)機(jī)械臂工作空間的范圍,將ROI中心深度值dc在[0,800]mm內(nèi)的ROI視為可采摘百香果目標(biāo),否則為不可采摘百香果目標(biāo)。

圖9 百香果采摘目標(biāo)判別圖

D435i深度相機(jī)基于結(jié)構(gòu)光的方法采集深度信息,容易受到光線條件的影響[27],系統(tǒng)噪聲的存在也會在捕獲的深度圖像中產(chǎn)生孔洞[28],在獲取小目標(biāo)的深度信息時(shí)會存在誤差甚至缺失的問題。百香果的果梗細(xì)小,不能直接D435i深度相機(jī)獲取采摘點(diǎn)的深度值。為減小D435i獲取深度信息時(shí)帶來的誤差,以百香果ROI中心(uc,vc)向上偏移構(gòu)建采摘點(diǎn)區(qū)域來預(yù)測果梗位置。據(jù)數(shù)據(jù)集統(tǒng)計(jì),可采摘百香果的果徑為4～6 cm。根據(jù)果梗與百香果ROI中心點(diǎn)的深度差關(guān)系,結(jié)合式(6)在采摘點(diǎn)區(qū)域建立有效采摘點(diǎn)集合P(X,Y)。

(6)

式中:d(u,v)——采摘點(diǎn)區(qū)域處點(diǎn)(u,v)的深度值。

從采摘點(diǎn)區(qū)域提取出有效采摘點(diǎn)集合P(X,Y)后,根據(jù)式(7)在P(X,Y)中搜索出深度值為dmin的點(diǎn)作為采摘點(diǎn)(up,vp)。

dmin=min[‖P(ux,vy)-Pdavg‖]

(7)

式中:dmin——P(X,Y)中與Pdavg最接近的深度值;

P(ux,vy)——P(X,Y)中(x,y)處的深度值;

Pdavg——P(X,Y)中的平均深度值。

如圖10(b)所示,在百香果ROI頂部構(gòu)建一個(gè)以(uc,0.07h)為中心、0.2w寬和0.1h高的矩形區(qū)域作為百香果采摘點(diǎn)區(qū)域。圖10(c)為采摘點(diǎn)區(qū)域融合深度信息后的采摘點(diǎn)搜索結(jié)果。

圖10 百香果采摘點(diǎn)區(qū)域定位過程圖

4 系統(tǒng)集成與試驗(yàn)驗(yàn)證

4.1 百香果識別模型試驗(yàn)

進(jìn)行YOLO v5s網(wǎng)絡(luò)訓(xùn)練時(shí),電腦配置情況為Intel i7-9750H Intel Xeon(R) Gold 5218 CPU,顯卡為NVIDIA TITAN RTX GPU和24 GB運(yùn)行內(nèi)存。進(jìn)行YOLO v5s網(wǎng)絡(luò)測試電腦硬件情況為Intel Core i5-10400 CPU,顯卡為NVIDIA GeForce GTX 2060Ti GPU和16 GB運(yùn)行內(nèi)存。batchsize設(shè)置為16,動量因子為0.937,參數(shù)訓(xùn)練采用SGD優(yōu)化算法,權(quán)重衰減系數(shù)為0.000 5。

本研究訓(xùn)練使用2 800張訓(xùn)練集圖像,如圖11所示,模型一共訓(xùn)練300次,通過損失值評價(jià)模型訓(xùn)練效果,可以看出在迭代250次后,損失值降至0.27附近震蕩并趨于穩(wěn)定。

圖11 YOLO v5s損失函數(shù)值和迭代次數(shù)曲線圖

使用精確率(Precision)作為YOLO v5s模型檢測精度的評價(jià)指標(biāo)。對300張百香果測試集圖像進(jìn)行檢測,總共檢測出1 580個(gè)目標(biāo),包含1 509個(gè)百香果,百香果目標(biāo)檢測模型對百香果的識別精確率達(dá)到95.5%,滿足百香果自動采摘的要求。

4.2 采摘點(diǎn)定位試驗(yàn)

4.2.1 定位算法模型試驗(yàn)

從412張深度圖中隨機(jī)選取100張質(zhì)量過關(guān)的深度圖,其中百香果主要包含無遮擋和遮擋兩種生長情況,以采摘點(diǎn)位于果梗上判斷為定位成功,否則定位失敗。

如表3所示,在檢測到的343個(gè)百香果目標(biāo)中,可采摘目標(biāo)總共有303個(gè),其中無遮擋和遮擋分別有232個(gè)和71個(gè),無遮擋和遮擋的定位成功率分別為91.4%和83.1%,總體定位成功率為89.4%。在定位試驗(yàn)過程中,對1 280×720的單幀圖像平均識別時(shí)間約為27 ms,對單幀圖像中單個(gè)百香果采摘點(diǎn)定位時(shí)間在6 ms左右。試驗(yàn)結(jié)果表明,所提出的采摘點(diǎn)識別定位算法的準(zhǔn)確率和識別速度滿足自動采摘要求。

表3 定位試驗(yàn)

4.2.2 采摘點(diǎn)定位算法測試試驗(yàn)與結(jié)果分析

試驗(yàn)種植基地中百香果結(jié)果位置最高1.3 m,最低位置0.5 m,兩行百香果的寬度為2 m。對單側(cè)百香果進(jìn)行試驗(yàn),末端執(zhí)行器初始位置離地面0.7 m高,剪切刀片的開口設(shè)置為35 mm,D435i深度相機(jī)同時(shí)采集RGB數(shù)據(jù)和深度數(shù)據(jù)。

在進(jìn)行單側(cè)采摘試驗(yàn)的過程主要包括了搜索目標(biāo)、參數(shù)求解、車體運(yùn)動、機(jī)械臂運(yùn)動、剪切百香果和機(jī)器人復(fù)位這幾個(gè)步驟。百香果采摘機(jī)器人沿路徑直線行駛,機(jī)械臂末端擺頭90°;機(jī)器人系統(tǒng)通過百香果視覺識別與定位單元實(shí)時(shí)進(jìn)行圖像采集,驅(qū)動機(jī)械臂和車體的運(yùn)動調(diào)整“Eye in Hand”系統(tǒng)的位置來搜索百香果目標(biāo);當(dāng)檢測到可采摘百香果,發(fā)送作業(yè)指令信號停止機(jī)械臂和車體的運(yùn)動,同時(shí)對符合采摘要求的目標(biāo)進(jìn)行定位,通過PLC電氣控制與驅(qū)動單元引導(dǎo)機(jī)械臂完成采摘任務(wù),最后將機(jī)器人復(fù)位到執(zhí)行采摘任務(wù)之前的位置,反復(fù)循環(huán),直至采摘完成指定區(qū)內(nèi)的所有目標(biāo)。

試驗(yàn)過程中總共檢測到30個(gè)可采摘百香果,如表4所示,主要分為無遮擋和有遮擋兩種生長情況,總共完成采摘28個(gè),總體成功采摘率為93.3%。雖然經(jīng)過對百香果生長期和結(jié)果期進(jìn)行剪枝操作,采摘過程中很少存在嚴(yán)重遮擋百香果的情況,仍然會存在藤蔓或葉子遮擋百香果法情況。試驗(yàn)中兩個(gè)采摘百香果失敗的原因都是末端剪切執(zhí)行器提前接觸到藤蔓或葉子推開百香果,使剪切刀片中心無法接近百香果采摘點(diǎn)位置。

表4 采摘試驗(yàn)

在30次的采摘試驗(yàn)中,單個(gè)百香果連貫采摘平均時(shí)間為30 s,最快采摘時(shí)間為25 s,最慢采摘時(shí)間為36 s。如圖12所示,采摘過程中大部分時(shí)間都消耗在機(jī)器人搜索目標(biāo)、機(jī)械臂運(yùn)動定位和機(jī)械臂復(fù)位這三個(gè)步驟。

圖12 采摘階段不同步驟的所需平均時(shí)間

在采摘測試階段,機(jī)械臂、末端剪切執(zhí)行器和D435i深度相機(jī)可能發(fā)生干涉作用的情況。為保證機(jī)器人的穩(wěn)定運(yùn)行,保證智能采摘作業(yè)過程的安全性,在采摘測試時(shí)機(jī)器人并沒有采用最大功率運(yùn)行,而是選擇盡可能滿足技術(shù)需求的速度運(yùn)行,機(jī)械臂運(yùn)動定位和復(fù)位需要消耗更長的工作時(shí)間。

末端剪切執(zhí)行器與D435i深度相機(jī)構(gòu)成的“Eye in Hand”系統(tǒng),具備較高的近距離目標(biāo)捕獲能力,但在遠(yuǎn)距離和大范圍方面時(shí)的仍存在一定局限。如圖12所示,由于百香果分布范圍較廣且不均勻,機(jī)器人在捕獲目標(biāo)的階段需要消耗更多是時(shí)間。采摘機(jī)器人在視野范圍內(nèi)如果沒有捕獲到百香果,需要通過控制機(jī)械臂和移動車體的運(yùn)動來調(diào)整末端執(zhí)行器的位置來尋找百香果目標(biāo),在循環(huán)采摘的過程中需要花費(fèi)較長時(shí)間。

5 結(jié)論

1) 針對垂簾式百香果種植環(huán)境,設(shè)計(jì)了一款百香果采摘機(jī)器人,包括串并混聯(lián)型機(jī)械臂、末端剪切執(zhí)行器、移動車體、深度相機(jī)、控制電箱、智能控制系統(tǒng)和移動電源。試驗(yàn)結(jié)果表明設(shè)計(jì)的百香果機(jī)器人滿足自動采摘要求。

2) 針對復(fù)雜環(huán)境下百香果采摘點(diǎn)難以識別定位的問題,提出一種融合深度信息的目標(biāo)檢測與區(qū)域搜索的采摘點(diǎn)識別定位算法,通過YOLO v5s快速識別并提取百香果ROI,根據(jù)百香果垂簾生長以及與果梗具備連通關(guān)系,以ROI中心點(diǎn)向上偏移構(gòu)建果梗采摘點(diǎn)區(qū)域并融合深度信息搜索采摘點(diǎn),試驗(yàn)結(jié)果表明百香果識別模型對百香果識別精確率為95.5%,定位算法總體定位成功率為89.4%,對單幀圖像平均識別時(shí)間約為27 ms,單個(gè)百香果采摘點(diǎn)定位時(shí)間在6 ms左右,滿足百香果實(shí)時(shí)識別與定位的要求。

3) 為解決非線性求逆解難度大的問題,根據(jù)機(jī)械臂平面四連桿幾何關(guān)系,提出降維迭代的逆運(yùn)動學(xué)求解模型,使用牛頓迭代法獲得了逆解數(shù)值解。試驗(yàn)結(jié)果表明,每次求解的平均迭代次數(shù)為163次,平均耗時(shí)0.084 s,滿足機(jī)械臂求逆解的要求。

4) 在30次的采摘試驗(yàn)中,采摘成功率達(dá)到93.3%,采摘單個(gè)百香果平均時(shí)間為30 s(范圍在25～36 s)。在采摘過程中,在針對存在有遮擋情況下的百香果,末端剪切執(zhí)行器容易推開百香果導(dǎo)致采摘失敗,機(jī)器人在捕獲目標(biāo)的階段效率較低,為提高機(jī)器人采摘性能,后期工作可以研究高效的機(jī)械臂軌跡規(guī)劃算法和增加一個(gè)范圍較廣的相機(jī)來捕獲百香果目標(biāo)的大概位置。