串收番茄采摘機(jī)器人的設(shè)計(jì)與研究

徐 燦，熊 征，蔣先平，鄧 敏，黃桂財(cái)

（1. 廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣東 廣州 510630；2. 廣東弘科農(nóng)業(yè)機(jī)械研究開(kāi)發(fā)有限公司，廣東 廣州 510555）

0 引言

我國(guó)是設(shè)施農(nóng)業(yè)面積最大的國(guó)家，2020 年我國(guó)設(shè)施蔬菜種植面積達(dá)6 150 萬(wàn)畝（1 畝=0.067 hm2），其中番茄種植面積達(dá)1 157.2 萬(wàn)畝，是設(shè)施農(nóng)業(yè)種植面積最多的品種之一[1]。由于人口老齡化嚴(yán)重以及青壯年勞動(dòng)力大多涌向非農(nóng)行業(yè)，導(dǎo)致番茄人工收獲成本占整個(gè)生產(chǎn)成本的33%～50%[2]。所以針對(duì)番茄研發(fā)自動(dòng)采摘設(shè)備對(duì)于降低勞動(dòng)強(qiáng)度，減少生產(chǎn)成本投入具有重要意義。

番茄采摘機(jī)器人交叉融合了視覺(jué)識(shí)別技術(shù)、機(jī)械臂控制技術(shù)、末端執(zhí)行器設(shè)計(jì)技術(shù)、導(dǎo)航技術(shù)以及機(jī)器人控制技術(shù)等多種關(guān)鍵技術(shù)[3-4]。番茄采摘機(jī)器人的研究源于日本、西班牙、美國(guó)等國(guó)外高校和研究單位，我國(guó)起步較晚，目前有李偉、馮青青、劉繼展等團(tuán)隊(duì)對(duì)番茄采摘機(jī)器人進(jìn)行研究[5-10]。對(duì)于視覺(jué)識(shí)別技術(shù)，KONDO N、張瑞合、趙金英、馮青青等團(tuán)隊(duì)使用基于顏色特征進(jìn)行閾值分割等傳統(tǒng)圖像處理方法對(duì)番茄進(jìn)行識(shí)別[11-14]。對(duì)于末端執(zhí)行器設(shè)計(jì)方面，KONDO N、LING、馮青春等團(tuán)隊(duì)使用氣動(dòng)的方式吸取果實(shí)，通過(guò)旋擰的方式摘取果實(shí)[15-18]；TAKAHASHI 等團(tuán)隊(duì)研發(fā)的末端執(zhí)行器將果梗切斷后，果實(shí)落入事先準(zhǔn)備的果筐或收集裝置中[19]。

經(jīng)過(guò)多年發(fā)展，我國(guó)已在番茄采摘機(jī)器人部分關(guān)鍵技術(shù)取得重大突破，能夠滿(mǎn)足番茄采摘基本需求，但是仍處于研發(fā)和試驗(yàn)階段，未能進(jìn)一步推廣應(yīng)用。對(duì)于識(shí)別技術(shù)，傳統(tǒng)圖像處理方法存在魯棒性差、處理時(shí)間長(zhǎng)等缺點(diǎn)；末端執(zhí)行器是針對(duì)于大番茄設(shè)計(jì)，使用氣動(dòng)方式的末端執(zhí)行器還需額外提供氣源等配件，直接將果梗切斷后果實(shí)直接落入果筐或收集裝置中會(huì)損傷果實(shí)。由于串收番茄農(nóng)業(yè)附加值高，成串采摘的采摘效率高，所以本文針對(duì)串收小番茄研發(fā)了番茄采摘機(jī)器人，實(shí)現(xiàn)自動(dòng)導(dǎo)航、自動(dòng)上下軌、自動(dòng)識(shí)別成熟番茄和番茄果梗采摘點(diǎn)、剪切果梗并夾持果實(shí)放入果筐等功能。

1 作業(yè)環(huán)境與總體方案

1.1 串收小番茄種植環(huán)境

目前小番茄有一類(lèi)串收番茄，成串采摘，成串銷(xiāo)售，本文針對(duì)該品種番茄研制番茄串收采摘機(jī)器人。串收番茄如圖1 所示，番茄串為平直魚(yú)骨形，成熟的番茄果實(shí)大小、形狀和顏色相對(duì)一致。經(jīng)過(guò)前期試驗(yàn)，單個(gè)果實(shí)的直徑約為30 mm，質(zhì)量為12～18 g，一串番茄為200～250 g，果梗直徑為2.55～4.50 mm。

圖1 串收番茄

廣東省農(nóng)業(yè)技術(shù)推廣中心溫室內(nèi)的串收番茄種植環(huán)境如圖2 所示，小番茄種植在標(biāo)準(zhǔn)玻璃溫室內(nèi)，種植方式為水培，小番茄種植在巖棉塊上，巖棉塊放置于種植架上，使用施肥機(jī)通過(guò)滴箭對(duì)番茄輸送營(yíng)養(yǎng)液，株距為333 mm，行間距為1 600 mm，離地高度為660～870 mm。

圖2 串收番茄溫室種植環(huán)境

圖3 所示為廣東省農(nóng)業(yè)技術(shù)推廣中心溫室的番茄種植區(qū)，整個(gè)溫室分為種植區(qū)和人行區(qū)，其中種植區(qū)為非硬化地面，人行區(qū)為水泥地面，水泥地面寬度為2 500 mm，由于溫室內(nèi)為非硬化地面，標(biāo)準(zhǔn)溫室會(huì)在兩行番茄中間鋪設(shè)有2根鋼管作為軌道，方便各類(lèi)設(shè)備運(yùn)行，鋼管間距為550 mm，鋼管直徑為50 mm。

圖3 番茄種植區(qū)環(huán)境

1.2 番茄采摘機(jī)器人總體方案

本文基于溫室番茄生產(chǎn)實(shí)際設(shè)計(jì)了番茄采摘機(jī)器人（如圖4 所示），主要由行走機(jī)構(gòu)、末端執(zhí)行器、視覺(jué)系統(tǒng)、控制系統(tǒng)以及機(jī)械臂等部分組成。行走機(jī)構(gòu)可以在水泥地面和軌道上運(yùn)行。針對(duì)串番茄采收研發(fā)專(zhuān)用末端執(zhí)行器，實(shí)現(xiàn)對(duì)番茄串的剪切以及夾持。視覺(jué)系統(tǒng)使用RGB-D 相機(jī)，結(jié)合深度學(xué)習(xí)與傳統(tǒng)圖像處理算法對(duì)番茄串、果梗以及采摘點(diǎn)進(jìn)行識(shí)別和定位。機(jī)械臂為執(zhí)行機(jī)構(gòu)，負(fù)責(zé)將末端執(zhí)行器送往采摘點(diǎn)，以及將采摘后的番茄放入果筐內(nèi)。

圖4 番茄采摘機(jī)器人示意圖

經(jīng)過(guò)調(diào)研與對(duì)比，番茄采摘機(jī)器人視覺(jué)系統(tǒng)的相機(jī)選用Stereolabs ZEDmini（以下簡(jiǎn)稱(chēng)ZEDm），其為雙目相機(jī)，深度范圍是0.1～12.0 m；機(jī)械臂選用UFACTORY xArm7 協(xié)作機(jī)械臂（以下簡(jiǎn)稱(chēng)xArm7 機(jī)械臂），該機(jī)械臂為七軸機(jī)械臂，關(guān)節(jié)靈活，冗余度較高，可為后續(xù)升級(jí)開(kāi)發(fā)提供基礎(chǔ)，重復(fù)定位精度為±0.1 mm，滿(mǎn)足農(nóng)業(yè)環(huán)境需求，且該款機(jī)械臂控制柜較小，尺寸僅為180 mm×145 mm×68 mm，便于嵌入式設(shè)計(jì)；行走機(jī)構(gòu)為自研底盤(pán)，可分別在軌道上和地面上行走，并具有自動(dòng)導(dǎo)航、自動(dòng)上下軌以及原地轉(zhuǎn)向等功能，滿(mǎn)足番茄采摘場(chǎng)景需要；末端執(zhí)行器為串番茄采摘專(zhuān)用末端執(zhí)行器，夾剪一體，同時(shí)實(shí)現(xiàn)剪斷果梗和夾取果梗功能；選用了Jetson AGX Xavier 作為上位機(jī)控制器，該控制器具有深度計(jì)算能力，具有Ubuntu 系統(tǒng)，方便基于深度學(xué)習(xí)的控制算法移植與應(yīng)用。硬件選型如圖5 所示。

圖5 采摘機(jī)器人硬件選型

2 行走機(jī)構(gòu)設(shè)計(jì)

采摘機(jī)器人需要分別在軌道上以及水泥地面上運(yùn)行，所以設(shè)計(jì)了圖6 所示的車(chē)體，行走機(jī)構(gòu)的車(chē)輪分為外輪和軌道輪，外輪與軌道輪同軸，4 個(gè)輪子均由單獨(dú)的電機(jī)控制，外輪可以在水泥地面上行駛，當(dāng)行走機(jī)構(gòu)在軌道上運(yùn)行時(shí)，軌道輪與軌道接觸，通過(guò)軌道輪在軌道上行駛，結(jié)構(gòu)簡(jiǎn)單、成本較低。

圖6 機(jī)器人底盤(pán)設(shè)計(jì)

采摘機(jī)器人在溫室內(nèi)的行走路徑如圖7 所示，采摘機(jī)器人在水泥地面上向前直行，到達(dá)①處時(shí)機(jī)器人向左轉(zhuǎn)動(dòng)90°后向軌道方向行駛，等上軌后機(jī)器人進(jìn)行采摘，在軌道上行駛到軌道末端②處，機(jī)器人后退并沿著軌道回到①處，然后機(jī)器人向右轉(zhuǎn)動(dòng)90°后向前運(yùn)動(dòng)，到達(dá)下一軌道處重復(fù)上述過(guò)程。由于溫室水泥地面較窄，寬度僅為2 500 mm，不足以給采摘機(jī)器人提供拐彎半徑，所以行走系統(tǒng)需要能夠原地轉(zhuǎn)動(dòng)90°。為實(shí)現(xiàn)原地轉(zhuǎn)動(dòng)，行走機(jī)構(gòu)采用四輪差速結(jié)構(gòu)，通過(guò)四輪差速實(shí)現(xiàn)原地轉(zhuǎn)彎。番茄采摘機(jī)器人需要平穩(wěn)的運(yùn)行環(huán)境，所以選用麥克拉姆輪代替橡膠輪胎作為行走機(jī)構(gòu)的外輪，從而將使用四輪差速進(jìn)行轉(zhuǎn)向時(shí)的外輪與地面的摩擦變?yōu)闈L動(dòng)，減小采摘機(jī)器人整體的抖動(dòng)，保證機(jī)械臂與相機(jī)等精密設(shè)備的精度要求。

圖7 機(jī)器人行走路徑示意圖

3 番茄與果梗采摘點(diǎn)識(shí)別方法

視覺(jué)識(shí)別系統(tǒng)是番茄采摘機(jī)器人的關(guān)鍵與核心技術(shù)，視覺(jué)識(shí)別是機(jī)器人采摘的第一步，視覺(jué)識(shí)別系統(tǒng)的準(zhǔn)確性與效率決定了番茄采摘機(jī)器人的采摘成功率與采摘效率。本文結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)與傳統(tǒng)識(shí)別方法的優(yōu)勢(shì)，提出了基于yolo v3 的番茄果梗采摘點(diǎn)識(shí)別方法，具體流程如圖8 所示，通過(guò)深度相機(jī)獲取彩色圖像與深度圖，使用訓(xùn)練好的yolo v3 模型對(duì)彩色圖像進(jìn)行粗分割，分別框選出彩色圖像中的可采摘番茄與果梗，然后對(duì)圖像中框選出的果梗進(jìn)行細(xì)分割，使用k-means、形態(tài)學(xué)處理、骨骼化處理等傳統(tǒng)圖像處理方法，獲取每個(gè)果梗采摘點(diǎn)的像素坐標(biāo)，再結(jié)合深度圖像以及相機(jī)內(nèi)參，使用式（1）計(jì)算獲得圖像中每個(gè)果梗采摘點(diǎn)在深度相機(jī)坐標(biāo)系的空間坐標(biāo)。理論上彩色圖像上的像素點(diǎn)與深度圖為一一對(duì)應(yīng)關(guān)系，即彩色圖像每個(gè)像素點(diǎn)均對(duì)應(yīng)了1 個(gè)深度值，但是由于相機(jī)精度問(wèn)題、果梗較細(xì)等問(wèn)題，深度相機(jī)并不能獲取每個(gè)果梗像素點(diǎn)的深度值，即采摘點(diǎn)對(duì)應(yīng)的深度值為空，根據(jù)式（1），若z 為空，則無(wú)法計(jì)算獲得采摘點(diǎn)在深度相機(jī)坐標(biāo)系上的坐標(biāo)值。為解決上述問(wèn)題，使用大鄰域均值法[20]，由于現(xiàn)實(shí)場(chǎng)景中果梗的深度信息一般不會(huì)有太大差距，若采摘點(diǎn)實(shí)際的深度值為空，則將上述形態(tài)學(xué)處理后的果梗區(qū)域分割出來(lái)，然后提取果梗對(duì)應(yīng)像素的所有深度值，剔除深度值異常的點(diǎn)，然后將各個(gè)像素對(duì)應(yīng)的深度值進(jìn)行平均，以平均值作為采摘點(diǎn)的深度值，用式（1）計(jì)算獲得采摘點(diǎn)在深度相機(jī)坐標(biāo)系上的坐標(biāo)值。

圖8 視覺(jué)識(shí)別算法流程

式中：

u、v——目標(biāo)點(diǎn)在圖像中的坐標(biāo)，即像素坐標(biāo)；

f——相機(jī)焦距；

x，y，z——目標(biāo)點(diǎn)在相機(jī)坐標(biāo)系上的坐標(biāo)。

4 手眼標(biāo)定方法

使用機(jī)械臂將末端執(zhí)行器送至采摘點(diǎn)，需要獲得采摘點(diǎn)在機(jī)械臂底座坐標(biāo)系內(nèi)的坐標(biāo)，目前已知采摘點(diǎn)在深度相機(jī)坐標(biāo)系上的坐標(biāo)，若能獲得深度相機(jī)坐標(biāo)系和機(jī)械臂底座坐標(biāo)系的相對(duì)位置和姿態(tài)關(guān)系，即位姿矩陣，即可計(jì)算獲得采摘點(diǎn)在機(jī)械臂底座坐標(biāo)系上的坐標(biāo)。理論上可以通過(guò)測(cè)量?jī)x器測(cè)量相機(jī)與機(jī)械臂底座之間的相對(duì)位姿關(guān)系，由于采摘精度對(duì)于相機(jī)坐標(biāo)系與機(jī)械臂底座坐標(biāo)系的相對(duì)位姿關(guān)系精度要求很高，通過(guò)測(cè)量?jī)x器獲得的位姿矩陣精度較低，無(wú)法滿(mǎn)足要求，所以需使用手眼標(biāo)定算法獲得深度相機(jī)與機(jī)械臂底座的相對(duì)位姿關(guān)系。

本文采摘機(jī)器人采用手眼位置關(guān)系方案為眼在手上（eye-in-hand），本文基于ROS 系統(tǒng)easy-handeye功能包對(duì)本文采摘機(jī)器人深度相機(jī)與機(jī)械臂底座坐標(biāo)系的相對(duì)位姿關(guān)系進(jìn)行標(biāo)定，標(biāo)定方法如下。

將電腦與機(jī)械臂、相機(jī)連接，在ubuntu 系統(tǒng)上安裝配置ZEDm 相機(jī)與xArm7 機(jī)械臂的ROS 功能包，能正常在ROS 平臺(tái)上驅(qū)動(dòng)機(jī)械臂以及相機(jī)，分別下載easy-handeye、vision_visp 和aruco_ros 功能包并完成編譯，將手眼標(biāo)定模式設(shè)置為eye-in-hand 模式并修改相關(guān)配置，使各個(gè)功能包均能正常工作。

固定機(jī)械臂，并將相機(jī)固定在機(jī)械臂末端，下載aruco 二維碼作為標(biāo)定板，固定標(biāo)定板，調(diào)整機(jī)械臂末端位置，使標(biāo)定板出現(xiàn)在相機(jī)試驗(yàn)范圍內(nèi)，如圖9 所示。

圖9 手眼標(biāo)定

使用修改的launch 文件啟動(dòng)標(biāo)定功能包，打開(kāi)3 個(gè)人機(jī)交互界面，準(zhǔn)備進(jìn)行標(biāo)定，如圖10 所示。同時(shí)使用ROS 的rqt 工具打開(kāi)image_viewer，實(shí)時(shí)查看相機(jī)畫(huà)面，如圖11 所示。

圖10 手眼標(biāo)定人機(jī)交互界面

圖11 手眼標(biāo)定人機(jī)交互界面

通過(guò)Rviz 界面調(diào)整機(jī)械臂末端位置，使標(biāo)定板出現(xiàn)在相機(jī)視野中心附近，在機(jī)械臂控制界面點(diǎn)擊check starting pose，若檢查成功，界面會(huì)出現(xiàn)：0/17，ready to start，如圖10（c）所示。

在圖10（b）界面中點(diǎn)擊Take Sample，若Samples對(duì)話(huà)框中出現(xiàn)有效信息，說(shuō)明第一個(gè)點(diǎn)記錄成功，接著在圖10（c）界面中依次點(diǎn)擊Next Pose，Plan，Execute，機(jī)械臂會(huì)移動(dòng)至新的位置，若標(biāo)定板在相機(jī)視野范圍內(nèi)，且能檢測(cè)成功，則繼續(xù)點(diǎn)擊圖10（b）界面中的Take Sample 記錄第2 個(gè)點(diǎn)，依次進(jìn)行上述步驟，完成全部17 個(gè)點(diǎn)的采集。

17 個(gè)點(diǎn)采集完成后，點(diǎn)擊圖10（b）界面中的Compute 按鈕，則會(huì)自動(dòng)計(jì)算手眼標(biāo)定矩陣，并在Result 對(duì)話(huà)框中展示標(biāo)定矩陣。

通過(guò)以上步驟即可獲得深度相機(jī)與機(jī)械臂末端的相對(duì)位姿關(guān)系，由于機(jī)械臂末端相對(duì)于機(jī)械臂底座的位姿關(guān)系通過(guò)機(jī)器人正運(yùn)動(dòng)學(xué)計(jì)算可知，即相機(jī)相對(duì)于機(jī)械臂底座的位姿關(guān)系。

5 末端執(zhí)行器設(shè)計(jì)

為能對(duì)番茄進(jìn)行成串采摘，需設(shè)計(jì)串收番茄專(zhuān)用末端執(zhí)行器，能夠?qū)⒐Ｇ袛?，并夾持采摘后的番茄串至果筐處。為實(shí)現(xiàn)上述功能，本文設(shè)計(jì)了圖12 所示的末端執(zhí)行器，該末端執(zhí)行器由電機(jī)、絲桿滑塊機(jī)構(gòu)、夾爪以及刀片等部分組成。電機(jī)轉(zhuǎn)動(dòng)帶動(dòng)絲桿滑塊上的滑塊運(yùn)動(dòng)，從而帶動(dòng)連桿運(yùn)動(dòng)，夾爪夾緊，帶動(dòng)夾爪上的刀片對(duì)果梗進(jìn)行切割，同時(shí)夾爪能夠夾緊果梗，使剪切后的番茄串不會(huì)掉落。

圖12 末端執(zhí)行器

圖13 所示為末端執(zhí)行器工作狀態(tài)，在移動(dòng)到靠近目標(biāo)番茄果梗的過(guò)程中，整個(gè)末端裝置處于圖13中（a）狀態(tài)，當(dāng)果梗進(jìn)入到剪切位置，末端執(zhí)行器的電機(jī)轉(zhuǎn)動(dòng)，使末端執(zhí)行器變?yōu)閳D13 中（b）狀態(tài)，此時(shí)刀片將果梗切斷，刀片進(jìn)入夾爪縫隙，夾爪夾住被切斷的番茄，實(shí)現(xiàn)其夾剪一體的功能。

圖13 末端執(zhí)行器工作狀態(tài)

6 控制系統(tǒng)設(shè)計(jì)

為了對(duì)番茄采摘機(jī)器人進(jìn)行控制，本文設(shè)計(jì)了如圖14 所示的控制系統(tǒng)，以Jetson AGX Xavier 作為上位機(jī)控制器，行走機(jī)構(gòu)控制器、機(jī)械臂控制器、深度相機(jī)作為Xavier 的下位機(jī)，分別以串口通信、LAN 網(wǎng)絡(luò)接口通信、USB 接口通信等方式與Xavier進(jìn)行通信，其中升降機(jī)構(gòu)、行走導(dǎo)航系統(tǒng)用串口通信的方式與行走機(jī)構(gòu)通信，末端執(zhí)行器以串口通信的方式與機(jī)械臂控制器通信，從而實(shí)現(xiàn)Xavier 對(duì)整個(gè)番茄采摘機(jī)器人的控制。

圖14 控制系統(tǒng)硬件布置圖

本文基于ROS 系統(tǒng)設(shè)計(jì)番茄采摘機(jī)器人軟件系統(tǒng)，分別建立zed_wrapper、darknet_ros_master、images_processing、arrive_target_point、xarm_planner和car_control 等節(jié)點(diǎn)，節(jié)點(diǎn)之間通過(guò)各種話(huà)題或服務(wù)通信，如圖15 所示。zed_wrapper 節(jié)點(diǎn)是深度相機(jī)的節(jié)點(diǎn)，可以獲取彩色圖片和深度圖，將彩色圖和深度圖分別發(fā)布到image_rect_color、depth_registered 話(huà)題中，供darknet_ros_master 節(jié)點(diǎn)訂閱使用。darknet_ros_master 是yolo 算法功能包節(jié)點(diǎn)，同時(shí)訂閱image_rect_color、depth_registered 話(huà)題，通過(guò)訓(xùn)練好的模型識(shí)別彩色圖像中番茄和果梗，識(shí)別后將識(shí)別到的果梗和成熟番茄框圖信息、彩色圖、深度圖發(fā)布到out_rgbdboxs話(huà)題中，供images_processing節(jié)點(diǎn)訂閱使用。images_processing節(jié)點(diǎn)訂閱out_rgbdboxs話(huà)題，其主要功能是對(duì)經(jīng)yolo算法識(shí)別的每一個(gè)果梗區(qū)域進(jìn)行細(xì)分割，獲得每個(gè)果梗采摘點(diǎn)在圖像中的像素坐標(biāo)，并結(jié)合out_rgbdboxs話(huà)題中的深度圖計(jì)算獲得采摘點(diǎn)在相機(jī)坐標(biāo)系下空間坐標(biāo)，然后該節(jié)點(diǎn)將每個(gè)采摘點(diǎn)在相機(jī)坐標(biāo)系下的空間坐標(biāo)和采摘點(diǎn)的數(shù)量發(fā)布到space_coordinates話(huà)題中，供arrive_target_point節(jié)點(diǎn)訂閱使用。car_control節(jié)點(diǎn)將行走機(jī)構(gòu)的速度、所處位置、升降機(jī)構(gòu)位置以及是否在軌道上等信息發(fā)布到chass_info話(huà)題中，xarm_planner節(jié)點(diǎn)將機(jī)械臂狀態(tài)信息發(fā)布到xarm_states話(huà)題中。arrive_target_point節(jié)點(diǎn)訂閱space_coordinates話(huà)題、chass_info話(huà)題以及xarm_states話(huà)題，該節(jié)點(diǎn)控制流程圖如圖16所示。

圖15 節(jié)點(diǎn)、話(huà)題、服務(wù)結(jié)構(gòu)圖

圖16 arrive_target_point 節(jié)點(diǎn)控制流程圖

arrive_target_point 節(jié)點(diǎn)通過(guò)gripper_config 服務(wù)設(shè)置末端執(zhí)行器速度、開(kāi)合范圍等參數(shù)，該節(jié)點(diǎn)通過(guò)chass_info 話(huà)題獲取行走機(jī)構(gòu)是否已經(jīng)在軌道上，若已經(jīng)在軌道上，通過(guò)xarm_states 話(huà)題獲取機(jī)械臂末端所處位置，若機(jī)械臂末端處于初始位置，則通過(guò)space_coordinates 話(huà)題獲取采摘點(diǎn)信息，若采摘點(diǎn)數(shù)量為0，即視野范圍內(nèi)沒(méi)有可采摘的番茄，則通過(guò)chass_info 話(huà)題獲取采摘機(jī)器人位置，若采摘機(jī)器人已經(jīng)到達(dá)軌道末端，則采摘機(jī)器人后退，若未到達(dá)軌道末端，則采摘機(jī)器人向前運(yùn)動(dòng)，直到視野范圍內(nèi)存在可采摘的番茄，此時(shí)該節(jié)點(diǎn)通過(guò)car_speed 服務(wù)讓采摘機(jī)器人停止運(yùn)動(dòng)，根據(jù)采摘點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)和手眼標(biāo)定結(jié)果計(jì)算每個(gè)采摘點(diǎn)在機(jī)械臂底座坐標(biāo)系上的坐標(biāo)，同時(shí)通過(guò)xarm_pose_plan、xarm_exec_plan、gripper_move 服務(wù)控制機(jī)械臂將末端執(zhí)行器送至每個(gè)采摘點(diǎn)坐標(biāo)處，對(duì)果梗進(jìn)行剪切并夾持運(yùn)送番茄至果筐內(nèi)，完成采摘番茄并將其放入果筐內(nèi)的任務(wù)。

7 樣機(jī)搭建與驗(yàn)證試驗(yàn)

基于以上研究，試制了番茄采摘機(jī)器人樣機(jī)并進(jìn)行了樣機(jī)調(diào)試與采摘試驗(yàn)。番茄采摘機(jī)器人樣機(jī)如圖17 所示，主要由7 自由度機(jī)械臂、末端執(zhí)行器、深度相機(jī)、可運(yùn)行深度學(xué)習(xí)算法的控制器、行走機(jī)構(gòu)等部分組成。機(jī)械臂使用的是xArm7 機(jī)械臂，具有7 個(gè)自由度，有效負(fù)載為3.5 kg，重復(fù)定位精度為±0.01 mm，機(jī)械臂安裝在移動(dòng)平臺(tái)上。深度相機(jī)采用eye-on-hand 方式安裝在機(jī)械臂末端，深度相機(jī)使用的是ZEDmini 雙目相機(jī)，能夠?qū)崟r(shí)輸出彩色圖像和對(duì)應(yīng)的深度圖?？刂破魇褂肑etson AGX Xavier 嵌入式處理器，其為ARM 架構(gòu)，預(yù)裝了Ubuntu 系統(tǒng)，算力可支持深度學(xué)習(xí)運(yùn)算，控制器安裝在行走機(jī)構(gòu)內(nèi)部。末端執(zhí)行器安裝在機(jī)械臂末端，末端執(zhí)行器夾剪一體，同時(shí)實(shí)現(xiàn)剪斷果梗和夾持果梗。

圖17 番茄采摘機(jī)器人樣機(jī)

采摘機(jī)器人沿著地磁線(xiàn)自動(dòng)行進(jìn)與上軌，上軌后沿著軌道向前移動(dòng)，深度相機(jī)實(shí)時(shí)進(jìn)行識(shí)別，當(dāng)識(shí)別到可采摘番茄時(shí)機(jī)器人會(huì)停下來(lái)，等穩(wěn)定后視覺(jué)識(shí)別系統(tǒng)會(huì)再次對(duì)采摘點(diǎn)進(jìn)行識(shí)別定位，并將采摘點(diǎn)通過(guò)坐標(biāo)變換發(fā)送給機(jī)械臂，機(jī)械臂將末端執(zhí)行器輸送到采摘點(diǎn)對(duì)果梗進(jìn)行剪切并夾持，完成采摘?jiǎng)幼?，機(jī)械臂將番茄放置到果筐內(nèi)，重復(fù)上述動(dòng)作，采摘剩余的番茄，采摘過(guò)程如圖18 所示。當(dāng)視野范圍內(nèi)不存在可采摘番茄，機(jī)器人繼續(xù)向前移動(dòng)尋找可采摘番茄。在試驗(yàn)過(guò)程中共檢測(cè)到30 個(gè)可采摘目標(biāo)，完成采摘28 串。

圖18 采摘過(guò)程圖

8 結(jié)論

1）本文分析了溫室串收番茄的果實(shí)直徑、果實(shí)質(zhì)量、果梗直徑等物理參數(shù)以及串收番茄溫室種植環(huán)境，針對(duì)串收番茄設(shè)計(jì)了番茄采摘機(jī)器人方案，包括行走機(jī)構(gòu)、末端執(zhí)行器、視覺(jué)系統(tǒng)、機(jī)械臂以及控制系統(tǒng)等部分。

2）本文設(shè)計(jì)了地面與軌道兩用的番茄采摘機(jī)器人行走機(jī)構(gòu)，使用深度相機(jī)基于yolo v3 與傳統(tǒng)圖像處理方法提出果梗采摘點(diǎn)的精準(zhǔn)識(shí)別定位算法，基于easy-handeye 功能包標(biāo)定了機(jī)械臂與相機(jī)的相對(duì)位姿關(guān)系，設(shè)計(jì)了剪夾一體的末端執(zhí)行器。

3）基于ROS 系統(tǒng)搭建了番茄采摘機(jī)器人的軟件控制系統(tǒng)，集成行走機(jī)構(gòu)、末端執(zhí)行器、視覺(jué)系統(tǒng)、機(jī)械臂以及控制系統(tǒng)形成了番茄采摘機(jī)器人樣機(jī)，并進(jìn)行了番茄采摘機(jī)器人的現(xiàn)場(chǎng)采摘試驗(yàn)，驗(yàn)證了串收番茄采摘機(jī)器人的各項(xiàng)功能。