巡檢機(jī)器人獲取柑橘樹上果實(shí)完整表面信息方法研究

王 毅 何 宇 王 愷 熊龍燁 王 卓 張藝譚

(重慶理工大學(xué)機(jī)械工程學(xué)院， 重慶 400054)

0 引言

隨著科技的進(jìn)步，巡檢機(jī)器人已普遍使用。目前，市面上常見的巡檢機(jī)器人分為電力巡檢機(jī)器人和無人機(jī)巡檢機(jī)器人兩類。電力巡檢機(jī)器人用于地面作業(yè)，但存在對(duì)于單個(gè)樣本的巡檢無法完全采集樣本信息的缺點(diǎn)[1]；無人機(jī)巡檢機(jī)器人可用于低高空巡檢作業(yè)，但在巡檢作業(yè)過程中可能發(fā)生機(jī)械故障導(dǎo)致墜毀，目前無人機(jī)巡檢技術(shù)尚未達(dá)到貼服于樣本表面進(jìn)行巡檢[2]。在農(nóng)業(yè)領(lǐng)域，巡檢技術(shù)尚不成熟，目前用于農(nóng)業(yè)巡檢的方式主要采用無人機(jī)遙感監(jiān)測(cè)，并對(duì)農(nóng)業(yè)作物數(shù)據(jù)進(jìn)行采集[3]。文獻(xiàn)[4]提出采用四旋翼無人機(jī)對(duì)柑橘園進(jìn)行實(shí)時(shí)巡檢的巡檢系統(tǒng)，通過上位機(jī)對(duì)無人機(jī)進(jìn)行控制，完成果園巡檢，但是采集到的數(shù)據(jù)并不能顯示出其中某一個(gè)農(nóng)作物的完整外表信息。隨著精細(xì)化農(nóng)業(yè)進(jìn)程的不斷深入，逐漸提出對(duì)單個(gè)農(nóng)作物生長情況信息獲取的要求[5-6]，因此，通過機(jī)器人獲取單個(gè)農(nóng)作物完整表面信息，以監(jiān)控農(nóng)作物生長，具有十分重要的理論意義和現(xiàn)實(shí)意義。

通過巡檢機(jī)器人獲取單個(gè)農(nóng)作物完整表面信息主要涉及障礙物感知及三維重建、機(jī)械臂的路徑規(guī)劃與避障算法等技術(shù)，但目前對(duì)巡檢機(jī)器人進(jìn)行技術(shù)集成并應(yīng)用的研究卻鮮見報(bào)道。文獻(xiàn)[7]設(shè)計(jì)了一種檢測(cè)農(nóng)作物生長狀況及環(huán)境溫濕度的智能小車,通過樹莓派將小車獲取的環(huán)境溫濕度及場(chǎng)景圖像信息上傳云端。在障礙物感知及三維重建方面，文獻(xiàn)[8]提出一種基于深度信息分割聚類的草莓冠層結(jié)構(gòu)形態(tài)三維重建算法，通過提取草莓冠層點(diǎn)云、改進(jìn)密度聚類算法及Harris算子的多源圖像融合算法，實(shí)現(xiàn)有顏色信息的草莓冠層結(jié)構(gòu)形態(tài)重建。文獻(xiàn)[9]通過樹木局部點(diǎn)云分布密度分離枝干與樹葉，采用水平集和最小二乘法提取枝干骨架點(diǎn)，通過采樣方法提取冠層特征點(diǎn)，根據(jù)骨架點(diǎn)與特征點(diǎn)的拓?fù)浣Y(jié)構(gòu)對(duì)樹木進(jìn)行三維重建。在機(jī)械臂的避障算法方面，文獻(xiàn)[10]通過對(duì)障礙物及機(jī)器人構(gòu)型空間進(jìn)行離線降維投影，獲得先驗(yàn)知識(shí)，從而指導(dǎo)橋測(cè)試算法找到構(gòu)型空間的正確窄通道，建立引導(dǎo)點(diǎn)，解決了RRT-connect算法求解窄通道路徑時(shí)的難題。文獻(xiàn)[11]對(duì)農(nóng)業(yè)機(jī)器人采用模塊化的設(shè)計(jì)理念，提出了一種機(jī)械臂，并配合噴涂式末端執(zhí)行器對(duì)出現(xiàn)病蟲害的葡萄藤進(jìn)行精準(zhǔn)噴灑農(nóng)業(yè)。

本文基于現(xiàn)有的柑橘采摘機(jī)器人[12]技術(shù),在對(duì)柑橘果實(shí)及枝干識(shí)別定位技術(shù)、機(jī)械臂避障運(yùn)動(dòng)控制技術(shù)集成的基礎(chǔ)上，提出柑橘巡檢機(jī)器人獲取柑橘完整表面信息的方法，開發(fā)柑橘巡檢機(jī)器人，以有效獲取單個(gè)柑橘果實(shí)的完整表面信息。

1 材料與方法

巡檢機(jī)器人要獲得單個(gè)柑橘完整表面信息，首先需要相應(yīng)的傳感器為機(jī)器人提供柑橘果實(shí)及枝干的信息，再根據(jù)這些信息計(jì)算合適的機(jī)械臂運(yùn)動(dòng)路徑并驅(qū)動(dòng)機(jī)械臂以一定的姿態(tài)到達(dá)目標(biāo)點(diǎn)進(jìn)行拍攝。

1.1 柑橘果實(shí)及枝干的識(shí)別與定位

首先在室外采集大量的柑橘果實(shí)及枝干的圖像，使用LabelMe為標(biāo)記工具，對(duì)柑橘果實(shí)采用類圓形、對(duì)枝干采用分段式類長方形標(biāo)記[13]，其標(biāo)記效果如圖1所示。利用構(gòu)建的Mask R-CNN[14]檢測(cè)模型對(duì)其進(jìn)行訓(xùn)練得到模型初始權(quán)重，然后對(duì)室內(nèi)樣本進(jìn)行旋轉(zhuǎn)和添加高斯、椒鹽噪聲等操作進(jìn)行數(shù)據(jù)增強(qiáng)，最后通過遷移學(xué)習(xí)[15-16]的方法對(duì)室內(nèi)的樣本進(jìn)行學(xué)習(xí)以保證模型得到充足有效的訓(xùn)練。

圖1 標(biāo)記效果圖Fig.1 Label rendering

實(shí)驗(yàn)在Ubuntu 16.04系統(tǒng)中配置的TensorFlow平臺(tái)下使用NVIDIA公司生產(chǎn)的GTX1080 GPU進(jìn)行加速訓(xùn)練和測(cè)試，識(shí)別效果如圖2所示。統(tǒng)計(jì)實(shí)驗(yàn)室環(huán)境下的50幅柑橘果實(shí)及枝干圖像識(shí)別結(jié)果，平均識(shí)別準(zhǔn)確率達(dá)96.82%，平均召回率達(dá)88.31%，單幅圖像平均耗時(shí)8.2 s。

圖2 柑橘果實(shí)及枝干識(shí)別效果Fig.2 Recognition of citrus fruits and branches

1.1.1相機(jī)標(biāo)定

通過Kinect V2相機(jī)獲取視場(chǎng)內(nèi)目標(biāo)物的三維信息，就是尋找二維像素點(diǎn)和三維空間點(diǎn)的映射關(guān)系[17]。對(duì)彩色鏡頭的相機(jī)標(biāo)定，相機(jī)坐標(biāo)系、像素坐標(biāo)系以及世界坐標(biāo)系的關(guān)系如圖3所示。

圖3 坐標(biāo)系之間的關(guān)系Fig.3 Relationship between coordinate systems

點(diǎn)p1和點(diǎn)P的坐標(biāo)均為相機(jī)坐標(biāo)系下的坐標(biāo)。由圖3所構(gòu)成的相似三角形可得到如下關(guān)系

(1)

最終標(biāo)定結(jié)果為

(2)

完成Kinect V2相機(jī)內(nèi)部參數(shù)標(biāo)定后，將Kinect V2相機(jī)固定到巡檢機(jī)器人的機(jī)械臂工作面一側(cè)，通過對(duì)相機(jī)的水平角以及俯仰角進(jìn)行調(diào)節(jié)，選取合適的位置固定。通過手眼標(biāo)定對(duì)機(jī)械臂與Kinect V2相機(jī)相對(duì)位置進(jìn)行定標(biāo)[18-19]。

圖5 柑橘果徑統(tǒng)計(jì)圖Fig.5 Statistical diagram of citrus fruit diameter

1.1.2柑橘果實(shí)及枝干的三維信息獲取

基于Mask R-CNN模型識(shí)別的結(jié)果分別對(duì)柑橘果實(shí)及枝干進(jìn)行最小外接矩和圓擬合處理并提取枝干的兩端點(diǎn)及果實(shí)中心點(diǎn)像素坐標(biāo)，通過映射的方法獲得與之對(duì)應(yīng)的深度，根據(jù)相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系完成像素坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換，采用手眼標(biāo)定得到柑橘果實(shí)及小段枝干在機(jī)器人世界坐標(biāo)系與基坐標(biāo)系之間的旋轉(zhuǎn)及平移矩陣。對(duì)Mask R-CNN識(shí)別效果圖進(jìn)行預(yù)處理得到柑橘果實(shí)及枝干的特征點(diǎn)，其效果圖如圖4所示。再通過Kinect V2相機(jī)的深度圖與彩色圖的映射原理獲得柑橘果實(shí)及枝干的三維信息，圖4中的矩形邊框長邊為枝干生長方向，短邊作為枝干的截面直徑。柑橘果實(shí)的中心點(diǎn)在機(jī)器人世界坐標(biāo)系下的坐標(biāo)同樣可以通過上述方法獲得。

圖4 三維信息獲取效果圖Fig.4 Effect of 3D information acquisition

1.2 機(jī)械臂拍攝位姿的確定

1.2.1柑橘果實(shí)基本情況與拍攝判定標(biāo)準(zhǔn)

對(duì)148組柑橘(臍橙)果實(shí)橫縱徑信息進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如圖5所示，果實(shí)的平均縱徑為65.7 mm，平均橫徑為65.75 mm?？蓪⒏涕俟麑?shí)視為直徑為65 mm的球體。

通過對(duì)柑橘果實(shí)發(fā)生病蟲害區(qū)域進(jìn)行觀察，發(fā)現(xiàn)病蟲害多出現(xiàn)在果實(shí)中間部位，果蒂及果頂部位出現(xiàn)病蟲害的幾率要小得多，幾種常見的柑橘果實(shí)病蟲害如圖6所示。

圖6 柑橘果實(shí)病蟲害區(qū)域統(tǒng)計(jì)Fig.6 Regional statistics of diseases and pests in citrus fruits

為了方便統(tǒng)計(jì)所獲取的柑橘外表面信息，將柑橘外表面進(jìn)行區(qū)域化劃分，沿著柑橘外表面果頂?shù)焦偎嫷木€段記為經(jīng)線，共計(jì)7條，經(jīng)線將果實(shí)表面分為8份，與經(jīng)線垂直的線段記為緯線，共計(jì)3條，經(jīng)線與緯線將柑橘外表面分為32份，其中果蒂及果頂各8份，果實(shí)中間區(qū)域共16份。對(duì)所劃分的區(qū)域進(jìn)行編號(hào)，采用區(qū)域面積積分制對(duì)獲取的柑橘圖像區(qū)域進(jìn)行統(tǒng)計(jì)，如圖7所示，實(shí)驗(yàn)所用的柑橘果實(shí)橫縱徑比如表1所示。

圖7 柑橘果實(shí)區(qū)域劃分圖Fig.7 Regional division of citrus fruits

實(shí)驗(yàn)對(duì)獲取柑橘果實(shí)表面信息采用區(qū)域面積積分制，由于病蟲害區(qū)域以果實(shí)中間部位為主，因此對(duì)于拍攝目標(biāo)來說，果實(shí)中間部位為主要部位，果實(shí)果

表1 柑橘橫縱徑信息獲取統(tǒng)計(jì)Tab.1 Statistics of citrus horizontal and vertical diameter information acquisition

蒂及果頂為次要部位，本文以柑橘果實(shí)中間單個(gè)數(shù)字區(qū)域記2分，果蒂及果頂?shù)膯蝹€(gè)數(shù)字區(qū)域記1分，一個(gè)完整的柑橘果實(shí)表面共計(jì)48分，通過對(duì)所獲取的單個(gè)數(shù)字區(qū)域的完整性進(jìn)行判斷，并與該區(qū)域的分值相乘，最后將所有的數(shù)字區(qū)域所得分累加與完整柑橘表面積分48分相除，得到獲取的柑橘果實(shí)表面信息獲取率。對(duì)所獲取的單個(gè)數(shù)字區(qū)域通過人為判斷的方式，所拍攝的單幅實(shí)例圖和計(jì)分算法如圖8和表2所示，記柑橘果實(shí)單個(gè)數(shù)字區(qū)域的1/6、2/6、3/6、4/6、5/6、1為該數(shù)字區(qū)域的完整性判斷。

圖8 柑橘拍攝實(shí)例Fig.8 Examples of citrus shooting

1.2.2拍攝位姿的選擇

為了獲取完整的單個(gè)果實(shí)表面信息，提出采用機(jī)械臂與CCD相機(jī)手眼結(jié)合的方式，通過對(duì)機(jī)械臂的運(yùn)動(dòng)控制，帶動(dòng)CCD相機(jī)以不同的位姿對(duì)柑橘果實(shí)進(jìn)行拍攝。其拍攝示意圖如圖9所示。

表2 單幅實(shí)例柑橘圖數(shù)字區(qū)域計(jì)分Tab.2 Digital area scoresheet of single example citrus pictures

圖9 巡檢拍攝示意圖Fig.9 Patrol robot model1.柑橘果實(shí) 2.機(jī)械臂 3.拍攝相機(jī)

實(shí)驗(yàn)采用的拍攝工具為邁德威視公司MV-UBS300C型工業(yè)相機(jī)，其像元芯片尺寸為3.2 μm×3.2 μm，相機(jī)鏡頭焦距為6 mm，拍攝視場(chǎng)角為50°，果實(shí)與鏡頭的最佳距離為150～350 mm。結(jié)合柑橘果實(shí)尺寸，選取的拍攝距離為250 mm。

假定目標(biāo)柑橘的橫縱徑為已測(cè)量柑橘的平均值，根據(jù)相機(jī)的視場(chǎng)角可以計(jì)算相機(jī)拍攝目標(biāo)柑橘的目標(biāo)區(qū)域的最大橫向半徑

d1=ltan(Fov/2)

(3)

式中l(wèi)——相機(jī)與目標(biāo)柑橘的實(shí)際距離

Fov——相機(jī)的視場(chǎng)角

由式(3)可得，d1為116.58 mm，大于柑橘的平均直徑d，則所選取的相機(jī)與拍攝距離滿足拍攝要求。

本文所選的拍攝位姿都在圖9所示柑橘果實(shí)所在的行駛平面[20]上，提出3種拍攝方案，并采用手持相機(jī)進(jìn)行拍攝的方式對(duì)3種拍攝方案進(jìn)行驗(yàn)證：①采用2個(gè)拍攝位姿的對(duì)角拍攝，其拍攝方式及效果實(shí)例如圖10所示。②采用間隔角為120°的3個(gè)拍攝位姿進(jìn)行拍攝，其拍攝方式及效果實(shí)例如圖11所示。③采用間隔角為90°的4個(gè)位姿進(jìn)行拍攝，其拍攝方式及效果實(shí)例如圖12所示。

圖10 2個(gè)拍攝位姿及效果實(shí)例Fig.10 Two shooting positions and effect samples

圖11 3個(gè)拍攝位姿及效果實(shí)例Fig.11 Three shooting positions and effect samples

圖12 4個(gè)拍攝位姿及效果實(shí)例Fig.12 Four shooting positions and effect samples

1.3 實(shí)驗(yàn)平臺(tái)搭建

1.3.1巡檢機(jī)器人組成

所采用的柑橘巡檢機(jī)器人由課題組自主研制，該機(jī)器人主要由AUBO-i5型機(jī)械臂、Komodo-02型履帶式底盤、Kinect V2相機(jī)、邁德威視MV-UBS300C型工業(yè)相機(jī)、Dell Precision 3150型便攜式計(jì)算機(jī)組成，巡檢機(jī)器人外觀如圖13所示。

圖13 巡檢機(jī)器人外觀圖Fig.13 Outward appearance of inspection robot1.便攜式計(jì)算機(jī) 2.巡檢相機(jī) 3.機(jī)械臂 4.機(jī)器人外殼 5.Kinect V2相機(jī) 6.移動(dòng)底盤

1.3.2巡檢機(jī)器人仿真實(shí)驗(yàn)平臺(tái)

本文主要在ROS平臺(tái)下搭建巡檢機(jī)器人仿真實(shí)驗(yàn)平臺(tái)[21]。該平臺(tái)集傳感信息、運(yùn)動(dòng)控制、狀態(tài)發(fā)布、節(jié)點(diǎn)通信等功能為一體，該平臺(tái)上可以發(fā)布和提供各類功能包。

首先在Windows系統(tǒng)下通過SolidWorks繪制巡檢機(jī)器人外觀簡化模型，再通過插件SW2URDF將繪制的簡化模型轉(zhuǎn)為URDF文件。在Linux系統(tǒng)下對(duì)生成的URDF文件進(jìn)行MoveIt!配置,創(chuàng)建機(jī)械臂免碰撞矩陣，設(shè)置機(jī)器人基坐標(biāo)，添加機(jī)械臂預(yù)設(shè)姿態(tài)，配置機(jī)械臂相關(guān)運(yùn)動(dòng)關(guān)節(jié)，最后生成巡檢機(jī)器人的配置功能包。通過LAUNCH命令調(diào)用MoveIt！配置功能包內(nèi)巡檢機(jī)器人模型的LAUNCH文件，可實(shí)現(xiàn)巡檢機(jī)器人模型在ROS所提供的RVIZ可視化界面中的顯示。巡檢機(jī)器人外觀模型及簡化后的機(jī)器人仿真界面如圖14所示。

圖14 巡檢機(jī)器人外觀模型及仿真界面Fig.14 Appearance model and simulation interface of patrol robot

1.3.3柑橘果實(shí)及枝干的重建效果

在簡化后的機(jī)器人仿真界面對(duì)所得到的柑橘果實(shí)及枝干三維信息進(jìn)行重建[22]，Kinect V2相機(jī)獲取的枝干重建效果圖如圖15a所示，在Rviz可視化界面對(duì)枝干及柑橘進(jìn)行效果重建，以獲得的柑橘果實(shí)的中心點(diǎn)三維信息為球心，建立一個(gè)半徑為32.5 mm的類似于柑橘果實(shí)的球體模型。枝干重建采用分段重建的方式，以Mask R-CNN對(duì)枝干識(shí)別結(jié)果進(jìn)行預(yù)處理后所得到的矩形框?yàn)榛A(chǔ)，通過手眼標(biāo)定后的Kinect相機(jī)給出每個(gè)矩形框的底部中心點(diǎn)和頂部中心點(diǎn)在機(jī)器人世界坐標(biāo)系下的三維坐標(biāo)，以及矩形框的短邊長度作為重建信息，在ROS系統(tǒng)中采用四元數(shù)對(duì)圓柱體的描述方法，對(duì)識(shí)別出的柑橘果樹枝干進(jìn)行三維重建。其重建效果圖如圖15b所示。

圖15 樹枝重建效果圖Fig.15 Branch reconstruction effect map

1.3.4實(shí)驗(yàn)室環(huán)境下柑橘表面信息獲取流程

根據(jù)實(shí)驗(yàn)平臺(tái)的實(shí)際情況，室內(nèi)柑橘果實(shí)完整表面信息獲取的實(shí)驗(yàn)流程如圖16所示。首先由巡檢機(jī)器人的視覺系統(tǒng)獲取枝干障礙物及柑橘果實(shí)的位置信息，將信息匯總到規(guī)劃場(chǎng)景中；然后通過讀取柑橘果實(shí)位置信息對(duì)機(jī)械臂進(jìn)行逆運(yùn)動(dòng)學(xué)算法求解；再將該解提供給RRT-connect算法作為機(jī)械臂關(guān)節(jié)規(guī)劃目標(biāo)，RRT-connect算法在節(jié)點(diǎn)擴(kuò)展過程中調(diào)取碰撞檢測(cè)插件對(duì)機(jī)械臂所規(guī)劃的路徑進(jìn)行路徑碰撞檢測(cè)，并對(duì)該路徑應(yīng)用五次樣條曲線進(jìn)行路徑平滑；最后通過CAN總線發(fā)送給機(jī)械臂驅(qū)動(dòng)器，通過位置傳感器確定機(jī)械臂將固定在末端的巡檢相機(jī)送達(dá)拍攝位置后并反饋給ROS系統(tǒng)，同時(shí)通過節(jié)點(diǎn)通信的方式對(duì)巡檢系統(tǒng)的工業(yè)相機(jī)發(fā)出拍攝指令，以完成巡檢機(jī)器人的拍攝任務(wù)。

圖16 獲取柑橘果實(shí)完整表面信息流程圖Fig.16 Flow chart of getting complete surface of citrus fruit

2 實(shí)驗(yàn)室環(huán)境下實(shí)驗(yàn)與結(jié)果分析

2.1 機(jī)械臂避障運(yùn)動(dòng)控制

將Kinect V2相機(jī)所獲得目標(biāo)物的信息全部加載進(jìn)機(jī)器人規(guī)劃場(chǎng)景內(nèi)，先對(duì)機(jī)械臂求解達(dá)到柑橘果實(shí)位姿的逆解，再采用RRT-connect算法[23]為機(jī)械臂關(guān)節(jié)運(yùn)動(dòng)求解出一系列無碰撞平滑的連續(xù)運(yùn)動(dòng)的點(diǎn)。通過發(fā)布機(jī)械臂在運(yùn)動(dòng)過程中的運(yùn)動(dòng)狀態(tài)，可以與巡檢相機(jī)進(jìn)行節(jié)點(diǎn)通信。即機(jī)械臂達(dá)到拍攝位姿時(shí)，巡檢相機(jī)對(duì)目標(biāo)柑橘進(jìn)行拍攝。其實(shí)際拍攝位姿與仿真界面效果如圖17～19所示。

圖17 2個(gè)拍攝位姿實(shí)驗(yàn)及效果Fig.17 Two posture experiments and effects

圖18 3個(gè)拍攝位姿實(shí)驗(yàn)及效果Fig.18 Three posture experiments and effects

圖19 4個(gè)拍攝位姿實(shí)驗(yàn)及效果Fig.19 Four posture experiments and their effects

2.2 柑橘果實(shí)外表面處理

為實(shí)現(xiàn)巡檢機(jī)器人獲取完整的柑橘外表面信息，同時(shí)需要對(duì)巡檢相機(jī)所獲得的柑橘目標(biāo)圖像進(jìn)行預(yù)處理。

本文通過顏色空間轉(zhuǎn)換，將RGB顏色空間轉(zhuǎn)換到HSV顏色空間[24]，對(duì)轉(zhuǎn)換后的柑橘圖像進(jìn)行閾值分割，對(duì)所獲取的柑橘圖像進(jìn)行二值化、空洞填充、毛刺去除等處理[25]，最終得到分割后的彩色圖像。

在Linux系統(tǒng)下通過Qt與OpenCV結(jié)合，對(duì)巡檢機(jī)器人巡檢相機(jī)界面進(jìn)行了開發(fā)。并在開發(fā)界面上實(shí)現(xiàn)相應(yīng)的功能。巡檢相機(jī)的界面如圖20所示。

圖20 巡檢相機(jī)界面Fig.20 Diagram of inspection of camera interface

2.3 結(jié)果與分析

2.3.1目標(biāo)物重建結(jié)果

采用Mask R-CNN對(duì)目標(biāo)物進(jìn)行識(shí)別，通過Kinect V2相機(jī)與識(shí)別效果的映射，得出目標(biāo)物的三維信息，并在ROS平臺(tái)上對(duì)獲得的三維信息進(jìn)行可視化重建，其效果如圖21所示。

圖21 三維重建可視化界面Fig.21 Visualization interface for 3D reconstruction

通過對(duì)所重建的枝干進(jìn)行避障實(shí)驗(yàn)，避障成功率為81.61%，避障失敗主要原因是Kinect V2相機(jī)與機(jī)械臂在進(jìn)行手眼標(biāo)定時(shí)，機(jī)械臂運(yùn)動(dòng)的坐標(biāo)與所選取的標(biāo)定坐標(biāo)之間存在誤差，導(dǎo)致獲取枝干三維信息轉(zhuǎn)換為機(jī)械臂世界坐標(biāo)系下的坐標(biāo)位置時(shí)提供的位置不準(zhǔn)確，在Rviz可視化界面里重建障礙物與機(jī)器人的實(shí)際相對(duì)位置存在誤差。從而導(dǎo)致機(jī)械臂避障運(yùn)動(dòng)規(guī)劃時(shí)，機(jī)械臂與實(shí)際的障礙物發(fā)生碰撞，但仿真界面則未發(fā)生碰撞。

2.3.2巡檢相機(jī)拍攝結(jié)果

本文采用機(jī)械臂與巡檢相機(jī)結(jié)合的方式對(duì)目標(biāo)柑橘進(jìn)行巡檢拍攝。對(duì)不同橫縱徑的柑橘果實(shí)以不同的位姿進(jìn)行巡檢拍攝，對(duì)所獲取的柑橘圖像外表面信息進(jìn)行統(tǒng)計(jì)，3種拍攝方案的避障成功率以及柑橘表面信息獲取率分別為：①通過2個(gè)拍攝位姿所獲得1～4號(hào)柑橘表面信息獲取率分別為83.83%、84.26%、86.78%、80.18%，柑橘表面信息平均獲取率為83.76%，機(jī)械臂避障成功率為85.12%，機(jī)械臂運(yùn)動(dòng)規(guī)劃平均耗時(shí)為55.32 s。②通過3個(gè)拍攝位姿所獲得的1～4號(hào)柑橘表面信息獲取率分別為94.12%、95.27%、96.83%、90.63%，柑橘表面信息平均獲取率為94.21%，機(jī)械臂避障成功率為80.12%，機(jī)械臂運(yùn)動(dòng)規(guī)劃平均耗時(shí)為86.57 s。③通過4個(gè)拍攝位姿所獲得的1～4號(hào)柑橘表面信息獲取率分別為96.82%、97.11%、98.25%、92.35%，柑橘表面信息平均獲取率為96.13%，機(jī)械臂避障成功率為76.51%，機(jī)械臂運(yùn)動(dòng)規(guī)劃平均耗時(shí)為104.21 s。

本次實(shí)驗(yàn)對(duì)柑橘果實(shí)外表面信息的獲取所選取的柑橘果柄偏角[20]為0°，柄傾角為90°。對(duì)于柑橘果實(shí)的果蒂及果頂?shù)膱D像獲取有一定的影響，但總體來說，基本能夠獲取目標(biāo)柑橘完整表面信息。2個(gè)拍攝位姿的方案所獲取的柑橘圖像有所欠缺，但運(yùn)動(dòng)耗時(shí)少及避障成功率高；3個(gè)拍攝位姿與4個(gè)拍攝位姿所獲取的外表面信息相差不大，但3個(gè)位姿的拍攝方案的運(yùn)動(dòng)耗時(shí)少以及避障成功率高于4個(gè)位姿的拍攝方案,由此可得選擇3個(gè)拍攝位姿的拍攝方案更加適宜巡檢機(jī)器人用于獲取柑橘完整表面信息。同時(shí)對(duì)相同拍攝方案而言，果實(shí)橫縱徑比越接近1的果實(shí)，所獲取的外表面信息越完整。

3 結(jié)論

(1)提出的采用機(jī)械臂與相機(jī)結(jié)合的方法能夠較完整地獲取單個(gè)柑橘果實(shí)表面信息，為農(nóng)業(yè)巡檢機(jī)器人獲取柑橘表面情況、監(jiān)控柑橘生長及病蟲害信息提供了一種方法。

(2)通過3種拍攝方案拍攝的結(jié)果統(tǒng)計(jì)，柑橘果實(shí)的橫縱徑比越接近1，拍攝所獲取的柑橘外表面信息越完整。

(3)3種拍攝位姿方案中，采用3個(gè)拍攝位姿對(duì)柑橘果實(shí)進(jìn)行拍攝，在保證獲取柑橘表面完整率的同時(shí)可以獲得較高的避障成功率和工作效率。