基于機(jī)器視覺的圣女果采摘機(jī)械臂的動作研究

陳肖宇，馬興錄，劉 揚(yáng)

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引言

隨著人工智能及機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人、機(jī)械臂等智能化的機(jī)械設(shè)備逐步被用于我們復(fù)雜社會生活的各個(gè)方面。不僅在生活中，在工、農(nóng)生產(chǎn)制造中，機(jī)器人等機(jī)械設(shè)備的使用甚至更加必要和廣泛[1-3]。在農(nóng)業(yè)采摘方面，以圣女果種植產(chǎn)業(yè)為例，圣女果的采摘工作成本高，工作量大，而且當(dāng)前農(nóng)業(yè)勞動力短缺，研發(fā)智能采摘機(jī)器人來解決當(dāng)前圣女果采摘所面臨的難題是非常必要的，實(shí)現(xiàn)機(jī)器人全自動采摘也順應(yīng)了農(nóng)業(yè)智能機(jī)械化的發(fā)展要求[4]。

在國內(nèi)，為保證圣女果的商業(yè)價(jià)值，其采摘基本要求帶有果蒂，而目前所見的圣女果采摘機(jī)器人無法保證帶有果蒂的采摘[5]。如當(dāng)前較為成熟的美國RootAI公司研發(fā)的圣女果采摘機(jī)器人，其采摘方式為使用夾爪夾住圣女果果實(shí)后進(jìn)行旋轉(zhuǎn)摘下，這種方式采摘下來的果實(shí)基本不會保留果蒂；于豐華等人設(shè)計(jì)的日光番茄采摘機(jī)器人通過柔性夾爪抓緊果實(shí)進(jìn)行采摘，并未根據(jù)果實(shí)姿態(tài)對機(jī)械臂的采摘動作進(jìn)行設(shè)定[6]；付鑫等人發(fā)明的一種圣女果采摘方法及圣女果采摘機(jī)械手通過切割的方式進(jìn)行采摘，這種采摘方式會保留較長的果梗，還需要后期的人工處理。

根據(jù)圣女果果蒂生長特點(diǎn)以及人工采摘的技巧，實(shí)驗(yàn)團(tuán)隊(duì)制定出一套模仿人手采摘圣女果的方案，即機(jī)械臂末端機(jī)械爪在采摘時(shí)能夠保持與圣女果果蒂方向基本一致，使用折果蒂的方式將帶有果蒂的圣女果采摘下來，從而使機(jī)械臂采摘下來的圣女果具備與人工采摘同樣的價(jià)值。

本文通過獲取的目標(biāo)圣女果圖片來分析圣女果的成熟與否、方向以及距離等信息，由此生成機(jī)械臂采摘時(shí)末端執(zhí)行器的目標(biāo)位姿，從而通過求解機(jī)械臂運(yùn)動學(xué)逆解獲得機(jī)械臂各關(guān)節(jié)角度，生成特定的采摘動作，即機(jī)械臂末端執(zhí)行器達(dá)到抓取位置時(shí)能夠與圣女果果蒂方向保持一致，為進(jìn)一步實(shí)現(xiàn)帶果蒂的采摘做鋪墊。

1 系統(tǒng)整體設(shè)計(jì)

1.1 系統(tǒng)運(yùn)作流程

系統(tǒng)的主要運(yùn)作流程如圖1所示，置于機(jī)械臂末端的單目相機(jī)通過顏色識別獲取當(dāng)前視野范圍內(nèi)的成熟圣女果，并遍歷篩選出其中最大的圣女果作為目標(biāo)圣女果，經(jīng)過腐蝕、膨脹、濾波等操作之后獲取較為完整的目標(biāo)圣女果二值化圖像，獲取目標(biāo)圣女果的形心坐標(biāo)，同時(shí)對其進(jìn)行細(xì)化，提取相應(yīng)的骨架，通過“以直代曲”法獲取圣女果的中線以及中線方向，其中中線方向即為目標(biāo)圣女果的生長方向。使用分類法對圣女果生長方向進(jìn)行分類，圣女果的生長方向分別對應(yīng)機(jī)械臂末端的最終方向。獲取了方向信息后，通過單目相機(jī)水平遷移測距法進(jìn)行測距，使得機(jī)械臂在移動的過程中即獲得距離信息。對方向、距離等信息進(jìn)行進(jìn)一步處理后，求解出機(jī)械臂運(yùn)動后的最終目標(biāo)位姿，即機(jī)械臂末端抓取方向與圣女果方向一致的位姿。

圖1 系統(tǒng)運(yùn)作流程圖

1.2 系統(tǒng)總體架構(gòu)

如圖2所示，系統(tǒng)總體架構(gòu)分為3個(gè)層面：硬件層、驅(qū)動層和軟件層。

圖2 系統(tǒng)總體架構(gòu)圖

其中實(shí)驗(yàn)所用到的硬件設(shè)備為高清單目相機(jī)、樹莓派4B核心控制板、高斯六軸機(jī)械臂。高清單目相機(jī)獲取的圖片的分辨率為640×480；圖3為樹莓派4B為本實(shí)驗(yàn)的核心控制板，它擁有64位、1.5 GHz的四核CPU，內(nèi)存為1 GB，且擁有兩個(gè)USB3.0和兩個(gè)USB2.0通信端口，燒錄了基于Linux的桌面型RasBian System[7]；圖4為本實(shí)驗(yàn)所使用的高斯六軸機(jī)械臂，其最大工作半徑為437 mm，垂直行程為687 mm，水平行程為874 mm[8]。

圖3 樹莓派4B

圖4 高斯六軸機(jī)械臂

驅(qū)動層包括USB_Cam相機(jī)驅(qū)動、電機(jī)驅(qū)動等。軟件層包含多種算法及功能包，如成熟圣女果識別算法、測距算法、圣女果方向識別算法以及ROS軟件包等，其中圣女果生長方向識別算法又包括對于圣女果二值化圖像的骨架提取算法和使用“以直代曲”法獲得圣女果中心方向的算法等。

2 算法研究與創(chuàng)新

2.1 成熟圣女果目標(biāo)獲取算法

成熟圣女果獲取算法流程如圖5所示。在圖像處理中使用較多的是 HSV 顏色空間，它比 RGB 更接近人們對彩色的感知經(jīng)驗(yàn)，能非常直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便進(jìn)行顏色的對比[9]。成熟的圣女果外觀特點(diǎn)鮮明，使用單目相機(jī)獲取當(dāng)前視野RGB圖片后將其轉(zhuǎn)換到HSV顏色空間，然后根據(jù)成熟圣女果相應(yīng)顏色閾值對圖像進(jìn)行二值化，二值化的一般算法如式(1)，如果輸入圖像的像素點(diǎn)對應(yīng)HSV值在成熟圣女果對應(yīng)閾值范圍內(nèi)則將該像素點(diǎn)值置為最大，否則將其置為0[10]。

(1)

圖5 成熟圣女果識別流程圖

成熟圣女果在二值化圖像中具有明顯的區(qū)域輪廓，但圣女果種植環(huán)境復(fù)雜，光照影響等原因會產(chǎn)生區(qū)域面積明顯小于正常果實(shí)的噪聲，因此采用中值濾波對圖像進(jìn)行處理以獲取更加完整的成熟圣女果輪廓圖。中值濾波采用非線性的方法，它在平滑脈沖噪聲方面非常有效，同時(shí)它可以保護(hù)圖像尖銳的邊緣，選擇適當(dāng)?shù)狞c(diǎn)來替代污染點(diǎn)的值，所以處理效果比較理想。

由于成熟圣女果的二值化圖像輪廓為封閉圖形，因此可以采用公式(2)的格林公式來求解連通域面積，在此情景下則是計(jì)算目標(biāo)的輪廓內(nèi)面積[11]。

(2)

遍歷每個(gè)符合條件的輪廓，獲取其面積S、矩形邊框起始點(diǎn)坐標(biāo)(u，v)以及像素寬度w和長度h等參數(shù)，記錄其中最大面積S′對應(yīng)的輪廓起始點(diǎn)坐標(biāo)，并由此計(jì)算出目標(biāo)圣女果中心坐標(biāo)點(diǎn)(u′，v′)，u′與v′的計(jì)算方法如公式(3)所示。至此便已完成獲取成熟圣女果位置坐標(biāo)的工作。

(3)

2.2 單目相機(jī)水平前移測距法

機(jī)械臂在抓取的時(shí)候還有一個(gè)必要的參數(shù)便是距離，因?yàn)楸緦?shí)驗(yàn)只采用一個(gè)單目相機(jī)，將單目相機(jī)固定在機(jī)械臂末端，用“眼在手上”的方法獲取參數(shù)并將機(jī)械臂末端以一定姿態(tài)伸至目標(biāo)位置，所以對于距離參數(shù)的獲取也是使用單目相機(jī)來進(jìn)行的。通過分析相機(jī)成像原理即物像之間的大小關(guān)系換算原理可得單目相機(jī)水平前移測距法[12-14]。

相機(jī)拍攝物像大小關(guān)系如圖6所示，目標(biāo)物大小用H來表示，相機(jī)焦距f是固定不變的，在左側(cè)相機(jī)位置對目標(biāo)物進(jìn)行拍照，所成像為左側(cè)像，其大小用w1來表示，此時(shí)相機(jī)與目標(biāo)物的距離記為l1，則有物像大小關(guān)系如式(4)所示：

(4)

圖6 物像大小關(guān)系示意圖

使相機(jī)向目標(biāo)物水平移動距離d并拍照，如圖6中右側(cè)相機(jī)所示，所得像為右側(cè)像，其大小用w2來表示，此時(shí)相機(jī)與目標(biāo)物的距離記為l2，則有物像大小關(guān)系如式(5)所示：

(5)

相機(jī)前移前后的兩個(gè)位置與目標(biāo)物的距離分別是l1與l2，相機(jī)前移的距離為d，則有式(6)：

l1=l2+d

(6)

通過聯(lián)立式(4)～(6)可以得到相機(jī)前移之后的位置與目標(biāo)物的距離l2即圖中L，如式(7)所示：

(7)

在實(shí)際測距過程中，w1與w2分別為相機(jī)前移前后獲得的同一目標(biāo)物在照片中的像素寬度。此方法可以在機(jī)械臂末端對準(zhǔn)目標(biāo)之后水平遷移過程中進(jìn)行圖片獲取與距離計(jì)算。表1為測試此測距法的結(jié)果，選取不同顏色的不同物體各進(jìn)行了10次測試，誤差距離單位為毫米。由于實(shí)驗(yàn)后期要設(shè)計(jì)的機(jī)械爪閉合時(shí)需要在爪內(nèi)部形成一定的空間來包裹圣女果，并且在圣女果前后會留有一定的容錯空間，此容錯為±0.4 cm。由測試結(jié)果可以得出，對相機(jī)前移前后兩張圖片中不產(chǎn)生形變的物體的測距更加準(zhǔn)確，比如紅色球體和紅色方塊，其方差分別為1.00和0.64，相對都比較小，結(jié)果穩(wěn)定性較高。由于實(shí)驗(yàn)采用顏色識別來尋找目標(biāo)物體，因此外界環(huán)境比如光照等因素會產(chǎn)生一定的干擾，從而使得目標(biāo)物體的像素寬度產(chǎn)生微小的變化。對于實(shí)際要抓取的圣女果的測距誤差均值為3.3 mm，處于中等水平，而方差1.61是在5種目標(biāo)物體中最高的，這是因?yàn)槭ヅ耐庑翁卣鞑煌易R別效果穩(wěn)定性比形狀固定的物體略低，測距結(jié)果受到圣女果自身以及環(huán)境影響相對略大。實(shí)驗(yàn)過程使用機(jī)械臂進(jìn)行前移操作，機(jī)械臂理論運(yùn)動學(xué)模型與實(shí)際模型之間不可避免存在誤差，這也會增大結(jié)果的誤差值。從測試數(shù)據(jù)和總體結(jié)果來看，此測距法雖然相對于存在一些誤差，但對于紅色圣女果的測試結(jié)果在預(yù)期范圍內(nèi)。在后期提高測距精度方面，對于外部環(huán)境的干擾可以規(guī)范其使用環(huán)境，降低光照、遮擋等因素帶來的影響；對于機(jī)械臂本身運(yùn)動誤差需要通過標(biāo)定進(jìn)一步提高機(jī)器人的絕對位置精度。

表1 測距法測試數(shù)據(jù)表

2.3 圣女果方向識別算法改進(jìn)

由于圣女果果實(shí)與果蒂處于同一中軸線上，為使得機(jī)械臂末端在抓取時(shí)的方向與圣女果果蒂的水平方向一致，因此需要對更容易分析的圣女果果實(shí)的方向進(jìn)行識別與研究。本文實(shí)驗(yàn)所使用的圣女果果實(shí)外形與橢圓相似，并且在生長時(shí)是自然向下的，因此可以利用其外形特點(diǎn)進(jìn)行圖像形態(tài)學(xué)處理，改進(jìn)傳統(tǒng)方法，保留圣女果的總體外形特征，來獲取其實(shí)際意義上的中軸線，從而獲取實(shí)驗(yàn)所需要的方向。

在第2.1小節(jié)中對圖7(a)獲取成熟圣女果目標(biāo)后可以得到如圖7(b)所示的二值圖，由于正面光照影響，圣女果光滑的表面會呈現(xiàn)反光效果，這對圣女果整體輪廓的獲取產(chǎn)生了一定的影響，如果不加處理則會影響對其形狀的分析，因此要對輪廓內(nèi)部點(diǎn)進(jìn)行填充，填充規(guī)則如式(8)所示：

(8)

圖7 圖像處理示意圖

其中：(xu，yv)為目標(biāo)輪廓內(nèi)部點(diǎn)，當(dāng)輸入像素點(diǎn)是輪廓內(nèi)部點(diǎn)且值為0時(shí)，則將其置為valmax，否則不作操作[15]。填充操作后的二值圖像如圖7(c)所示。

經(jīng)過圖像處理獲得的目標(biāo)圣女果輪廓二值圖相較于真實(shí)的圣女果形態(tài)并不是很完整，直接通過輪廓特征處理二值圖獲得輪廓的擬合直線會得到與實(shí)際方向偏差較大的結(jié)果，如圖8所示，穿過圣女果輪廓的灰色線存在明顯偏差[16]。

圖8 輪廓的擬合直線

為使得輪廓的特征更加明顯，此處增加對二值圖像的細(xì)化操作。根據(jù)圣女果輪廓的對稱性以及非窄距性，采用獲取其中軸線的方法實(shí)現(xiàn)對目標(biāo)輪廓的細(xì)化，進(jìn)一步凸顯輪廓的特征[17-18]。獲取的中軸線如圖9所示，由于實(shí)驗(yàn)對象選取的是識別難度較大的近圓形的圣女果，因此中軸線會相對較小，而對更加接近橢圓的圣女果的識別效果會更加明顯。

獲取到更加能夠凸顯目標(biāo)輪廓的特征中軸線之后再次計(jì)算其擬合直線，可以得到如圖10(a)中的深灰色線條結(jié)果，能夠近似反映圣女果的方向。

最終獲取的方向需要作為機(jī)械臂的運(yùn)動參數(shù)，為了得到更精確的結(jié)果，本文根據(jù)輪廓的擬合直線思想進(jìn)行了算法的適應(yīng)性改進(jìn)：

改進(jìn)后擬合算法流程如圖11所示，首先采用Scikit-image的骨架提取功能獲取目標(biāo)輪廓特征中軸線，對目標(biāo)輪廓的特征進(jìn)行進(jìn)一步凸顯，然后獲取質(zhì)心，做一條經(jīng)過質(zhì)心的直線，計(jì)算中軸線上的每個(gè)像素點(diǎn)到該直線的距離之和，取最小值對應(yīng)直線作為圣女果真正的中軸線，取其傾斜角作為最終需要得到的圣女果的方向。

圖11 改進(jìn)后擬合算法流程圖

其中對于質(zhì)心的獲取是在OpenCV中使用矩來計(jì)算得到的，圖像矩是圖像像素強(qiáng)度的一種特殊的加權(quán)平均值。目標(biāo)圖像轉(zhuǎn)換為二值圖像后由式(9)便可得到目標(biāo)質(zhì)心，其中Cx為質(zhì)心的x軸坐標(biāo)，Cy為質(zhì)心的y軸坐標(biāo)。由質(zhì)心坐標(biāo)以及直線傾斜角θ便可通過公式y(tǒng)=kx+b獲得直線方程，其中k=tan-1θ，b=Cy-Cxtan-1θ。由式(10)點(diǎn)到直線距離公式可得中軸線上像素點(diǎn)(xi，yi)到該直線的距離d，其中A=tan-1θ，B=-1，C=Cy-Cxtan-1θ，進(jìn)而可得圖像中n個(gè)像素點(diǎn)到該直線的距離之和D[19]，如式(11)所示。對于以Δθ為變化率的每條經(jīng)過質(zhì)心的直線均需要求一次距離之和，并求出最小值Dmin及對應(yīng)的傾斜角θ，此θ便是最終需要獲取的圣女果方向。

(9)

(10)

D=

(θ≠90°)

(11)

如圖10(b)所示，淺灰色線為本文改進(jìn)之后的擬合算法所得結(jié)果，圖10(c)為對輪廓的擬合直線(a線)與本文算法所得結(jié)果(b線)在同一幅二值圖像中的對比顯示，從中可以明顯看出本文算法在對于該次實(shí)驗(yàn)?zāi)繕?biāo)圣女果方向識別更加準(zhǔn)確。為驗(yàn)證算法的準(zhǔn)確性和穩(wěn)定性，對不同的圣女果分別使用傳統(tǒng)方法與本文方法進(jìn)行了多次實(shí)驗(yàn)，對比測試數(shù)據(jù)如表2所示，對比測試誤差如圖12所示。圖中橫坐標(biāo)為對應(yīng)的實(shí)驗(yàn)序號，縱坐標(biāo)為該次實(shí)驗(yàn)對應(yīng)的誤差，取絕對值后，傳統(tǒng)方法的誤差均值為4.45，本文方法的平均誤差值為2.9，就單次實(shí)驗(yàn)來說兩種方法的誤差方向具有相似性，但本文所用方法會相對更加精確一些。傳統(tǒng)方法誤差值方差為9.20，本文方法誤差值方差為4.29，所以本文通過圖像分析來計(jì)算圣女果方向的方法相對更加穩(wěn)定，也更適合在實(shí)際應(yīng)用中使用。

表2 對比測試數(shù)據(jù)表

圖12 對比測試誤差圖

3 機(jī)械臂動作生成

機(jī)械臂正運(yùn)動學(xué)求解是在已知各連桿相對位置關(guān)系的情況下計(jì)算得到末端執(zhí)行器的位姿，而機(jī)械臂逆運(yùn)動學(xué)求解是在已知機(jī)器人末端執(zhí)行器的目標(biāo)位姿的情況下求解出機(jī)械臂末端執(zhí)行器到目標(biāo)位置過程中各關(guān)節(jié)需要轉(zhuǎn)動的角度值[20-21]。本實(shí)驗(yàn)將已獲得的圣女果的位置及果蒂方向作為機(jī)械臂末端夾爪的最終位姿，并由此反推機(jī)械臂各關(guān)節(jié)的狀態(tài)，因此求解機(jī)械臂逆運(yùn)動學(xué)是本小節(jié)的關(guān)鍵。本文以高斯機(jī)械臂為研究對象，對機(jī)械臂進(jìn)行D-H法建模[22]，D-H參數(shù)如表3所示，機(jī)械臂連桿坐標(biāo)系如圖13所示。

表3 高斯機(jī)械臂D-H參數(shù)表

圖13 高斯機(jī)械臂連桿坐標(biāo)系

機(jī)械臂逆運(yùn)動學(xué)求解就是求出每個(gè)關(guān)節(jié)的角度，對于本實(shí)驗(yàn)所用六自由度機(jī)械臂而言就是求θ1、θ2、θ3、θ4、θ5、θ6。機(jī)械臂的D-H參數(shù)已集成至ROS的URDF文件中，通過MoveIt！功能包中的KDL(Kinematics and Dynamics Library)進(jìn)行逆運(yùn)動學(xué)的求解[23]，求解過程為：節(jié)點(diǎn)初始化，選擇機(jī)械臂移動組，指定機(jī)械臂的末端操作，指定參考坐標(biāo)系，調(diào)用位姿描述函數(shù)，給定坐標(biāo)系的位姿，選擇運(yùn)動方案，運(yùn)動規(guī)劃執(zhí)行。

4 實(shí)驗(yàn)測試與結(jié)果分析

4.1 實(shí)驗(yàn)測試

實(shí)驗(yàn)設(shè)備硬件層主要由六軸高斯機(jī)械臂、樹莓派4B、高清單目相機(jī)以及個(gè)人電腦組成，相關(guān)硬件參數(shù)已由第1節(jié)給出。機(jī)械臂由配置了機(jī)器人控制系統(tǒng)(ROS)的樹莓派來進(jìn)行控制，高清單目相機(jī)連接到樹莓派USB端口，同時(shí)將個(gè)人電腦通過網(wǎng)線與樹莓派相連接。成熟圣女果識別算法、圣女果方向分析算法、測距算法均部署在個(gè)人電腦上以減輕高斯機(jī)械臂上樹莓派的運(yùn)算壓力。在樹莓派上部署Master，用來控制整個(gè)系統(tǒng)流程。

本實(shí)驗(yàn)屬于綜合性實(shí)驗(yàn)，前部分的實(shí)驗(yàn)結(jié)果會對之后的操作產(chǎn)生一定影響，因此需要對成熟圣女果識別率，最大圣女果識別效果，果實(shí)輪廓完整性，方向識別算法誤差值以及機(jī)械臂位姿誤差等方面進(jìn)行實(shí)驗(yàn)記錄與分析。

實(shí)驗(yàn)過程：由單目相機(jī)在機(jī)械臂初始位置且靜止?fàn)顟B(tài)完成當(dāng)前視野圖片的獲取，利用2.1小節(jié)的成熟圣女果目標(biāo)獲取算法在當(dāng)前視野獲取最大成熟圣女果作為目標(biāo)，利用2.3小節(jié)的圣女果方向識別算法來對目標(biāo)圣女果進(jìn)行方向識別，利用2.2小節(jié)的測距算法實(shí)現(xiàn)對目標(biāo)圣女果與機(jī)械臂末端的距離獲取，將以上得到的圣女果位姿信息(x，y，z，θ)作為機(jī)械臂末端執(zhí)行器的目標(biāo)位姿，通過ROS軟件平臺控制機(jī)械臂達(dá)到目標(biāo)位姿。機(jī)械臂初始位姿運(yùn)動到目標(biāo)位姿如圖14所示。在正常的日光條件下，同樣的步驟對于不同位置、不同品種的圣女果共進(jìn)行了16次，每次均需要記錄以下數(shù)據(jù)：目標(biāo)圣女果是否判斷為成熟，目標(biāo)圣女果是否為當(dāng)前視野最大圣女果，果實(shí)輪廓完整率，測距誤差值，方向識別誤差值，機(jī)械臂末端方向誤差值，具體數(shù)據(jù)如表4所示。

表4 實(shí)驗(yàn)數(shù)據(jù)記錄表

圖14 機(jī)械臂運(yùn)動狀態(tài)示意圖

上述16次實(shí)驗(yàn)中機(jī)械臂動作生成所用時(shí)間分別為：{3.6，4.0，3.9，3.5，4.6，5.0，3.9，3.4，3.5，3.8，3.4，4.1，4.3，3.8，3.9，5.2 s}，動作生成平均用時(shí)為3.9 s。

外部環(huán)境變量中，光照和遮擋是影響實(shí)驗(yàn)結(jié)果最重要的因素，本實(shí)驗(yàn)基于機(jī)器視覺，因此需要盡可能地減少對目標(biāo)圣女果的遮擋。除上述正常日光條件下的測試外，本實(shí)驗(yàn)在相同遮擋條件下對上述目標(biāo)圣女果在夜間使用照明燈的環(huán)境下進(jìn)行了16次對比測試，實(shí)驗(yàn)表明，平均圣女果輪廓完整率相對于日光條件下降了約4.6%，測距誤差增大了約1%，方向識別誤差增大約1.8%，機(jī)械臂末端方向誤差增大約1.5%，機(jī)械臂動作生成平均時(shí)間為3.9秒。

4.2 結(jié)果分析

本次綜合實(shí)驗(yàn)對過程中的各分項(xiàng)步驟均進(jìn)行了數(shù)據(jù)的測量和記錄，機(jī)械臂最終動作的生成依賴之前獲得的圖片分析結(jié)果，實(shí)驗(yàn)有明顯的誤差是正常的。本文除了在正常日光條件下進(jìn)行了16次詳細(xì)測量數(shù)據(jù)的實(shí)驗(yàn)之外，還對同樣的目標(biāo)圣女果在保持遮擋條件一定的情況下，在夜間使用照明燈的環(huán)境下進(jìn)行了同樣16次測試。除此之外還進(jìn)行了額外的34次有針對性記錄的實(shí)驗(yàn)，平均動作生成時(shí)間為3.6 s。

在準(zhǔn)確率方面，對于目標(biāo)果實(shí)是否成熟的判斷，本實(shí)驗(yàn)采用的是顏色識別，成熟與不成熟有較大的區(qū)別，因此在識別過程中獲得的結(jié)果均是正確的。對于目標(biāo)果實(shí)是否為當(dāng)前視野區(qū)域最大成熟果實(shí)的判斷，由于圣女果生長環(huán)境復(fù)雜，圣女果與圣女果之間以及圣女果與枝葉之間有互相遮擋的情況，這就給識別帶來了困難。對于比較復(fù)雜的情形會容易產(chǎn)生識別錯誤，以上32對比次實(shí)驗(yàn)中有兩次是因?yàn)檎趽鯁栴}識別失敗，從后續(xù)進(jìn)行的34次實(shí)驗(yàn)也可以看出只要獲取到了目標(biāo)就不會對后續(xù)步驟產(chǎn)生較大的影響。對于目標(biāo)圣女果二值圖的獲取，如表4中輪廓完整率所示，輪廓的獲取受外部影響較大，比如圣女果外表光滑，較強(qiáng)的外部光照會在圣女果表面產(chǎn)生反光，而正常的日光與夜間照明燈的光照條件也會對實(shí)驗(yàn)結(jié)果產(chǎn)生不同的影響。圣女果的果蒂也會在圣女果頭部形成一定程度的遮擋，這就使得在獲取圣女果二值圖的時(shí)候，反光以及被遮擋的部分均變?yōu)楸尘?。從整體實(shí)驗(yàn)來看，獲取的成熟圣女果輪廓的完整率平均在82%以上，日光條件下的識別效果優(yōu)于夜間照明燈條件下的識別效果，對于非枝葉遮擋圣女果的識別效果達(dá)到預(yù)期目標(biāo)。針對二值圖不完整的問題，本文2.3小節(jié)有提到對二值圖進(jìn)行內(nèi)部填充，盡可能減小反光的影響，使得可以識別到的部分達(dá)到較為完整的效果，從而為后續(xù)進(jìn)行果實(shí)姿態(tài)分析時(shí)使用的中軸線獲取算法提供較準(zhǔn)確的輸入。對于測距算法，實(shí)驗(yàn)結(jié)果和本文2.2小節(jié)所做測試相近，環(huán)境因素以及圣女果自身的弧度會使目標(biāo)物體的像素寬度產(chǎn)生微小的變化，總體來看雖有一些誤差，但是測試數(shù)據(jù)和結(jié)果顯示達(dá)標(biāo)率為84%。在圣女果方向的識別方面，對于圣女果輪廓識別較為完整或者經(jīng)過填充后的二值圖較為完整的目標(biāo)，方向識別誤差值會比較小，在對近橢圓形的圣女果進(jìn)行識別時(shí)尤其準(zhǔn)確。對于輪廓識別完整度不高的目標(biāo)，由于其二值圖中軸線無法體現(xiàn)出圣女果本身的特點(diǎn)，也就導(dǎo)致方向偏差較大，但是整體達(dá)標(biāo)率是86%，結(jié)果符合預(yù)期。最終機(jī)械臂末端到達(dá)目標(biāo)位置后的方向準(zhǔn)確度十分依賴圖片識別的結(jié)果，對于距離和方向的誤差值均比較小的實(shí)驗(yàn)，機(jī)械臂最終位姿的誤差也是比較小的；而對于前期輪廓識別誤差大，方向誤差大的目標(biāo)，機(jī)械臂的最終位姿誤差也比較大。從以上實(shí)驗(yàn)數(shù)據(jù)來看，機(jī)械臂位姿的達(dá)標(biāo)率能夠達(dá)到80%，符合預(yù)期目標(biāo)。在速度方面，機(jī)械臂從初始狀態(tài)運(yùn)動達(dá)到目標(biāo)位姿的平均用時(shí)為3.75 s，這個(gè)過程不包括機(jī)械臂末端的采摘以及采摘之后的返回時(shí)間。本實(shí)驗(yàn)著重針對機(jī)械臂生成特定采摘位姿做了研究，機(jī)械臂過快的運(yùn)動速度需要配以較重的底盤來穩(wěn)定主體機(jī)器，因此3.75秒的平均動作生成時(shí)間符合預(yù)期目標(biāo)。

從實(shí)驗(yàn)室的實(shí)驗(yàn)結(jié)果來看，整體效果能夠達(dá)到預(yù)期目標(biāo)，方案可行，但是可提升空間比較大。圣女果表面反光會影響輪廓識別的完整性，不同的光照條件下的識別效果是不同的，后期應(yīng)避免環(huán)境有較強(qiáng)的直射光，減少反光對于RGB圖像的獲取效果，尤其需要提升夜間照明燈條件下的識別效果。圣女果植株生長比較復(fù)雜，尤其是枝葉遮擋情況比較嚴(yán)重，這對識別效果會產(chǎn)生較大影響，采摘前需要將圣女果周圍遮擋嚴(yán)重的枝葉進(jìn)行修剪，盡可能地將圣女果裸露出來，這樣可以降低機(jī)器人運(yùn)作的難度。

5 結(jié)束語

圣女果種植范圍廣，人工采摘成本高且工作量大，研發(fā)智能采摘機(jī)器人來解決當(dāng)前圣女果采摘所面臨的難題是非常必要的，實(shí)現(xiàn)機(jī)器人全自動采摘也順應(yīng)了農(nóng)業(yè)智能機(jī)械化的發(fā)展要求。但是目前大多數(shù)圣女果采摘機(jī)器人都處在實(shí)驗(yàn)室階段，少數(shù)可以實(shí)現(xiàn)采摘，但是不能保證帶有果蒂的采摘。本文在帶蒂采摘方法上展開探索，通過模擬人手采摘的流程，使機(jī)械臂末端機(jī)械爪在達(dá)到目標(biāo)圣女果位置時(shí)能夠與圣女果果蒂方向基本一致，從而保證在后期研發(fā)中能夠使用折果蒂的方式將帶有果蒂的圣女果采摘下來，使機(jī)械臂采摘下來的圣女果具備與人工采摘同樣的商業(yè)價(jià)值。模擬人手采摘流程需要制定特定的采摘機(jī)械爪，而目前機(jī)械爪還在設(shè)計(jì)階段，因此本實(shí)驗(yàn)是對機(jī)械臂采摘之前的位姿生成進(jìn)行了方法探索，為后續(xù)完成完整的采摘動作做下鋪墊。

綜合本文算法設(shè)計(jì)和實(shí)驗(yàn)結(jié)果，對圣女果進(jìn)行目標(biāo)識別與方向分析進(jìn)而生成機(jī)械臂特定采摘位姿的方法具有一定的適用性和可行性。針對實(shí)驗(yàn)中的光照、環(huán)境干擾問題進(jìn)行了對比測試，后續(xù)實(shí)驗(yàn)應(yīng)該降低環(huán)境問題對算法的影響，進(jìn)一步驗(yàn)證算法的準(zhǔn)確率。在實(shí)際應(yīng)用之前，圣女果在種植時(shí)應(yīng)該進(jìn)行相應(yīng)改變來方便機(jī)器人進(jìn)行采摘，比如在采摘之前整理側(cè)枝，同時(shí)將果實(shí)所在莖稈單獨(dú)裸露在通道方向，這樣既能保證對圣女果的營養(yǎng)輸送，又能為機(jī)器視覺提供廣闊的視野。

未來會著重提高算法在復(fù)雜環(huán)境條件下的適用性和準(zhǔn)確度，必要時(shí)會更換相關(guān)算法思路來提高實(shí)用性，同時(shí)結(jié)合具有人手采摘特點(diǎn)的機(jī)械爪進(jìn)行采摘實(shí)驗(yàn)，實(shí)現(xiàn)完整的采摘流程。