基于YOLO v5m的紅花花冠目標(biāo)檢測(cè)與空間定位方法

郭 輝 陳海洋 高國(guó)民 周 偉 武天倫 邱兆鑫

(新疆農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院, 烏魯木齊 830052)

0 引言

紅花是一種集藥用、油料為一體的特種經(jīng)濟(jì)作物,我國(guó)紅花產(chǎn)地主要分布在新疆,占全國(guó)80%左右[1-3]。由于紅花花球多批次開花,花冠高低不一,采用傳統(tǒng)機(jī)械化采收比較困難[4-5]。人工采摘成本在紅花產(chǎn)收成本中占比最大[6-7]。而紅花采摘機(jī)器人可有效解決上述問題。由于紅花生長(zhǎng)環(huán)境為非結(jié)構(gòu)化環(huán)境[8],且花冠小、姿態(tài)朝向各異,不易識(shí)別,因此紅花花冠的目標(biāo)檢測(cè)與定位成為紅花采摘機(jī)器人的關(guān)鍵技術(shù)。

目前針對(duì)花朵的目標(biāo)檢測(cè)大多采用傳統(tǒng)目標(biāo)檢測(cè)方法,即利用花朵的顏色以及形狀信息,通過人為提取圖像特征完成花朵圖像的分割[9-10]。崔明等[11]針對(duì)草莓花朵圖像特點(diǎn),采用改進(jìn)K均值聚類方法完成圖像的分割,并利用形態(tài)學(xué)處理和連通區(qū)域特征分析提取花朵區(qū)域目標(biāo),完成對(duì)草莓花朵的識(shí)別。JASON等[12]采用遠(yuǎn)近識(shí)別相結(jié)合的方法,使用相機(jī)對(duì)目標(biāo)區(qū)域進(jìn)行識(shí)別,根據(jù)花朵顏色特征利用分類器提取圖像中可能存在花朵區(qū)域,再用遷移學(xué)習(xí)的方法判斷在此區(qū)域中是否存在花朵目標(biāo)。在近距離識(shí)別中使用RGB-D相機(jī)(深度相機(jī))以及實(shí)時(shí)定位與地圖構(gòu)建技術(shù)(Simultaneous localization and mapping,SLAM)對(duì)植株進(jìn)行重構(gòu),再用分類算法對(duì)重構(gòu)的植株圖像中的花朵進(jìn)行識(shí)別,總體準(zhǔn)確率達(dá)到78.6%。

近幾年,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法在花朵目標(biāo)檢測(cè)領(lǐng)域中的應(yīng)用也十分廣泛。WILLIAMS等[13]采用深度學(xué)習(xí)方法,通過Faster R-CNN網(wǎng)絡(luò)算法對(duì)獼猴桃花朵數(shù)據(jù)集進(jìn)行訓(xùn)練,模型平均精度為85.3%。DIAS等[14]采用一種對(duì)雜亂和光照條件變化具有魯棒性的花卉識(shí)別技術(shù),對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整,訓(xùn)練得到的模型準(zhǔn)確率和召回率都高于90.0%。TIAN等[15]采用多類別單次檢測(cè)(Single shot multibox detector,SSD)深度學(xué)習(xí)方法,利用牛津大學(xué)出版的花卉數(shù)據(jù)集VOC2007和VOC2012進(jìn)行訓(xùn)練,前者平均準(zhǔn)確率為83.6%,后者平均準(zhǔn)確率為87.0%,并可以檢測(cè)多個(gè)目標(biāo)花卉。趙春江等[16]提出一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄花期識(shí)別檢測(cè)方法,在玻璃溫室環(huán)境下準(zhǔn)確率為76.67%。熊俊濤等[17]通過深度語義分割算法對(duì)荔枝花識(shí)別與分割,平均檢測(cè)精度為87%。

針對(duì)紅花檢測(cè),張?zhí)煊碌萚18]通過對(duì)比花絲顏色特征,運(yùn)用色差法分析。選用最大類間方差法提取花絲輪廓,并通過紅花絲團(tuán)簇狀特征,提出改進(jìn)的形態(tài)學(xué)處理方法。最后結(jié)合改進(jìn)質(zhì)心法和最大內(nèi)切圓法,確定花絲二維中心點(diǎn)坐標(biāo)。在盛花期檢測(cè)準(zhǔn)確度為93.3%,在敗花期檢測(cè)準(zhǔn)確度為53.3%。綜上所述,傳統(tǒng)目標(biāo)檢測(cè)方法提取的花朵特征有限,識(shí)別精度較低,適用性較差,且傳統(tǒng)目標(biāo)檢測(cè)方法缺乏學(xué)習(xí)能力,不能根據(jù)圖像的變化進(jìn)行自動(dòng)調(diào)整。本文提出一種基于深度學(xué)習(xí)的移動(dòng)式紅花目標(biāo)檢測(cè)定位算法(Mobile safflower detection and position network,MSDP-Net)。該算法主要由紅花花冠目標(biāo)檢測(cè)算法以及紅花花冠空間定位算法兩部分組成,以期能夠準(zhǔn)確地檢測(cè)出盛花期紅花花冠,并輸出其三維空間坐標(biāo)。

1 紅花花冠目標(biāo)檢測(cè)

1.1 數(shù)據(jù)收集

2022年7月在新疆維吾爾自治區(qū)昌吉回族自治州吉木薩爾縣紅旗農(nóng)場(chǎng)采集紅花圖像共計(jì)3 200幅,并采用隨機(jī)角度旋轉(zhuǎn)、隨機(jī)縮放、加入隨機(jī)噪點(diǎn)等數(shù)據(jù)增強(qiáng)方法,將紅花圖像數(shù)據(jù)集擴(kuò)展至6 400幅,并將其按照比例7∶2∶1隨機(jī)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集,其中訓(xùn)練集4 480幅、驗(yàn)證集1 280幅、測(cè)試集640幅。李彤彤[6]將紅花開花過程分為4個(gè)階段,分別為花蕾期、初花期、盛花期和敗花期,如圖1所示。盛花期為符合本機(jī)器人采摘條件和經(jīng)濟(jì)效益的最佳時(shí)期[19-20]。在不錯(cuò)標(biāo)、不重標(biāo)、不漏標(biāo)的原則下,使用Make Sense[21]工具對(duì)每幅圖像的盛花期紅花花冠進(jìn)行標(biāo)注,得到其對(duì)應(yīng)的標(biāo)簽文件,從而完成數(shù)據(jù)集建立。

圖1 4種不同花期的紅花花冠

1.2 YOLO v5模型選擇

本文基于YOLO v5算法[22-23],提出一種改進(jìn)的YOLO v5算法,用于紅花花冠的目標(biāo)檢測(cè)。利用同一紅花數(shù)據(jù)集對(duì)YOLO v5的6種架構(gòu)[24]進(jìn)行訓(xùn)練,得到Y(jié)OLO v5-Lite、YOLO v5s、YOLO v5n、YOLO v5m、YOLO v5l以及YOLO v5x 6種模型,并采用準(zhǔn)確率(Precision,P)、召回率(Recall,R)、平均精度均值(Mean average precision,mAP)、幀速率(Frames per second,FPS)和模型內(nèi)存占用量(Model size,Ms)作為衡量模型性能的主要指標(biāo),模型各項(xiàng)指標(biāo)對(duì)比結(jié)果如表1所示。

表1 模型性能指標(biāo)對(duì)比

為了對(duì)以上6種模型進(jìn)行更準(zhǔn)確的性能評(píng)估,首先對(duì)各模型的指標(biāo)進(jìn)行歸一化處理,以消除不同度量之間的量綱差異。采用Min-Max歸一化方法[25],將每個(gè)指標(biāo)映射到0～1之間。其次根據(jù)實(shí)際應(yīng)用場(chǎng)景以及研究目標(biāo)為各項(xiàng)指標(biāo)分配以下權(quán)重:WPrecision=0.2;WRecall=0.3;WmAP=0.2;WFPS=0.2;WModel size=-0.1(負(fù)權(quán)重,較小的模型在實(shí)際應(yīng)用中更具優(yōu)勢(shì))。根據(jù)上述權(quán)重分配計(jì)算每個(gè)模型的加權(quán)得分,計(jì)算式為

(1)

YOLO v5 6種模型的綜合加權(quán)得分結(jié)果如表2所示。

表2 6種模型的綜合加權(quán)得分

根據(jù)表2可知,YOLO v5m的綜合加權(quán)得分在6種模型中最高。因此YOLO v5m針對(duì)紅花花冠的目標(biāo)檢測(cè)更具有優(yōu)勢(shì)。

1.3 YOLO v5m模型優(yōu)化

為了進(jìn)一步提升對(duì)紅花花冠的檢測(cè)精度,對(duì)YOLO v5m模型引入卷積塊注意力模塊(CBAM)[26-27]。CBAM模塊可以自適應(yīng)地對(duì)輸入的特征圖進(jìn)行調(diào)整,從而提升網(wǎng)絡(luò)的性能和泛化能力[28]。CBAM模塊由通道注意力模塊(CAM)以及空間注意力模塊(SAM)兩部分組成,其結(jié)構(gòu)示意如圖2所示。

圖2 CBAM模塊結(jié)構(gòu)示意圖

通道注意力模塊利用通道之間的關(guān)聯(lián)性來提取圖像的重要特征,從而更好地區(qū)分不同的目標(biāo)。該模塊先對(duì)卷積層的輸出進(jìn)行全局平均池化和全局最大池化,得到每個(gè)通道的全局特征圖,然后將其輸入到2個(gè)全連接層中,分別學(xué)習(xí)每個(gè)通道的權(quán)重,最后將權(quán)重應(yīng)用到每個(gè)通道的特征圖上,從而得到加權(quán)后的特征圖,如圖3所示。

圖3 通道注意力模塊結(jié)構(gòu)示意圖

空間注意力模塊利用空間之間的關(guān)聯(lián)性來提取圖像的重要特征。該模塊的實(shí)現(xiàn)方式類似于通道注意力模塊,但是在全連接層中需要學(xué)習(xí)每個(gè)空間位置的權(quán)重,最后將權(quán)重應(yīng)用到每個(gè)空間位置的通道上,從而得到加權(quán)后的特征圖,如圖4所示。

圖4 空間注意力模塊結(jié)構(gòu)示意圖

將CBAM模塊插入到主干網(wǎng)絡(luò)的最后1個(gè)卷積層和頸部網(wǎng)絡(luò)的第1個(gè)卷積層之間以及頸部網(wǎng)絡(luò)的最后1個(gè)卷積層之后,分別用于增強(qiáng)特征圖的表達(dá)能力以及增強(qiáng)輸出特征圖的判別能力。改進(jìn)后的C-YOLO v5m網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 C-YOLO v5m網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2 紅花花冠空間定位

2.1 相機(jī)移動(dòng)式空間定位方法

采用雙目視覺技術(shù)來對(duì)紅花花冠進(jìn)行空間定位,雙目相機(jī)選用Stereolabs公司生產(chǎn)的ZED2雙目相機(jī)[29]。將雙目相機(jī)連接在由步進(jìn)電機(jī)驅(qū)動(dòng)的滾珠絲桿平移臺(tái)上,使其能夠在采摘機(jī)器人左右方向上移動(dòng),如圖6所示。紅花花冠空間定位流程如圖7所示。

圖6 目標(biāo)檢測(cè)定位系統(tǒng)位置結(jié)構(gòu)示意圖

圖7 紅花花冠空間定位流程圖

系統(tǒng)上電后機(jī)器人移動(dòng)到待作業(yè)區(qū)域,同時(shí)目標(biāo)檢測(cè)定位系統(tǒng)歸零,進(jìn)入待機(jī)狀態(tài)。開始作業(yè)后判斷當(dāng)前檢測(cè)區(qū)域內(nèi)是否有紅花花冠,如沒有,則平移臺(tái)帶動(dòng)雙目相機(jī)移動(dòng)到下一塊檢測(cè)區(qū)域,并重新進(jìn)行判斷,雙目相機(jī)移動(dòng)示意如圖8所示。

圖8 雙目相機(jī)移動(dòng)示意圖

如檢測(cè)到紅花花冠,則將紅花花冠二維檢測(cè)框中心點(diǎn)坐標(biāo)(X,Y)輸入到ZED2雙目相機(jī)的深度感知Stereo Vision算法[30]中,得到二維檢測(cè)框中心點(diǎn)的深度Z。將紅花花冠三維空間坐標(biāo)(X,Y,Z)通過CAN總線發(fā)送至機(jī)器人采摘機(jī)械臂分控制器中,完成此檢測(cè)區(qū)域的采摘工作。當(dāng)完成所有4個(gè)檢測(cè)區(qū)域采摘工作后,機(jī)器人向前行進(jìn)至下一片作業(yè)區(qū)域,并判斷是否到達(dá)壟行盡頭的轉(zhuǎn)向點(diǎn),如到達(dá)轉(zhuǎn)向點(diǎn),則機(jī)器人轉(zhuǎn)向后重新移動(dòng)到待作業(yè)區(qū)域并重復(fù)以上步驟。如沒有到達(dá)轉(zhuǎn)向點(diǎn),則判斷機(jī)器人是否到達(dá)結(jié)束點(diǎn),如沒有到達(dá)結(jié)束點(diǎn),則目標(biāo)檢測(cè)定位系統(tǒng)重新進(jìn)入待機(jī)狀態(tài)并重復(fù)以上步驟。如到達(dá)結(jié)束點(diǎn),則結(jié)束紅花花冠目標(biāo)檢測(cè)與定位并退出。

2.2 雙目相機(jī)內(nèi)參標(biāo)定

通過標(biāo)定雙目相機(jī)內(nèi)參來得到圖像像素坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系。采用張正友標(biāo)定法[31]標(biāo)定雙目相機(jī)內(nèi)參,標(biāo)定結(jié)果如表3所示。

表3 ZED2雙目相機(jī)內(nèi)參

圖像像素坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為

(2)

式中 (u,v)——像素坐標(biāo)系下坐標(biāo),像素

fx、fy——等效焦距,mm

(u0,v0)——圖像中心像素坐標(biāo),像素

(X,Y,Z)——相機(jī)坐標(biāo)系下坐標(biāo),mm

為了使得到的圖像坐標(biāo)更為準(zhǔn)確,需要消除由于透鏡成像和安裝誤差產(chǎn)生的畸變,即

Xc=X(1+k1r2+k2r4+k3r6)+2p1XY+p2(r2+2X2)

(3)

Yc=Y(1+k1r2+k2r4+k3r6)+2p1XY+p2(r2+2Y2)

(4)

其中r2=X2+Y2

式中 (X,Y)——校正前坐標(biāo),mm

(Xc,Yc)——校正后坐標(biāo),mm

k1、k2、k3——徑向畸變系數(shù)

p1、p2——切向畸變系數(shù)

2.3 雙目相機(jī)外參標(biāo)定

在實(shí)際雙目相機(jī)使用過程中,除了標(biāo)定雙目相機(jī)的內(nèi)參外,還需要標(biāo)定雙目相機(jī)的外參來獲取相機(jī)坐標(biāo)系到機(jī)械臂坐標(biāo)系的轉(zhuǎn)換關(guān)系。雙目相機(jī)坐標(biāo)系定義其坐標(biāo)原點(diǎn)位于左目相機(jī)光心Oc處,Z軸指向相機(jī)正前方,X軸與基線平行指向右側(cè)鏡頭,左手大拇指指向Z軸,X軸沿四指方向旋轉(zhuǎn)90°為Y軸正方向。機(jī)械臂坐標(biāo)系定義其坐標(biāo)原點(diǎn)位于機(jī)械臂靜平臺(tái)中心點(diǎn)Ov處,Z軸垂直地面指向正下方,Y軸平行于地面指向機(jī)器人前進(jìn)方向,X軸平行于地面指向機(jī)器人的右側(cè),如圖9所示。

圖9 相機(jī)坐標(biāo)系和機(jī)械臂坐標(biāo)系示意圖

相機(jī)坐標(biāo)系到機(jī)械臂坐標(biāo)系繞X、Y、Z軸旋轉(zhuǎn)的角度α、θ、β用1個(gè)3×3的旋轉(zhuǎn)矩陣R來表示。相機(jī)坐標(biāo)系原點(diǎn)到機(jī)械臂坐標(biāo)系原點(diǎn)沿X、Y、Z軸平移的距離Δx、Δy、Δz用一個(gè)3×1的平移向量T來表示,相機(jī)坐標(biāo)系到機(jī)械臂坐標(biāo)系轉(zhuǎn)換的數(shù)學(xué)模型為

(5)

式中 (Xv,Yv,Zv)——機(jī)械臂坐標(biāo)系坐標(biāo),mm

(Xc,Yc,Zc)——相機(jī)坐標(biāo)系坐標(biāo),mm

將相關(guān)參數(shù)代入式(5),可得

(6)

式中θ——相機(jī)坐標(biāo)系繞Yc軸旋轉(zhuǎn)角,取180°

t——相機(jī)坐標(biāo)系原點(diǎn)Oc沿Xc軸的平移向量偏差

2.4 相機(jī)移動(dòng)式空間定位坐標(biāo)轉(zhuǎn)換

針對(duì)在目標(biāo)檢測(cè)過程中的遮擋問題,將雙目相機(jī)安裝在平移臺(tái)上,以最大程度消除在目標(biāo)檢測(cè)中機(jī)器零部件對(duì)花冠的遮擋、紅花植株對(duì)花冠的遮擋以及花冠與花冠之間的遮擋,如圖10所示。

圖10 目標(biāo)檢測(cè)過程中的遮擋

讀取步進(jìn)電機(jī)控制器在運(yùn)行過程中的脈沖數(shù)來計(jì)算出相機(jī)的移動(dòng)距離,完成在移動(dòng)定位時(shí)的坐標(biāo)轉(zhuǎn)換。本文帶動(dòng)滾珠絲桿的步進(jìn)電機(jī)的控制器選用Arduino UNO[32]單片機(jī);步進(jìn)電機(jī)為57系兩相步進(jìn)電機(jī),步距角為1.8°;步進(jìn)電機(jī)驅(qū)動(dòng)器為普菲德TB6600(默認(rèn)細(xì)分1);滾珠絲桿導(dǎo)程Ph為4 mm,總長(zhǎng)為1 070 mm,左限位開關(guān)到右限位開關(guān)的距離為1 000 mm,相機(jī)移動(dòng)距離計(jì)算式為

(7)

式中l(wèi)——相機(jī)的移動(dòng)距離,mm

N——脈沖數(shù),個(gè)

|t|=500-l,通過替換式(6)中的|t|,可得

(8)

整合紅花花冠目標(biāo)檢測(cè)算法和紅花花冠空間定位算法,得到MSDP-Net算法。該算法能夠從復(fù)雜背景中檢測(cè)出紅花花冠并獲取其二維檢測(cè)框,并對(duì)檢測(cè)出的紅花花冠進(jìn)行空間定位,經(jīng)坐標(biāo)轉(zhuǎn)換后輸出紅花花冠的三維空間坐標(biāo)。MSDP-Net算法原理如圖11所示。

圖11 MSDP-Net算法原理圖

3 試驗(yàn)與結(jié)果分析

將MSDP-Net算法和相機(jī)移動(dòng)式定位方法應(yīng)用于自主研發(fā)的紅花采摘機(jī)器人控制系統(tǒng)中,完成對(duì)紅花花冠的目標(biāo)檢測(cè)和空間定位,控制機(jī)械臂依據(jù)定位信息完成采摘作業(yè)。

3.1 試驗(yàn)設(shè)置

模型訓(xùn)練的硬件環(huán)境采用的CPU為13th Gen Intel(R)Core(TM)i9-13900KF@3.00 GHz,GPU為NVIDIA GeForce RTX 4090 24 GB,內(nèi)存為Kingston DDR5 5600 MHz(16 GB×4),操作系統(tǒng)為Windows 11,網(wǎng)絡(luò)訓(xùn)練框架選用Pytorch,并配有并行計(jì)算平臺(tái)CUDA 11.1以及CUDA深度神經(jīng)網(wǎng)絡(luò)加速庫cuDNN v8.0.5。訓(xùn)練輪數(shù)為300,批次大小為16,圖像尺寸為640像素×480像素進(jìn)行訓(xùn)練。

試驗(yàn)于2022年7月3—10日在新疆維吾爾自治區(qū)昌吉回族自治州吉木薩爾縣紅旗農(nóng)場(chǎng)二分場(chǎng)紅花種植基地(44.294 13°N,89.011 20°E)進(jìn)行試驗(yàn),試驗(yàn)地壟寬1 m,壟距0.5 m,紅花植株高度分布在350～750 mm之間。

3.2 目標(biāo)檢測(cè)性能試驗(yàn)

采用準(zhǔn)確率、召回率、平均精度均值、每秒傳輸幀數(shù)和模型內(nèi)存占用量作為衡量目標(biāo)檢測(cè)模型性能的指標(biāo)。在相同條件下,分別對(duì)優(yōu)化前和優(yōu)化后的YOLO v5m模型性能進(jìn)行了試驗(yàn),用兩種模型對(duì)紅花花冠圖像驗(yàn)證集進(jìn)行檢測(cè)。檢測(cè)效果如圖12所示,圖中檢測(cè)框上方的saf表示類別名稱,名稱后方的數(shù)字表示該類別的置信度。試驗(yàn)結(jié)果如表4所示。

表4 優(yōu)化前后模型各項(xiàng)指標(biāo)

圖12 優(yōu)化前后檢測(cè)效果對(duì)比

根據(jù)表4可知,優(yōu)化后的YOLO v5m模型準(zhǔn)確率、召回率以及平均精度均值都有不同程度的提升,準(zhǔn)確率從90.22%增加至95.20%,提高4.98個(gè)百分點(diǎn),召回率從89.81%增加至94.11%,提高4.3個(gè)百分點(diǎn),平均精度均值從91.23%增加至96.73%,提高5.5個(gè)百分點(diǎn),每秒傳輸幀數(shù)沒有變化,模型內(nèi)存占用量有小幅度增加?？傮w來說,YOLO v5m網(wǎng)絡(luò)引入CBAM模塊有效地提高了模型性能,增加了目標(biāo)檢測(cè)算法魯棒性。

3.3 經(jīng)典目標(biāo)檢測(cè)算法性能對(duì)比

為突出MSDP-Net算法的優(yōu)越性,在相同條件下對(duì)Faster R-CNN、YOLO v3、YOLO v4、YOLO v6和YOLO v7 5種經(jīng)典目標(biāo)檢測(cè)算法的性能進(jìn)行測(cè)試,并與MSDP-Net算法進(jìn)行對(duì)比,結(jié)果如表5所示。

表5 經(jīng)典目標(biāo)檢測(cè)算法性能對(duì)比

根據(jù)表5可知,相較于其他5種經(jīng)典目標(biāo)檢測(cè)算法,本文提出的MSDP-Net算法檢測(cè)準(zhǔn)確率高、檢測(cè)速度快、占用內(nèi)存小,表現(xiàn)出優(yōu)異的檢測(cè)性能,滿足采摘機(jī)器人要求。

3.4 空間定位性能試驗(yàn)

為驗(yàn)證紅花花冠空間定位的性能,隨機(jī)選取1壟紅花,在壟長(zhǎng)3 m范圍內(nèi)共計(jì)161朵盛花期紅花花冠。分別采用固定相機(jī)式和移動(dòng)相機(jī)式定位方法對(duì)區(qū)域內(nèi)161朵花冠進(jìn)行空間定位。采用5線激光水平儀和瑞士Dimetix AG公司生產(chǎn)的DAN-10-150型激光測(cè)距儀(精度±0.5 mm),測(cè)量出每朵花冠的真實(shí)坐標(biāo),將空間定位算法得到的輸出坐標(biāo)與真實(shí)坐標(biāo)進(jìn)行對(duì)比,輸出坐標(biāo)與真實(shí)坐標(biāo)在X、Y、Z任意一個(gè)方向上的偏差大于5 mm就認(rèn)為該朵花冠定位失敗。試驗(yàn)結(jié)果如表6所示,2種定位方法分別在X、Y、Z軸方向上的偏差分布示意如圖13所示。

表6 空間定位試驗(yàn)結(jié)果

圖13 2種定位方法分別在X、Y、Z軸方向上的偏差分布示意

根據(jù)圖13可以看出,滿足機(jī)器人采摘條件的最大偏差為5 mm,輸出坐標(biāo)在X、Y、Z任意1個(gè)方向上的偏差大于5 mm都會(huì)導(dǎo)致機(jī)器人采摘失敗。由于相機(jī)透鏡成像的影響,固定相機(jī)式定位方法只在畫面中心區(qū)域有較高的精度,越靠近畫面邊緣精度越低,輸出坐標(biāo)與真實(shí)坐標(biāo)之間的偏差也就越大。而移動(dòng)相機(jī)式定位方法很好地克服了這一不足,其在畫面任意位置都能保持最佳精度,且在X、Y、Z軸方向上的輸出坐標(biāo)與真實(shí)坐標(biāo)之間的平均偏差小于3 mm,滿足采摘機(jī)器人的精度要求。

3.5 采摘試驗(yàn)

將提出的MSDP-Net算法以及移動(dòng)式檢測(cè)定位方法應(yīng)用于自主研發(fā)的紅花采摘機(jī)器人上,在實(shí)驗(yàn)室環(huán)境下對(duì)盆栽紅花進(jìn)行采摘試驗(yàn),實(shí)驗(yàn)室作業(yè)場(chǎng)景如圖14所示,試驗(yàn)結(jié)果如表7所示。

表7 采摘試驗(yàn)結(jié)果

圖14 實(shí)驗(yàn)室作業(yè)場(chǎng)景

根據(jù)表7可以得出,在500次采摘試驗(yàn)中,成功采摘紅花花冠451朵,漏采49朵,采摘成功率90.20%。

為測(cè)試實(shí)際環(huán)境下機(jī)器人的采摘性能,在紅花種植區(qū)域中隨機(jī)選取一壟紅花,在壟長(zhǎng)15 m范圍內(nèi)進(jìn)行采摘試驗(yàn),田間采摘試驗(yàn)結(jié)果表明,盛花期紅花花冠采摘成功率大于90%,田間作業(yè)場(chǎng)景如圖15所示。

圖15 田間作業(yè)場(chǎng)景

4 結(jié)論

(1)針對(duì)紅花花冠目標(biāo)檢測(cè),提出了一種改進(jìn)的YOLO v5m模型C-YOLO v5m,對(duì)YOLO v5m模型引入卷積塊注意力模塊CBAM,使得模型的準(zhǔn)確率、召回率以及平均精度均值分別提高4.98、4.3、5.5個(gè)百分點(diǎn),減少了紅花花冠漏檢、誤檢等情況。

(2)針對(duì)紅花花冠的空間定位,提出了一種移動(dòng)相機(jī)式定位方法,并通過和固定相機(jī)式進(jìn)行對(duì)比來驗(yàn)證其有效性。試驗(yàn)結(jié)果表明,固定相機(jī)式定位成功率為84.47%,移動(dòng)相機(jī)式定位成功率為93.79%,且移動(dòng)相機(jī)式定位方法在X、Y、Z方向上的平均偏差小于3 mm,滿足采摘機(jī)器人的精度要求。

(3)將MSDP-Net算法與目前主流目標(biāo)檢測(cè)算法進(jìn)行對(duì)比。結(jié)果表明,本文提出的MSDP-Net算法的綜合性能均優(yōu)于其他5種目標(biāo)檢測(cè)算法,在紅花花冠檢測(cè)方面更具優(yōu)勢(shì)。

(4)將MSDP-Net算法和相機(jī)移動(dòng)式定位方法應(yīng)用于自主研發(fā)的紅花采摘機(jī)器人,進(jìn)行紅花采摘試驗(yàn)。實(shí)驗(yàn)室試驗(yàn)結(jié)果表明,在500次重復(fù)試驗(yàn)中,成功采摘451朵,漏采49朵,采摘成功率90.20%。田間試驗(yàn)結(jié)果表明,在實(shí)際作業(yè)場(chǎng)景中,盛花期紅花花冠采摘成功率大于90%,驗(yàn)證了MSDP-Net算法以及相機(jī)移動(dòng)式定位方法的有效性。