基于3D視覺的番茄授粉花朵定位方法

文朝武 龍潔花,2 張 宇 郭文忠 林 森 梁曉婷,2

(1.北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心， 北京 100097； 2.上海海洋大學(xué)信息學(xué)院， 上海 201306)

0 引言

番茄是溫室生產(chǎn)的主要作物之一，大約90%以上的大型玻璃溫室均用來種植番茄，由于番茄屬于典型的雌雄同花植物[1]，在溫室環(huán)境內(nèi)缺乏自然風(fēng)和昆蟲活動，往往導(dǎo)致授粉不良。目前大型溫室內(nèi)番茄授粉方式主要采用熊蜂授粉，但授粉熊蜂存在養(yǎng)殖費(fèi)用高、生存周期短、重復(fù)利用率低下等問題[2]。采用智能授粉機(jī)器人可代替人工和熊蜂授粉，具有降低勞動力成本與生產(chǎn)費(fèi)用以及擁有較高的重復(fù)利用率等優(yōu)點(diǎn)[3]。北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心研發(fā)了一種采用機(jī)器視覺定位開花花朵、自適應(yīng)間歇噴氣引起花朵震動的智能番茄授粉機(jī)器人，并提出一種基于溫室內(nèi)番茄花朵定位方法。而授粉機(jī)器人對授粉花朵的精準(zhǔn)定位是決定授粉精度和授粉效率的關(guān)鍵，因此，研究一種基于3維(3D)視覺的番茄授粉花朵定位方法是授粉機(jī)器人的必要條件。

在花朵的識別上，學(xué)術(shù)界提出的基于2維(2D)目標(biāo)檢測的框架得到廣泛應(yīng)用[4]，該類方法利用花朵的形態(tài)、外觀以及顏色等特征作為卷積神經(jīng)網(wǎng)絡(luò)的攝入信息，以獲得更好的識別效果。OPPENHEIM[5]提出一種對溫室內(nèi)番茄花朵檢測算法，在不同光照條件下實(shí)現(xiàn)了番茄的黃花計(jì)數(shù)，該方法并未解決對花朵的定位問題。YUAN等[6]提出了一種將 SSD 深度學(xué)習(xí)技術(shù)引入到花卉檢測與識別領(lǐng)域的方法，該方法在 VOC2007 上平均準(zhǔn)確率為83.64%，在VOC2012 上平均準(zhǔn)確率為 87.4%，并引入視頻流解決了對2個或多個目標(biāo)花卉的檢測，但其識別準(zhǔn)確率和時間效率有待提高，在機(jī)器人上不適用。2D場景下的目標(biāo)檢測對于3D真實(shí)世界的場景描述依然不夠，3D目標(biāo)檢測在定位時返回3D Bounding boxes，而它需要的信息除了2D的RGB圖像以外，還包含與之對應(yīng)的深度圖像。王玲等[7]以棉花為研究對象，提出一種面向采摘機(jī)器人的棉花激光定位方法，利用形態(tài)學(xué)圖像分割方法和模式識別理論，結(jié)合棉花的特性測量了單朵棉花的三維坐標(biāo)，該方法在單株棉花上識別率達(dá)96.76%，利用激光測距和手工測量作對比，其相關(guān)系數(shù)為0.993 4。該方法與結(jié)構(gòu)光相機(jī)原理相似，但處理方法不同，且僅限于單棵棉株使用。王萌等[8]提出一種櫻桃小番茄腋芽去除點(diǎn)定位方法，該方法將采集相機(jī)安裝在機(jī)器人手臂上，由手臂牽引相機(jī)采集圖像，雖然識別率達(dá)到了93.94%，但該葉芽摘除執(zhí)行器與葉芽相對距離為固定距離，不適應(yīng)溫室復(fù)雜環(huán)境。

在3D目標(biāo)定位方面，GUPTA等[9]提出了一種在2D目標(biāo)檢測區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)的框架基礎(chǔ)上，增加深度圖像進(jìn)行模型利用的方法。該方法基于RGB和深度圖像檢測中的輪廓，并生成包含目標(biāo)每個像素的視差、高度和傾斜角的2.5個維度的提議方法，然后利用卷積神經(jīng)網(wǎng)絡(luò)(CNN) 進(jìn)行特征提取，融合深度卷積神經(jīng)網(wǎng)絡(luò)(Depth CNN) 和RGB卷積神經(jīng)網(wǎng)絡(luò)分別學(xué)習(xí)深度圖像和2D圖像的特征，最后利用支持向量機(jī)(SVM)進(jìn)行分類，但其計(jì)算過程相對復(fù)雜，難以適用在設(shè)施番茄機(jī)器人上。CHEN等[10]以面向自動駕駛為場景，提出一種新的目標(biāo)檢測方法，該方法將目標(biāo)中每一個3D bounding box用一個元組來表示，元組中包含x、y、z、q、c，其中(x，y，z)為中心點(diǎn)坐標(biāo)，q為方位角，c表示目標(biāo)類別，t為相應(yīng)的3D box模板集合。該方法認(rèn)為，其3D box應(yīng)具有以下特征：包含點(diǎn)云的高密度區(qū)域、不能與free space 重疊、點(diǎn)云不應(yīng)該垂直延伸在3D box外、box附近的點(diǎn)云高度應(yīng)該比之低，該方法對光滑平面固體的抓取具有良好的效果，而番茄花束區(qū)域?yàn)榉瞧交矫?，此方法無法產(chǎn)生高密度重疊。番茄有效授粉區(qū)域?yàn)榛ㄊ膶?shí)際占有面積區(qū)域，以上方法均存在局限性。

針對溫室番茄花束花朵的非結(jié)構(gòu)性，即非平滑平面或曲面[11]，本文提出一種基于RGB-D結(jié)構(gòu)光相機(jī)的番茄授粉花朵定位方法。采用YOLO v4神經(jīng)網(wǎng)絡(luò)對溫室環(huán)境下番茄花束進(jìn)行識別，提取RGB圖像中花束的像素區(qū)域。采用主動對齊方式融合深度圖像獲取點(diǎn)云數(shù)據(jù)，并使用離群濾波算法對干擾點(diǎn)坐標(biāo)去噪。最后采用雙向均衡算法擬合花束3D box 授粉平面的質(zhì)心坐標(biāo)。最終結(jié)合手眼標(biāo)定算法將相機(jī)坐標(biāo)轉(zhuǎn)換為機(jī)械臂坐標(biāo)，并引導(dǎo)機(jī)器人授粉末端執(zhí)行授粉功能。

1 定位方法

1.1 圖像采集設(shè)備

采集相機(jī)為圖漾科技公司生產(chǎn)的3D視覺傳感器FM851-GI-E1，采用主動雙目結(jié)構(gòu)光視覺技術(shù)，包括雙目紅外攝像頭、彩色攝像頭和光學(xué)增強(qiáng)系統(tǒng)，并具有主、被動方式的雙目模式切換功能。分辨率包括640像素×480像素和1 280像素×960像素兩種尺度，且支持同步尺寸的RGB-D對齊功能，x、y方向測量精度為4 mm，深度z測量精度為2 mm，有效測量范圍是0.7～8 m。機(jī)器人核心控制器采用工業(yè)控制計(jì)算機(jī)，i7-4700MQ 2.4 GHz CPU、16 GB DDR3L內(nèi)存和500 GB硬盤。

設(shè)施番茄授粉機(jī)器人手臂部件為遨博(北京)智能科技有限公司生產(chǎn)的AUBO-i5六軸協(xié)同機(jī)械臂，臂展為1 008 mm，可滿足在0～886 mm范圍內(nèi)工作，定位精度為0.2 mm，且末端最大移動速度為4 m/s。如圖1所示，3D工業(yè)相機(jī)安裝在機(jī)器人的固定高度處，角度固定，以獲得手臂有效工作范圍內(nèi)的最大視野。計(jì)算機(jī)系統(tǒng)為Ubuntu 16.04系統(tǒng)，算法編程平臺使用OpenCV 3.4.5和Qt 5.9，使用Cmake 11和Qmake編譯工具實(shí)現(xiàn)識別和定位控制系統(tǒng)的開發(fā)。神經(jīng)網(wǎng)絡(luò)模型在Ubuntu 16.04系統(tǒng)上，基于Darknet框架， 1個12GB GeForce GTX 2080ti GPU，在64 GB內(nèi)存上進(jìn)行訓(xùn)練和測試。

圖1 番茄授粉機(jī)器人結(jié)構(gòu)Fig.1 Structure of tomato pollination robot

1.2 圖像采集結(jié)果

試驗(yàn)對象選用智能玻璃溫室內(nèi)使用巖棉栽培技術(shù)種植的草莓番茄花朵，在番茄開花期(2020年10月20日—11月10日)使用機(jī)器人自帶工業(yè)相機(jī)進(jìn)行圖像采集。并在玻璃溫室環(huán)境下進(jìn)行拍攝，總共獲得100幅RGB花朵圖像(1 280像素×960像素) 及其相同尺寸的深度圖像。采集的RGB圖像與深度圖像樣例如圖2所示。

圖2 番茄RGB圖像與深度圖像Fig.2 RGB image and depth map of tomato

分別在08:00、12:00、18:00采集樣本，并根據(jù)不同遮擋程度進(jìn)行分類。如表1所示，試驗(yàn)設(shè)定遮擋程度小于5%則判定為無遮擋，遮擋程度大于95%為完全遮擋并不做研究?？紤]到晴天中午受太陽光照的影響，適當(dāng)增加12:00采集的樣本數(shù)量，增強(qiáng)網(wǎng)絡(luò)模型的魯棒性。然后對RGB圖像進(jìn)行平移、旋轉(zhuǎn)、曝光、亮度等調(diào)節(jié)，將圖像擴(kuò)充到500幅用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，按照7∶2∶1劃分為訓(xùn)練集、驗(yàn)證集和測試集。為驗(yàn)證逆光環(huán)境的定位精度，采集時采用順光、逆光進(jìn)行拍攝。

表1 不同時間段和遮擋程度樣本數(shù)量Tab.1 Number of samples in different time periods and degrees of occlusion 幅

1.3 番茄花朵定位方法

本文提出的番茄授粉花朵自動定位方法包含圖像預(yù)處理、YOLO v4 識別RGB圖像中的目標(biāo)花束、融合深度圖像對齊花束區(qū)域、點(diǎn)云濾波去噪以及雙向均衡算法提取授粉質(zhì)心坐標(biāo)等步驟。

在溫室環(huán)境中，由于光線變化，需提前對相機(jī)實(shí)時采集的RGB圖像亮度、曝光度進(jìn)行簡單預(yù)處理，以增強(qiáng)模型的識別精度和魯棒性[12]。YOLO v4神經(jīng)網(wǎng)絡(luò)對目標(biāo)花束識別提取出花束區(qū)域?qū)?yīng)的回歸框的寬度和高度，計(jì)算原始圖像中花束的Bounding box，RGB圖像融合深度圖像進(jìn)行對齊后計(jì)算番茄花束的三維點(diǎn)云坐標(biāo)[13]。使用統(tǒng)計(jì)濾波算法剔除花束附近的干擾坐標(biāo)，最后使用雙向均衡算法計(jì)算花束3D box的授粉質(zhì)心坐標(biāo)。若坐標(biāo)位于手臂有效工作范圍內(nèi)，則根據(jù)手眼標(biāo)定算法將相機(jī)坐標(biāo)轉(zhuǎn)換為手臂坐標(biāo)，并引導(dǎo)授粉末端完成授粉功能。

1.3.1花束區(qū)域提取

設(shè)施番茄在授粉過程中，采用人工振蕩授粉可以提高番茄的坐果率、產(chǎn)量和品質(zhì)，不受噴藥、熏藥和室內(nèi)溫濕度的限制，此外可以減少番茄灰霉病的發(fā)生[14]。故機(jī)器人在執(zhí)行授粉過程中，采用自適應(yīng)間歇噴氣產(chǎn)生花朵震動模擬人工振蕩授粉，噴氣和振動授粉的工作范圍為番茄花束區(qū)域。本文基于YOLO v4 神經(jīng)網(wǎng)絡(luò)對番茄花束進(jìn)行精準(zhǔn)識別并提取花束區(qū)域。

YOLO v4由BOCHKOVSKIY等[15]提出，利用CSPDarknet 53[16]卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)特征提取，引入SPP網(wǎng)絡(luò)結(jié)構(gòu)，采用3種尺寸張量預(yù)測輸出，在目標(biāo)大小不一和部分遮擋情況下都具有較好的檢測效果。神經(jīng)網(wǎng)絡(luò)預(yù)測坐標(biāo)(tx，ty，tw，th)、圖像中目標(biāo)最左邊偏移量坐標(biāo)(cx,cy)和邊界框的高度pw、寬度ph。輸出預(yù)測值包括bx、by、bw、bh和置信度，置信度為預(yù)測結(jié)果的可信度，預(yù)測值計(jì)算公式為

bx=β(tx)+cx

(1)

by=β(ty)+cy

(2)

bw=pwetw

(3)

bh=pheth

(4)

式中bx——目標(biāo)實(shí)際中心X像素值

by——目標(biāo)實(shí)際中心Y像素值

bw——目標(biāo)實(shí)際框?qū)挾?/p>

bh——目標(biāo)實(shí)際框高度

tx——預(yù)測框X像素值

ty——預(yù)測框Y像素值

tw——預(yù)測框預(yù)測寬度

th——預(yù)測框預(yù)測高度

β——sigmoid函數(shù)

使用YOLO v4對目標(biāo)花束進(jìn)行識別，預(yù)測輸出的矩形框?yàn)閷?shí)際花束區(qū)域。

如圖3所示，將番茄花原圖傳入網(wǎng)絡(luò)輸入層， CBM模塊進(jìn)行卷積操作，接著進(jìn)行批量標(biāo)準(zhǔn)化和激活函數(shù)激活，下一步傳入CSP等結(jié)構(gòu)完成特征提??；然后傳入YOLO結(jié)構(gòu)進(jìn)行3種尺寸(19×19，32×32，76×76)預(yù)測和回歸，再回歸至原圖進(jìn)行多尺度花束預(yù)測。融合3種尺寸特征圖完成目標(biāo)檢測，在原圖分辨率上寬bx、高by為區(qū)域中心提取目標(biāo)花束，最終獲取花束區(qū)域圖像，即授粉花束在原始圖像中的2D坐標(biāo)區(qū)域張量[17-20]。

圖3 基于YOLO v4的花束區(qū)域提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of extraction of floral area based on YOLO v4

1.3.2圖像對齊與去噪

采用RGB-D相機(jī)獲取番茄花束和植株周邊環(huán)境的RGB圖像和深度圖像，并采用相機(jī)SDK主動對齊方式對齊，結(jié)合點(diǎn)云庫(PCL)進(jìn)行RGB圖像和深度圖像的點(diǎn)云對齊[21]，建立RGB-D相機(jī)空間坐標(biāo)系。RGB圖像花束區(qū)域提取后，采用區(qū)域內(nèi)色系單視角線性遍歷方法，對花束RGB和深度圖像區(qū)域?qū)R配準(zhǔn)，獲取花束區(qū)域點(diǎn)云坐標(biāo)。在RGB圖像中，花束區(qū)域以黃色色系花朵填充，本文對預(yù)測框內(nèi)像素點(diǎn)進(jìn)行色系判斷，剔除非花朵像素，并進(jìn)行花束區(qū)域點(diǎn)云精對齊操作。圖像中每個像素點(diǎn)包含R、G、B通道值(fR,fG,fB)。在判斷過程中，采用從左至右、自上而下的線性遍歷方法逐一對區(qū)域內(nèi)像素點(diǎn)進(jìn)行色系判斷。像素點(diǎn)色系計(jì)算公式為

(5)

式中H——色系，取0～360

max——最大色系

min——最小色系

本文判定H在60～300區(qū)域內(nèi)為黃色色系像素點(diǎn)[22]。由于花束中花朵目標(biāo)為非平面結(jié)構(gòu)，提取出的花束區(qū)域點(diǎn)云數(shù)據(jù)中常存在一些離群噪聲點(diǎn)[23]，本文采用統(tǒng)計(jì)濾波方法將其剔除[24]。對于目標(biāo)花束區(qū)域內(nèi)點(diǎn)云，數(shù)量為n，每個點(diǎn)云坐標(biāo)pi(xi,yi,zi)(i=1,2,…,n)到它的空間臨近點(diǎn)pj(xj,yj,zj)(j=1,2,…,k)的平均距離di計(jì)算公式為

(6)

本文設(shè)定k=70，距離di在μ±ασ(μ為平均距離均值，σ為標(biāo)準(zhǔn)差)以外的點(diǎn)為噪聲點(diǎn)，其中α取值為1-1/k，取0.3時效果最好。

1.3.3授粉質(zhì)心坐標(biāo)計(jì)算

授粉質(zhì)心坐標(biāo)是定位算法的終極目標(biāo)，精準(zhǔn)計(jì)算授粉花束的質(zhì)心坐標(biāo)是機(jī)器人執(zhí)行授粉操作的必要條件[25-26]。一個花束區(qū)域中，常常含有多個目標(biāo)花朵，本文提出一種基于三維坐標(biāo)系的雙向均值法計(jì)算授粉質(zhì)心坐標(biāo)[27]，在三維點(diǎn)云集中，采用雙平面質(zhì)心算法獲得目標(biāo)花束空間點(diǎn)云坐標(biāo)(x,y,z)，除此之外，點(diǎn)云信息中還包含各個像素點(diǎn)的R、G、B值[28]。

圖像質(zhì)心也稱為圖像重心[29]，如圖4所示，同一授粉花束中花朵分布不規(guī)則，存在聚集或單一花朵四周分布現(xiàn)象，此時需要計(jì)算該花束的統(tǒng)一授粉質(zhì)心點(diǎn)，使得花束重心兩端的花朵質(zhì)量相等。

圖4 花束圖像質(zhì)心Fig.4 Bouquet image centroid

YOLO v4檢測后，將目標(biāo)花束在2D圖像的像素中心坐標(biāo)值bx、by以及寬度bw、高度bh作為點(diǎn)云的輸入，在RGB圖像與深度圖像對齊后，每個像素點(diǎn)(bx,by)與點(diǎn)云pi(xi,yi,zi)(i=1,2,…,n)的轉(zhuǎn)換公式為

pi(xi,yi,zi)=pindex(x，y，z)

(7)

其中

index=bxbyl

(8)

式中index——像素到點(diǎn)云的索引，對應(yīng)點(diǎn)pi的3D點(diǎn)云為pindex的實(shí)際點(diǎn)云值

pindex——索引點(diǎn)

l——相機(jī)圖像對齊指數(shù)，取1.325

花束中往往存在大量間隙，取一個坐標(biāo)點(diǎn)作為授粉點(diǎn)時精準(zhǔn)性較低。在濾波去噪之后的點(diǎn)云集p中，每個點(diǎn)云pi(xi,yi,zi)(i=1,2,…,n)都含有獨(dú)立的坐標(biāo)值，此時需要在寬度bw與高度bh的預(yù)測輸出框內(nèi)進(jìn)行平面擬合，分別從x、y、z方向獨(dú)立計(jì)算花束的質(zhì)心，在質(zhì)心上、下、左、右4個方向該花束的距離權(quán)重相等，計(jì)算公式為

(9)

(10)

(11)

式中n——區(qū)域內(nèi)有效點(diǎn)云個數(shù)，不大于200

x0、y0、z0——授粉質(zhì)心點(diǎn)p0的坐標(biāo)值

使用雙向均值法將花束區(qū)域內(nèi)xi、yi、zi坐標(biāo)分別取均值，得到一個合理的授粉點(diǎn)，同時去掉較近點(diǎn)導(dǎo)致授粉距離不夠和較遠(yuǎn)點(diǎn)授粉過程帶來遮擋和碰撞的情況。

2 花束識別與提取結(jié)果

RGB圖像在預(yù)處理后，使用YOLO v4神經(jīng)網(wǎng)絡(luò)模型對番茄花束進(jìn)行識別，并預(yù)測出目標(biāo)花束中心坐標(biāo)和包含目標(biāo)預(yù)測框區(qū)域，使花束目標(biāo)在實(shí)時圖像中實(shí)現(xiàn)識別和定位。同時，將該區(qū)域與深度圖像對齊，減少復(fù)雜環(huán)境下RGB圖像與深度圖像精對齊過程。

圖5為基于YOLO v4的番茄花束區(qū)域提取結(jié)果。識別模型所占內(nèi)存為244 MB，網(wǎng)絡(luò)試驗(yàn)時輸入圖像分辨率1 280像素×960像素；花束提取試驗(yàn)結(jié)果顯示，本文使用的YOLO v4神經(jīng)網(wǎng)絡(luò)可以對溫室環(huán)境下花束進(jìn)行準(zhǔn)確識別，并有效提取出目標(biāo)花束在原圖中的面積區(qū)域，網(wǎng)絡(luò)檢測精度平均值(mAP)為97.67%，單幅圖像提取時間為14.95 ms，為授粉機(jī)器人實(shí)現(xiàn)區(qū)域性授粉功能提供二維花束區(qū)域信息。

3 圖像對齊與去噪效果

將RGB圖像中各像素點(diǎn)的R、G、B值和深度圖像進(jìn)行對齊[30]。本文在對齊過程中，選用中心點(diǎn)擴(kuò)散將番茄植株進(jìn)行對齊，其目的在于將二維像素坐標(biāo)值與深度值進(jìn)行對齊，即根據(jù)像素點(diǎn)求取對應(yīng)點(diǎn)的3D坐標(biāo)值。

對齊后，圖像中含有各像素點(diǎn)的R、G、B值和深度X、Y、Z值。如圖6所示，對齊效果圖中除具有植株顏色特征外，還添加了植株輪廓3D值，并可根據(jù)RGB圖像中某像素點(diǎn)映射出該點(diǎn)對應(yīng)的3D值。此外，由于環(huán)境干擾等現(xiàn)象，圖像中往往含有很多干擾噪聲數(shù)據(jù)，如圖6c對齊效果圖左、右上角都含有許多小黑點(diǎn)，該噪聲點(diǎn)在使用過程中不僅沒意義，而且還增加了算法的時間復(fù)雜度，因此本文將圖中除植株區(qū)域外的離群區(qū)域都定義為噪聲點(diǎn)，并采用統(tǒng)計(jì)濾波算法將其剔除，單幅圖像對齊及去噪平均耗時為100 ms。

圖6 圖像對齊和濾波去噪Fig.6 Image alignment and filtering denoising

4 手眼標(biāo)定

授粉機(jī)器人機(jī)械臂(手)在執(zhí)行授粉前，需要3D相機(jī)(眼)實(shí)時對番茄植株的RGB圖像和深度圖像進(jìn)行定位操作，其中，RGB圖像用于花束的實(shí)時檢測，在識別檢測后，若含有授粉花束，則需要融合深度圖像進(jìn)行花束目標(biāo)定位。并在機(jī)器人手眼標(biāo)定后轉(zhuǎn)換為機(jī)械臂末端坐標(biāo)，機(jī)器人使用該坐標(biāo)引導(dǎo)機(jī)械臂末端完成授粉功能。

本文使用矩陣公因子相乘[31]計(jì)算機(jī)器人相機(jī)與機(jī)械臂之間的距離相關(guān)系數(shù)，其中機(jī)器人相機(jī)獲取的實(shí)時坐標(biāo)RE和機(jī)械臂實(shí)時坐標(biāo)RH均為1×3行列式，標(biāo)定過程中隨機(jī)選取機(jī)器人相機(jī)視野和機(jī)械臂工作范圍內(nèi)6組對應(yīng)坐標(biāo)。手眼標(biāo)定參數(shù)θ和機(jī)械臂工作坐標(biāo)RH的計(jì)算公式為

RH=REθ

(12)

其中

(13)

式中RE1～RE6——相機(jī)采集的6組坐標(biāo)值

RH1～RH6——機(jī)械臂的6組坐標(biāo)值

在選取每組坐標(biāo)期間，以視野最大和手臂伸展最遠(yuǎn)為最佳，本試驗(yàn)的標(biāo)定參數(shù)矩陣系數(shù)為

(14)

5 定位性能分析

在定位過程中，主要定位區(qū)域?yàn)楠?dú)立花束區(qū)域，使用噴氣方式在該區(qū)域內(nèi)達(dá)到最佳授粉效果。使用的YOLO v4神經(jīng)網(wǎng)絡(luò)檢測所生成的候選區(qū)域定義為授粉區(qū)域，但花束區(qū)域?qū)嶋H特征為非規(guī)則平面，本文使用區(qū)域雙向均值法擬合該花束曲面，得出一個較準(zhǔn)確的授粉定位點(diǎn)?；ㄊ鴧^(qū)域點(diǎn)云數(shù)據(jù)處理效果如圖7所示，在相機(jī)所采集的番茄植株RGB圖像上，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行花束區(qū)域提取，并映射在深度圖像上，同時采用均值擬合該花束區(qū)域，使該區(qū)域內(nèi)深度值均相等，為授粉末端提供可靠的深度定位信息。

圖7 授粉花束區(qū)域位置RGB圖像與深度圖像Fig.7 RGB and depth processing of pollination bouquet area position

本文使用機(jī)械臂手動控制器實(shí)時顯示的坐標(biāo)與算法獲取的坐標(biāo)進(jìn)行對比。首先手動控制機(jī)械臂末端移動至花束授粉點(diǎn)作為實(shí)際值，定位數(shù)據(jù)中包含花束的2D像素坐標(biāo)、相機(jī)獲取的花束3D坐標(biāo)、標(biāo)定轉(zhuǎn)換坐標(biāo)和機(jī)械臂坐標(biāo)。其中，本文方法獲得花束3D坐標(biāo)的平均時間為300 ms，試驗(yàn)分別對比X、Y、Z值的相對誤差。

試驗(yàn)過程中，選擇20個不同花束進(jìn)行定位算法準(zhǔn)確度分析，包含不同時間(08:00、12:00、18:00)、不同遮擋程度下溫室內(nèi)番茄花束的識別與實(shí)際定位功能。其中每個花束都含有2D像素坐標(biāo)、相機(jī)點(diǎn)云坐標(biāo)、通過手眼標(biāo)定轉(zhuǎn)換得到的手臂坐標(biāo)以及機(jī)械臂反饋的實(shí)際坐標(biāo)等信息，接著對標(biāo)定轉(zhuǎn)換坐標(biāo)與實(shí)際反饋?zhàn)鴺?biāo)數(shù)據(jù)進(jìn)行對比分析，并通過擬合曲線表述其誤差變化特性(圖8)。表2為單一花束包含的各項(xiàng)坐標(biāo)信息。

圖8 定位試驗(yàn)結(jié)果三維圖Fig.8 3D map of positioning test results

表2中，花束二維像素坐標(biāo)是由YOLO v4神經(jīng)網(wǎng)絡(luò)識別出的花束像素區(qū)域，根據(jù)花束圖像重心算法計(jì)算出花束的重心坐標(biāo)(Xi,Yi)。在圖像對齊去噪后，根據(jù)二維像素坐標(biāo)轉(zhuǎn)換得3D坐標(biāo)(X3D,Y3D,Z3D)，該坐標(biāo)由3D相機(jī)實(shí)時獲取的深度通過質(zhì)心算法計(jì)算所得。在相機(jī)獲取坐標(biāo)中，X、Y軸坐標(biāo)最小精度為±0.001 mm，而Z軸最小精度為±1 mm，Z軸坐標(biāo)值表示為目標(biāo)花束至相機(jī)視點(diǎn)的實(shí)際距離，例如花束1的Z3D為970.00 mm，手工測得其距離約為970 mm；機(jī)器人手臂工作最遠(yuǎn)距離約為1.2 m，在花束2中，相機(jī)獲取坐標(biāo)值Z3D為1 791.00 mm，導(dǎo)致標(biāo)定轉(zhuǎn)換坐標(biāo)Ybz為0.922 77 m，但實(shí)際坐標(biāo)Yt是0.523 46 m，誤差約為0.4 m，其誤差是由花束中花朵間距較大導(dǎo)致的。由于相機(jī)結(jié)構(gòu)光投射現(xiàn)象導(dǎo)致其深度不準(zhǔn)[32]，從而產(chǎn)生誤差，在實(shí)際運(yùn)用過程中，可使用花束區(qū)域均值剔除其干擾，從而提高計(jì)算精度。

圖8為定位試驗(yàn)結(jié)果三維圖，平穩(wěn)淡藍(lán)色層(下層)為對應(yīng)的實(shí)際坐標(biāo)。由圖8可知，波峰的Z值接近最大值4 cm，波谷的Z值最接近-4 cm，X的范圍為-0.8～1.0 m，Y的范圍為-0.4～0.4 m，Z的范圍為-0.4～0.6 m。由于溫室內(nèi)番茄花朵生長的復(fù)雜性，出現(xiàn)波峰的主要原因是花束間隙太大，花束中花朵少，且花朵間間隔較大導(dǎo)致深度數(shù)據(jù)較少，從而使深度值增大。出現(xiàn)波谷的原因主要來自遮擋問題，且遮擋程度達(dá)80%以上。但Z值出現(xiàn)了負(fù)數(shù)，原因是在逆光強(qiáng)光環(huán)境下，光線對結(jié)構(gòu)光相機(jī)造成干擾，其主要原因是強(qiáng)太陽光對結(jié)構(gòu)光相機(jī)發(fā)射的紅外信號進(jìn)行了隔離和反作用，但機(jī)器人實(shí)際工作中，有效工作深度恒大于0，負(fù)值無效。圖8中其余平穩(wěn)值為順光和無強(qiáng)光環(huán)境下計(jì)算所得，該數(shù)據(jù)是有效范圍內(nèi)的定位數(shù)值。從總體上看，彩色層與淡藍(lán)色層的間隙較小，即通過算法計(jì)算的坐標(biāo)值與實(shí)際坐標(biāo)值誤差較小，在遮擋程度小于80%的情況下，本文算法可對溫室內(nèi)番茄花束進(jìn)行準(zhǔn)確定位，說明本文算法具有較強(qiáng)的實(shí)用性，該識別定位精度可為授粉機(jī)器人授粉定位提供可靠依據(jù)[33]。

將本文算法部署在授粉機(jī)器人上，考慮強(qiáng)光逆光對相機(jī)的影響，試驗(yàn)選擇早晨或傍晚無強(qiáng)光條件下，在大型玻璃溫室內(nèi)對番茄盛開花束進(jìn)行算法驗(yàn)證(圖9)，并在不進(jìn)行曝光度調(diào)節(jié)情況下驗(yàn)證本文算法的適用性，試驗(yàn)判定當(dāng)系統(tǒng)獲得有效3D坐標(biāo)值，且機(jī)器人成功執(zhí)行授粉動作時即為定位成功。

圖9 定位算法驗(yàn)證試驗(yàn)現(xiàn)場圖Fig.9 Field diagram of location algorithm verification test

溫室內(nèi)單個番茄植株上，平均花束個數(shù)約為4個，系統(tǒng)定位成功數(shù)略比實(shí)際花束數(shù)量低，這是由于某些花束被枝葉遮擋超過了80%。而在定位成功后，機(jī)器人成功執(zhí)行授粉出現(xiàn)誤差的主要原因是花束距離機(jī)器人手臂太遠(yuǎn)，不在有效工作范圍內(nèi)。綜上，本文使用的定位算法能夠滿足授粉機(jī)器人對番茄花束的定位要求，并能為授粉機(jī)器人執(zhí)行授粉提供一個有效的定位方法。定位精度有待提高，其主要影響因素是結(jié)構(gòu)光相機(jī)在光線較強(qiáng)環(huán)境下無法測距，該現(xiàn)象也是光學(xué)研究中亟待解決的問題[34]，本文不做研究。

6 結(jié)論

(1)采用YOLO v4神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)番茄花束識別和區(qū)域提取，能夠解決機(jī)器視覺實(shí)時花束目標(biāo)檢測問題，并能有效提取出花束在RGB圖像中的授粉區(qū)域；解決RGB圖像和深度圖像精對齊；代替復(fù)雜的花束圖像分割過程，實(shí)現(xiàn)花束區(qū)域的完整采集和提取。

(2)通過區(qū)域內(nèi)色系單視角線性遍歷方法對齊花束RGB圖像和深度圖像，并映射出花束區(qū)域點(diǎn)云數(shù)據(jù)，能夠提高花束區(qū)域內(nèi)點(diǎn)云精度，花束以外區(qū)域進(jìn)行粗對齊，減少復(fù)雜點(diǎn)云的計(jì)算過程，提高授粉精度。

(3)使用雙向均衡算法計(jì)算花束3D區(qū)域授粉質(zhì)心坐標(biāo)，解決花束區(qū)域不平滑導(dǎo)致的非線性點(diǎn)云數(shù)據(jù)，從X、Y、Z三維坐標(biāo)方向均衡計(jì)算各個方向的均值，并排除花束區(qū)域內(nèi)大空隙點(diǎn)云干擾數(shù)據(jù)，擬合出三維花束平面區(qū)域，可以有效提高機(jī)器人授粉精度。在實(shí)際驗(yàn)證中，使用的神經(jīng)網(wǎng)絡(luò)對花束的提取精度達(dá)97.67%，花束區(qū)域提取時間為14.95 ms；圖像對齊與去噪時間為100 ms，算法成功獲取花束質(zhì)心點(diǎn)云坐標(biāo)時間為300 ms；總體來說，在沒有強(qiáng)光照射、遮擋程度小于80%時，本文算法基本能夠?qū)崿F(xiàn)機(jī)器人對溫室內(nèi)番茄花朵的定位，并成功執(zhí)行授粉動作。