果園機(jī)器人視覺導(dǎo)航行間位姿估計(jì)與果樹目標(biāo)定位方法

畢 松 王宇豪

(北方工業(yè)大學(xué)電氣與控制工程學(xué)院， 北京 100041)

0 引言

自1990年至2019年，我國水果產(chǎn)量均位于世界首位[1]，果品及其相關(guān)產(chǎn)業(yè)已成為農(nóng)民收入的主要來源，逐漸成為農(nóng)村經(jīng)濟(jì)的重要支柱。目前，高度依賴人工的生產(chǎn)模式和快速增長的人工成本已成為制約水果生產(chǎn)的主要因素[2]，為進(jìn)一步提高生產(chǎn)效率和水果品質(zhì)，農(nóng)業(yè)機(jī)械裝備的智能化是未來發(fā)展的必然趨勢。

自主導(dǎo)航是智能農(nóng)業(yè)裝備的關(guān)鍵技術(shù)之一，可有效降低勞動(dòng)強(qiáng)度，提高作業(yè)效率，廣泛應(yīng)用于采摘、噴藥、施肥等任務(wù)。視覺導(dǎo)航具有語義信息豐富、探測范圍廣、成本可控等優(yōu)點(diǎn)，逐漸成為主流的導(dǎo)航方式，實(shí)現(xiàn)果園自主導(dǎo)航的關(guān)鍵在于位姿估計(jì)和果樹定位，進(jìn)而引導(dǎo)農(nóng)業(yè)裝備自主行進(jìn)和自主作業(yè)。

針對自主行進(jìn)問題，研究思路集中在兩方面：基于道路或天空生成導(dǎo)航線和基于作物檢測擬合導(dǎo)航路徑。基于道路或天空的導(dǎo)航方法對植株種類、形狀、高度具有較高魯棒性，是國內(nèi)外學(xué)者研究的熱點(diǎn)?；谧魑餀z測的導(dǎo)航方法需要準(zhǔn)確識(shí)別作物主干，對復(fù)雜道路環(huán)境具有較高的適應(yīng)性。文獻(xiàn)[3-10]利用邊界點(diǎn)擬合導(dǎo)航線，根據(jù)導(dǎo)航線定性提取航向信息，在特定環(huán)境中實(shí)現(xiàn)自主導(dǎo)航，但難以準(zhǔn)確地定量分析位姿，導(dǎo)航準(zhǔn)確性、位姿可控性可進(jìn)一步提升。

為實(shí)現(xiàn)導(dǎo)航信息的定量分析，對基于視覺的位姿估計(jì)問題展開研究。文獻(xiàn)[11-13]基于單目相機(jī)模型實(shí)現(xiàn)距離測量，但果園自主導(dǎo)航不僅需要測量道路寬度，也需要估計(jì)橫向偏移和偏航角，這些方法應(yīng)用于果園自主導(dǎo)航仍具有一定的局限性。

針對基于單目視覺的果樹定位和自主作業(yè)方法，國內(nèi)外學(xué)者展開深度研究。文獻(xiàn)[14-17] 對果樹識(shí)別方法展開探索，取得了較理想的結(jié)果。然而，上述研究停留在果樹檢測層面，并未深入研究果樹定位方法。智能農(nóng)業(yè)裝備不僅需要自主行進(jìn)、識(shí)別作物，更需要根據(jù)植株位置完成采摘、噴藥、施肥等作業(yè)任務(wù)。

根據(jù)以上對果園自主導(dǎo)航研究成果的分析，目前視覺導(dǎo)航的局限性體現(xiàn)在以下兩點(diǎn)：①導(dǎo)航信息不完整，以定性視覺自主導(dǎo)航為主，基于視覺的位姿估計(jì)方法難以有效提取偏航角和橫向位移。②果樹定位方法不完善，以果樹檢測研究為主，難以確定果樹的相對位置。

針對現(xiàn)有方法的局限性，本文提出基于Mask R-CNN實(shí)例分割網(wǎng)絡(luò)的位姿估計(jì)與果樹定位方法。在改進(jìn)并訓(xùn)練實(shí)例分割網(wǎng)絡(luò)的基礎(chǔ)上，完成道路掩碼和果樹掩碼的提取，并進(jìn)一步計(jì)算消失點(diǎn)[18-21]和邊界方程。利用樹行平行性，建立位姿-道路幾何成像模型，確定不同位姿條件下，世界坐標(biāo)與像素坐標(biāo)的映射關(guān)系，定量分析位姿對圖像關(guān)鍵點(diǎn)的影響，基于消失點(diǎn)和邊界方程估計(jì)偏航信息和橫向位移。

1 方法與模型

受光照條件和季節(jié)變化影響，種植園場景的色溫、照度、路面環(huán)境、植株長勢存在較大差異。與人工特征相比，深度神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)大的特征提取與識(shí)別能力，可準(zhǔn)確、穩(wěn)定地提取復(fù)雜場景的語義信息。本文基于實(shí)例分割網(wǎng)絡(luò)模型，提取道路與果樹掩碼，并進(jìn)一步提出消失點(diǎn)與邊界方程的計(jì)算方法。

為使智能農(nóng)業(yè)裝備成本可控，本文在果園條件下，研究單目相機(jī)成像過程?，F(xiàn)代果園的可通行區(qū)域近似走廊，兩側(cè)樹行平行且單側(cè)樹行共線。利用樹行的平行性和共線性，建立位姿-道路幾何成像模型，定量分析位姿、偏航角、邊界方程三者的關(guān)系，推導(dǎo)果樹相對位置的計(jì)算方法。

基于以上分析，本文主要工作由4部分組成：道路與果樹掩碼提取、消失點(diǎn)與邊界方程計(jì)算、偏航角與橫向偏移估計(jì)、果樹相對位置估計(jì)。通過建立道路幾何成像模型，僅用單目相機(jī)實(shí)現(xiàn)位姿估計(jì)與果樹定位，對應(yīng)的算法流程如圖1所示。

1.1 基于Mask R-CNN網(wǎng)絡(luò)的道路與果樹掩碼提取方法

深度卷積神經(jīng)網(wǎng)絡(luò)不僅可對紋理、形狀、輪廓、顏色等低層次特征進(jìn)行提取，而且可進(jìn)一步提取高層次抽象特征，具有較強(qiáng)的分類、檢測和分割能力。Mask R-CNN為基于深度卷積神經(jīng)網(wǎng)絡(luò)的實(shí)例分割模型，具有較高的計(jì)算效率和精確率，本文采用該網(wǎng)絡(luò)完成道路和樹干掩碼提取，該模型主要由特征提取主干網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)、RoI Align、檢測和分割分支組成，方法流程如圖2所示。

基于該模型提取道路和果樹掩碼，但由于三維信息在單目相機(jī)中的成像過程為小孔成像，目標(biāo)尺度在圖像中表現(xiàn)為近大遠(yuǎn)小，其尺度存在較大差異性。為了獲得多尺寸表示能力，要求特征提取能夠以較大范圍的感受野來描述不同尺寸的目標(biāo)?；谝陨显?，本文將Mask R-CNN模型的特征提取主干網(wǎng)絡(luò)改進(jìn)為Res2Net[23]和特征金字塔網(wǎng)絡(luò)的組合，與ResNet[24]網(wǎng)絡(luò)相比，該模型將特征圖分成4組，除第1組特征X1外，每組特征圖經(jīng)3×3卷積后，以殘差的方式與下一組進(jìn)行連接，Res2Net模塊結(jié)構(gòu)如圖3所示。

由圖3可知，除X1特征組外，每個(gè)3×3的卷積核可以接收來自前層所有特征，其輸出的特征圖具有更大的感受野?；谠摻M網(wǎng)方式，Res2Net的輸出包含不同尺寸及數(shù)量的感受野，同時(shí)，特征圖輸出前經(jīng)過1×1卷積運(yùn)算，可有效融合不同尺度信息。此外，為增強(qiáng)對不同尺寸物體的識(shí)別能力，本文在Res2Net網(wǎng)絡(luò)的下一級增加特征金字塔網(wǎng)絡(luò)，該模型通過提取多尺度的特征信息，并進(jìn)行深度融合，從而提高檢測的精確度。Res2Net網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

由圖4可知，主干網(wǎng)絡(luò)提取特征的流程如下：首先，原始圖像經(jīng)卷積層和Res2Net模塊提取不同層次的圖像特征；其次，將C1～C4階段的特征圖進(jìn)行1×1卷積運(yùn)算得到特征圖T1～T4，通過卷積上采樣并與下一階段的特征圖疊加得到特征金字塔M1～M4；最后，將M1～M4的特征圖進(jìn)行3×3卷積運(yùn)算后，輸出特征圖P1～P4至區(qū)域建議網(wǎng)絡(luò)。

1.2 消失點(diǎn)與邊界方程提取方法

針對Mask R-CNN分割的道路掩碼，研究道路邊界和消失點(diǎn)的提取方法。受到栽培精度、植株生長不確定性和行間平整度等因素的影響，可通行區(qū)域邊界較不平滑，掩碼區(qū)域的邊界通常呈不規(guī)則鋸齒線，如圖5b所示。

由圖5b可知，道路掩碼屬于非規(guī)則多邊形，其左右邊界呈波浪或鋸齒曲線，增加了提取邊界線方程和消失點(diǎn)的難度和復(fù)雜度。因此，本文首先尋找道路掩碼的凸包，如圖5c所示，掩碼Q的凸包是一個(gè)最小的凸多邊形P，滿足Q中的每個(gè)點(diǎn)都在P的邊界或者其內(nèi)部。其次，基于霍夫變換和角度閾值計(jì)算左右邊界方程，如圖5d中綠色線所示，聯(lián)合邊界方程所得的交點(diǎn)坐標(biāo)為道路消失點(diǎn)，如圖5d中紅色圓點(diǎn)所示。基于以上分析，所提方法由消失點(diǎn)提取、邊界方程提取和果樹坐標(biāo)提取組成，具體算法流程如圖6和圖7所示。

邊界方程、消失點(diǎn)和樹干坐標(biāo)的計(jì)算流程如下：首先，根據(jù)圖6所示的邊界方程和消失點(diǎn)計(jì)算方法，對道路掩碼進(jìn)行輪廓提取、尋找凸包和霍夫變換操作，獲取描述邊緣輪廓的直線簇，基于設(shè)定的斜率和長度閾值條件提取符合要求的邊界方程，聯(lián)立兩側(cè)邊界線方程提取消失點(diǎn)坐標(biāo)。其次，根據(jù)圖7所示的樹干像素坐標(biāo)計(jì)算方法，提取果樹掩碼貼近道路邊緣的坐標(biāo)，位于消失點(diǎn)左側(cè)的果樹掩碼，提取右下方坐標(biāo)；位于消失右側(cè)的果樹掩碼，提取左下方坐標(biāo)；基于樹干像素坐標(biāo)計(jì)算距離邊界線的距離，若該值大于閾值，則標(biāo)記為鄰行果樹，不進(jìn)行位置估計(jì)。

1.3 位姿-道路幾何成像模型

偏航角、橫向偏移和植株相對位置是實(shí)現(xiàn)自主導(dǎo)航的關(guān)鍵信息。本文基于單目相機(jī)成像原理，利用果園樹行的共線性和平行性，間接測量以上信息?，F(xiàn)就存在偏航角和橫向位移的情況，對單目相機(jī)成像過程進(jìn)行幾何建模，其示意圖如圖8所示。

圖8為一般果園場景示意圖，左右樹行邊界S1、S2相互平行，由兩樹行所構(gòu)成的空間為可通行區(qū)域，基于基本坐標(biāo)系Oxyz建立成像模型，光心f距地面高度為h，與左右邊界的距離分別為xl和xr，偏航角為φ，圖像坐標(biāo)系為Ocxcyc,像素坐標(biāo)系為Oixiyi?；诠麍@道路邊界的平行性和共線性，建立位姿-道路成像模型的方法如圖9所示。

根據(jù)圖9可知，建模過程可分為以下步驟：①由像平面關(guān)鍵點(diǎn)求解相機(jī)像平面方程。②基于針孔相機(jī)成像原理，計(jì)算邊界線在像平面中的映射方程。③分析方程斜率和消失點(diǎn)表達(dá)式，逆解航向信息和橫向位移。④基于地面點(diǎn)和像平面的映射關(guān)系，逆解果樹的相對位置。其中，步驟①、②推導(dǎo)了道路邊界在像平面中的映射方程，在本節(jié)展開分析；步驟③、④分析了根據(jù)邊界方程計(jì)算位姿和果樹位置。

1.3.1求解像平面方程

計(jì)算無偏航信息時(shí)的像平面方程：在相平面任意選取3個(gè)關(guān)鍵點(diǎn)pi(i=1,2,3)，文中坐標(biāo)均表示為列向量或多維列向量，用于描述相機(jī)像平面在Oxyz坐標(biāo)系下的平面方程。

i=1i=2i=3

(1)

式中CF——鏡頭焦距

CW——像平面寬度(相機(jī)感光元件寬度)

CH——像平面高度(相機(jī)感光元件高度)

H——相機(jī)安裝高度(焦點(diǎn)與地面距離)

當(dāng)存在偏航角φ時(shí)，關(guān)鍵點(diǎn)pi經(jīng)偏航角旋轉(zhuǎn)矩陣t變換為p′i

p′i=tpi=

i=1i=2i=3

(2)

其中

(3)

式中p′i——旋轉(zhuǎn)變換的關(guān)鍵點(diǎn)

由關(guān)鍵點(diǎn)p′i可確定像平面法向量n

(4)

再與任一關(guān)鍵點(diǎn)(本文選取p′1點(diǎn))構(gòu)成平面點(diǎn)法式方程

n(1)(x-p′1(1))+n(2)(y-p′1(2))+n(3)(z-p′1(3))=0

xsinφ-ycosφ+CF=0

(5)

1.3.2計(jì)算樹行邊界在像平面中的映射方程

任取樹行邊界S1兩點(diǎn)r1、r2(邊界S2同理)，焦點(diǎn)f與r1、r2構(gòu)成空間直線方程l1和l2。

(6)

i=1i=2

(7)

(8)

(9)

式中xl——關(guān)鍵點(diǎn)r的x軸坐標(biāo)

y1、y2——關(guān)鍵點(diǎn)r的y軸坐標(biāo)

β1、β2——直線參數(shù)方程的參數(shù)

聯(lián)立像平面方程(式(5))與直線方程l1和l2，解得交點(diǎn)坐標(biāo)為

i=1i=2

(10)

式中ai——直線參數(shù)方程與像平面的交點(diǎn)坐標(biāo)(Oxyz坐標(biāo)系)

將交點(diǎn)的世界坐標(biāo)轉(zhuǎn)換至圖像坐標(biāo)系，即計(jì)算ai在向量p′2p′1和向量p′3p′1上的投影a′i為

i=1i=2

i=1i=2

(11)

式中a′i——直線參數(shù)方程與像平面的交點(diǎn)坐標(biāo)(Ocxcyc坐標(biāo)系)

確定l1在Ocxcyc坐標(biāo)系內(nèi)的斜率k1、截距b1和S1在圖像坐標(biāo)系Ocxcyc的方程S′1、S′2的計(jì)算方法同理。其中，a′1(1)、a′1(2)為a′1向量的第1個(gè)元素和第2個(gè)元素，a′2(1)、a′2(2)同理。

(12)

b1=a′1(1)-kla′1(2)=-CFtanφ

(13)

(14)

(15)

式中kl——左邊界直線方程斜率(Ocxcyc坐標(biāo)系)

b1——左邊界直線方程截距(Ocxcyc坐標(biāo)系)

在存在偏航角和橫向偏移的條件下，推導(dǎo)兩側(cè)樹行邊界在圖像坐標(biāo)系下的映射方程，進(jìn)一步計(jì)算消失點(diǎn)坐標(biāo)，估計(jì)偏航角和橫向偏移。也可利用該映射關(guān)系，由像素坐標(biāo)估計(jì)與兩側(cè)果樹及相機(jī)的相對位置。

1.4 位姿估計(jì)與果樹定位方法

基于建立的位姿-道路幾何成像模型，首先，根據(jù)樹行邊界線方程計(jì)算消失點(diǎn)坐標(biāo)，消失點(diǎn)是平行直線經(jīng)過透視投影后的交點(diǎn)，基于該點(diǎn)的像素坐標(biāo)，推導(dǎo)了偏航角的計(jì)算方法。其次，由像素坐標(biāo)系下的邊界方程，可解得與左右樹行的距離，橫向偏移是當(dāng)前位置與道路中線的橫向距離，基于與兩側(cè)邊界的距離，推導(dǎo)了道路寬度和橫向偏移的計(jì)算方法。最后，由樹行邊界點(diǎn)的三維坐標(biāo)與像素坐標(biāo)的映射關(guān)系，推導(dǎo)了果樹相對位置的計(jì)算方法。

1.4.1偏航角與橫向偏移計(jì)算方法

首先，計(jì)算消失點(diǎn)坐標(biāo)。聯(lián)立圖像坐標(biāo)系下的邊界方程S′1和S′2，解得消失點(diǎn)(兩直線交點(diǎn))坐標(biāo)，即聯(lián)立式(14)、(15)求解交點(diǎn)坐標(biāo)，可得消失點(diǎn)坐標(biāo)Xc和Yc為

(16)

其次，推導(dǎo)偏航角計(jì)算方法。由式(16)可知，消失點(diǎn)xc軸坐標(biāo)Xc為偏航角φ的一元函數(shù)，因此，可通過求解消失點(diǎn)坐標(biāo)Xc方程可得偏航角φ。在圖像坐標(biāo)系中，消失點(diǎn)的坐標(biāo)無法直接獲取，可通過圖像-像素坐標(biāo)系的相互映射關(guān)系間接計(jì)算

(17)

式中Xi——消失點(diǎn)xi軸坐標(biāo)(Oixiyi坐標(biāo)系)

Ix——圖像橫軸分辨率

基于以上分析可知，通過消失點(diǎn)的像素坐標(biāo)可計(jì)算偏航角估計(jì)值，計(jì)算方法為

(18)

再次，計(jì)算與邊界S1和S2的距離。以左邊界線為例，由S′1表達(dá)式可知，在圖像坐標(biāo)系和像素坐標(biāo)系中，邊界線斜率是關(guān)于偏航角φ和邊界距離xl的二元函數(shù)，偏航角φ可由式(18)解出，因此，基于圖像坐標(biāo)系中邊界線斜率可計(jì)算距離xl和xr。基于以上分析，與邊界S1、S2的距離xl、xr估計(jì)值計(jì)算式為

(19)

(20)

最后，計(jì)算道路寬度和橫向偏移。由于xl、xr為距離左右邊界的距離，二者絕對值之和為道路寬度W，二者絕對值之差的一半為橫向偏移λ，估計(jì)值計(jì)算式為

=|l|+|r|

(21)

(22)

1.4.2果樹相對位置計(jì)算方法

由圖8可知，在基本坐標(biāo)系中，S1和S2為樹行和可通行區(qū)域的交界，因此位于邊界S1和S2的果樹x軸坐標(biāo)分別為xl和xr，只需求解y軸坐標(biāo)即可估計(jì)果樹的相對位置，因?yàn)楣麡涞南袼刈鴺?biāo)可以從圖像中獲得，可利用式(11)所示的映射關(guān)系求解y軸坐標(biāo)。因?yàn)榘惭b高度h由測量得出，一般帶有測量誤差，為避免引入二次誤差，采用yc軸坐標(biāo)求解y，將a′i的yc軸坐標(biāo)(式(11))一般化，由式(17)和

(23)

可得果樹的yc軸與y軸坐標(biāo)的映射關(guān)系，即y軸坐標(biāo)的計(jì)算方法為

(24)

1.4.3算法流程

基于對偏航角、橫向位移和位姿-道路幾何成像模型的分析，可由圖像中的消失點(diǎn)、樹行邊界方程估計(jì)當(dāng)前位姿，計(jì)算偏航角和橫向偏移。由樹干的像素坐標(biāo)計(jì)算果樹與相機(jī)的相對位姿。若將單目相機(jī)剛性連接于農(nóng)業(yè)機(jī)械裝備，可通過圖像中的關(guān)鍵點(diǎn)完成位姿估計(jì)和果樹定位，計(jì)算流程如圖10所示。

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文提出位姿估計(jì)和果樹定位方法的準(zhǔn)確性和魯棒性，在訓(xùn)練、測試實(shí)例分割網(wǎng)絡(luò)Mask R-CNN的基礎(chǔ)上，進(jìn)一步計(jì)算消失點(diǎn)與邊界方程，完成了偏航角、橫向偏移、果樹相對位置計(jì)算實(shí)驗(yàn)，并驗(yàn)證本文所提方法的有效性。

2.1 實(shí)驗(yàn)條件

通過安裝在三角架的單目相機(jī)抓取果園圖像，偏航角由慣性測量單元的加速度計(jì)和陀螺儀融合濾波得出，通過卷尺測量得到橫向偏移與果樹相對位置。三腳架與InvenSense MPU6050型慣性測量單元?jiǎng)傂赃B接，圖像采集設(shè)備為Nikon D90型相機(jī)，鏡頭焦距為35 mm，相機(jī)水平視場角為37.2°，感光元件尺寸為23.6 mm×15.8 mm，相機(jī)與三腳架螺紋連接，安裝高度為0.95 m。

數(shù)據(jù)采集地位于山西省太原市尖草坪區(qū)向陽店蘋果種植園，該種植園屬于半結(jié)構(gòu)化場景，平均行距為5 m，受光照、水肥、土壤等因素影響，果樹生長具有較大隨機(jī)性，其生長狀況和株距也存在一定差異性。該蘋果種植園中，果樹樹干與地面的顏色相似度較高，且可通行區(qū)域界線相對模糊，增加了道路與樹干信息的提取難度，數(shù)據(jù)集包含多種拍攝角度、多種拍攝位置的圖像數(shù)據(jù)，具有較強(qiáng)的代表性。

2.2 模型訓(xùn)練與驗(yàn)證

從相機(jī)中隨機(jī)選取1 200幅圖像制作數(shù)據(jù)集，其中720幅用于訓(xùn)練，240幅用于驗(yàn)證，240幅用于測試，采用Labelme工具標(biāo)注樹干和道路可通行區(qū)域。為提升訓(xùn)練和預(yù)測速度，圖像預(yù)處理時(shí)，將圖像長邊的分辨率統(tǒng)一轉(zhuǎn)換為1 280像素。為提高模型魯棒性，抑制過擬合現(xiàn)象，本文訓(xùn)練時(shí)加入隨機(jī)擾動(dòng)擴(kuò)充數(shù)據(jù)量，例如隨機(jī)調(diào)整對比度、飽和度、亮度等。訓(xùn)練平臺(tái)為Intel i7-6870K CPU，Nvidia Geforce GTX1080Ti×4 GPU，32 GB RAM。

為使區(qū)域建議網(wǎng)絡(luò)生成的預(yù)測框更貼近目標(biāo)最小外接矩，基于K-means方法聚類標(biāo)注框的尺寸，為抑制不同尺寸的標(biāo)注框?qū)垲愓`差的影響，本文選取交并比度量類別的相似性。聚類中心數(shù)量越多，與標(biāo)注框的交并比越大，但計(jì)算量也相應(yīng)增加；聚類中心數(shù)量較少時(shí)，數(shù)據(jù)處理量隨之減少，與標(biāo)注框的交并比也隨之降低。聚類中心數(shù)量對應(yīng)的平均交并比如圖11所示。

由圖11可知，聚類數(shù)量從2類增加為3類時(shí)，平均交并比提升顯著。由于數(shù)據(jù)處理量隨著預(yù)測框的增加而明顯增加，聚類數(shù)量等于3時(shí)的綜合性能較高，此時(shí)聚類中心的高寬比分別為0.7、3和8，并根據(jù)該比例調(diào)整區(qū)域建議網(wǎng)絡(luò)生成的預(yù)測框。

在訓(xùn)練過程中，優(yōu)化方法選擇Adam自適應(yīng)學(xué)習(xí)率優(yōu)化器，其中GPU集群單次迭代樣本數(shù)為4，初始學(xué)習(xí)率為0.005，學(xué)習(xí)率衰減系數(shù)為0.1，最小學(xué)習(xí)率為 1×10-6，總計(jì)訓(xùn)練100周期，訓(xùn)練時(shí)的平均損失值和驗(yàn)證集的平均精確度如圖12所示。

由圖12a可知，訓(xùn)練76周期時(shí)，邊框回歸平均精確度為0.564，分割平均精確度為0.559，且損失函數(shù)值較低，模型具有較強(qiáng)的分割和識(shí)別能力。此外，本文對比了以ResNet50為主干網(wǎng)絡(luò)的Mask R-CNN模型，其損失函數(shù)曲線與平均精確度曲線如圖12b所示，從圖中可知其損失函數(shù)收斂速度、模型性能均弱于Res2Net，詳細(xì)數(shù)據(jù)如表1所示。

由表1可知，Mask R-CNN(Res2Net50)的邊框回歸與分割具有更高精確度，分別提升4.5%和4%，推理速度提升20%；此外，基于該主干網(wǎng)絡(luò)的Mask R-CNN對中小目標(biāo)的檢測和分割效果提升顯著，受成像原理、拍攝角度、拍攝距離與單目成像原理等因素的影響，圖像中的目標(biāo)尺度具有較大差異，而Res2Net模型采用分組卷積方法，可有效提取多尺度目標(biāo)的特征，在本文試驗(yàn)條件中表現(xiàn)出更高的適應(yīng)性。

表1 2種主干網(wǎng)絡(luò)的Mask R-CNN模型性能對比

基于神經(jīng)網(wǎng)絡(luò)分割的道路與樹干掩碼，提取消失點(diǎn)、邊界方程、果樹坐標(biāo)等更深層次的信息：對于果樹掩碼，分類其所屬位置：左行、右行和鄰行，并對左右行的樹干掩碼提取貼近道路邊界的坐標(biāo)；對于道路可通行區(qū)域掩碼，依次完成尋找凸包、霍夫變換、計(jì)算邊界和消失點(diǎn)坐標(biāo)操作，其中紅色圓點(diǎn)表示消失點(diǎn)，綠色直線表示可通行區(qū)域的左右邊界，實(shí)驗(yàn)結(jié)果如表2所示，其中，左上角為坐標(biāo)原點(diǎn)，水平軸為u，豎直軸為v。

表2 消失點(diǎn)與邊界提取結(jié)果

由表2可知，在不同拍攝位置和拍攝視角條件下，本文采用的網(wǎng)絡(luò)模型可較穩(wěn)定且準(zhǔn)確地完成實(shí)例分割任務(wù)，采用的消失點(diǎn)和邊界線提取方法具有較高的魯棒性。存在偏航角和橫向偏移時(shí)，本文所用方法仍能在不同位姿條件下，穩(wěn)定地提取道路與果樹掩碼、消失點(diǎn)坐標(biāo)、道路邊界方程，為計(jì)算位姿與果樹相對位置提供可靠基礎(chǔ)。

2.3 偏航角與橫向偏移估計(jì)

位姿估計(jì)是農(nóng)業(yè)裝備在半結(jié)構(gòu)場景下自主導(dǎo)航的前提和基礎(chǔ)，利用建立的道路成像幾何模型，僅用單目相機(jī)即可實(shí)現(xiàn)偏航角與橫向偏移的估計(jì)?；谙c(diǎn)像素坐標(biāo)、相機(jī)感光元件和鏡頭焦距可得當(dāng)前航向信息，再由圖像中的邊界線方程和偏航角，估計(jì)與左右樹行的距離，并估計(jì)行距與橫向偏移。其中，偏航角、橫向偏移與道路寬度的誤差計(jì)算方法分別為

(25)

(26)

(27)

式中Eφ——偏航角估計(jì)誤差

Eλ——橫向偏移估計(jì)誤差

EW——道路寬度估計(jì)誤差

Ah——水平視場角，取37.2°

一般工況下，智能農(nóng)業(yè)裝備可能位于道路中間，也可能位于中線左側(cè)或右側(cè)。同理，偏航角也存在3種情況，既可能無偏航信息，也可能向左或向右偏航。為驗(yàn)證模型的魯棒性與可靠性，本文分析了農(nóng)業(yè)裝備工作時(shí)的9種位姿，即3種橫向位置和偏航角的交叉組合。實(shí)驗(yàn)結(jié)果如表3所示。

由表3可知，本文方法在存在偏航角和橫向偏移時(shí)均能較準(zhǔn)確地計(jì)算位姿，其中，偏航角平均誤差為2.91%，橫向偏移平均誤差為4.82%，道路寬度平均誤差為4.89%，其精度可滿足農(nóng)業(yè)裝備導(dǎo)航需求。

表3 位姿估計(jì)及其誤差

在此基礎(chǔ)上，研究所處位姿對算法精度的影響，將偏航角與橫向偏移取絕對值進(jìn)行Min-Max歸一化，對于偏航角誤差，與當(dāng)前偏航角、橫向位移的協(xié)方差分別為0.069和0.035，對于橫向偏移誤差，相應(yīng)的協(xié)方差分別為0.032和0.026，表明本文方法的精度受所處位姿的影響較小，具有較高的魯棒性和適應(yīng)性。

2.4 果樹相對位置估計(jì)

農(nóng)業(yè)自主導(dǎo)航任務(wù)不僅需要準(zhǔn)確估計(jì)當(dāng)前位姿，為軌跡規(guī)劃和自主運(yùn)行提供基礎(chǔ)，更重要的是，在獲取當(dāng)前位姿的基礎(chǔ)上，確定果樹的相對位置，為智能化采摘、噴藥和施肥等精細(xì)化操作提供保障。本文根據(jù)邊界線像素-基本坐標(biāo)系的相互映射關(guān)系，即根據(jù)式(19)～(24)計(jì)算左右2行各4棵果樹的相對位置，其誤差計(jì)算方法為

(27)

(28)

(29)

(30)

式中Exl——左側(cè)果樹橫向位置(x軸)估計(jì)誤差

Exr——右側(cè)果樹橫向位置(x軸)估計(jì)誤差

Ey——縱向位置(y軸)估計(jì)誤差

Ed——株距估計(jì)誤差

d——株距真實(shí)值

由于相機(jī)成像模型為射影變換，成像過程為三維信息向二維平面的映射，無法直接表示深度信息，當(dāng)存在偏航角和橫向位移時(shí)，加劇了果樹的層疊現(xiàn)象，存在層疊現(xiàn)象的實(shí)驗(yàn)場景如圖13所示。

由于圖13的采集位置位于道路中線偏左，圖像中左側(cè)果樹存在較明顯的層疊現(xiàn)象。除距離較近的兩棵果樹層次結(jié)構(gòu)較明顯外，其余果樹遮擋現(xiàn)象明顯，增加了果樹識(shí)別與定位難度。因此，本文在道路中線選取3處航向角為正前的實(shí)驗(yàn)點(diǎn)進(jìn)行測試，分別測量每棵果樹距離相機(jī)的橫向相對位置、縱向相對位置與株距，并與估計(jì)值對比，計(jì)算其誤差，實(shí)驗(yàn)場景如圖14所示。

圖14中的3處實(shí)驗(yàn)點(diǎn)位于同一行間的不同縱向位置，實(shí)驗(yàn)點(diǎn)1距離道路盡頭最遠(yuǎn)，實(shí)驗(yàn)點(diǎn)2次之，實(shí)驗(yàn)點(diǎn)3距離道路盡頭最近，3處實(shí)驗(yàn)點(diǎn)的位置示意圖如圖15所示。

本文在3處實(shí)驗(yàn)點(diǎn)測量20 m以內(nèi)果樹的相對位置以及與前株的株距，由圖15所示，在實(shí)驗(yàn)點(diǎn)1分析編號(hào)為1～4的果樹，在實(shí)驗(yàn)點(diǎn)2分析編號(hào)為2～5的果樹，實(shí)驗(yàn)點(diǎn)3分析編號(hào)為4～7的果樹，相應(yīng)的實(shí)驗(yàn)數(shù)據(jù)如表4～6所示。

表4 實(shí)驗(yàn)點(diǎn)1果樹位置估計(jì)結(jié)果

表5 實(shí)驗(yàn)點(diǎn)2果樹位置估計(jì)結(jié)果

表6 實(shí)驗(yàn)點(diǎn)3果樹位置估計(jì)結(jié)果

由表4～6可知，本文提出的果樹相對位置估計(jì)方法，僅用單目相機(jī)即可較準(zhǔn)確地估計(jì)果樹位置，對最近探測距離到20 m以內(nèi)的果樹均能有效推測其位置，橫向位置的平均誤差為3.80%，縱向位置的平均誤差為2.65%；此外，利用果樹的相對位置可進(jìn)一步估計(jì)株距，其平均誤差為8.12%。

3 討論

(1)提出基于改進(jìn)Mask R-CNN網(wǎng)絡(luò)的道路與樹干識(shí)別方法，與Mask R-CNN(ResNet50)相比，邊框回歸精確率提升4.5%，分割精確率提升4.0%，推理速度提升20%?；诘缆费诖a可進(jìn)一步計(jì)算消失點(diǎn)坐標(biāo)和邊界方程，對采集位姿、邊界線的粗糙度具有較高的魯棒性?；谔岢龅奈蛔?道路幾何成像模型，利用消失點(diǎn)與邊界方程，實(shí)現(xiàn)位姿估計(jì)與果樹定位，偏航角、橫向位移、果樹位置的計(jì)算誤差較低，且可提取不同位姿條件下的導(dǎo)航信息。

(2)誤差主要來源于測量誤差和相機(jī)系統(tǒng)誤差。首先，用于測量偏航角的慣性導(dǎo)航單元存在累計(jì)誤差，數(shù)據(jù)采集過程中的振動(dòng)加劇了數(shù)據(jù)波動(dòng)程度，因此，偏航角真值存在一定的誤差。其次，本文采用相機(jī)并未經(jīng)過標(biāo)定，存在輕微畸變現(xiàn)象，因此，基于道路掩碼提取的消失點(diǎn)坐標(biāo)和邊界方程也存在偏移，一定程度影響了位姿估計(jì)與果樹定位精度。

(3)在路面平整度較低的種植園運(yùn)行過程中，受道路不平度的影響，相機(jī)存在不同程度抖動(dòng)問題，導(dǎo)致圖像存在模糊的可能，可通過Richardson-Lucy算法抑制圖像模糊。目前，果園作業(yè)仍對人工有一定的需求，可利用神經(jīng)網(wǎng)絡(luò)模型識(shí)別作業(yè)人員及其相對位置，基于數(shù)據(jù)幀差信息分析人員的運(yùn)動(dòng)趨勢，進(jìn)而實(shí)現(xiàn)更加智能化的行間自主導(dǎo)航。

4 結(jié)論

(1)提出基于改進(jìn)Mask R-CNN網(wǎng)絡(luò)的道路與樹干識(shí)別方法。邊框回歸平均精確度為0.564，目標(biāo)分割平均精確度為0.559，具有較強(qiáng)的抗干擾能力和更高的識(shí)別精度。

(2)提出基于位姿-道路幾何成像模型的位姿估計(jì)與果樹定位方法。偏航角、橫向位移誤差為2.91%和4.82%，果樹位置的橫、縱向誤差為3.80%和2.65%，可提取不同位姿條件下的導(dǎo)航信息，具有較高的準(zhǔn)確性和穩(wěn)定性。