馬 馳,董子揚(yáng),陳志軍,朱 悅,石復(fù)習(xí)
(西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院,陜西 楊凌 712100)
農(nóng)機(jī)導(dǎo)航是農(nóng)田精準(zhǔn)作業(yè)的關(guān)鍵技術(shù)[1-2],主流技術(shù)包括衛(wèi)星定位導(dǎo)航、激光雷達(dá)導(dǎo)航和視覺(jué)導(dǎo)航等[3-4]。在郁閉型果園和茂密林地環(huán)境下,GNSS地面導(dǎo)航通過(guò)衛(wèi)星實(shí)時(shí)獲取作業(yè)機(jī)械的絕對(duì)位置信息,定位信號(hào)受到稠密枝葉遮擋和地形影響,易導(dǎo)致定位精度下降和信號(hào)丟失[5-6]。激光雷達(dá)導(dǎo)航通過(guò)光束快速掃描測(cè)距獲得環(huán)境目標(biāo)點(diǎn)云數(shù)據(jù),地圖構(gòu)建算力要求高,導(dǎo)航特征提取困難、冗余信息多,設(shè)備成本高,果園使用受到限制[7-8]。
視覺(jué)導(dǎo)航通過(guò)相機(jī)獲取環(huán)境圖像,采用圖像處理、深度學(xué)習(xí)和導(dǎo)航特征目標(biāo)檢測(cè)等技術(shù)獲取導(dǎo)航線,具有探測(cè)信息層次多、環(huán)境適應(yīng)性強(qiáng)、語(yǔ)義明確、成本低等特點(diǎn),適用于低速、復(fù)雜、多變的果園導(dǎo)航環(huán)境[9-11]。果園行間導(dǎo)航線獲取的關(guān)鍵技術(shù)流程可分為樹(shù)行特征檢測(cè)、行間邊線生成和行間中線生成。其中,行間邊線生成是核心步驟,根據(jù)其提取思路可分為直接提取法和間接提取法。
直接提取法是以連續(xù)成片的作物或行間道路為特征目標(biāo)進(jìn)行行間邊線提取。Radcliffe等[12]采用以果樹(shù)樹(shù)冠和天空為背景的導(dǎo)航策略,根據(jù)果樹(shù)樹(shù)冠和天空之間的分界線擬合出導(dǎo)航線。該方法提取的分界線受冠層枝葉生長(zhǎng)狀況干擾,進(jìn)而生成的導(dǎo)航線精度不穩(wěn)定。Montalvo等[13]針對(duì)玉米地多雜草環(huán)境,采用二次Otsu算法分割圖像,并通過(guò)最小二乘法擬合導(dǎo)航線。此方法適用于作物行間的雜草和農(nóng)作物葉片色差明顯的情況,對(duì)果園季節(jié)變換帶來(lái)的作物色差變化有一定局限性。李文洋[14]以獼猴桃園單側(cè)行壟上的地膜為導(dǎo)航特征,通過(guò)在HSV顏色空間下提取H通道并進(jìn)行灰度化處理再結(jié)合Otsu算法將行壟提取出來(lái),用最小二乘法進(jìn)行行壟導(dǎo)航線擬合,該算法只適用于行間有地膜的獼猴桃果園環(huán)境,適用范圍較窄。韓振浩等[15]通過(guò)U-Net網(wǎng)絡(luò)對(duì)果園圖像中的道路進(jìn)行分割,利用掃描法提取道路兩側(cè)邊緣點(diǎn),進(jìn)而生成道路擬合中點(diǎn),最后采用三次B樣條曲線擬合道路導(dǎo)航線。該方法只適用于道路兩側(cè)邊緣明顯的果園,而獼猴桃果園行間道路兩側(cè)邊緣信息復(fù)雜、變換頻繁,道路分割難度大。上述研究是通過(guò)直接提取行間邊線的方式生成樹(shù)行線或者行間道路邊線,適用于作物成片或道路邊緣信息明顯的環(huán)境,在提取行間邊線時(shí),易受冠層枝葉生長(zhǎng)狀況或地面雜草的干擾,導(dǎo)致邊界模糊、不確定性大,與實(shí)際的邊線偏差大、導(dǎo)航線準(zhǔn)確性較低,不適合蘋(píng)果、獼猴桃等樹(shù)干與樹(shù)冠分離的果園。
間接提取法是對(duì)單個(gè)作物上共有的特征進(jìn)行檢測(cè),并獲取每個(gè)特征的定位基點(diǎn),進(jìn)而將多個(gè)定位基點(diǎn)連接以提取單側(cè)邊線。彭順正等[16]針對(duì)矮化密植棗園,利用Otsu算法將棗樹(shù)與背景分割,并選取樹(shù)干與地面交點(diǎn),最后利用最小二乘法擬合導(dǎo)航線。其中棗樹(shù)行間的雜草對(duì)樹(shù)干分割影響較大,導(dǎo)致選取的樹(shù)干與地面交點(diǎn)不準(zhǔn)確,造成最終導(dǎo)航線出現(xiàn)偏差。楊洋等[17]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)玉米抽雄期的根莖進(jìn)行識(shí)別與定位,并利用最小二乘法擬合標(biāo)記部位的特征點(diǎn)進(jìn)而生成導(dǎo)航線,該方法只適用于玉米抽雄期根莖識(shí)別,無(wú)法識(shí)別玉米其他生育時(shí)期根莖,且獲取玉米定位基點(diǎn)的方法不適用于獼猴桃樹(shù)干。王毅等[18]基于深度學(xué)習(xí)方法對(duì)不同環(huán)境、不同光照條件下的柑橘果樹(shù)樹(shù)干進(jìn)行識(shí)別,并獲取果園道路上的特征點(diǎn),最后采用最小二乘法擬合導(dǎo)航線,由于樹(shù)干定位基點(diǎn)不完全在一條直線上,該方法利用一次函數(shù)提取行間邊線,會(huì)造成較大誤差,進(jìn)而影響導(dǎo)航線生成的精度。上述研究均以間接方式提取行間邊線并生成導(dǎo)航線,適用于作物特征明顯且作物種植間距較大的情況。
因此,根據(jù)標(biāo)準(zhǔn)化獼猴桃果園株距規(guī)則、間距較大、樹(shù)干特征鮮明的果樹(shù)種植特點(diǎn)[19],選擇間接提取法,以獼猴桃樹(shù)干作為特征目標(biāo)進(jìn)行檢測(cè)。由于獼猴桃果樹(shù)樹(shù)干纖細(xì)、樹(shù)干形狀彎曲幅度大,棚架式獼猴桃果園株、行距大,地面背景復(fù)雜,傳統(tǒng)圖像處理方法易受果園環(huán)境以及光照條件變化等因素影響,對(duì)樹(shù)干識(shí)別造成一定干擾。近年興起的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)圖像本身自主學(xué)習(xí)圖像特征,具有識(shí)別準(zhǔn)確率高、適應(yīng)性好和魯棒性強(qiáng)等特點(diǎn),適用于復(fù)雜環(huán)境下的獼猴桃樹(shù)干檢測(cè)[20]。獼猴桃行間環(huán)境中樹(shù)干根點(diǎn)容易被雜草遮擋,導(dǎo)致根點(diǎn)提取難度加大、提取不準(zhǔn)確等情況,不適合作為樹(shù)干的定位基點(diǎn)。試驗(yàn)發(fā)現(xiàn)圖像中每個(gè)樹(shù)干的矩形檢測(cè)框底邊中點(diǎn)與樹(shù)干根點(diǎn)的平均直線像素距離約為十幾像素,兩個(gè)特征點(diǎn)重合度較高,因此本研究提出果樹(shù)根點(diǎn)替代的思路,以檢測(cè)矩形框底邊中點(diǎn)替代果樹(shù)根點(diǎn)作為樹(shù)干的定位基點(diǎn),有效還原實(shí)際果樹(shù)栽植位置構(gòu)成的樹(shù)行線,確保生成行間導(dǎo)航中線的準(zhǔn)確性。
綜上,本文提出一種檢測(cè)框底邊中點(diǎn)替代果樹(shù)根點(diǎn)的導(dǎo)航特征目標(biāo)檢測(cè)方法。以獼猴桃樹(shù)干為視覺(jué)導(dǎo)航特征,通過(guò)圖像預(yù)處理和樹(shù)干目標(biāo)標(biāo)記,構(gòu)建獼猴桃樹(shù)干目標(biāo)樣本庫(kù),利用Faster R-CNN訓(xùn)練生成獼猴桃樹(shù)干目標(biāo)檢測(cè)模型,應(yīng)用該模型實(shí)現(xiàn)行間近場(chǎng)區(qū)域獼猴桃樹(shù)干的檢測(cè),利用根點(diǎn)替代法獲取樹(shù)干定位基點(diǎn)坐標(biāo),為縮小擬合的樹(shù)行線誤差進(jìn)行多段三次樣條插值法擬合生成樹(shù)行線,通過(guò)左右樹(shù)行線分割采點(diǎn),并采用算法簡(jiǎn)單、運(yùn)行速度快的最小二乘法生成導(dǎo)航線,以提高在果園行間環(huán)境下視覺(jué)導(dǎo)航的魯棒性和準(zhǔn)確性。
試驗(yàn)圖像采集于標(biāo)準(zhǔn)化棚架式獼猴桃果園,行距4 m,株距3 m,棚架高1.8 m。將CMOS相機(jī)水平安裝在四輪小車(chē)上,拍攝時(shí)相機(jī)置于行間中央,距離地面0.8 m,采集相機(jī)正前方的行間環(huán)境信息。為保證數(shù)據(jù)集多樣性、提高網(wǎng)絡(luò)對(duì)檢測(cè)環(huán)境的泛化能力,在晴天和陰天不同光照情況下,對(duì)地膜、雜草、土壤3種果園行間場(chǎng)景,共采集637幅行間圖像,從中選取包括不同樹(shù)齡、不同樹(shù)形姿態(tài)的行間圖像共計(jì)600幅,圖像格式為jgp,分辨率為3024像素×4032像素。
由于圖像中的樹(shù)干為檢測(cè)對(duì)象,為了最大限度減少非行間檢測(cè)區(qū)域的干擾,提高訓(xùn)練速度和檢測(cè)模型的精度,首先剪裁去除圖像上部的天空和樹(shù)冠、圖像下部的地面等,經(jīng)多次剪裁對(duì)比,當(dāng)圖像剪裁至1 500像素×900像素時(shí),不同場(chǎng)景的樣本圖像均可包含行間信息;其次對(duì)裁減后的600幅圖像進(jìn)行水平翻轉(zhuǎn),將樣本擴(kuò)充至1 200幅圖像,以提高檢測(cè)模型的泛化性和魯棒性。處理結(jié)果如圖1(見(jiàn)227頁(yè))所示,除遠(yuǎn)端較小樹(shù)干,每幅樣本圖像單側(cè)樹(shù)行可包含至少3個(gè)完整的樹(shù)干樣本,因此每幅圖像可以提取至少6個(gè)獨(dú)立樹(shù)干樣本;最后將擴(kuò)充前的600幅圖像與擴(kuò)充后的1200幅圖像分別作為數(shù)據(jù)集,每個(gè)數(shù)據(jù)集中80%的圖像作為訓(xùn)練集,剩余20%的圖像作為測(cè)試集。
采用LabelImg對(duì)訓(xùn)練集中目標(biāo)樹(shù)干進(jìn)行標(biāo)定,構(gòu)建獼猴桃樹(shù)干目標(biāo)樣本庫(kù)。人工標(biāo)記過(guò)程中,將完整樹(shù)干標(biāo)記在矩形框內(nèi),確保樹(shù)干根部與土壤連接處靠近標(biāo)記框底邊中點(diǎn)。根據(jù)作業(yè)小車(chē)0.5~1 m·s-1的行進(jìn)速度,標(biāo)記距拍攝點(diǎn)實(shí)際距離12 m以?xún)?nèi)的完整樹(shù)干,此時(shí)最小樹(shù)干高度為100像素,單側(cè)樹(shù)行可標(biāo)記樹(shù)干數(shù)3~5個(gè),1 200幅圖像的總標(biāo)記樹(shù)干數(shù)達(dá)7 918個(gè)。圖像標(biāo)記完成后,生成的標(biāo)定標(biāo)簽以xml格式保存為標(biāo)簽文件,其中包含了目標(biāo)的所屬類(lèi)別及標(biāo)記矩形框左下角和右上角的像素坐標(biāo)信息。
首先對(duì)圖像信息進(jìn)行預(yù)處理,裁剪圖像中的冗余部分,并進(jìn)行數(shù)據(jù)擴(kuò)充,再將標(biāo)記的樹(shù)干特征圖像導(dǎo)入遷移網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲得獼猴桃樹(shù)干檢測(cè)模型。然后利用已訓(xùn)練好的樹(shù)干檢測(cè)模型進(jìn)行行間樹(shù)干檢測(cè),并基于根點(diǎn)替代方法生成已檢測(cè)樹(shù)干的定位基點(diǎn)坐標(biāo),進(jìn)而用三次樣條插值法提取樹(shù)行線,最后采用最小二乘法生成導(dǎo)航線。具體流程如圖2所示。
2.1.1 模型構(gòu)建 Faster R-CNN為two-stage基本流程的目標(biāo)檢測(cè)算法,具有檢測(cè)精度高,小目標(biāo)檢測(cè)效果好等特點(diǎn),可提升圖像中像素尺寸較小的樹(shù)干檢測(cè)準(zhǔn)確率[21],且該算法在Fast R-CNN的基礎(chǔ)上增加了區(qū)域建議網(wǎng)絡(luò)(RPN),通過(guò)交替訓(xùn)練,使得RPN與Fast R-CNN網(wǎng)絡(luò)參數(shù)共享,減少區(qū)域建議時(shí)間,提高了目標(biāo)檢測(cè)效率[22]。因此,本研究選擇Faster R-CNN目標(biāo)檢測(cè)算法,以采集到的獼猴桃果園行間圖像作為輸入,對(duì)輸入圖像感興趣區(qū)域進(jìn)行特征提取,得到樹(shù)干特征圖。由區(qū)域建議網(wǎng)絡(luò)生成矩形目標(biāo)建議框,把建議窗口映射到特征圖上,通過(guò)感興趣區(qū)域池化層使輸出特征圖尺寸固定,將固定大小的特征圖用Softmax進(jìn)行目標(biāo)類(lèi)別的識(shí)別分類(lèi),并使用Smooth L1 Loss進(jìn)行邊框回歸得到目標(biāo)在圖像中的精確位置。其中,為解決獼猴桃樹(shù)干彎曲程度不一、形狀變化大的特點(diǎn),引入多長(zhǎng)寬比的錨框。將卷積后特征圖上的每個(gè)點(diǎn)都映射到原圖上,即為錨的中心點(diǎn),依據(jù)獼猴桃樹(shù)干的高度與直徑尺寸比例,設(shè)置錨框倍數(shù)為8、16、32,長(zhǎng)∶寬分別為3∶1、4∶1、5∶1,得到9種不同尺寸的錨。
2.1.2 模型訓(xùn)練與結(jié)果 為滿(mǎn)足深度學(xué)習(xí)需求,訓(xùn)練過(guò)程采用Windows10操作系統(tǒng)、Python編程語(yǔ)言、Tensorflow深度學(xué)習(xí)框架、CUDA9.0并行計(jì)算框架。根據(jù)以上系統(tǒng)算力需求,選用硬件為intel core i5-6300HQ處理器,主頻2.3GHz,運(yùn)行內(nèi)存8G,顯卡為Nvidia Geforce GTX 960M,4GB內(nèi)存,支持GPU加速。
利用Faster R-CNN分別對(duì)擴(kuò)充前后數(shù)據(jù)集中的訓(xùn)練集進(jìn)行訓(xùn)練。如圖3所示,訓(xùn)練過(guò)程隨著迭代次數(shù)的增加,兩組訓(xùn)練集檢測(cè)網(wǎng)絡(luò)的損失值逐漸減小,迭代次數(shù)到達(dá)6 000次時(shí)損失值均趨于穩(wěn)定,迭代次數(shù)在10 000~18 000次時(shí),損失值分別穩(wěn)定在0.07~0.05區(qū)間,迭代次數(shù)大于6 000次時(shí),擴(kuò)充前后訓(xùn)練集的損失值平均差值約為0.02,兩者無(wú)顯著性差異。
利用測(cè)試集評(píng)估檢測(cè)模型,召回率(Recall)和精確率(Precision)是最常用的評(píng)估標(biāo)準(zhǔn),兩者具有負(fù)相關(guān)性,難以同時(shí)達(dá)到最優(yōu),應(yīng)針對(duì)導(dǎo)航需求綜合考慮。獼猴桃果園中,預(yù)期檢測(cè)距離為12 m,在該范圍內(nèi)成功檢測(cè)出的樹(shù)干數(shù)量是模型優(yōu)劣的關(guān)鍵,因此召回率更重要。如圖4所示,分別為擴(kuò)充前與擴(kuò)充后的圖像組所訓(xùn)練的檢測(cè)模型的精確率與召回率關(guān)系,當(dāng)召回率分別大于0.76時(shí),精確率有較大幅度下滑,此時(shí)檢測(cè)模型的AP(Average Precision)值分別為0.770和0.775,兩者的AP值差別不大,可知兩者的檢測(cè)模型精度差別很小,表明擴(kuò)充前的數(shù)據(jù)集通過(guò)訓(xùn)練均獲得穩(wěn)定的檢測(cè)模型,且擴(kuò)充前的數(shù)據(jù)集在訓(xùn)練時(shí)所需時(shí)間更少,生成的模型體量也較小,有利于在硬件性能受限的移動(dòng)設(shè)備上運(yùn)行。因此,將擴(kuò)充前數(shù)據(jù)集所訓(xùn)練的檢測(cè)模型應(yīng)用到后續(xù)樹(shù)干識(shí)別中。
對(duì)測(cè)試集的圖像進(jìn)行樹(shù)干檢測(cè)驗(yàn)證,如圖5所示,行間兩側(cè)獼猴桃樹(shù)干作為識(shí)別的主體部分,有效工作距離內(nèi)的樹(shù)干可被準(zhǔn)確識(shí)別。在有樹(shù)干被遮擋或者有多個(gè)分支時(shí),近景處的樹(shù)干由于像素面積大識(shí)別率最高,在樹(shù)干距拍攝點(diǎn)的實(shí)際距離大于12 m的中遠(yuǎn)端,圖像高度小于100像素的樹(shù)干未被識(shí)別,單側(cè)樹(shù)干識(shí)別數(shù)量均不小于3個(gè),滿(mǎn)足樹(shù)行線生成的需求。
導(dǎo)航特征的選擇與提取是果園行間導(dǎo)航的關(guān)鍵,棚架式獼猴桃果園具有樹(shù)干分立、樹(shù)干與樹(shù)冠分離的特點(diǎn),另外在建園時(shí)均以樹(shù)干根點(diǎn)作為定位成行的基點(diǎn),因此樹(shù)干根點(diǎn)是最佳的行間導(dǎo)航特征。由于獼猴桃行間環(huán)境中樹(shù)干根點(diǎn)的特征不明顯、根點(diǎn)區(qū)域容易被雜草遮擋,成像后,樹(shù)干根點(diǎn)在圖像中占比很小,圖像處理方法很難一一標(biāo)記,增加了根點(diǎn)識(shí)別難度,因此,研究中提出基于根點(diǎn)替代的導(dǎo)航定位基點(diǎn)生成方法。首先,選擇像素大、行間特征明顯的果樹(shù)樹(shù)干作為導(dǎo)航特征,進(jìn)行標(biāo)記和檢測(cè),利用訓(xùn)練好的樹(shù)干檢測(cè)模型生成樹(shù)干檢測(cè)框;其次,根據(jù)檢測(cè)框的幾何特征,發(fā)現(xiàn)檢測(cè)框底邊中點(diǎn)與樹(shù)干根點(diǎn)具有對(duì)應(yīng)性。因此,采用矩形檢測(cè)框底邊中點(diǎn)替代樹(shù)干實(shí)際根點(diǎn)的方法即根點(diǎn)替代法,為樹(shù)行線的生成提供定位信息。
如圖6所示,其中紅色標(biāo)記點(diǎn)為樹(shù)干定位基點(diǎn),黃色標(biāo)記點(diǎn)為實(shí)際樹(shù)干根點(diǎn)。先在圖像中獲取代表樹(shù)干位置的矩形檢測(cè)框位置信息,再根據(jù)檢測(cè)框左上角和右下角的像素坐標(biāo)計(jì)算出底邊中點(diǎn),作為樹(shù)干定位基點(diǎn),實(shí)現(xiàn)樹(shù)干根點(diǎn)位置替代。
使用根點(diǎn)替代法所產(chǎn)生的誤差即為兩點(diǎn)之間的直線像素距離,如圖7所示,對(duì)圖6采用根點(diǎn)替代法所產(chǎn)生的誤差進(jìn)行統(tǒng)計(jì),結(jié)果表明,3種場(chǎng)景中共計(jì)23個(gè)樹(shù)干的檢測(cè)框中點(diǎn)與實(shí)際樹(shù)干根點(diǎn)的圖像像素誤差集中,最大誤差為20.5像素,最小誤差為4像素,平均誤差為11.3像素。
由于視覺(jué)識(shí)別誤差受樹(shù)干根點(diǎn)處生長(zhǎng)環(huán)境影響,根點(diǎn)替代法獲取的樹(shù)干定位基點(diǎn)排列不規(guī)則,采用線性插值擬合生成的樹(shù)行線難以涵蓋所生成的全部樹(shù)干定位基點(diǎn),而三次樣條插值法通過(guò)構(gòu)造三次多項(xiàng)式,在相鄰樹(shù)干定位基點(diǎn)間生成擬合曲線,并將所有樹(shù)干定位基點(diǎn)連成平滑曲線,較線性插值具有局部可控、連續(xù)性等優(yōu)勢(shì),可以保證擬合出的樹(shù)行線與建園時(shí)實(shí)際樹(shù)行線的總體誤差更小,為后續(xù)導(dǎo)航線的生成提供有利條件。因此,取單側(cè)樹(shù)行內(nèi)兩個(gè)相鄰樹(shù)干定位基點(diǎn)進(jìn)行插值,通過(guò)多段三次樣條曲線進(jìn)行擬合,并生成完整平順的樹(shù)行線。
單側(cè)樹(shù)行線的生成基于n+1個(gè)樹(shù)干定位基點(diǎn)xi(x=0,1,2,…,n),相鄰的兩個(gè)點(diǎn)即可得到一段三次樣條曲線,第i段的表達(dá)式為:
(1)
其中,x∈[xi-1,xi],i=1,2,…,n;hi=xi-xi-1,再利用函數(shù)在S(x)在點(diǎn)xi處具有連續(xù)二階導(dǎo)數(shù)的條件,根據(jù)三次自然樣條插值法的條件,可得方程組:
(2)
其中:i=1,2,…,n-1,λ0=0,μn=0,g0=0,gn=0。求解方程組,并將Mi(i=0,1,2,…,n)代入公式(1),即可得到每個(gè)區(qū)間[xi-1,xi](i=1,2,…,n)上的三次樣條函數(shù)[23-24]。
基于上式推導(dǎo),對(duì)樹(shù)行線上的樹(shù)干定位基點(diǎn)進(jìn)行多段三次樣條曲線擬合,生成兩側(cè)樹(shù)行線,如圖8所示。
目標(biāo)導(dǎo)航線為直線,在利用導(dǎo)航線擬合基點(diǎn)作為離散數(shù)據(jù)進(jìn)行擬合時(shí),本質(zhì)是根據(jù)分散的導(dǎo)航線擬合基點(diǎn)構(gòu)建相應(yīng)的近似連續(xù)模型,而構(gòu)建的連續(xù)模型通常是函數(shù)表達(dá)式。在此類(lèi)擬合問(wèn)題中,僅需要最終擬合出的函數(shù)與給定的導(dǎo)航線擬合基點(diǎn)排布的整體輪廓相似,且擬合的精度盡可能接近已知值,即擬合出的函數(shù)與已知值的誤差應(yīng)盡可能消除,一般要使誤差平方和盡可能小。因此可采用最小二乘法解決上述問(wèn)題,其通過(guò)最小化誤差的平方和尋找導(dǎo)航線擬合基點(diǎn)的最佳函數(shù)匹配,生成導(dǎo)航線如圖9(c)所示。
本試驗(yàn)根據(jù)樹(shù)干在圖像中的像素高度,結(jié)合樣本庫(kù)標(biāo)記過(guò)程中對(duì)測(cè)試集中成功識(shí)別的樹(shù)干高度像素為100以上的目標(biāo)進(jìn)行計(jì)數(shù)統(tǒng)計(jì),如表1所示,統(tǒng)計(jì)結(jié)果表明,不同場(chǎng)景下的識(shí)別率沒(méi)有較大差異,說(shuō)明生成的檢測(cè)模型可適用于變化場(chǎng)景下獼猴桃果園的樹(shù)干識(shí)別。
表1 不同場(chǎng)景的樹(shù)干正確識(shí)別率比較Table 1 Comparison of the correct recognition rate of tree trunks in different scenes
在一幅獼猴桃園行間圖像中,樹(shù)干像素大小會(huì)對(duì)檢測(cè)造成不同的影響,如果對(duì)象距拍攝點(diǎn)較近,樹(shù)干對(duì)象比較完整清晰,則特征明顯,識(shí)別難度低。由于透視原理,距拍攝點(diǎn)較遠(yuǎn)的樹(shù)干在圖像中像素占比小,特征模糊,甚至被前景樹(shù)干遮擋,增加了檢測(cè)難度。
本節(jié)對(duì)比試驗(yàn)共設(shè)置了3個(gè)梯度,樹(shù)干像素高度分別選取大于300像素、200~300像素、100~200像素,相應(yīng)測(cè)試集的樹(shù)干識(shí)別統(tǒng)計(jì)結(jié)果如表2所示。樹(shù)干像素高度在100~200像素的識(shí)別正確率為85.6%,樹(shù)干像素高度大于300像素的識(shí)別正確率為94.6%,比另外兩個(gè)梯度分別高出約4.7%和9.0%。綜上可知,F(xiàn)aster R-CNN模型對(duì)樹(shù)干像素高度大于300像素的檢測(cè)效果最好,而像素高度在100~200像素之間的樹(shù)干,由于圖像占比小、樹(shù)干特征模糊,造成目標(biāo)檢測(cè)能力不足,影響了檢測(cè)準(zhǔn)確率。
表2 不同高度像素樹(shù)干的識(shí)別試驗(yàn)結(jié)果Table 2 Recognition test results of tree trunks with different height pixels
本試驗(yàn)分別選取了地膜、雜草和土壤3種行間場(chǎng)景,每種場(chǎng)景挑選50幅圖像,共計(jì)150幅,進(jìn)行根點(diǎn)替代法所生成的樹(shù)干定位基點(diǎn)與實(shí)際樹(shù)干根點(diǎn)的定位誤差分析,以驗(yàn)證根點(diǎn)替代法的定位效果。如圖10所示,以實(shí)際樹(shù)干根點(diǎn)坐標(biāo)為基點(diǎn),計(jì)算出每個(gè)樹(shù)干根點(diǎn)與樹(shù)干定位基點(diǎn)的像素坐標(biāo)差值,可以看出最大橫向和縱向偏差都不超過(guò)30像素,且橫向和縱向偏差多集中在20像素以?xún)?nèi)。因此,使用根點(diǎn)替代方法獲取的根點(diǎn)與實(shí)際果樹(shù)根點(diǎn)的橫向像素誤差占比為1.3%,縱向像素誤差占比為2.2%,為了得到像素偏差對(duì)應(yīng)的實(shí)際距離偏差,基于已標(biāo)定的相機(jī)內(nèi)參與畸變系數(shù),通過(guò)針孔相機(jī)成像模型,將樹(shù)干定位基點(diǎn)與實(shí)際樹(shù)干根點(diǎn)從像素平面坐標(biāo)轉(zhuǎn)換至相機(jī)坐標(biāo),通過(guò)計(jì)算兩點(diǎn)之間的歐氏距離得到實(shí)際距離誤差平均為0.102 m。
導(dǎo)航線擬合效果如圖11所示。為分析導(dǎo)航線與實(shí)際行間中線的偏差,如圖12所示,實(shí)際道路中線與生成的導(dǎo)航線之間的夾角α即為導(dǎo)航線的航向角度誤差,實(shí)際道路中間線的中點(diǎn)到導(dǎo)航線的水平距離A為橫向像素偏差,地膜、土壤和雜草3種行間場(chǎng)景下的橫向像素偏差A(yù)分別為4.8像素、5.0像素、5.4像素,平均橫向像素偏差為5.1像素,實(shí)際平均橫向偏差為0.052 m。導(dǎo)航線的航向角度誤差?yuàn)A角α分別為3.6°、2.9°、3.1°,平均航向角度誤差為3.2°。并分別統(tǒng)計(jì)地膜、雜草和土壤行間場(chǎng)景共計(jì)150幅圖像,橫向像素偏差的統(tǒng)計(jì)結(jié)果如圖13所示。
本文利用深度學(xué)習(xí)方法實(shí)現(xiàn)對(duì)獼猴桃行間樹(shù)干識(shí)別,采用檢測(cè)框底邊中點(diǎn)替代樹(shù)干根點(diǎn)的方法,獲取單側(cè)樹(shù)行中近場(chǎng)區(qū)域多個(gè)獼猴桃樹(shù)干栽植定位信息,通過(guò)三次樣條插值法提取兩側(cè)樹(shù)行線,再利用最小二乘法擬合最終的行間導(dǎo)航中線。結(jié)果表明選擇獼猴桃樹(shù)干作為視覺(jué)導(dǎo)航特征目標(biāo),避免了采用樹(shù)干根點(diǎn)等小目標(biāo)作為導(dǎo)航特征目標(biāo)的復(fù)雜算法,減小了特征目標(biāo)定位誤差,可獲得12 m視距范圍內(nèi)獼猴桃行間導(dǎo)航特征目標(biāo)的有效定位信息,提出的根點(diǎn)替代法有效利用了深度學(xué)習(xí)算法的魯棒性,提高了導(dǎo)航定位基點(diǎn)準(zhǔn)確性。
(1)本文獲得的基于Faster R-CNN目標(biāo)檢測(cè)模型能有效識(shí)別獼猴桃樹(shù)干并對(duì)其進(jìn)行檢測(cè),該模型在地膜、雜草和土壤3種行間環(huán)境下樹(shù)干識(shí)別的正確率分別為90.6%、90.1%、89.4%,行間近距離樹(shù)干目標(biāo)的識(shí)別率高,像素高度大于300像素、200~300像素、100~200像素的樹(shù)干正確識(shí)別率分別為94.6%、89.9%、85.6%,表明該模型對(duì)棚架式果園環(huán)境的樹(shù)干識(shí)別有良好適應(yīng)性。
(2)本文提出的檢測(cè)識(shí)別框底邊中點(diǎn)代替樹(shù)干根點(diǎn)的根點(diǎn)替代法,所替代根點(diǎn)的實(shí)際偏差小。其識(shí)別定位根點(diǎn)與果樹(shù)實(shí)際根點(diǎn)的圖像像素誤差集中,誤差均在20個(gè)像素以?xún)?nèi),其中,橫向像素誤差占比為1.3%,縱向像素誤差占比為2.2%,表明根點(diǎn)替代法穩(wěn)定性好、精度高,滿(mǎn)足果園行間導(dǎo)航實(shí)際需求,可為果園行間左右邊線的生成提供定位基點(diǎn)。
(3)生成的果園行間導(dǎo)航中線平均橫向像素偏差為5.1像素,占比為1.4%,平均橫向?qū)嶋H距離偏差為0.052 m,表明采用深度學(xué)習(xí)生成樹(shù)干識(shí)別模型、根點(diǎn)替代法獲取樹(shù)行基點(diǎn)的視覺(jué)導(dǎo)航方法,對(duì)樹(shù)干分立、樹(shù)干與樹(shù)冠分離的棚架式獼猴桃果園導(dǎo)航線生成,具有較強(qiáng)的適應(yīng)性和較高的精度。