摘要:針對當前生產(chǎn)環(huán)境下難以對植物進行精細三維重建的問題,提出一種基于ORB-SLAM3的番茄植株三維重建方法,利用深度相機采集RGB-D圖像信息,根據(jù)前后幀圖像特征點信息進行位姿估計,設(shè)計點云稠密重建模塊,實現(xiàn)溫室環(huán)境下番茄植株三維重建。結(jié)果表明,該方法在軌跡估計上整體表現(xiàn)較好,估計的軌跡沒有重大漂移,較Elasticfusion方法、BadSlam方法估計的軌跡更貼合實際軌跡,位姿跟蹤具有一定魯棒性,且使用的關(guān)鍵幀數(shù)量較少,降低了冗余信息對算法的干擾;該方法重建的點云果徑與實際果徑平均絕對誤差為1.48 mm,與實際情況十分接近,點云還原度高,重建品質(zhì)較好,濾波算法沒有對果實表型信息造成破壞,信息保留完整;該方法能夠在溫室環(huán)境下獲取準確的位姿信息,并生成番茄植株三維模型,三維重建精度高,可以滿足溫室環(huán)境下番茄植株三維重建及番茄采摘機器人目標定位需要。
關(guān)鍵詞:三維重建;RGB-D;ORB-SLAM3;番茄植株;溫室環(huán)境
中圖分類號:S126;TP391" " " " "文獻標識碼:A
文章編號:0439-8114(2024)08-0096-08
DOI:10.14088/j.cnki.issn0439-8114.2024.08.017 開放科學(xué)(資源服務(wù))標識碼(OSID):
A three-dimensional reconstruction method for tomato plant in greenhouse environment based on ORB-SLAM3
YIN Shu-lina,DONG Luana,b,c,YOU Yong-penga,LI Jia-hanga
(a.College of Computer and Information Engineering;b.Engineering Research Center of Intelligent Agriculture, Ministry of Education;c.Xinjiang Agricultural Informatization Engineering Technology Research Center,Xinjiang Agricultural University,Urumqi" 830052,China)
Abstract: A tomato plant three-dimensional reconstruction method based on ORB-SLAM3 was proposed to address the difficulty of precise three-dimensional reconstruction of plants in the current production environment,by using a depth camera to capture RGB-D image information, pose estimation was performed based on the feature point information of the foreground and background frames. A point cloud dense reconstruction module was designed to achieve three-dimensional reconstruction of the tomato plant in a greenhouse environment. The results showed that this research method performed well in trajectory estimation as a whole, with no significant drift in the estimated trajectory. Compared with Elasticfusion and BadSlam methods, the trajectory estimated was more closely related to the real trajectory. Pose tracking had a certain degree of robustness, and the number of keyframes used was relatively small, reducing the interference of redundant information on the algorithm;the average absolute error between the reconstructed point cloud fruit diameter and the actual fruit diameter using this research method was 1.48 mm, which was very close to the actual situation,the point cloud had a high degree of restoration and good reconstruction quality,the filtering algorithm did not cause damage to the fruit phenotype information, and the information was preserved intact;this research method could obtain accurate pose information in a greenhouse environment and generate a three-dimensional model of the tomato plant. The three-dimensional reconstruction accuracy was high, which could meet the needs of three-dimensional reconstruction of the tomato plant in a greenhouse environment and target positioning of tomato harvesting robots.
Key words: three-dimensional reconstruction; RGB-D; ORB-SLAM3; tomato plant; greenhouse environment
目前溫室番茄主要依靠人工進行采摘和測量,成本高且不能對番茄生長進行監(jiān)測[1,2]。利用三維重建技術(shù)可以精確構(gòu)建番茄果實三維模型,實施生長監(jiān)測,及時對番茄生長進行調(diào)整和干預(yù)。
為了得到植物的三維模型,有學(xué)者利用雙目相機、深度相機、激光雷達等傳感器搭建視覺系統(tǒng)來獲取植物的三維信息[3],并開展植物三維重建的相關(guān)研究。蔡健榮等[4]利用雙目相機立體視覺原理獲取果樹的三維信息,完成果樹枝干的三維重建;勞彩蓮等[5]使用深度相機和旋轉(zhuǎn)云臺獲取固定旋轉(zhuǎn)角度下的玉米植株三維信息,再將不同角度下的三維信息進行融合,完成玉米植株的三維重建,植株還原度高;胡曉雨等[6]使用SFM(Structure form motion)算法[2]獲取枸杞植株三維點云,實現(xiàn)枸杞表型的無損測量;Mahmud等[7]利用3D激光雷達對帶葉蘋果樹進行三維點云重建,重建效果良好并可用于蘋果樹冠層密度的分析。上述方法使用不同三維重建技術(shù)獲取植物三維模型,通常在試驗環(huán)境下對單株植株進行三維重建,或者對采集樣進行處理,保證背景純色以突出植株特征,但在真實復(fù)雜的農(nóng)業(yè)生產(chǎn)場景中應(yīng)用容易受到限制。此外,這類三維重建方法側(cè)重于三維模型的構(gòu)建,不能利用三維信息提供定位信息,進一步限制了應(yīng)用場景。
針對上述問題,本研究提出一種基于ORB-SLAM3[8]的番茄植株三維重建方法,使用Kinect DK深度相機[9]進行RGB-D圖像的采集,在原有算法的基礎(chǔ)上增加了點云稠密重建模塊,利用位姿信息進行三維重建,并使用點云濾波算法[10]剔除點云模型離散點,對溫室環(huán)境下番茄植株進行三維重建,以期提供位姿信息解決采摘機器人目標定位問題。
1 數(shù)據(jù)集與方法
1.1 數(shù)據(jù)集
1.1.1 TUM RGB-D數(shù)據(jù)集 使用TUM RGB-D數(shù)據(jù)集[11]驗證位姿軌跡估計的有效性。該數(shù)據(jù)集是計算機視覺和機器人領(lǐng)域的常用公開數(shù)據(jù)集,它由慕尼黑工業(yè)大學(xué)的計算機視覺團隊創(chuàng)建,使用深度相機采集數(shù)據(jù),提供相機內(nèi)外參、RGB圖像、深度圖像、真實相機軌跡等數(shù)據(jù)。同時,該數(shù)據(jù)集還提供了評估標準,用于衡量視覺SLAM系統(tǒng)在估計相機軌跡方面的質(zhì)量。
1.1.2 自建番茄植株數(shù)據(jù)集 本研究自建10組番茄果實RGB-D圖像序列,數(shù)據(jù)采集于番茄溫室,環(huán)境光線充足。使用 Kinect DK深度相機進行采集,正對番茄植株進行5~10 s的移動視頻錄制,設(shè)備幀率設(shè)置為30幀,深度傳感器使用寬視野,圖像分辨率為1 280 px×720 px。對視頻進行解析,提取每幀的RGB-D數(shù)據(jù)制作成TUM格式 RGB-D圖像數(shù)據(jù)集,圖1展示了圖像序列中的1幀,圖1a為彩色RGB圖像,圖1b為深度圖像,RGB圖像和深度圖像通過時間戳一一對應(yīng)。
1.2 基本原理
基于視覺的三維重建從圖像序列中還原三維信息[12],使用針孔相機模型[13]表示二維與三維間的映射,如圖2所示,將像素坐標系上的坐標表示為二維的向量" [p=u,vT],它的齊次坐標為 [p′=u′,v′,1T],二維中非齊次和齊次坐標相互轉(zhuǎn)化的公式如下。
[p=Π2dp′] " " " "(1)
[p′=Π-12dp] " " " " "(2)
式中,[Π]為齊次坐標轉(zhuǎn)換;[Π2d]為在二維下從齊次坐標到非齊次坐標的轉(zhuǎn)換;[Π-12d]為從非齊次坐標到齊次坐標的轉(zhuǎn)換,是[Π2d]的逆操作;T為轉(zhuǎn)置操作,將行向量變?yōu)榱邢蛄浚奖愫罄m(xù)計算。
將世界坐標系歐幾里德空間中三維點表示為 [Pw=x,y,zT];齊次坐標為 [P′w=(x,y,z,1)T],非齊次和齊次坐標相互轉(zhuǎn)化公式如下。
[Pw=Π3dP′w]" " " " " (3)
[P′w=Π-13dPw] (4)
在尺度已知的情況下將空間點投影到像平面或?qū)⑾袼攸c反投影到空間中。像素坐標系與相機坐標系和世界坐標系的映射公式如下。
Pc=RPw+t" " " " " " " " " " " " "(5)
[zp′=zuv1=fx+cxzfy+cyzz=fx0cx00fycy00010xyz1=KI3×30P′c] " (6)
[zp′=zuv1=fx0cx0fycy001R3×3t3×101xyz1=KTP′w] (7)
式中,Pc為空間點在相機坐標系下的坐標;Pw為空間點世界坐標系下的坐標;[K]為相機內(nèi)部標定參數(shù)矩陣;[f]為焦距;cx、cy分別為像平面中心點的橫、縱坐標;[zp′]為像素點反向投影到相機坐標系下的非齊次空間點,由像素點深度值和像素點齊次坐標相乘得到;I為三維的單位矩陣;[P′c]為相機坐標系下空間點的齊次坐標;[T]為三維空間變換矩陣,包括1個旋轉(zhuǎn)矩陣[R3×3]和1個平移向量[t3×1],表示相機坐標系與世界坐標系之間的變換關(guān)系;[KTP′w]為對世界坐標系下空間點齊次坐標進行投影變換。本研究采集番茄植株的RGB-D圖像序列,利用RGB-D圖像中的深度信息進行反投影建立二維點與三維點的聯(lián)系,還原圖像中的三維信息,最終在同一坐標系下統(tǒng)合三維信息,完成番茄植株的三維重建。
1.3 方法
基于ORB-SLAM3算法進行位姿估計與三維重建,該算法在位姿估計上具有出色的精確度,考慮到番茄植株的實際種植環(huán)境,在番茄重建任務(wù)中使用該算法可以降低成本,簡化重建流程,相較于其他方法具有明顯優(yōu)勢。算法流程如圖3所示,對相機位姿進行跟蹤估計,將位姿信息存儲到新關(guān)鍵幀中,建立稀疏地圖對歷史關(guān)鍵幀和地圖特征點的管理;對估計的相機位姿進行優(yōu)化,使用光束平差法(Bundle adjustment,BA)[14],利用存儲關(guān)鍵幀中的特征點匹配信息,調(diào)整相機參數(shù)和三維點坐標,使得這些特征點在所有圖像中的投影誤差最小,同時優(yōu)化相機的外參(位姿)和三維點的坐標;根據(jù)共視圖中關(guān)鍵幀間的共視關(guān)系進行整體優(yōu)化,減少位姿估計的累積誤差,閉環(huán)檢測利用DBoW2詞袋[15]檢測是否有回環(huán)產(chǎn)生,利用長期的數(shù)據(jù)關(guān)聯(lián)進行重定位和回環(huán)閉合,再進行地圖信息的更新,最終生成可靠的關(guān)鍵幀信息用于三維重建。
1.3.1 位姿信息獲取及優(yōu)化 在真實復(fù)雜農(nóng)業(yè)場景下進行三維重建,需要從RGB-D圖像序列中獲取準確的位姿信息,本研究使用ORB(Oriented FAST and rotated BRIEF)特征[16]準確捕獲圖像中的特征點,它由改進的 FAST 關(guān)鍵點[17]和 BRIEF描述子[18]組成,用以確定2幀間特征點的對應(yīng)關(guān)系,為了使特征匹配結(jié)果能完整捕獲場景細節(jié),充分反映2幀間的變換,通過對FAST角點閾值的設(shè)置,篩選出具有較高關(guān)聯(lián)程度的點,并保證特征點在圖像中的均勻分布,圖4展示了前后2幀番茄植株的ORB特征匹配結(jié)果。
根據(jù)匹配結(jié)果可以計算圖像序列的位姿軌跡信息,并結(jié)合三維信息構(gòu)建關(guān)鍵幀用于后續(xù)三維重建,為了減少復(fù)雜背景對三維重建質(zhì)量的影響并提升三維重建效率,本研究創(chuàng)建關(guān)鍵幀圖像處理隊列,將其作為滑動窗口對關(guān)鍵幀信息進行處理,使用DBoW2計算關(guān)鍵幀詞袋向量,更新當前關(guān)鍵幀的共視圖信息,剔除冗余的關(guān)鍵幀信息,冗余關(guān)鍵幀的判定標準如下:該關(guān)鍵幀地圖點在最近創(chuàng)建的3幀內(nèi)被觀測到的次數(shù);實際觀測到該地圖點的幀數(shù);與理論應(yīng)當觀測到關(guān)鍵幀該地圖點幀數(shù)的比例低于閾值。
1.3.2 番茄植株點云重建 為了利用獲得的位姿信息進行番茄的點云重建,在ORB-SLAM3算法的基礎(chǔ)上添加點云重建模塊,調(diào)取保存的關(guān)鍵幀信息對應(yīng)的番茄植株 RGB-D數(shù)據(jù),根據(jù)相機內(nèi)參信息,將每個關(guān)鍵幀RGB圖像數(shù)據(jù)與其對應(yīng)的深度數(shù)據(jù)進行結(jié)合,并映射到三維空間,獲得每個關(guān)鍵幀的三維點云數(shù)據(jù)。然后根據(jù)優(yōu)化過的位姿信息合并點云數(shù)據(jù)制作完整的番茄點云模型。
由于深度圖存在誤差,異常深度值和深度缺失導(dǎo)致點云仍有噪音點存在,為了提高番茄點云重建的質(zhì)量和準確性,使用統(tǒng)計離群濾波器[19]對點云進行離群點剔除,濾波器通過建立點云內(nèi)點到鄰點的距離分布來提取離散點,假定點[PiXi,Yi,Zi] 和鄰點[PjXj,Yj,Zj],兩點間距離使用歐式距離進行計算,計算公式如下。
[dij=Xi-Xj2+Yi-Yj2+Zi-Zj2] (5)
所有點與鄰點距離均值的計算公式如下。
[μ=1nki=1nj=1kdij] (6)
距離標準差的計算公式如下。
[σ=1nki=1nj=1kdij-μ2] (7)
式中,[i=1,2,…,n],表示點云有n個點;[j=1,2,…,k],表示每個點有k個鄰居;dij表示點云內(nèi)第i個點到第j個鄰點的歐式距離;Xi表示第i個點的x軸方向坐標;Xj表示第j個鄰點的x軸方向坐標;Yi、Yj、Zi、Zj以此類推;[μ]表示所有點與鄰點歐式距離的均值;[σ]表示歐式距離的標準差。
該方法基于統(tǒng)計學(xué)原理,將點云內(nèi)點的分布視為高斯分布,通過分析每個點鄰域內(nèi)點的統(tǒng)計特征來判斷該點是否為離群點。本研究指定點的鄰居數(shù)量(k)為50,標準差閾值為0.75,計算每個點與k個鄰居點的局部均值,如果局部均值大于點云總體均值加上點云總體標準差的0.75倍,則將該點標記為離群點,最后將被判斷為離群點的點從點云數(shù)據(jù)中移除,從而得到高質(zhì)量點云數(shù)據(jù)。
1.4 位姿軌跡評估
為了評估位姿估計的準確性和估計軌跡的全局一致性(估計的相機軌跡與實際軌跡在整個空間中的吻合程度),使用TUM數(shù)據(jù)集提供的真實軌跡作為評估標準,對估計的相機軌跡進行誤差計算。使用的誤差評判指標是絕對軌跡誤差[11],該指標計算估計軌跡和真實軌跡的絕對距離,給定已對齊的估計軌跡([P1:n])和真實軌跡([Q1:n]),可以找到估計軌跡映射到真實軌跡的最小二乘解對應(yīng)的剛體變換([S]),2個軌跡間的絕對軌跡誤差在時刻[i]的計算公式如下。
[Fi∶=Q-1iSPi] (8)
所有時刻下的均方根誤差的計算公式如下。
[RMSE(F1:n)∶=(12i=1ntrans(Fi)2)1/2] (9)
式中,F(xiàn)i為真實軌跡與估計軌跡在時刻[i]的絕對軌跡誤差;RMSE為均方根誤差。
2 結(jié)果與分析
2.1 試驗環(huán)境
測試開發(fā)環(huán)境為Ubuntu18.04操作系統(tǒng)下的ROS環(huán)境,使用16線程芯片(AMD Ryzen 7 5800H)。
2.2 位姿估計驗證
位姿信息準確與否影響番茄植株三維重建的質(zhì)量,為了對位姿軌跡的真實性和全局一致性進行評估,使用Elasticfusion方法[20]和BadSlam方法[21]作為對比的基準,比較位姿軌跡的準確性,在TUM基準數(shù)據(jù)集中選擇fr1_plant和fr1_teddy作為測試數(shù)據(jù)集,均為相機環(huán)繞小物體拍攝的場景圖像序列。表1顯示了2個算法在絕對軌跡誤差指標下的表現(xiàn),使用均方根誤差、均值、中位數(shù)、標準差、最大值、最小值對其進行評估。
圖5、圖6為估計軌跡結(jié)果可視化對比圖。本研究三維重建方法在軌跡估計上整體表現(xiàn)較好,估計的軌跡沒有重大漂移,較Elasticfusion方法、BadSlam方法估計的軌跡更貼合實際軌跡,位姿跟蹤具有一定魯棒性,且使用的關(guān)鍵幀數(shù)量較少,降低了冗余信息對算法的干擾,在三維重建時也能為點云的重建拼接提供正確的指導(dǎo)。
2.3 番茄植株三維重建
為了驗證本研究方法在真實復(fù)雜農(nóng)業(yè)場景下的三維重建效果,使用自建番茄植株數(shù)據(jù)集進行三維重建,通過統(tǒng)計濾波算法[19]剔除離散點,并對濾波效果進行可視化展示,重建結(jié)果如圖7所示,圖8為未濾波點云,圖9為剔除的離散點。?
為了分析濾波對重建效果的影響,對點云中三維點的數(shù)量進行統(tǒng)計,選取3個番茄植株RGB-D圖像序列的重建點云,統(tǒng)計其濾波前后三維點的數(shù)量變化,如表2所示。
對濾波前后點云進行比較分析,剔除的離群點數(shù)量在3%~10%,由圖7、圖8可知,離散點主要分布在番茄果實與植株邊緣,葉片與葉片的細微縫隙間,大量的離散點模糊了番茄果實和葉片的形狀,填充了葉片間的間隙,使得有些葉片的點云相重合,嚴重影響了重建質(zhì)量,導(dǎo)致重建的番茄三維點云過于雜亂。濾波之后的點云,分布在空間中的離散點被大量去除,番茄重建點云質(zhì)量明顯提高,在保證番茄植株主體點云完整性的同時,細化了點云的邊界輪廓,也一定程度上降低了點云文件的存儲大小。
為了評估番茄果實三維重建的準確性,使用CloudCompare點云軟件,對濾波過的番茄果實三維點云果徑進行測量,選取番茄果實點云模型兩側(cè)與背景交界處的兩點,將兩點距離作為測量果徑,并與實際測量果徑進行比較。結(jié)果如表 3所示,本系統(tǒng)重建的點云果徑與實際果徑平均絕對誤差為1.48 mm,與實際情況十分接近,點云還原度高,重建品質(zhì)較好,濾波算法沒有對果實表型信息造成破壞,信息保留完整。三維重建方法對溫室環(huán)境下的番茄植株進行三維重建,番茄植株清晰可見,表型信息還原度高,拍攝過程中即使有些許葉片遮擋,重建質(zhì)量仍能得到保障,具有一定的穩(wěn)定性和魯棒性,能夠支持進一步的番茄植株表型研究。
3 討論
Elasticfusion方法通過迭代的方式最小化點云間點的距離,利用ICP算法[22]進行位姿計算,具有很高的準確性,該方法計算量大,迭代次數(shù)多,位姿估計時間長,在點云背景嘈雜的情況下,位姿估計結(jié)果極易受到影響,位姿軌跡結(jié)果表現(xiàn)差。而BadSlam方法使用直接法計算位姿,利用GPU加速運算,通過2幀間的幾何對齊和光度對齊估計相對位姿變換,對照明變化具有一定魯棒性,但該方法在運行過程中每10幀進行1次關(guān)鍵幀選擇,無法適應(yīng)較大的位姿變換,在三維重建時容易造成三維信息的冗余或缺失,在數(shù)據(jù)集上的表現(xiàn)不穩(wěn)定。BadSlam方法在fr1_plant數(shù)據(jù)集下位姿估計比Elasticfusion方法準確,但在fr1_teddy數(shù)據(jù)集下,BadSlam方法穩(wěn)定性較差,估計的位姿整體準確度低于Elasticfusion方法,軌跡誤差會逐漸累積變大,最終估計的軌跡會偏離實際軌跡。
為了能夠在真實復(fù)雜的農(nóng)業(yè)生產(chǎn)場景下進行三維重建,采用基于特征匹配的位姿估計方法,僅利用少量但關(guān)鍵的匹配特征點進行位姿計算,成功降低了計算量,不僅提供了準確的位姿信息,還顯著增強了系統(tǒng)的魯棒性,相較于其他三維重建方法更具抗噪性能,在復(fù)雜的農(nóng)業(yè)環(huán)境下,這種抗干擾能力的強化對于應(yīng)對場景中可能存在的各種噪音和干擾至關(guān)重要。
大量冗余的三維信息也會對三維重建的質(zhì)量造成影響,尤其是在復(fù)雜的農(nóng)業(yè)場景下,番茄植株相互遮擋會造成三維信息的不準確。因此,本研究進一步對關(guān)鍵幀信息進行優(yōu)化,生成并維護1個當前場景的動態(tài)地圖,采取合適的關(guān)鍵幀保留策略,剔除冗余的關(guān)鍵幀信息,保留重要且對重建幫助大的關(guān)鍵幀信息,使其均勻分布在運動軌跡上,增加三維信息利用率,減少三維重建的時長,進一步提高復(fù)雜農(nóng)業(yè)場景下三維重建方法的魯棒性。
本研究提出的方法在進行點云拼接時,未使用復(fù)雜的融合策略,構(gòu)建番茄三維點云模型時,使用統(tǒng)計濾波進行離散點剔除,減少點云空間中的噪聲點,使番茄模型輪廓更加清晰,既考慮到重建效率又能提高重建點云的精細度。但因番茄種植場景背景太過復(fù)雜,相較于簡單的室內(nèi)環(huán)境,生成的深度圖噪聲較大,最終重建的結(jié)果還有待提高,在今后的工作中嘗試增加深度圖的預(yù)處理模塊,并在點云融合的過程中對每一幀將要融合進來的點云進行處理來減少壞點,保持點云密度均勻分布,使點云重建更加精細。
4 小結(jié)
為了解決復(fù)雜農(nóng)業(yè)生產(chǎn)環(huán)境下三維重建難的問題以及滿足采摘機器人的定位需求,本研究設(shè)計了基于ORB-SLAM3的三維點云重建系統(tǒng),通過SLAM方法獲取位姿信息,結(jié)合點云拼接和統(tǒng)計濾波技術(shù),利用位姿信息完成番茄植株的點云精細重建。本系統(tǒng)在TUM數(shù)據(jù)集和自建番茄植株數(shù)據(jù)集上進行驗證,結(jié)果表明,本系統(tǒng)能在溫室環(huán)境下獲取準確的位姿信息,并生成番茄植株三維模型,實現(xiàn)了真實農(nóng)業(yè)種植場景下番茄植株的三維重建,可以作為農(nóng)業(yè)采摘機器人的視覺系統(tǒng),為溫室環(huán)境下采摘機械臂的精確操作提供位姿信息,也可以為植株三維重建等表型分析任務(wù)提供有力支持。
參考文獻:
[1] 趙德安,姬 偉,陳 玉,等. 果樹采摘機器人研制與設(shè)計[J]. 機器人技術(shù)與應(yīng)用,2014(5): 16-20.
[2] 趙 敬,楊化偉,劉光輝,等. 我國果蔬采摘機器人技術(shù)發(fā)展現(xiàn)狀及展望[J]. 農(nóng)業(yè)裝備與車輛工程, 2023, 61(7): 23-28.
[3] 鄭太雄,黃 帥,李永福,等.基于視覺的三維重建關(guān)鍵技術(shù)研究綜述[J].自動化學(xué)報,2020,46(4):631-652.
[4] 蔡健榮,孫海波,李永平,等. 基于雙目立體視覺的果樹三維信息獲取與重構(gòu)[J]. 農(nóng)業(yè)機械學(xué)報, 2012, 43(3): 152-156.
[5] 勞彩蓮,楊 瀚,李 鵬,等.基于消費級深度相機的玉米植株三維重建[J].農(nóng)業(yè)機械學(xué)報,2019,50(7):222-228.
[6] 胡曉雨,楊志強,王龍其,等.基于三維重建的枸杞植株表型參數(shù)測量[J].農(nóng)業(yè)科學(xué)研究,2023,44(2):31-38.
[7] MAHMUD M S, ZAHID A, HE L,et al. Lidar-sensed tree canopy correction in uneven terrain conditions using a sensor fusion approach for precision sprayers[J]. Computers and electronics in agriculture,2021,191: 106565.
[8] CAMPOS C, ELVIRA R, RODRíGUEZ J J, et al. Orb-slam3: An accurate open-source library for visual, visual-inertial, and multimap slam[J]. IEEE transactions on robotics: A publication of the IEEE robotics and automation society,2021,37(6): 1874-1890.
[9] TENG X, ZHOU G, WU Y, et al. Three-dimensional reconstruction method of rapeseed plants in the whole growth period using rgb-d camera[J]. Sensors, 2021, 14: 4628.
[10] RUSU R B, MARTON Z C, BLODOW N, et al. Towards 3D point cloud based object maps for household environments[J]. Robotics and autonomous systems, 2008, 56(11): 927-941.
[11] STURM J, ENGELHARD N, ENDRES F, et al.A benchmark for the evaluation of RGB-D SLAM systems[A].IEEE/RSJ international conference on intelligent robots and systems[C].Algarve,Vilamoura:IEEE,2012.
[12] 權(quán)美香,樸松昊,李 國. 視覺SLAM綜述 [J]. 智能系統(tǒng)學(xué)報, 2016, 11(6):768-776.
[13] CIVERA J, LEE S H. RGB-D odometry and SLAM[M].Berlin, Germany:Springer,2019.
[14] 單 杰.光束法平差簡史與概要[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2018,43(12):1797-1810.
[15] ZHANG Q, XU G,LI N.Improved slam closed-loop detection algorithm based on DBoW2[J]. Journal of physics: Conference series,2019,4:42094 .
[16] 許宏科,秦嚴嚴,陳會茹.基于改進ORB的圖像特征點匹配[J].科學(xué)技術(shù)與工程, 2014,14(18):105-110.
[17] ROSTEN E,DRUMMOND T.Machine learning for high-speed corner detection[A].European conference on computer vision[C].Berlin,Germany:Springer-Verlag,2006.
[18] 周莉莉,姜 楓.基于FAST和BRIEF的圖像匹配算法[J].計算機工程與設(shè)計, 2015, 36(5):1269-1273.
[19] RUSU R B, MARTON Z C, BLODOW N, et al. Towards 3D point cloud based object maps for household environments[J]. Robotics and autonomous systems,2008,56(11): 927-941.
[20] WHELAN T, LEUTENEGGER S, SALAS-MORENO R, et al. ElasticFusion: Dense SLAM without a pose graph[J]. Robotics: Science and systems, 2015,11:3.
[21] ZHANG S, ZHENG L, TAO W.Survey and evaluation of RGB-D SLAM[J].IEEE access, 2021, 99:3053188.
[22] 楊現(xiàn)輝,王惠南.ICP算法在3D點云配準中的應(yīng)用研究[J].計算機仿真, 2010,27(8):235-238.
基金項目:新疆維吾爾自治區(qū)重大科技專項(2022A02011)
作者簡介:尹書林(1996-),男,河南信陽人,碩士,主要從事計算機視覺、三維重建研究,(電話)18703887791(電子信箱)540963685@qq.com;通信作者,董 巒(1982-),男,山西長治人,副教授,博士,主要從事計算機視覺、機器學(xué)習(xí)研究,(電子信箱)dl@xjau.edu.cn。