基于視覺(jué)SLAM的水果采摘機(jī)器人研究進(jìn)展

孟繁　周馨曌　吳烽云　鄒天龍

摘要：水果采摘機(jī)器人是一種具有較大潛力的農(nóng)業(yè)自動(dòng)化技術(shù)，不僅需在復(fù)雜且不斷變化的環(huán)境中連續(xù)作業(yè)，還面臨地形、樹(shù)木分布、天氣變化、環(huán)境光照、遮擋等多種挑戰(zhàn)。視覺(jué)同步定位與地圖構(gòu)建（SLAM）作為一種成本低廉且能夠提供豐富語(yǔ)義信息的技術(shù)，有望提高水果采摘機(jī)器人的效率和自動(dòng)化程度。近年來(lái)，視覺(jué)SLAM在水果采摘機(jī)器人領(lǐng)域取得了一系列重要進(jìn)展，主要包括深度學(xué)習(xí)優(yōu)化方法、基于點(diǎn)線(xiàn)特征的優(yōu)化方法、基于RGB-D的視覺(jué)SLAM優(yōu)化方法、動(dòng)態(tài)環(huán)境中視覺(jué)SLAM優(yōu)化方法、回環(huán)檢測(cè)和后端優(yōu)化方法等。未來(lái)，水果采摘機(jī)器人領(lǐng)域的研究將朝著更高的自動(dòng)化程度和采摘效率方向發(fā)展；可能的發(fā)展方向包括更復(fù)雜的感知系統(tǒng)、更智能的決策算法、更強(qiáng)大的硬件支持等。此外，水果采摘機(jī)器人在多樣化水果園中的適應(yīng)性和魯棒性研究也將引領(lǐng)這一領(lǐng)域的發(fā)展。通過(guò)不斷推動(dòng)視覺(jué)SLAM技術(shù)的創(chuàng)新，水果采摘機(jī)器人有望成為現(xiàn)代農(nóng)業(yè)的重要工具，提高水果產(chǎn)量并減輕農(nóng)業(yè)勞動(dòng)力短缺的問(wèn)題。

關(guān)鍵詞：同步定位與地圖構(gòu)建；水果采摘機(jī)器人；機(jī)器視覺(jué)；自動(dòng)化

中圖分類(lèi)號(hào)：TP391.4???????? 文獻(xiàn)標(biāo)志碼：A ????? ???文章編號(hào)：1674-2605（2023）05-0002-07

DOI：10.3969/j.issn.1674-2605.2023.05.002

Research Progress in Fruit Picking Robots Based on Visual SLAM

MENG Fan^1，2ZHOU Xinzhao²WU Fengyun³ZOU Tianlong²

（1.Zhongkai College of Agricultural Engineering， Guangzhou 510225， China

2.Foshan Zhongke Innovation Research Institute of Intelligent Agriculture， Foshan 528010， China

3.Guangzhou College of Commerce， Guangzhou 511363， China）

Abstract： Fruit picking robots are a promising agricultural automation technology， but they must operate continuously in complex and constantly changing environments， facing various challenges such as terrain， tree distribution， weather changes， environmental lighting， and occlusion. Visual SLAM， as a low-cost technology that can provide rich semantic information， has attracted widespread research interest as it has the potential to significantly improve the efficiency and automation of fruit picking robots. In recent years， visual SLAM has made a series of important progress in the field of fruit picking robots. Mainly including deep learning optimization methods; Optimization method based on point line features; Visual SLAM optimization method based on RGB-D; Visual SLAM optimization methods in dynamic environments; Loop detection and backend optimization methods. In the future， research in the field of fruit picking robots will move towards higher levels of automation and harvesting efficiency. Possible development directions include more complex perception systems， more intelligent decision algorithms， and stronger hardware support. In addition， research on the adaptability and robustness of robots in diverse water orchards will continue to lead the development of this field. By continuously promoting the innovation of visual SLAM technology， fruit picking robots are expected to become an important tool in modern agriculture， increasing production and alleviating the problem of agricultural labor shortage.

Keywords：simultaneous localization and mapping; fruit picking robots; machine vision; automation

0 引言

在非結(jié)構(gòu)化的環(huán)境中進(jìn)行實(shí)時(shí)、準(zhǔn)確和魯棒性的定位與導(dǎo)航對(duì)水果采摘機(jī)器人至關(guān)重要。隨著視覺(jué)傳感器技術(shù)的不斷發(fā)展，尤其是相機(jī)的低成本、微型化和高信息密度等特點(diǎn)，使視覺(jué)同步定位與地圖創(chuàng)建（simultaneous localization and mapping，?SLAM）受到廣泛關(guān)注。視覺(jué)SLAM的核心思想是先通過(guò)相機(jī)連續(xù)獲取圖像幀，再利用圖像幀與幀之間的信息來(lái)估計(jì)相機(jī)的運(yùn)動(dòng)軌跡并構(gòu)建周?chē)h(huán)境的三維地圖。與其他的SLAM技術(shù)相比，視覺(jué)SLAM能夠提供更加豐富的場(chǎng)景信息^[1]。因此，視覺(jué)SLAM不僅用于定位和導(dǎo)航^[2]等任務(wù)，還用于場(chǎng)景理解、水果識(shí)別等任務(wù)。

水果采摘機(jī)器人通常在室外果園復(fù)雜環(huán)境中作業(yè)，傳統(tǒng)的視覺(jué)SLAM技術(shù)在這種動(dòng)態(tài)變化和光照變化的環(huán)境中存在挑戰(zhàn)^[3-7]。近年來(lái)，隨著計(jì)算機(jī)硬件性能的不斷提高，深度學(xué)習(xí)在多個(gè)領(lǐng)域成為研究熱點(diǎn)^[8-10]。通過(guò)深度學(xué)習(xí)優(yōu)化的視覺(jué)SLAM系統(tǒng)具有更強(qiáng)的特征提取能力、動(dòng)態(tài)環(huán)境魯棒性、模型通用性和可遷移性^[11-13]。同時(shí)多傳感器融合優(yōu)化SLAM方法也是未來(lái)發(fā)展方向^[14]。本文通過(guò)介紹視覺(jué)SLAM系統(tǒng)的基本原理和關(guān)鍵技術(shù)，闡述在復(fù)雜環(huán)境中水果采摘機(jī)器人的視覺(jué)SLAM優(yōu)化方法和未來(lái)發(fā)展方向。

1 視覺(jué)SLAM系統(tǒng)基本原理

視覺(jué)SLAM系統(tǒng)的工作流程主要包括視覺(jué)傳感器數(shù)據(jù)采集、前端視覺(jué)里程計(jì)、后端非線(xiàn)性?xún)?yōu)化、回環(huán)檢測(cè)和建圖5個(gè)模塊，如圖1所示。

在視覺(jué)傳感器數(shù)據(jù)采集模塊，相機(jī)或其他視覺(jué)傳感器采集的圖像信息為系統(tǒng)提供原始數(shù)據(jù)；在前端視覺(jué)里程計(jì)模塊，系統(tǒng)通過(guò)在連續(xù)的圖像幀中提取和匹配關(guān)鍵點(diǎn)特征，識(shí)別場(chǎng)景中的路標(biāo)點(diǎn)并估算相機(jī)的實(shí)時(shí)位置和姿態(tài)，這會(huì)隨著時(shí)間累積誤差；為糾正誤差，在后端非線(xiàn)性?xún)?yōu)化模塊，參考各圖像幀之間的共視信息進(jìn)行位姿調(diào)整和精化，確保長(zhǎng)時(shí)間運(yùn)行下視覺(jué)SLAM系統(tǒng)的準(zhǔn)確性和穩(wěn)定性；若遇到已訪(fǎng)問(wèn)過(guò)的區(qū)域或場(chǎng)景，回環(huán)檢測(cè)模塊通過(guò)2個(gè)圖像幀的相似性是否超過(guò)預(yù)定閾值來(lái)判斷是否形成回環(huán)，一旦檢測(cè)到回環(huán)，對(duì)所有路標(biāo)點(diǎn)和位姿進(jìn)行優(yōu)化，以確保地圖的一致性和準(zhǔn)確性；在建圖模塊，優(yōu)化后的路標(biāo)點(diǎn)被用于構(gòu)建高質(zhì)量的三維地圖，該地圖不僅為水果采摘機(jī)器人提供導(dǎo)航信息，還為后續(xù)的路徑規(guī)劃和障礙物避讓提供基礎(chǔ)。

2 視覺(jué)SLAM優(yōu)化方法

2.1 深度學(xué)習(xí)優(yōu)化方法

文獻(xiàn)[15]提出一種融合目標(biāo)檢測(cè)網(wǎng)絡(luò)技術(shù)的動(dòng)態(tài)視覺(jué)SLAM算法，在視覺(jué)SLAM系統(tǒng)的主跟蹤流程中嵌入一個(gè)輔助的并行線(xiàn)程，如圖2所示。

該并行線(xiàn)程結(jié)合了優(yōu)化的目標(biāo)檢測(cè)網(wǎng)絡(luò)與稀疏光流技術(shù)，可識(shí)別并排除動(dòng)態(tài)物體產(chǎn)生的不穩(wěn)定特征點(diǎn)，使系統(tǒng)僅使用來(lái)源于靜態(tài)環(huán)境的特征點(diǎn)進(jìn)行特征點(diǎn)匹配和相機(jī)位姿估計(jì)，從而提高視覺(jué)SLAM系統(tǒng)的穩(wěn)定性和定位準(zhǔn)確性。

文獻(xiàn)[16]提出一種針對(duì)回環(huán)檢測(cè)優(yōu)化的視覺(jué)SLAM算法。在前端處理階段，首先，利用定向來(lái)自加速段測(cè)試的特征（features from accelerated segment test， FAST）和旋轉(zhuǎn)二進(jìn)制魯棒獨(dú)立基本特征（binary robust independent elementary features， BRIEF）對(duì)連續(xù)幀圖像進(jìn)行特征提取和匹配；然后，通過(guò)多點(diǎn)透視成像（perspective-n-point，?PnP）方法對(duì)成功匹配的特征點(diǎn)進(jìn)行解析，估計(jì)相機(jī)的動(dòng)態(tài)軌跡，并篩選出關(guān)鍵幀。在后端優(yōu)化階段，首先，采用SqueezeNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征向量提?。蝗缓?，通過(guò)計(jì)算圖像特征向量的余弦相似度，判斷是否發(fā)生了回環(huán)事件，一旦檢測(cè)到回環(huán)，算法在位姿圖中添加相應(yīng)的約束條件，并運(yùn)用圖優(yōu)化理論對(duì)系統(tǒng)的位姿進(jìn)行全局優(yōu)化，確保視覺(jué)SLAM系統(tǒng)具有更高的精度與穩(wěn)定性。

文獻(xiàn)[17]提出一種結(jié)合語(yǔ)義信息的V-SLAM技術(shù)，主要包括語(yǔ)義地圖建構(gòu)和語(yǔ)義回環(huán)檢測(cè)2個(gè)核心部分。其中，在語(yǔ)義地圖建構(gòu)部分，采用YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)關(guān)鍵幀進(jìn)行二維圖像語(yǔ)義注釋?zhuān)捎脳l件隨機(jī)場(chǎng)模型將二維圖像語(yǔ)義注釋與場(chǎng)景內(nèi)部的分割聚類(lèi)信息結(jié)合，完成語(yǔ)義地圖構(gòu)建；在語(yǔ)義回環(huán)檢測(cè)部分，以關(guān)鍵幀的語(yǔ)義標(biāo)注為基礎(chǔ)，結(jié)合去除動(dòng)態(tài)物體特征點(diǎn)的策略，對(duì)傳統(tǒng)的詞典法進(jìn)行改進(jìn)，有效地去除可能引起誤判的動(dòng)態(tài)物體，從而提高機(jī)器人在動(dòng)態(tài)環(huán)境中的定位精度。

文獻(xiàn)[18]提出利用無(wú)監(jiān)督棧式卷積自編碼器（convolutional autoencoder， CAE）模型來(lái)提取圖像特征。經(jīng)過(guò)訓(xùn)練的CAEs卷積神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)輸入圖像特征，并將輸入圖像特征用于閉環(huán)檢測(cè)。

文獻(xiàn)[19]提出一種融合視覺(jué)-慣性SLAM的非結(jié)構(gòu)化柑橘園SLAM方法。通過(guò)BiSeNetV1對(duì)二維RGB圖像進(jìn)行語(yǔ)義分割并將其映射到點(diǎn)云，重建三維語(yǔ)義點(diǎn)云圖；引入統(tǒng)計(jì)離群值去除濾波器和OctoMap進(jìn)行后處理，去除離群值并估計(jì)三維空間中的障礙物，構(gòu)建更準(zhǔn)確、高效和靈活的地圖。

2.2 基于點(diǎn)線(xiàn)特征的優(yōu)化方法

文獻(xiàn)[20]提出一種基于點(diǎn)線(xiàn)特征的高速SLAM策略。在追蹤非關(guān)鍵幀時(shí)，采用描述子來(lái)匹配點(diǎn)特征，同時(shí)依賴(lài)幾何約束來(lái)匹配線(xiàn)特征。當(dāng)插入新的關(guān)鍵幀時(shí)，計(jì)算線(xiàn)特征的描述子，完成關(guān)鍵幀之間的線(xiàn)特征匹配，并利用線(xiàn)特征三角化算法生成地圖線(xiàn)。為確保視覺(jué)SLAM系統(tǒng)的實(shí)時(shí)性，減少線(xiàn)特征匹配過(guò)程的計(jì)算量，利用線(xiàn)特征提供的深度信息構(gòu)造虛擬的右目線(xiàn)段，并提出線(xiàn)特征重投影誤差的計(jì)算策略，優(yōu)化視覺(jué)SLAM系統(tǒng)性能，特別是在紋理較弱的場(chǎng)景中可以提高視覺(jué)SLAM系統(tǒng)的定位精度和魯棒性。

文獻(xiàn)[21]提出一種基于點(diǎn)線(xiàn)不變量的線(xiàn)特征匹配策略。該點(diǎn)線(xiàn)不變量是通過(guò)對(duì)線(xiàn)段及其兩側(cè)特征點(diǎn)的局部幾何結(jié)構(gòu)進(jìn)行編碼來(lái)定義的，可在現(xiàn)有的特征點(diǎn)上直接進(jìn)行線(xiàn)匹配，不僅加快了匹配速度，還提高了匹配的準(zhǔn)確性。此外，還在點(diǎn)線(xiàn)特征融合階段加入權(quán)重分配機(jī)制，根據(jù)場(chǎng)景中的特征豐富程度，在構(gòu)建誤差函數(shù)時(shí)為點(diǎn)線(xiàn)特征賦予不同的權(quán)重，進(jìn)一步優(yōu)化了算法的性能和魯棒性。

文獻(xiàn)[22]提出一種結(jié)合點(diǎn)線(xiàn)特征的視覺(jué)SLAM方法，采用模塊化的技術(shù)策略。首先，從相機(jī)采集的環(huán)境圖像中提取點(diǎn)與線(xiàn)的特征，并通過(guò)幀間特征進(jìn)行連續(xù)跟蹤；然后，結(jié)合改進(jìn)的正規(guī)迭代最近點(diǎn)（normal iterative closest point， NICP）算法和特定的關(guān)鍵幀匹配技術(shù)搭建里程計(jì)系統(tǒng)；接著，為了實(shí)現(xiàn)全局一致性的位姿，融合基于點(diǎn)線(xiàn)特征詞典的閉環(huán)檢測(cè)技術(shù)和佐治亞理工大學(xué)平滑和映射庫(kù)（Georgia Tech smoothing and mapping library， GTSAM）圖優(yōu)化方法，得到三維點(diǎn)云地圖；最后，利用機(jī)器人技術(shù)中間件搭建系統(tǒng)，不僅提升了系統(tǒng)的實(shí)時(shí)性能，還為功能模塊提供了更強(qiáng)的可擴(kuò)展性和靈活性。

文獻(xiàn)[23]提出一種并行跟蹤和映射SLAM（parallel tracking and mapping-SLAM， PLP-SLAM）方法。該方法結(jié)合點(diǎn)、線(xiàn)段和平面3種特征，在擴(kuò)展卡爾曼濾波的框架內(nèi)工作。首先，利用點(diǎn)特征來(lái)估計(jì)機(jī)器人的當(dāng)前位姿；然后，構(gòu)建綜合點(diǎn)、線(xiàn)、平面特征的觀測(cè)模型；最后，設(shè)計(jì)帶有平面約束的線(xiàn)段特征數(shù)據(jù)關(guān)聯(lián)方法，并構(gòu)建相應(yīng)的系統(tǒng)狀態(tài)更新模型，進(jìn)一步增強(qiáng)了視覺(jué)SLAM系統(tǒng)的穩(wěn)定性和精度。該方法通過(guò)線(xiàn)段和平面特征來(lái)描述環(huán)境結(jié)構(gòu)更為準(zhǔn)確、高效。

2.3 基于RGB-D的視覺(jué)SLAM優(yōu)化方法

文獻(xiàn)[24]提出一種紅綠藍(lán)深度（red green blue-depth， RGB-D）SLAM方法，構(gòu)建基于重投影深度差值的累積模型，將圖像分為動(dòng)態(tài)和靜態(tài)2大區(qū)域?？紤]到動(dòng)態(tài)區(qū)域可能存在過(guò)分割的風(fēng)險(xiǎn)，排除與已匹配地圖點(diǎn)歐氏距離過(guò)大的動(dòng)態(tài)區(qū)域特征點(diǎn)，采用t分布方法估計(jì)剩下特征點(diǎn)的靜態(tài)概率。在這種情境下，靜態(tài)區(qū)域的特征點(diǎn)和動(dòng)態(tài)區(qū)域中可能被認(rèn)為是靜態(tài)的特征點(diǎn)都被納入位姿的優(yōu)化過(guò)程，但被賦予不同的權(quán)重。通過(guò)這種策略，可以得到經(jīng)過(guò)篩選和優(yōu)化的位姿，從而在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)更為精確和穩(wěn)定的定位。

文獻(xiàn)[25]提出一種基于增強(qiáng)分割技術(shù)的RGB-D SLAM方法。利用實(shí)例分割網(wǎng)絡(luò)和深度圖像聚類(lèi)來(lái)檢測(cè)當(dāng)前圖像幀中是否存在漏分割的情況。一旦檢測(cè)到漏分割，結(jié)合多幀數(shù)據(jù)來(lái)修復(fù)這些分割缺陷。在此基礎(chǔ)上，提取當(dāng)前圖像幀中的Shi-Tomasi角點(diǎn)，并使用對(duì)稱(chēng)轉(zhuǎn)移誤差來(lái)識(shí)別動(dòng)態(tài)角點(diǎn)集合。結(jié)合修復(fù)后的實(shí)例分割結(jié)果來(lái)確定場(chǎng)景中每個(gè)實(shí)例對(duì)象的運(yùn)動(dòng)狀態(tài)。僅利用靜態(tài)特征點(diǎn)來(lái)追蹤相機(jī)的位姿，并構(gòu)建實(shí)例級(jí)的語(yǔ)義八叉樹(shù)地圖，從而在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)高效且準(zhǔn)確的定位和地圖創(chuàng)建。

文獻(xiàn)[26]提出一種融合直接法和特征點(diǎn)法的RGB-D SLAM算法。該算法結(jié)合了直接法和特征點(diǎn)法的優(yōu)點(diǎn)，利用后端優(yōu)化和閉環(huán)檢測(cè)，在復(fù)雜環(huán)境中提高定位和建圖的準(zhǔn)確性。在定位環(huán)節(jié)，利用直接法提供初步估計(jì)的相機(jī)位姿，通過(guò)特征點(diǎn)匹配和重投影誤差最小化進(jìn)一步優(yōu)化相機(jī)位姿。針對(duì)一些特定的情況，如稀疏紋理、光線(xiàn)變化和移動(dòng)物體，通過(guò)優(yōu)化位姿輸出策略和地圖點(diǎn)的篩選方法，使算法能夠更好地應(yīng)對(duì)這些挑戰(zhàn)。在后端優(yōu)化部分，設(shè)計(jì)一種關(guān)鍵幀選擇策略，同時(shí)考慮了直接法和特征點(diǎn)法選取的關(guān)鍵幀，分別維護(hù)這兩種關(guān)鍵幀，并在滑動(dòng)窗口和特征地圖中進(jìn)行并行優(yōu)化。為了進(jìn)一步增強(qiáng)SLAM的全局一致性，對(duì)全局關(guān)鍵幀進(jìn)行閉環(huán)檢測(cè)和優(yōu)化，為視覺(jué)SLAM系統(tǒng)提供了一個(gè)更加魯棒和準(zhǔn)確的解決方案。

2.4 動(dòng)態(tài)環(huán)境中視覺(jué)SLAM優(yōu)化方法

文獻(xiàn)[27]提出一種融合光流和實(shí)例分割技術(shù)的SLAM方法。針對(duì)動(dòng)態(tài)物體與靜態(tài)背景在光流方向上的差異，提出一種能夠?qū)崟r(shí)檢測(cè)動(dòng)態(tài)區(qū)域的掩模算法。該算法在ORB-SLAM2的基礎(chǔ)上，能夠迅速排除動(dòng)態(tài)區(qū)域的特征點(diǎn)，去除與相機(jī)移動(dòng)相關(guān)的光流，留下與動(dòng)態(tài)物體自身運(yùn)動(dòng)相關(guān)的光流信息，并通過(guò)聚類(lèi)分析光流大小，準(zhǔn)確檢測(cè)出動(dòng)態(tài)區(qū)域。利用動(dòng)態(tài)掩模進(jìn)一步篩選出與動(dòng)態(tài)物體關(guān)聯(lián)的特征點(diǎn)，結(jié)合對(duì)極幾何約束，去除局部建圖過(guò)程中的動(dòng)態(tài)路標(biāo)點(diǎn)，在動(dòng)態(tài)環(huán)境中提高了視覺(jué)SLAM系統(tǒng)的性能，確保更為準(zhǔn)確和穩(wěn)定的地圖構(gòu)建和相機(jī)定位。

文獻(xiàn)[28]提出一種多焦距動(dòng)態(tài)立體視覺(jué)SLAM方法，框架圖如圖3所示。

與傳統(tǒng)立體相機(jī)只能固定在一種焦距模式下工作不同，該方法能夠同時(shí)兼顧遠(yuǎn)距離的景物和寬廣的視場(chǎng)，增強(qiáng)對(duì)不同距離和方向物體的感知能力。不同于對(duì)整幅圖像進(jìn)行修正，其只調(diào)整特征點(diǎn)的位置，因此立體匹配更加準(zhǔn)確且計(jì)算效率更高。同時(shí)設(shè)計(jì)了一種自適應(yīng)的特征提取與匹配算法，針對(duì)多焦距圖像，增加了特征匹配的數(shù)量和準(zhǔn)確性。結(jié)合多視圖幾何、區(qū)域特征流和相對(duì)距離判定來(lái)識(shí)別并剔除動(dòng)態(tài)物體的特征點(diǎn)，從而確保視覺(jué)SLAM的準(zhǔn)確性和魯棒性。

文獻(xiàn)[29]提出一種具備動(dòng)態(tài)區(qū)域剔除能力的雙目視覺(jué)SLAM方法。該方法的核心思想是檢測(cè)并剔除受動(dòng)態(tài)目標(biāo)影響的特征點(diǎn)。利用立體視覺(jué)的幾何約束來(lái)鑒別場(chǎng)景中的動(dòng)態(tài)稀疏特征點(diǎn)，結(jié)合場(chǎng)景的深度信息和顏色特征，實(shí)現(xiàn)場(chǎng)景區(qū)域的高效分割。通過(guò)已標(biāo)識(shí)的動(dòng)態(tài)點(diǎn)與場(chǎng)景分割結(jié)果，標(biāo)出場(chǎng)景內(nèi)的動(dòng)態(tài)區(qū)塊。針對(duì)雙目ORB-SLAM策略，從算法中移除動(dòng)態(tài)區(qū)域中的特征點(diǎn)，減少動(dòng)態(tài)物體對(duì)SLAM精度的不良影響，為復(fù)雜動(dòng)態(tài)環(huán)境中的高精度定位和建圖提供了有效策略。

文獻(xiàn)[30]提出一種在線(xiàn)構(gòu)建視覺(jué)詞典的閉環(huán)檢測(cè)方法。該方法優(yōu)先考慮與已有單詞Surf描述之間歐式距離最大的特征點(diǎn)。為了使詞典更具代表性并降低量化誤差，對(duì)特征點(diǎn)與單詞Surf描述之間的最近鄰約束條件進(jìn)行改進(jìn)，不僅可以更準(zhǔn)確地描述和捕獲場(chǎng)景中的關(guān)鍵信息，還能避免因視覺(jué)混淆引入的誤差。

文獻(xiàn)[31]提出面向場(chǎng)景變化的SLAM框架—SceneSLAM。該框架支持場(chǎng)景檢測(cè)與SLAM算法的智能切換，實(shí)現(xiàn)對(duì)環(huán)境的動(dòng)態(tài)自適應(yīng)。依據(jù)場(chǎng)景判定，SceneSLAM自動(dòng)選擇適宜傳感器驅(qū)動(dòng)的SLAM方法，增強(qiáng)環(huán)境的適應(yīng)性。設(shè)計(jì)了可以檢測(cè)室內(nèi)、室外和低光環(huán)境的場(chǎng)景識(shí)別模型，并為各種光線(xiàn)變化提供自適應(yīng)的SLAM模型。在算法切換時(shí)，系統(tǒng)能自動(dòng)進(jìn)行坐標(biāo)和尺度轉(zhuǎn)換，確保定位與地圖構(gòu)建結(jié)果具備全局一致性和尺度一致性。

2.5 回環(huán)檢測(cè)和后端優(yōu)化方法

文獻(xiàn)[32]提出一種結(jié)合詞袋模型、圖像結(jié)構(gòu)校驗(yàn)及跟蹤預(yù)測(cè)模型的算法，算法流程圖如圖4所示。

首先，通過(guò)整合局部和全局特征，構(gòu)建一個(gè)詞袋模型，該模型對(duì)比不同圖像的視覺(jué)單詞，能有效地篩選出可能形成閉環(huán)的候選幀；然后，采用圖像結(jié)構(gòu)校驗(yàn)?zāi)K對(duì)當(dāng)前圖像和閉環(huán)候選圖像進(jìn)行灰度化和歸一化處理，處理后的圖像可作為局部特征的上下文，計(jì)算全局描述符；最后，設(shè)計(jì)跟蹤預(yù)測(cè)模塊，避免隨著圖像數(shù)量增加傳統(tǒng)的回環(huán)檢測(cè)計(jì)算時(shí)間大幅上升的問(wèn)題，加快閉環(huán)檢測(cè)的計(jì)算速度，確保回環(huán)檢測(cè)實(shí)時(shí)性與準(zhǔn)確性的平衡。

文獻(xiàn)[33]提出一種結(jié)合2個(gè)視覺(jué)里程計(jì)的后端位姿圖優(yōu)化策略，系統(tǒng)框架如圖5所示。采用一個(gè)運(yùn)行頻率高但精度稍低的端到端視覺(jué)里程計(jì)和一個(gè)運(yùn)行頻率較低但精度更高的視覺(jué)里程計(jì)同時(shí)工作，提供的數(shù)據(jù)約束是局部?jī)?yōu)化的基礎(chǔ)，通過(guò)高斯-牛頓方法對(duì)其進(jìn)行迭代優(yōu)化。在進(jìn)行全局優(yōu)化時(shí)，基于關(guān)鍵幀進(jìn)行場(chǎng)景匹配，同時(shí)與局部?jī)?yōu)化同步進(jìn)行，確保高效和準(zhǔn)確的軌跡估計(jì)。

3 結(jié)論

深度學(xué)習(xí)在視覺(jué)SLAM領(lǐng)域已經(jīng)展現(xiàn)出較大的潛力和價(jià)值。盡管這是一個(gè)相對(duì)較新且不斷進(jìn)化的研究領(lǐng)域，但它已經(jīng)得到了廣大研究者的關(guān)注。深度學(xué)習(xí)與視覺(jué)SLAM的結(jié)合已在視覺(jué)里程計(jì)、場(chǎng)景識(shí)別及全局優(yōu)化等多個(gè)任務(wù)上具有突出的表現(xiàn)。深度神經(jīng)網(wǎng)絡(luò)以其出色的非線(xiàn)性擬合能力，在處理傳統(tǒng)方法難以模擬的復(fù)雜非線(xiàn)性關(guān)系時(shí)，表現(xiàn)出了優(yōu)越的魯棒性。此外，將語(yǔ)義信息納入傳統(tǒng)的視覺(jué)SLAM可以進(jìn)一步增強(qiáng)對(duì)圖像特征的理解，為創(chuàng)建語(yǔ)義豐富的高精度地圖開(kāi)辟了新途徑。

參考文獻(xiàn)

[1] CHEN M， TANG Y， ZOU X， et al. 3D global mapping of large-scale unstructured orchard integrating eye-in-hand stereo vision and SLAM[J]. Computers and Electronics in Agriculture， 2021，187：106237.

[2] 曹軍，曾碧，何元烈.基于路標(biāo)觀測(cè)的改進(jìn)EKF-SLAM算法[J].自動(dòng)化與信息工程，2014，35（1）：21-26.

[3] 李旗，倪江南.一種運(yùn)用計(jì)算機(jī)視覺(jué)和光學(xué)導(dǎo)航技術(shù)的采摘機(jī)器人[J].電子世界，2021（22）：52-53.

[4] 楊筱慧.獼猴桃采摘機(jī)器人視覺(jué)導(dǎo)航路徑方法研究[J].科技風(fēng)，2021（15）：23-24.

[5] 倪江楠，石新龍.基于光學(xué)導(dǎo)航的采摘機(jī)器人系統(tǒng)設(shè)計(jì)及定位方法研究[J].農(nóng)機(jī)化研究，2021，43（3）：221-225.

[6] 張曉亮.基于圖像融合技術(shù)的采摘機(jī)器人自主導(dǎo)航技術(shù)研究[J].農(nóng)機(jī)化研究，2020，42（11）：193-196.

[7] 郭素娜，張麗，劉志剛.一種高精度自主導(dǎo)航定位的葡萄采摘機(jī)器人設(shè)計(jì)[J].農(nóng)機(jī)化研究，2016，38（7）：20-24.

[8] VINCENT P， LAROCHELLE H， LAJOIE I， et al. Stacked denoising autoencoders： Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research， 2010， 11（12）.

[9] GU J， WANG Z， KUEN J， et al. Recent advances in convolutional neural networks[J]. Pattern recognition， 2018，77： 354-377.

[10] ZHANG C， BENGIO S， HARDT M， et al. Understanding deep learning （still） requires rethinking generalization[J]. Communications of the ACM， 2021，64（3）：107-115.

[11] 劉金輝，陳孟元，韓朋朋，等.面向移動(dòng)機(jī)器人大視角運(yùn)動(dòng)的圖神經(jīng)網(wǎng)絡(luò)視覺(jué)SLAM算法[J/OL].系統(tǒng)仿真學(xué)報(bào)：1-15. [2023-10-08].DOI：10.16182/j.issn1004731x.joss.23-0053.

[12]?史藍(lán)兮，顏文旭，倪宏宇，等.基于改進(jìn)目標(biāo)檢測(cè)的動(dòng)態(tài)場(chǎng)景SLAM研究[J/OL].系統(tǒng)仿真學(xué)報(bào)：1-13.[2023-10-08].http：//?kns.cnki.net/kcms/detail/11.3092.V.20230215.1438.005.html.

[13] 陳文峰，張學(xué)習(xí)，蔡述庭，等.基于YOLO v3和傳感器融合的機(jī)器人定位建圖系統(tǒng)[J].自動(dòng)化與信息工程，2021，42（2）：34-38;48.

[14] CREMONA J， CIVERA J， KOFMAN E， et al. GNSS-stereo-inertial SLAM for arable farming[J]. Journal of Field Robotics， 2023.

[15] 蔣暢江，劉朋，舒鵬.基于改進(jìn)YOLOv5s的動(dòng)態(tài)視覺(jué)SLAM算法[J/OL].北京航空航天大學(xué)學(xué)報(bào)：1-10.?https：//doi.org/ 10.13700/j.bh.1001-5965.2023.0154.

[16] 郭烈，葛平淑，王肖，等.基于卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化回環(huán)檢測(cè)的視覺(jué)SLAM算法[J].西南交通大學(xué)學(xué)報(bào)，2021，56（4）：706-712;768.

[17] 鄭冰清，劉啟漢，趙凡，等.一種融合語(yǔ)義地圖與回環(huán)檢測(cè)的視覺(jué)SLAM方法[J].中國(guó)慣性技術(shù)學(xué)報(bào)，2020，28（5）：629-637.

[18] 張?jiān)浦?，胡航，秦操，?基于棧式卷積自編碼的視覺(jué)SLAM閉環(huán)檢測(cè)[J].控制與決策，2019，34（5）：981-988.

[19] XIONG J， LIANG J， ZHUANG Y， et al. Real-time locali- zation and 3D semantic map reconstruction for unstructured citrus orchards[J]. Computers and Electronics in Agriculture， 2023， 213： 108217.

[20] 馬鑫，梁新武，蔡紀(jì)源.基于點(diǎn)線(xiàn)特征的快速視覺(jué)SLAM方法[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2021，55（2）：402-409.

[21] 陳興華，蔡云飛，唐印.一種基于點(diǎn)線(xiàn)不變量的視覺(jué)SLAM算法[J].機(jī)器人，2020，42（4）：485-493.

[22] 賈松敏，丁明超，張國(guó)梁.RTM框架下基于點(diǎn)線(xiàn)特征的視覺(jué)SLAM算法[J].機(jī)器人，2019，41（3）：384-391.

[23] 李海豐，胡遵河，陳新偉.PLP-SLAM：基于點(diǎn)、線(xiàn)、面特征融合的視覺(jué)SLAM方法[J].機(jī)器人，2017，39（2）：214-220;229.

[24] 林凱，梁新武，蔡紀(jì)源.基于重投影深度差累積圖與靜態(tài)概率的動(dòng)態(tài)RGB-D SLAM算法[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2022，56（6）：1062-1070.

[25] 王浩，盧德玖，方寶富.動(dòng)態(tài)環(huán)境下基于增強(qiáng)分割的RGB-D SLAM方法[J].機(jī)器人，2022，44（4）：418-430.

[26] 谷曉琳，楊敏，張燚，等.一種基于半直接視覺(jué)里程計(jì)的RGB-D SLAM算法[J].機(jī)器人，2020，42（1）：39-48.

[27] 徐陳，周怡君，羅晨.動(dòng)態(tài)場(chǎng)景下基于光流和實(shí)例分割的視覺(jué)SLAM方法[J].光學(xué)學(xué)報(bào)，2022，42（14）：147-159.

[28] 馮明馳，劉景林，李成南，等.一種多焦距動(dòng)態(tài)立體視覺(jué)SLAM[J].儀器儀表學(xué)報(bào)，2021，42（11）：200-209.

[29] 魏彤，李緒.動(dòng)態(tài)環(huán)境下基于動(dòng)態(tài)區(qū)域剔除的雙目視覺(jué)SLAM算法[J].機(jī)器人，2020，42（3）：336-345.

[30] 王云峰，翁秀玲，吳煒，等.基于貪心策略的視覺(jué)SLAM閉環(huán)檢測(cè)算法[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），?2017，50（12）：1262-1270.

[31] 史殿習(xí)，童哲航，楊紹武，等.面向場(chǎng)景變化的動(dòng)態(tài)自適應(yīng)同時(shí)定位與地圖構(gòu)建[J].中國(guó)科學(xué)：技術(shù)科學(xué)，2018，48（12）：?1373-1391.

[32] 安平，王國(guó)平，余佳東，等.一種高效準(zhǔn)確的視覺(jué)SLAM閉環(huán)檢測(cè)算法[J].北京航空航天大學(xué)學(xué)報(bào)，2021，47（1）：24-30.

[33] 曹劍飛，余金城，潘尚杰，等.采用雙視覺(jué)里程計(jì)的SLAM位姿圖優(yōu)化方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2021，?33（8）：1264-1272.

作者簡(jiǎn)介：

孟繁，男，1998年生，碩士研究生，主要研究方向：農(nóng)業(yè)電氣化與自動(dòng)化。E-mail：?3270530377@qq.com

周馨曌，女，1997年生，博士，主要研究方向：智慧農(nóng)業(yè)、機(jī)器視覺(jué)、農(nóng)業(yè)電氣化與自動(dòng)化。E-mail： zxinzhao@126.com

吳烽云（通信作者），女，1988年生，博士，主要研究方向：智慧農(nóng)業(yè)、機(jī)器視覺(jué)。E-mail： fyseagull@163.com

鄒天龍，男，1986年生，大專(zhuān)，主要研究方向：測(cè)控系統(tǒng)集成應(yīng)用。E-mail：?84174619@qq.com