特征法視覺(jué)SLAM逆深度濾波的三維重建

張 一，姜 挺，江剛武，余岸竹，于 英

信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450001

視覺(jué)即時(shí)定位與地圖構(gòu)建(visual simultaneous localization and mapping,VSLAM)技術(shù)，以視頻序列影像為輸入，能夠在恢復(fù)相機(jī)運(yùn)動(dòng)軌跡的同時(shí)，實(shí)時(shí)重建未知場(chǎng)景的三維結(jié)構(gòu)，可用于無(wú)人機(jī)、車(chē)輛、機(jī)器人等平臺(tái)的智能環(huán)境感知、自動(dòng)駕駛與導(dǎo)航[1]，也可用于應(yīng)急測(cè)繪、災(zāi)害與突發(fā)事件監(jiān)測(cè)、虛擬與增強(qiáng)現(xiàn)實(shí)等場(chǎng)景，具有廣闊的應(yīng)用前景與市場(chǎng)潛力[2-3]。

目前視覺(jué)SLAM算法主要采用基于關(guān)鍵幀優(yōu)化的特征法[4-6]進(jìn)行實(shí)現(xiàn)，其基本流程是：首先從每幅影像中提取出具有可重復(fù)性與顯著區(qū)分性的點(diǎn)、線特征；使用不變性描述符在后續(xù)幀中對(duì)特征進(jìn)行匹配，利用多視圖幾何原理恢復(fù)相機(jī)位姿與結(jié)構(gòu)，然后通過(guò)光束法平差[7]進(jìn)行聯(lián)合優(yōu)化。

在諸多特征法SLAM中最具代表性的是ORB-SLAM[8-9]，它采用統(tǒng)一的ORB[10](oriented FAST and rotated BRIEF)特征進(jìn)行計(jì)算，在室內(nèi)外環(huán)境中均能穩(wěn)健、實(shí)時(shí)運(yùn)行，可在大視角差異下完成重定位與閉環(huán)檢測(cè)，并且由像點(diǎn)匹配累積的共視[6]信息可用于構(gòu)建強(qiáng)壯的平差與圖優(yōu)化[11]網(wǎng)絡(luò)，有利于得到全局最優(yōu)解。ORB-SLAM的主要缺陷在于，地圖點(diǎn)通過(guò)兩關(guān)鍵幀三角化直接得到，對(duì)于短基線視頻影像，其深度不確定性較大，為避免粗差必須采取嚴(yán)格的篩選策略，導(dǎo)致所構(gòu)點(diǎn)云地圖十分稀疏。此外，ORB-SLAM的非關(guān)鍵幀在追蹤完后即被拋棄，其對(duì)地圖點(diǎn)深度信息無(wú)貢獻(xiàn)，造成了資源浪費(fèi)。

從應(yīng)用層面看，稀疏點(diǎn)云僅可用于傳感器的自身定位，而較高級(jí)的視覺(jué)導(dǎo)航、避障、虛擬增強(qiáng)現(xiàn)實(shí)、模型重建、語(yǔ)義識(shí)別等應(yīng)用，都需要更加稠密的地圖表達(dá)。為此，直接法相關(guān)技術(shù)獲得了更多關(guān)注，它根據(jù)像素亮度差異直接構(gòu)建優(yōu)化問(wèn)題求解相機(jī)位姿，并采用一種基于概率分布的深度濾波器模型[12-14]，利用多幀影像更新地圖點(diǎn)深度信息。早期的直接法多根據(jù)稠密深度圖進(jìn)行計(jì)算，以最大化利用影像信息并增加穩(wěn)健性[15-17]，這類(lèi)算法一般需要GPU加速來(lái)滿足計(jì)算要求。文獻(xiàn)[14,18]使用具有顯著梯度的像素，在CPU上完成了較稠密的實(shí)時(shí)重建；文獻(xiàn)[13,19]提出了僅需少量像素的稀疏直接法，使算法具有更強(qiáng)的適用性。

直接法不必進(jìn)行特征提取與匹配，因而具備了更高的計(jì)算效率，但它易受相機(jī)曝光、環(huán)境光源等因素影響，當(dāng)場(chǎng)景亮度變化劇烈時(shí)可能導(dǎo)致求解失敗，穩(wěn)健性不足[2]。另外，直接法優(yōu)化基于像素本身進(jìn)行操作，該過(guò)程需要完整的影像數(shù)據(jù)，對(duì)于大規(guī)模場(chǎng)景來(lái)說(shuō)，由于設(shè)備存儲(chǔ)空間有限，直接法難以進(jìn)行全局質(zhì)量控制。為此文獻(xiàn)[20]將概率分布構(gòu)圖方法應(yīng)用于ORB-SLAM中，使得其在保留特征法優(yōu)點(diǎn)的同時(shí)，能夠重建出精確的稠密場(chǎng)景結(jié)構(gòu)。但由于其構(gòu)圖模塊獨(dú)立于ORB-SLAM系統(tǒng)并具有若干關(guān)鍵幀的延遲，嚴(yán)格意義上并不屬于在線處理，并且構(gòu)圖結(jié)果無(wú)法用于后續(xù)幀的位姿追蹤，作用有限。

在總結(jié)前文算法的基礎(chǔ)上，本文提出一種特征法視覺(jué)SLAM逆深度濾波的三維重建方法，無(wú)須GPU加速即可實(shí)時(shí)、增量式地重建出較為稠密的點(diǎn)云地圖。在前端中，設(shè)計(jì)了一種基于運(yùn)動(dòng)模型的參考關(guān)鍵幀追蹤流程，能夠有效利用視頻影像先驗(yàn)約束獲取精確的相對(duì)位姿關(guān)系；建模并分析了深度估計(jì)誤差，采用一種基于概率分布的逆深度濾波器構(gòu)圖方法，可得到更加稠密的地圖點(diǎn)。在后端中，提出一種基于特征法與直接法混合的優(yōu)化框架以及基于平差約束的點(diǎn)位篩選策略，可以準(zhǔn)確、高效地恢復(fù)相機(jī)位姿與場(chǎng)景結(jié)構(gòu)。

1 總體流程與關(guān)鍵技術(shù)

1.1 總體流程

本文核心思路是：地圖點(diǎn)不再由兩幀三角化直接得到，而是先構(gòu)造為種子點(diǎn)，經(jīng)多幀信息融合直至深度收斂后再插入地圖。為此設(shè)計(jì)總體流程如圖1所示，系統(tǒng)以O(shè)RB-SLAM為基礎(chǔ)框架，仍采用前后端結(jié)合的三線程結(jié)構(gòu)，主要改動(dòng)集中于追蹤與局部構(gòu)圖線程，以粗體表示。

圖1 本文方法總體流程Fig.1 Flowchart of the proposed algorithm

對(duì)于輸入的每一幀視頻序列影像，首先在前端追蹤線程中提取ORB特征，利用運(yùn)動(dòng)模型提供的幀間先驗(yàn)約束，將參考關(guān)鍵幀的地圖點(diǎn)投影至當(dāng)前幀，進(jìn)行特征匹配與位姿估計(jì)；然后在逆深度濾波器中對(duì)參考關(guān)鍵幀的種子點(diǎn)進(jìn)行極線匹配并更新其深度；最后判斷該當(dāng)前幀是否應(yīng)作為新關(guān)鍵幀插入局部構(gòu)圖線程。

后端局部構(gòu)圖線程收到新關(guān)鍵幀后，首先將原參考關(guān)鍵幀中所有深度收斂的種子點(diǎn)激活為新的地圖點(diǎn)，并與鄰近關(guān)鍵幀的其他局部地圖點(diǎn)一起投影至新關(guān)鍵幀以建立更多匹配；隨后根據(jù)各地圖點(diǎn)的觀測(cè)情況，采用一種基于特征法與直接法的混合框架優(yōu)化方法，聯(lián)合求解局部相機(jī)位姿與場(chǎng)景三維結(jié)構(gòu)；在剔除掉地圖野點(diǎn)與重復(fù)關(guān)鍵幀后，將新關(guān)鍵幀作為后續(xù)影像的追蹤參考幀，其未匹配的特征點(diǎn)構(gòu)造為新的種子點(diǎn)；最后，將新關(guān)鍵幀送入閉環(huán)線程以實(shí)現(xiàn)最優(yōu)全局一致性。

1.2 運(yùn)動(dòng)模型追蹤參考關(guān)鍵幀

準(zhǔn)確的極線幾何關(guān)系是本文逆深度濾波器順利更新種子點(diǎn)深度的前提，因此前端系統(tǒng)需提供當(dāng)前幀Ic關(guān)于參考關(guān)鍵幀Ir的精確相對(duì)位姿Tcr∈SE(3)。然而ORB-SLAM采用逐幀追蹤的方式，當(dāng)前幀并不直接與參考幀進(jìn)行匹配，Tcr只能通過(guò)間接方式求出，由于存在誤差累積等因素，該方法用于逆深度濾波器的效果較差。為此本文設(shè)計(jì)了一種新的追蹤方式，可直接計(jì)算當(dāng)前幀關(guān)于參考關(guān)鍵幀的相對(duì)位姿Tcr，基本流程如圖2所示。

由于視頻影像通常具有較高幀率，相機(jī)運(yùn)動(dòng)一般比較平穩(wěn)，具備豐富的先驗(yàn)信息，能夠?yàn)樽粉櫹到y(tǒng)提供良好的初值。常速運(yùn)動(dòng)模型假設(shè)短時(shí)間內(nèi)相機(jī)幀間相對(duì)位姿保持不變，即

Tc,c-1=Tc-1,c-2=Tv

(1)

(2)

1.3 逆深度濾波器

(3)

由式(3)可知，觀測(cè)融合后深度估計(jì)的方差會(huì)減小，當(dāng)其小于某一閾值并趨于穩(wěn)定時(shí)，就認(rèn)為該點(diǎn)的深度值收斂。本文采用文獻(xiàn)[13]提出的方法對(duì)深度估計(jì)誤差進(jìn)行建模。如圖3所示，設(shè)左影像Ir為參考關(guān)鍵幀，右影像Ic為已追蹤的當(dāng)前幀，O1、O2分別為兩幀相機(jī)光心位置，基線長(zhǎng)b，P為同名像點(diǎn)p1p2經(jīng)三角化得到的空間點(diǎn)，其在左影像中的深度值為dp，P、O1、O23點(diǎn)的夾角分別記為α、β、γ，l2為p1在當(dāng)前幀Ic中對(duì)應(yīng)的極線。

圖3 深度估計(jì)誤差模型Fig.3 Error model of depth estimation

(4)

理論上，深度濾波器只需不斷將當(dāng)前幀得到的深度估值與方差作為新的觀測(cè)，與已有數(shù)據(jù)進(jìn)行融合即可。然而實(shí)際過(guò)程中，由于位姿估計(jì)不夠準(zhǔn)確、匹配錯(cuò)誤等諸多原因，觀測(cè)值可能存在粗差，將會(huì)對(duì)融合結(jié)果產(chǎn)生較大影響，因此必須對(duì)該過(guò)程進(jìn)行優(yōu)化。

首先，文獻(xiàn)[21]發(fā)現(xiàn)逆深度(即深度值的倒數(shù))的統(tǒng)計(jì)直方圖更接近正態(tài)分布，因此在計(jì)算出P點(diǎn)深度值dp后，將其換算為逆深度ρp=1/dp，相應(yīng)的誤差計(jì)算公式為

(5)

其次，考慮到單像素的亮度與梯度沒(méi)有明顯的可區(qū)分性，易受噪聲影響，本文采用文獻(xiàn)[19]提出的8像素-圖像塊模型，用各像素的梯度均值作為中心像素的梯度，并按照距離平方和(sum of squared distance，SSD)測(cè)度進(jìn)行極線搜索匹配，能夠保證較高的準(zhǔn)確度并兼顧效率，如圖4所示，其中p1為待匹配點(diǎn)，pmin與pmax分別是按照最大與最小逆深度值(ρp±3δρ)計(jì)算的空間點(diǎn)P投影到當(dāng)前幀的像點(diǎn)，兩點(diǎn)連線即為極線段向量l2。

此外，匹配點(diǎn)像素梯度與極線的夾角也對(duì)深度濾波器有重要影響，隨著像素梯度與極線段夾角的增加，極線匹配的不確定性也會(huì)增加[22]。由于視頻影像幀率較高，幀間相對(duì)旋轉(zhuǎn)較小，可將參考幀Ir上p1點(diǎn)的圖像塊平均梯度gp作為當(dāng)前幀Ic匹配點(diǎn)p2梯度的近似，于是由像素梯度與極線夾角造成的誤差可被定義為

(6)

式中,n2表示極線段l2的法向量。由式(6)可知，當(dāng)l2與gp平行時(shí)，Ep取得最小值，反之當(dāng)l2與gp垂直時(shí)Ep取得最大值。在實(shí)際計(jì)算過(guò)程中，若Ep小于某一閾值，并且極線搜索的最優(yōu)匹配SSD小于次優(yōu)匹配的一半以上，就認(rèn)為該點(diǎn)的深度觀測(cè)有效，可以對(duì)其進(jìn)行高斯融合。

圖4 圖像塊模型與極線搜索Fig.4 Patch model and epipolar line search

1.4 后端混合局部?jī)?yōu)化框架

后端優(yōu)化是維持SLAM系統(tǒng)一致性的關(guān)鍵，在ORB-SLAM中該問(wèn)題可以通過(guò)局部光束法平差解決，但由于本文方法地圖點(diǎn)是通過(guò)深度濾波算法構(gòu)造的，在初始化時(shí)僅能夠被當(dāng)前關(guān)鍵幀觀測(cè)，無(wú)法按照重投影誤差最小化原理進(jìn)行優(yōu)化。為此本文提出一種基于特征法與直接法的后端混合局部?jī)?yōu)化框架。

首先，對(duì)于觀測(cè)數(shù)大于等于3的地圖點(diǎn)，采用光束法平差聯(lián)合求解相機(jī)位姿與地圖點(diǎn)位置。然后，對(duì)每個(gè)觀測(cè)數(shù)小于3的地圖點(diǎn)，將其投影到其他關(guān)鍵幀，按照直接法輻射誤差最小化原理，對(duì)該點(diǎn)深度值進(jìn)行優(yōu)化。該過(guò)程可以用因子圖的形式表達(dá)，如圖5所示，MP1與MP2表示待優(yōu)化的地圖點(diǎn)，HostKF表示構(gòu)造這兩個(gè)地圖點(diǎn)的主幀，LocalKF表示與主幀存在共視連接的局部關(guān)鍵幀，Ob表示地圖點(diǎn)投影到目標(biāo)關(guān)鍵幀形成了一次觀測(cè)(觀測(cè)的主幀與目標(biāo)幀分別用紅線和藍(lán)線表示)。

假設(shè)圖像塊模型中的各像素具有相同的逆深度值，以MP1為例，其深度優(yōu)化目標(biāo)函數(shù)為

(7)

以及對(duì)應(yīng)的誤差項(xiàng)

(8)

采用該優(yōu)化框架的好處非常明顯：首先，觀測(cè)數(shù)較多的地圖點(diǎn)往往具有較好的穩(wěn)健性，平差系統(tǒng)能夠減少野點(diǎn)風(fēng)險(xiǎn)， 準(zhǔn)確恢復(fù)相機(jī)位姿與場(chǎng)景結(jié)構(gòu)[23]，如圖6(a)；其次，這類(lèi)地圖點(diǎn)數(shù)量稀疏，平差負(fù)擔(dān)??；而經(jīng)直接法優(yōu)化的地圖點(diǎn)，如圖6(b)，盡管比較稠密，但未知數(shù)僅有一個(gè)，且各點(diǎn)解算過(guò)程相互獨(dú)立，可采用并行策略進(jìn)行加速，從而提高優(yōu)化效率。

由于誤匹配等原因，系統(tǒng)在運(yùn)行過(guò)程中不可避免會(huì)出現(xiàn)地圖野點(diǎn)，需予以剔除。對(duì)于新構(gòu)建的地圖點(diǎn)，ORB-SLAM根據(jù)其在后續(xù)若干關(guān)鍵幀中的匹配情況進(jìn)行篩選，該策略無(wú)法用于本文直接法優(yōu)化的地圖點(diǎn)(匹配數(shù)不足，總是會(huì)被剔除)。為此，提出一種基于平差約束的篩選策略，每次后端優(yōu)化完成后，檢查所有新構(gòu)建的地圖點(diǎn)，如果滿足以下任一條件，就會(huì)被標(biāo)記為野點(diǎn)并剔除。

(1) 經(jīng)局部光束法平差優(yōu)化后，重投影誤差未通過(guò)χ2測(cè)試被標(biāo)記為野點(diǎn)的；

(2) 經(jīng)直接法優(yōu)化后，能量函數(shù)超過(guò)閾值被標(biāo)記為野點(diǎn)的；

此外，如果一個(gè)地圖點(diǎn)被標(biāo)記為野點(diǎn)，并且其主幀是最新的兩個(gè)關(guān)鍵幀之一，就重新將該點(diǎn)構(gòu)造為種子點(diǎn)進(jìn)行深度濾波。本文策略能夠在排除野點(diǎn)的同時(shí)，有效增加點(diǎn)云密度。

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)與評(píng)價(jià)方法

利用3組數(shù)據(jù)進(jìn)行驗(yàn)證，如圖7所示，第1組數(shù)據(jù)選自開(kāi)源TUM RGB-D數(shù)據(jù)集[24]，采用移動(dòng)機(jī)器人搭載Kinect相機(jī)拍攝，拍攝環(huán)境為室內(nèi)，本文僅利用其中的RGB數(shù)據(jù)，數(shù)據(jù)集提供了完整的相機(jī)參數(shù)以及由高精度IMU獲取的位姿數(shù)據(jù)作為評(píng)價(jià)真值。

第2、3組數(shù)據(jù)由大疆精靈4無(wú)人機(jī)相機(jī)獲取，其中第2組采用手持方式，拍攝對(duì)象為室內(nèi)機(jī)房，第3組采用航拍方式，拍攝對(duì)象為室外建筑，相機(jī)預(yù)先經(jīng)過(guò)標(biāo)定并對(duì)原始影像進(jìn)行了幾何畸變校正，3組數(shù)據(jù)均包含完整閉合回路，基本信息見(jiàn)表1。依據(jù)本文方法，在Ubuntu16.04系統(tǒng)下開(kāi)發(fā)了驗(yàn)證算法ZY-SLAM，所用PC配置為:Inter Core i7 2.6 GHz、DDR3 16 GB，未采用GPU加速。

表1 試驗(yàn)數(shù)據(jù)基本信息

由于本文方法基于ORB-SLAM框架實(shí)現(xiàn)，故以其作為主要比較對(duì)象，考慮到ORB-SLAM只能得到稀疏點(diǎn)云，而較為稠密的三維結(jié)構(gòu)表達(dá)又是直接法視覺(jué)里程計(jì)(visual odometry,VO)的研究熱點(diǎn)，因此采用當(dāng)前具有代表性的DSO[19](后文稱DSO-VO，區(qū)別于SLAM)共同比較，按如下3種方法分析本文方法性能：

(1) 通過(guò)比較系統(tǒng)處理影像的整體及關(guān)鍵環(huán)節(jié)運(yùn)行時(shí)間，驗(yàn)證算法的計(jì)算效率；

(2) 通過(guò)計(jì)算軌跡誤差，分析算法的相機(jī)位姿估計(jì)精度；

(3) 通過(guò)目視檢查，評(píng)價(jià)算法的重建效果。

2.2 計(jì)算效率分析

表2顯示了采用本文方法與ORB-SLAM對(duì)TUM_Desk數(shù)據(jù)進(jìn)行處理的系統(tǒng)運(yùn)行時(shí)間對(duì)比(由于DSO計(jì)算流程存在較大差異，這里未進(jìn)行對(duì)比)。本文方法的總體效率優(yōu)于ORB-SLAM，每幀平均處理時(shí)間約36 ms，幀率28 fps，基本滿足實(shí)時(shí)要求。

表2 系統(tǒng)總體運(yùn)行時(shí)間對(duì)比

考慮到本文方法地圖點(diǎn)數(shù)量超過(guò)ORB-SLAM的20倍，綜合效率提升非常顯著，這主要得益于：①追蹤線程中，本文方法采用追蹤參考關(guān)鍵幀的方式進(jìn)行位姿估計(jì)，不再逐幀追蹤局部地圖，節(jié)省了大量資源；②局部構(gòu)圖線程中，影響計(jì)算效率的主要是局部平差。本文算法采用的混合優(yōu)化框架，能夠在準(zhǔn)確恢復(fù)相機(jī)位姿與場(chǎng)景結(jié)構(gòu)的同時(shí)，有效降低平差規(guī)模，不僅可以減少局部平差優(yōu)化被中斷的次數(shù)，也可以更好地平衡追蹤與局部構(gòu)圖這兩個(gè)并行線程的關(guān)系，使系統(tǒng)更加流暢。

上述試驗(yàn)結(jié)果也證明由深度濾波構(gòu)造地圖點(diǎn)的方式更適合SLAM系統(tǒng)。從效率角度看，深度濾波利用若干相鄰幀影像更新深度，由于基線較短，極線搜索范圍小，匹配成功率高，計(jì)算負(fù)擔(dān)低，系統(tǒng)運(yùn)行更平滑，更符合增量式重建的特點(diǎn)，而ORB-SLAM為保證深度估計(jì)的可靠性，只在關(guān)鍵幀上進(jìn)行極線匹配，雖然基線較長(zhǎng)，但搜索范圍大，耗時(shí)較長(zhǎng)，同時(shí)由于影像函數(shù)的高度非凸性，可能存在若干接近最優(yōu)匹配的“次優(yōu)匹配”結(jié)果。從實(shí)用性角度看，深度濾波過(guò)程中，倘若某次觀測(cè)出現(xiàn)粗差，只需跳過(guò)該次觀測(cè)，系統(tǒng)仍可利用后續(xù)觀測(cè)準(zhǔn)確估計(jì)深度，而在ORB-SLAM中，地圖點(diǎn)由兩關(guān)鍵幀直接計(jì)算，為避免粗差就需采用多種組合策略進(jìn)行約束，實(shí)際能夠通過(guò)測(cè)試的點(diǎn)對(duì)非常少，這也是ORB-SLAM只能輸出稀疏點(diǎn)云的主要原因。

2.3 相機(jī)軌跡誤差分析

位姿估計(jì)是SLAM系統(tǒng)的核心，其精度受地圖點(diǎn)精度的影響，并且反過(guò)來(lái)也直接影響所構(gòu)建的地圖點(diǎn)。由于本文方法屬于單目視覺(jué)SLAM，存在尺度不確定性，且位姿估值可以被定義在任何坐標(biāo)系下，無(wú)法直接與真值進(jìn)行比較，本文采用軌跡誤差來(lái)衡量算法的位姿估計(jì)精度。其思路是，先利用最小二乘得到位姿估值序列與真值序列的相似變換S∈Sim(3)，將估值換算至同尺度真值坐標(biāo)系下再計(jì)算各幀的相對(duì)變換。軌跡誤差一般只計(jì)算平移分量，這是因?yàn)樗又庇^，并且也潛在地受到角度差異的影響[24]。此外，對(duì)于第2、3組無(wú)人機(jī)影像數(shù)據(jù)，由于缺乏高精度POS實(shí)測(cè)的位姿真值，本文利用ContextCapture[25]軟件對(duì)影像數(shù)據(jù)進(jìn)行三維建模并將其空三結(jié)果作為評(píng)價(jià)真值使用。結(jié)果如表3所示。

表3 不同方法位姿估計(jì)軌跡誤差比較

本文方法的位姿估計(jì)精度較ORB-SLAM有所提升，分析原因如下：①由深度濾波獲取的地圖點(diǎn)融合了多幀觀測(cè)結(jié)果，相比于直接通過(guò)兩幀三角化得到地圖點(diǎn)的方式，信息利用更加充分，三維位置更加準(zhǔn)確，對(duì)位姿估計(jì)產(chǎn)生積極影響；②由于地圖點(diǎn)數(shù)量較多，后端光束法平差可以僅采用觀測(cè)數(shù)多的點(diǎn)估計(jì)相機(jī)位姿，有助于減小野點(diǎn)對(duì)最小二乘系統(tǒng)的影響；③特征點(diǎn)匹配率更高，一定程度上增加了多余觀測(cè)，能夠提高位姿估計(jì)的穩(wěn)健性。圖8顯示了不同數(shù)據(jù)集的關(guān)鍵幀特征點(diǎn)匹配率，本文方法在大部分情況下均高于ORB-SLAM。

此外，本文方法與ORB-SLAM的位姿估計(jì)精度明顯高于DSO-VO，這是因?yàn)榍皟煞N方法均可利用閉合回路約束減少累積誤差影響，而DSO-VO不具備此功能，軌跡誤差的累積效果在圖9中尤為明顯。

2.4 三維重建效果

在準(zhǔn)確恢復(fù)相機(jī)位姿的前提下，本文方法無(wú)須GPU加速即可重建出較為稠密的場(chǎng)景三維結(jié)構(gòu)，如圖10所示，從而使虛擬現(xiàn)實(shí)、機(jī)器感知、語(yǔ)義識(shí)別等更高級(jí)別的地圖應(yīng)用成為可能。這主要得益于，逆深度濾波器可以構(gòu)造大量地圖點(diǎn)，且一個(gè)地圖點(diǎn)無(wú)論觀測(cè)情況如何，都可以通過(guò)后端混合框架進(jìn)行優(yōu)化。觀察可發(fā)現(xiàn)，本文方法點(diǎn)云地圖中包含許多非角點(diǎn)的物體輪廓、邊緣信息，這是ORB-SLAM無(wú)法實(shí)現(xiàn)的。

與此同時(shí)， 本文方法可以準(zhǔn)確地識(shí)別并進(jìn)行閉環(huán)改正[26]，得到全局一致的位姿與地圖信息，而DSO盡管也具備優(yōu)異的局部重建性能，但由于其采用的直接法平差需利用完整影像數(shù)據(jù)，在資源受限的情況下難以進(jìn)行全局質(zhì)量控制，導(dǎo)致所構(gòu)建地圖出現(xiàn)重影，如圖11、圖12所示，影響重建效果與準(zhǔn)確性。

圖5 直接法深度優(yōu)化因子圖Fig.5 Factor graph of direct depth optimization

圖6 不同類(lèi)型地圖點(diǎn)Fig.6 Different types of map points

圖7 試驗(yàn)數(shù)據(jù)Fig.7 Data examples

3 結(jié) 論

本文提出一種特征法視覺(jué)SLAM逆深度濾波的三維重建方法，關(guān)鍵在于地圖點(diǎn)深度不再由兩幀三角化直接獲取，而是由基于概率分布的逆深度濾波器累計(jì)更新得出。除了計(jì)算效率與位姿估計(jì)精度方面的優(yōu)勢(shì)，更重要的是，該方法能夠在保證全局一致性的前提下，顯著提升重建點(diǎn)云密度，準(zhǔn)確、高效地恢復(fù)場(chǎng)景結(jié)構(gòu)細(xì)節(jié)，為視覺(jué)SLAM在機(jī)器人智能感知、自動(dòng)駕駛、應(yīng)急測(cè)繪等領(lǐng)域的進(jìn)一步應(yīng)用提供了新思路。未來(lái)將針對(duì)點(diǎn)云的去噪策略與平滑約束、重建精度定量評(píng)價(jià)等問(wèn)題繼續(xù)開(kāi)展研究，同時(shí)也將采用更多類(lèi)型的影像數(shù)據(jù)進(jìn)行更加廣泛的測(cè)試。

圖8 關(guān)鍵幀特征點(diǎn)匹配率Fig.8 Matching ratio of keyframe feature points

圖9 相機(jī)平面軌跡與地面真值Fig.9 Camera plane trajectories and ground truth

圖10 本文方法重建效果Fig.10 Reconstruction examples of proposed method

圖11 UAV_Lab數(shù)據(jù)局部重建細(xì)節(jié)對(duì)比Fig.11 Local reconstruction details of UAV_Lab data

圖12 UAV_Building數(shù)據(jù)局部重建細(xì)節(jié)對(duì)比Fig.12 Local reconstruction details of UAV_Building data