增強(qiáng)現(xiàn)實(shí)無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法研究綜述

曹鵬霞 李文新 馬偉蘋(píng)

1(西北師范大學(xué)物理與電子工程學(xué)院 甘肅 蘭州 730000) 2(中國(guó)空間技術(shù)研究院蘭州空間技術(shù)物理研究所真空技術(shù)與物理重點(diǎn)實(shí)驗(yàn)室 甘肅 蘭州 730000)

0 引 言

增強(qiáng)現(xiàn)實(shí)[1](Augmented Reality, AR)是一種將計(jì)算機(jī)生成的3D模型、文字、圖片、視頻等虛擬的信息實(shí)時(shí)地疊加到真實(shí)場(chǎng)景中并顯示的技術(shù)。增強(qiáng)現(xiàn)實(shí)通過(guò)虛實(shí)融合配準(zhǔn)能夠?qū)崿F(xiàn)自然的人機(jī)交互,它在健康醫(yī)療、工業(yè)維修、軍事領(lǐng)域、娛樂(lè)游戲等行業(yè)具有廣泛的應(yīng)用前景。對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)的研究涉及到相機(jī)標(biāo)定技術(shù)、跟蹤注冊(cè)技術(shù)、場(chǎng)景融合和顯示技術(shù)等多項(xiàng)關(guān)鍵技術(shù)[2]。如何快速、準(zhǔn)確地計(jì)算出攝像機(jī)相對(duì)于真實(shí)場(chǎng)景的位姿信息,并以該位姿信息為基礎(chǔ)把虛擬信息與真實(shí)場(chǎng)景精確對(duì)齊的技術(shù)就是跟蹤注冊(cè)技術(shù)。跟蹤注冊(cè)技術(shù)是研究增強(qiáng)現(xiàn)實(shí)系統(tǒng)的核心和難點(diǎn),已經(jīng)成為了增強(qiáng)現(xiàn)實(shí)應(yīng)用于更多領(lǐng)域亟須解決的一個(gè)關(guān)鍵問(wèn)題[3]。

目前,針對(duì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的跟蹤注冊(cè)技術(shù)研究問(wèn)題,研究人員主要是針對(duì)基于計(jì)算機(jī)視覺(jué)的跟蹤注冊(cè)方法的研究[4]?；谟?jì)算機(jī)視覺(jué)的跟蹤注冊(cè)方法主要是通過(guò)計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)等相關(guān)理論獲取虛擬信息和真實(shí)場(chǎng)景之間的坐標(biāo)變換矩陣的方法[5]。目前,基于計(jì)算機(jī)視覺(jué)的跟蹤注冊(cè)方法根據(jù)是否需要提前放置標(biāo)識(shí)可以分為基于特殊標(biāo)識(shí)的跟蹤注冊(cè)方法和基于無(wú)標(biāo)識(shí)的跟蹤注冊(cè)方法兩大類(lèi)。

基于特殊標(biāo)識(shí)的跟蹤注冊(cè)方法應(yīng)用最多的工具包是ARToolKit[6]以及ARTag[7]。這類(lèi)工具包具有計(jì)算量小、執(zhí)行速度快、不需要復(fù)雜的硬件設(shè)備等優(yōu)勢(shì)。但是基于特殊標(biāo)識(shí)的跟蹤注冊(cè)方法需要在真實(shí)場(chǎng)景中預(yù)先放置人工標(biāo)識(shí)物,通過(guò)提取標(biāo)識(shí)物的特征獲得跟蹤注冊(cè)所需要的位姿信息從而實(shí)現(xiàn)跟蹤注冊(cè)。但是,在真實(shí)場(chǎng)景中預(yù)先放置特殊的人工標(biāo)識(shí)物、使用特殊標(biāo)識(shí)物進(jìn)行跟蹤注冊(cè)的方法無(wú)法解決環(huán)境光照變化和標(biāo)志物被遮擋的問(wèn)題,具有魯棒性差的缺點(diǎn)。同時(shí),特殊標(biāo)識(shí)物在真實(shí)場(chǎng)景中也會(huì)帶來(lái)視覺(jué)污染的問(wèn)題。在這些情況下,必須使用基于無(wú)標(biāo)識(shí)的跟蹤注冊(cè)方法來(lái)解決增強(qiáng)現(xiàn)實(shí)中虛實(shí)場(chǎng)景的配準(zhǔn)問(wèn)題[8]。因此,基于無(wú)標(biāo)識(shí)的跟蹤注冊(cè)方法是目前發(fā)展的主要方向。

基于無(wú)標(biāo)識(shí)的跟蹤注冊(cè)方法不需要在真實(shí)場(chǎng)景中預(yù)先人為放置標(biāo)識(shí)物即可以實(shí)現(xiàn)虛實(shí)場(chǎng)景之間的位置配準(zhǔn)問(wèn)題。因此它比基于特殊標(biāo)識(shí)的三維跟蹤注冊(cè)方法應(yīng)用范圍更廣、可用性更強(qiáng)[9]。本文概述了目前增強(qiáng)現(xiàn)實(shí)無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法的最新研究進(jìn)展,根據(jù)不同的應(yīng)用場(chǎng)景和目標(biāo)的紋理情況將現(xiàn)有的研究分為基于自然特征的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法、基于模型的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法和基于視覺(jué)SLAM的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法3類(lèi)。在總結(jié)這三類(lèi)方法的基本思想的同時(shí)概括和總結(jié)了這幾類(lèi)方法最新的研究進(jìn)展和現(xiàn)有技術(shù)的優(yōu)缺點(diǎn)。最后對(duì)現(xiàn)有的增強(qiáng)現(xiàn)實(shí)無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法存在的問(wèn)題進(jìn)行了總結(jié),并對(duì)其進(jìn)一步發(fā)展進(jìn)行了展望。增強(qiáng)現(xiàn)實(shí)中三維跟蹤注冊(cè)技術(shù)分類(lèi)如圖1所示。

圖1 增強(qiáng)現(xiàn)實(shí)中三維跟蹤注冊(cè)技術(shù)分類(lèi)

1 基于自然特征的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法

基于自然特征的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法主要利用已知場(chǎng)景中的一些自然特征來(lái)檢測(cè)場(chǎng)景中的目標(biāo)來(lái)計(jì)算相機(jī)的姿態(tài),然后通過(guò)自然特征坐標(biāo)與相機(jī)姿態(tài)的轉(zhuǎn)換來(lái)完成跟蹤注冊(cè)[10],如圖2所示。其工作流程大致為:首先提取模板圖像以及當(dāng)前幀圖像的自然特征點(diǎn)集,使用匹配算法得到特征點(diǎn)集之間的匹配關(guān)系來(lái)進(jìn)行位姿估計(jì)從而實(shí)現(xiàn)跟蹤注冊(cè)。圖3中,(xp,yp)是當(dāng)前幀圖像中任意點(diǎn)的坐標(biāo),(x0,y0)是目標(biāo)模板投影到攝像機(jī)平面上的坐標(biāo),(xn,yn)是目標(biāo)中的點(diǎn)投影到攝像機(jī)平面上的坐標(biāo),它們對(duì)應(yīng)的關(guān)系為:

圖2 基于自然特征點(diǎn)的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法流程

圖3 檢測(cè)目標(biāo)投影和攝像機(jī)運(yùn)動(dòng)關(guān)系

(1)

(2)

(3)

(4)

式中:λ是縮放因子;K是攝像機(jī)內(nèi)參;[R|T]就是跟蹤注冊(cè)的三維位姿。

基于自然特征的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法一般是基于特征描述子來(lái)進(jìn)行特征點(diǎn)匹配。常用的特征描述子有傳統(tǒng)的高維度浮點(diǎn)數(shù)類(lèi)型的特征描述子SIFT(Scale-Invariant Feature Transform)[13]和SURF(Speeded Up Robust Features)[12]、二進(jìn)制描述符BRIEF(Binary Robust Independent Elementary Features)[14]、ORB(Oriented FAST and Rotated BRIEF)、加速分割測(cè)試獲得特征FAST(Features from Accelerated Segment Test)等。這些特征描述子的特點(diǎn)及性能如表1和表2所示。

表1 常用特征描述子特點(diǎn)

表2 常用特征描述子算法性能比較

目前基于自然特征的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法因其不需要在真實(shí)場(chǎng)景中放置標(biāo)識(shí)而得到了廣泛的應(yīng)用,但是部分跟蹤注冊(cè)方法在跟蹤注冊(cè)過(guò)程中存在不能滿(mǎn)足增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)性要求、匹配精度低、缺乏尺度不變性等問(wèn)題。國(guó)內(nèi)外研究人員針對(duì)上述描述子的特點(diǎn)以及它們的缺陷對(duì)它們進(jìn)行結(jié)合和改進(jìn)使得它們能夠應(yīng)用于更多的場(chǎng)合。針對(duì)特征描述子SIFT算法匹配速度過(guò)慢的問(wèn)題,莊連生等[15]提出了一種面向DCT域的擴(kuò)展SIFT特征,該方法以SIFT特征為基礎(chǔ)并擴(kuò)展到DCT域能夠提高算法的匹配效率。彭勃宇等[16]為了提高增強(qiáng)現(xiàn)實(shí)圖像匹配算法的實(shí)時(shí)性,提出了面向增強(qiáng)現(xiàn)實(shí)的SUSAN-SURF快速匹配算法。該方法使用SUSAN方法進(jìn)行特征點(diǎn)定位并生成特征點(diǎn)主方向,同時(shí)使用SURF生成特征描述符,改進(jìn)的算法能夠有效提高算法性能使其滿(mǎn)足增強(qiáng)現(xiàn)實(shí)系統(tǒng)對(duì)匹配算法在速度、精度、抗干擾能力等方面的要求。何林陽(yáng)等[17]針對(duì)BRISK算法誤匹配率高的問(wèn)題,提出了一種改進(jìn)的快速圖像配準(zhǔn)算法對(duì)BRISK特征提取進(jìn)行改進(jìn),該方法利用BRISK算法構(gòu)建連續(xù)的尺度空間并將圖像分塊獲得分布均勻的角點(diǎn),結(jié)合FLANN算法和RANSAC對(duì)角點(diǎn)特征進(jìn)行快速匹配,改進(jìn)的BRISK算法在保持原算法速度的基礎(chǔ)上能夠使匹配精度達(dá)到亞像素級(jí)。由于ORB算法缺乏尺度不變性,白雪冰等[18]對(duì)ORB算法進(jìn)行改進(jìn),改進(jìn)算法使用具有尺度不變性的Hessian矩陣檢測(cè)算法提取特征點(diǎn)并用ORB生成特征描述子,改進(jìn)后的算法同時(shí)具備了旋轉(zhuǎn)不變性和尺度不變性。劉瀟瀟等[19]以效率較高的FAST算法為基礎(chǔ),在特征檢測(cè)和匹配時(shí)加入顏色特征,提出了結(jié)合了圖像的顏色特征的C-FAST改進(jìn)算法。改進(jìn)后的算法在保持FAST算法高效率的特點(diǎn)的情況下,具有更高的匹配精度,且在光照變化以及噪聲條件下都能夠表現(xiàn)出良好的穩(wěn)健性。Ufkes等[20]將匹配算法和跟蹤算法結(jié)合起來(lái),使用ORB算法進(jìn)行匹配檢測(cè),使用光流跟蹤算法對(duì)姿態(tài)進(jìn)行跟蹤來(lái)完成跟蹤注冊(cè)。該方法因使用跟蹤算法可以大大地提高整個(gè)系統(tǒng)的效率,但跟蹤算法容易受光照等因素影響。雍玖等[21]提出的三維注冊(cè)方法結(jié)合了MEEM跟蹤算法以及改進(jìn)的ORB特征檢測(cè)算法。該方法使用MEEM算法對(duì)移動(dòng)對(duì)象區(qū)域進(jìn)行跟蹤。在對(duì)跟蹤模板區(qū)域使用ORB算法進(jìn)行特征點(diǎn)提取時(shí)使用了多尺度空間理論對(duì)其進(jìn)行改進(jìn)提取穩(wěn)定特征點(diǎn)并使改進(jìn)的ORB算法具有了尺度不變性,實(shí)驗(yàn)驗(yàn)證了提出的算法具有很好的魯棒性并能夠滿(mǎn)足跟蹤注冊(cè)算法在實(shí)時(shí)性方面要求。Kim等[22]結(jié)合FAST算法和SIFT算法提高了特征檢測(cè)的檢測(cè)效率。

基于自然特征的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法因不需要在真實(shí)場(chǎng)景中放置標(biāo)識(shí)物而大大地?cái)U(kuò)大了它的應(yīng)用范圍,這也使得基于無(wú)標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的應(yīng)用范圍更廣。但是這類(lèi)方法需要利用場(chǎng)景中的一些自然特征來(lái)檢測(cè)場(chǎng)景中的目標(biāo)來(lái)計(jì)算相機(jī)的姿態(tài),因此該類(lèi)方法在目標(biāo)被遮擋的情況下或者目標(biāo)缺少足夠多的紋理時(shí)容易出現(xiàn)無(wú)法精準(zhǔn)跟蹤目標(biāo)的情況而導(dǎo)致跟蹤注冊(cè)失敗。

2 基于模型的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法

基于模型的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法能夠解決目標(biāo)因缺少紋理而導(dǎo)致跟蹤注冊(cè)失敗的問(wèn)題。它首先以一定的先驗(yàn)知識(shí)為基礎(chǔ)離線(xiàn)建立跟蹤目標(biāo)的模型,目標(biāo)模型可以是計(jì)算機(jī)輔助設(shè)計(jì)(CAD)模型和三維點(diǎn)云模型等;然后實(shí)時(shí)地獲取攝像機(jī)的位姿信息并對(duì)3D模型位姿進(jìn)行更新,實(shí)現(xiàn)模型和目標(biāo)的配準(zhǔn)[23]。由于3D模型具有豐富的三維信息,并且模型對(duì)跟蹤目標(biāo)的表面、邊緣和連接關(guān)系都有一定的描述。因此,基于模型的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法能夠應(yīng)用于缺少紋理的復(fù)雜場(chǎng)景中。目前,研究人員提出的多種基于模型的三維跟蹤注冊(cè)方法大都是基于邊緣特征的方法以及基于點(diǎn)云的方法。

基于邊緣特征的3D模型跟蹤注冊(cè)方法通常使用跟蹤注冊(cè)目標(biāo)的邊緣特征來(lái)實(shí)現(xiàn)跟蹤注冊(cè)。該類(lèi)方法提取輸入視頻幀圖像的目標(biāo)邊緣特征與離線(xiàn)模型的邊緣特征進(jìn)行匹配,根據(jù)匹配關(guān)系獲得相機(jī)位姿完成跟蹤注冊(cè)。其流程如圖4所示。Lepetit等[24]使用實(shí)時(shí)姿態(tài)和位置確定(Real-time Attitude and Position Determination, RAPiD) 方法成功地實(shí)現(xiàn)了第一個(gè)基于3D 模型實(shí)時(shí)跟蹤系統(tǒng)。該系統(tǒng)通過(guò)將前一幀的攝像頭位姿估計(jì)近似為當(dāng)前幀的攝像頭位姿估計(jì)來(lái)實(shí)現(xiàn)模型的投影。因此該系統(tǒng)要求相鄰幀之間的位姿進(jìn)行緩慢變化才能實(shí)現(xiàn)實(shí)時(shí)跟蹤。Imperoli等[25]提出了一種基于模型邊緣信息的方法來(lái)對(duì)目標(biāo)進(jìn)行檢測(cè)和定位,通過(guò)3D圖像張量對(duì)位置空間中的邊緣點(diǎn)的最小距離進(jìn)行編碼,同時(shí)最小化提取該3D圖像的正倒角距離(DCD)的成本函數(shù),從而對(duì)對(duì)象姿態(tài)參數(shù)進(jìn)行優(yōu)化,該方法不需要計(jì)算點(diǎn)對(duì)點(diǎn)對(duì)應(yīng)關(guān)系。

圖4 基于邊緣特征的3D模型跟蹤注冊(cè)

基于邊緣輪廓的方法當(dāng)目標(biāo)物體處于雜亂的環(huán)境中以及當(dāng)目標(biāo)物體被部分遮擋時(shí)魯棒性較差。此外這類(lèi)方法的建模過(guò)程通常都比較繁瑣,計(jì)算成本較高。為了解決這些問(wèn)題,李自豪等[26]提出了一種混合3D模型跟蹤注冊(cè)算法,該方法提出將邊緣像素?cái)?shù)量作為測(cè)量標(biāo)準(zhǔn),使用粒子濾波算法獲取相機(jī)的初始位姿,以初始位姿為基礎(chǔ)結(jié)合非線(xiàn)性最小平方誤差估計(jì)算法來(lái)對(duì)相機(jī)位姿進(jìn)行跟蹤,該算法應(yīng)用于維修誘導(dǎo)系統(tǒng)中具有很好的魯棒性。Murray等[27]使用粒子濾波器對(duì)模型邊緣進(jìn)行跟蹤,該方法能夠跟蹤部分遮擋的復(fù)雜的3D目標(biāo),同時(shí)通過(guò)硬件加速來(lái)實(shí)現(xiàn)實(shí)時(shí)跟蹤,其注冊(cè)過(guò)程如圖5所示。Neubert等[28]提出了一種基于外觀(guān)的邊緣模型的注冊(cè)方法,該方法從視頻幀中快速生成基于外觀(guān)的粗略邊緣模型,然后使用邊緣跟蹤算法對(duì)其進(jìn)行跟蹤。該方法避免了繁瑣的建模過(guò)程。其注冊(cè)過(guò)程如圖6所示。

圖5 基于粒子濾波器的模型注冊(cè)結(jié)果

圖6 快速構(gòu)建外觀(guān)模型注冊(cè)結(jié)果

基于點(diǎn)云模型的跟蹤注冊(cè)方法通常利用三維點(diǎn)云數(shù)據(jù)來(lái)表示真實(shí)場(chǎng)景和模型,然后使用迭代最近點(diǎn)(Iterative Closest Point, ICP)算法來(lái)配準(zhǔn)模型點(diǎn)云和環(huán)境點(diǎn)云從而獲得相機(jī)的實(shí)時(shí)位姿。一般可以通過(guò)普通攝像機(jī)采集圖像集并通過(guò)運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure From Motion,SFM)[29]算法建立環(huán)境點(diǎn)云數(shù)據(jù),也可以從RGB-D相機(jī)采集的深度圖像中獲得環(huán)境點(diǎn)云數(shù)據(jù),其流程如圖7所示。Radkowski等[30]利用ICP算法配準(zhǔn)模型點(diǎn)云和環(huán)境點(diǎn)云數(shù)據(jù)并獲得相機(jī)位姿完成跟蹤注冊(cè),并將其應(yīng)用于增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)。

圖7 基于點(diǎn)云模型的跟蹤注冊(cè)方法

使用點(diǎn)云模型的方法能在表面缺少紋理的應(yīng)用場(chǎng)景中表現(xiàn)出良好的魯棒性,該類(lèi)方法使用的ICP配準(zhǔn)算法的配準(zhǔn)效果易受相機(jī)的初始位姿的影響,且當(dāng)相機(jī)快速移動(dòng)時(shí),ICP算法的迭代過(guò)程容易局部最優(yōu),使得跟蹤注冊(cè)過(guò)程中斷。針對(duì)這類(lèi)問(wèn)題,Park等[31]使用DOT(Dominant Orientation Templates)模板檢測(cè)算法獲取相機(jī)的初始位姿同時(shí)使用RGB-D相機(jī)通過(guò)深度圖像獲取點(diǎn)云數(shù)據(jù),最后使用ICP算法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)完成跟蹤注冊(cè)。其注冊(cè)結(jié)果如圖8所示。王月等[32]提出的跟蹤注冊(cè)算法融合了點(diǎn)云和視覺(jué)特征,并將融合算法應(yīng)用到增強(qiáng)現(xiàn)實(shí)的裝配系統(tǒng)。該方法在ICP算法的基礎(chǔ)上結(jié)合了彩色圖像信息來(lái)提高攝像機(jī)快速移動(dòng)時(shí)的跟蹤注冊(cè)過(guò)程的魯棒性。

圖8 基于DOT和點(diǎn)云模型的跟蹤注冊(cè)結(jié)果

3 基于視覺(jué)SLAM的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法

基于視覺(jué)的同步定位與建圖(Simultaneous Localization And Mapping, SLAM)因其適用性以及系統(tǒng)結(jié)構(gòu)簡(jiǎn)單且易于實(shí)現(xiàn)等優(yōu)點(diǎn)在增強(qiáng)現(xiàn)實(shí)領(lǐng)域中具有廣泛的應(yīng)用前景。Davison 等[33]使用擴(kuò)展卡爾濾波器來(lái)實(shí)現(xiàn)同步定位與地圖創(chuàng)建,實(shí)現(xiàn)了一種基于單目視覺(jué)的MonoSLAM 實(shí)時(shí)算法,該算法證明了基于視覺(jué)SLAM的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法的可行性和易用性。

基于視覺(jué)SLAM的無(wú)標(biāo)識(shí)增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)方法是一種應(yīng)用于未知場(chǎng)景的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)方法,一般可包含地圖構(gòu)建與更新以及跟蹤注冊(cè)兩個(gè)并行的模塊[34]。其中,地圖構(gòu)建與更新模塊一般可通過(guò)SLAM算法來(lái)實(shí)現(xiàn);而跟蹤注冊(cè)模塊可以通過(guò)構(gòu)建的地圖庫(kù)來(lái)進(jìn)行攝像機(jī)位姿估計(jì),對(duì)輸入圖像與地圖庫(kù)進(jìn)行特征點(diǎn)提取及匹配并進(jìn)行攝像機(jī)位姿信息更新,最后實(shí)現(xiàn)虛擬物體的注冊(cè)。具體流程如圖9所示。

圖9 基于視覺(jué)SLAM的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法流程

近年來(lái),越來(lái)越多的研究人員致力于基于視覺(jué)SLAM的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法的研究[35]。 Klein 等[36]提出了基于關(guān)鍵幀的單目視覺(jué)SLAM 算法-并行跟蹤及地圖建立(Parallel Tracking And Mapping,PTAM),PTAM使用SFM相關(guān)算法對(duì)SLAM進(jìn)行改進(jìn)并將地圖構(gòu)建更新以及跟蹤注冊(cè)進(jìn)行并行處理,使得該方法比MonoSLAM 魯棒性更好,實(shí)時(shí)性可以滿(mǎn)足移動(dòng)、可穿戴等計(jì)算性能較低的設(shè)備的要求。然而當(dāng)需處理的地圖較大時(shí),PTAM 效果較差,它僅能應(yīng)用于室內(nèi)等規(guī)模較小的場(chǎng)景。Castle 等[37]提出并行跟蹤與多地圖建立(Parallel Tracking And Multiple Mapping,PTAMM)算法,PTAMM 以PTAM算法為基礎(chǔ)引入多地圖處理機(jī)制,將較大地圖的建立問(wèn)題分成若干子圖進(jìn)行分開(kāi)建圖并在跟蹤定位的過(guò)程中實(shí)現(xiàn)在子圖間進(jìn)行自動(dòng)切換。該方法在保持PTAM算法的優(yōu)點(diǎn)的同時(shí)提高了其針對(duì)較大空間的建圖能力,但是PTAMM仍易受場(chǎng)景光照條件和環(huán)境紋理的影響[38]。隨著RGB-D深度攝像機(jī)的出現(xiàn),使得硬件平臺(tái)具有了獲得深度感知的能力。Mur-Artal等[39]將深度信息融入到SLAM框架中,該方法在提升運(yùn)算效率的同時(shí)還能應(yīng)用于光照條件較差的場(chǎng)景。Richard 等在RGB-D相機(jī)的基礎(chǔ)上使用KinectFusion算法進(jìn)行三維重構(gòu),該方法在進(jìn)行三維重構(gòu)時(shí)還可以跟蹤相機(jī)的位姿。Dong等[40]通過(guò)關(guān)鍵點(diǎn)提取以及RGB和深度圖像平面上的特征匹配來(lái)找到連續(xù)RGB-D幀之間的相對(duì)相機(jī)姿態(tài),將估計(jì)的姿態(tài)輸入到高精度的KinectFusion算法中,同時(shí)使用快速I(mǎi)CP微調(diào)幀到幀的相對(duì)姿態(tài),該方法能夠有效提高RGB-D視覺(jué)SLAM系統(tǒng)的精度。谷曉琳等[41]提出了一種新的基于半直接視覺(jué)里程計(jì)的RGB-D視覺(jué)SLAM算法,該方法充分利用直接法和自然特征點(diǎn)法的優(yōu)勢(shì),設(shè)計(jì)了魯棒的后端優(yōu)化以及閉環(huán)檢測(cè)策略,使得算法在紋理稀疏等復(fù)雜的環(huán)境中魯棒性較強(qiáng)。近年來(lái),RGB-D視覺(jué)SLAM算法發(fā)展較快,然而深度攝像頭勢(shì)必增加整個(gè)系統(tǒng)的計(jì)算量以及設(shè)備成本。此外,目前消費(fèi)級(jí)的深度攝像頭并未大范圍普及,能夠獲取的深度范圍也受限,這使得該方法的應(yīng)用范圍受到很大的限制[42]。

4 結(jié) 語(yǔ)

本文概述了目前增強(qiáng)現(xiàn)實(shí)無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法的發(fā)展?fàn)顩r,分析了現(xiàn)有技術(shù)的優(yōu)缺點(diǎn)。從中可以看出目前增強(qiáng)現(xiàn)實(shí)無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法的研究發(fā)展仍受場(chǎng)景復(fù)雜度、光照條件、算法的效率和魯棒性等條件的限制,并沒(méi)有適用于各種場(chǎng)景的通用的技術(shù)方案。存在的主要問(wèn)題以及難點(diǎn)主要表現(xiàn)在以下幾方面:首先,能夠取得較好的跟蹤注冊(cè)效果實(shí)現(xiàn)虛實(shí)無(wú)縫融合的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法勢(shì)必都存在算法復(fù)雜的問(wèn)題,這種情況下運(yùn)行效率是我們需要考慮的關(guān)鍵問(wèn)題,這也是目前很多精度較高的無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法很難滿(mǎn)足實(shí)時(shí)性要求的原因;其次,目前很多無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法都僅適用于某些簡(jiǎn)單的場(chǎng)景環(huán)境,當(dāng)遭遇場(chǎng)景背景過(guò)于復(fù)雜、光照條件顯著變化、目標(biāo)表面缺少足夠紋理時(shí)很多無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法并不能滿(mǎn)足系統(tǒng)對(duì)魯棒性的要求,甚至?xí)霈F(xiàn)跟蹤注冊(cè)失敗的現(xiàn)象。

針對(duì)現(xiàn)有無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法存在的問(wèn)題和難點(diǎn),我們下一步的工作可能有2個(gè)方向:(1) 使用具有大規(guī)模并行處理能力的專(zhuān)用圖形處理器來(lái)加速和優(yōu)化無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法[43]。針對(duì)目前無(wú)標(biāo)識(shí)跟蹤注冊(cè)方法算法復(fù)雜和效率低的問(wèn)題,將跟蹤注冊(cè)算法進(jìn)行模塊劃分,使用大規(guī)模并行處理能力的專(zhuān)用圖像處理器來(lái)解決增強(qiáng)現(xiàn)實(shí)無(wú)標(biāo)識(shí)跟蹤注冊(cè)技術(shù)中的難點(diǎn)問(wèn)題。(2) 多種跟蹤注冊(cè)技術(shù)相結(jié)合的混合跟蹤注冊(cè)方式[44-45]。與基于視覺(jué)的跟蹤注冊(cè)算法相比,混合跟蹤技術(shù)能夠在目標(biāo)快速移動(dòng)或者目標(biāo)被部分遮擋時(shí)還能夠保持很好的魯棒性。因此,使用混合跟蹤注冊(cè)技術(shù)是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)算法高精度以及強(qiáng)魯棒性的有效方法。