基于自適應特征點校正的AR運動物體連續(xù)追蹤算法

張量 金益 李金祥 劉媛霞 牛麗

摘? 要：在增強現(xiàn)實（AR）中，為了將虛擬物體與真實世界無縫融合，需要實時地識別與追蹤真實世界中物體的位置，即“跟蹤注冊”技術。它是AR的核心技術之一，但是受設備限制、環(huán)境光照、物體輪廓和紋理的因素影響，會使AR設備對物體的識別和追蹤產生誤差，從而導致生成的虛擬物體或信息在與真實世界的疊加中產生抖動。本文研究并討論了一種利用剛體形狀不變的特性，修正運動物體跟蹤注冊中特征點識別誤差的方法。

關鍵詞：增強現(xiàn)實;注冊追蹤;特征點識別;剛體運動

中圖分類號：TP391.9? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）19-0093-03

Abstract：In augmented reality（AR），in order to seamlessly integrate virtual objects with the real world，it is necessary to identify and track the location of objects in the real world in real time，namely “tracking registration” technology. It is one of the core technologies of AR. However，due to the limitation of equipment，environmental illumination，object contour and texture，AR device will cause errors in object recognition and tracking，which will lead to the shaking of virtual objects or information generated in the superposition with the real world. This paper studies and discusses a method to correct the recognition error of feature points in tracking and registration of moving objects by using the invariant shape of rigid bodies.

Keywords：augment reality;registration tracking;feature point recognition;rigid body movement

0? 引? 言

增強現(xiàn)實（Augmented Reality，簡稱AR）是一種通過實時計算攝影機影像的位置及角度將虛擬的三維物體疊加到真實場景中的技術。增強現(xiàn)實技術能夠同時體現(xiàn)出真實世界的內容和虛擬世界的內容或信息，并將這兩部分內容以合適的方式相互疊加、融合。在基于視覺的增強現(xiàn)實應用中，需要一個具有透明玻璃鏡片以及微型投影裝置的頭盔顯示器，用戶透過玻璃鏡片可以看到真實的世界，而投影設備則將虛擬世界的信息投影到合適的位置，將兩者無縫地重合在一起[1]。增強現(xiàn)實技術極大地提升了人與環(huán)境以及計算機的交互體驗，其將虛擬信息與真實場景融合的交互方式能夠應用到教育、醫(yī)療、娛樂、商務等諸多領域[2，3]。而其中一項核心問題是如何將虛擬物體精確穩(wěn)定地融合到真實場景中，這需要實時地識別真實場景中的參考物體及其位置，從而計算出虛擬物體應當出現(xiàn)的相對位置，稱之為“三維配準”或者“跟蹤注冊”技術。

1? 研究現(xiàn)狀

跟蹤注冊技術檢測需要識別并跟蹤的物體特征點的三維坐標信息。跟蹤注冊技術的好壞直接決定增強現(xiàn)實系統(tǒng)的成功與否，常用的跟蹤注冊方法有基于機器視覺跟蹤注冊、基于跟蹤器以及預先空間標定的注冊、基于無線網(wǎng)絡的混合跟蹤注冊技術等[4-7]。目前較為穩(wěn)定的商用AR技術中的跟蹤注冊方案主要是基于機器視覺的識別方案和基于三維空間標定的方案?；跈C器視覺方案的主要有蘋果AR Kit、谷歌AR Core以及Vuforia的方案。其技術均需通過實時識別視頻流每一幀圖像中參考物體及其特征點位置作為整個虛擬場景的參考坐標。如果前后幀序列圖像中參考物體特征點識別有誤差，就會造成整個參考坐標的不規(guī)則抖動，從而導致在此參考坐標系中疊加的虛擬物體也產生抖動，使得虛擬物體或者場景無法很好地與現(xiàn)實場景進行融合?；谌S空間標定方案的代表有微軟HoloLens、Oculus等的方案。這類方案需要預先對所處的空間進行定位，然后在標定好的空間中追蹤物體。在使用中無需實時判斷參考物體位置，所以虛擬物體和場景不會抖動。然而空間虛擬坐標一旦標定，不能更改。如果空間場景、場景內物體或者標定傳感器位置發(fā)生變化，就會導致整個虛擬空間位置錯位，需要重新進行標定才能夠恢復。國內也有一些自主方案，但多為針對特定場景的，其通用性和穩(wěn)定性均略遜于前者。

2? 特征點識別與追蹤

AR設備通常通過一個攝像頭獲取視頻（圖像幀序列），通過識別參考物體的特征點（），來確定參考面?的位置，進而計算出放置在參考面?上的虛擬物體Obj的相對位置。當AR設備發(fā)生移動時（比如順時針轉過一個角度θ時），可以認為相當于參考平面?向相反的方向旋轉了相同的角度? ，進而可以推得，放置在其上的物體Obj也旋轉了角度? 。因此，只要將虛擬物體旋轉角度? 即可保持Obj與參考平面?的相對位置不變，從而達到將虛擬物體Obj與現(xiàn)實中的參考平面?相融合的效果。平移的處理方式類似，不再贅述。

然而，在實際應用中，由于參考物體形狀輪廓、表面紋理的差異、AR設備攝像頭素質的高低以及環(huán)境、光線等的影響，會導致識別到的特征點出現(xiàn)誤差。只要一幀圖像的特征點出現(xiàn)誤差，就會導致計算出來的虛擬物體位置產生相應的偏差，最終導致虛擬物體無法正確地貼合在真實世界的參考平面?上，這樣的情況在每一幀圖像序列的參考面特征識別中都有一定的幾率（τ）發(fā)生，從而導致計算出來的虛擬物體也會以τ幾率發(fā)生偏移，以至于產生的虛擬物體的相對位置產生抖動。

要避免這種抖動，必須避免參考面特征點的識別誤差。為了達到這個目的，目前的AR方案大多要求被識別的參考物體應當盡量是平面，或者具有十分明顯而豐富的特征細節(jié)（可識別的特征點），即要求其輪廓或者紋理有明顯的拐點，并且紋理顏色不能相近。但實際應用中，大多數(shù)現(xiàn)實中的參考物體，都有著圓潤的輪廓，紋理顏色也不能保證有豐富的可識別的細節(jié)，從而導致目前AR的應用場景受到了很大的限制。

3? 基于剛體運動的特征點校正

本文采用基于剛體運動學的AR參考物體特征點修正算法修正識別偏差的特征點，能夠避免參考坐標因為識別誤差而產生抖動，提升AR應用中虛擬物體與現(xiàn)實世界融合的穩(wěn)定性?；舅枷胧抢脛傂晕矬w形狀不變的特性來修正同一個剛體上特征點位置的偏差。由于現(xiàn)實世界中的參考物體是剛體，不會產生扭曲和形變，所以在AR應用將虛擬物體和現(xiàn)實世界融合的過程中，參考物體上的所有特征點均應當滿足統(tǒng)一的剛體運動特征。

算法設計：假設圖像序列中前后兩幀的特征點向量集合分別為U= 與 = ，根據(jù)經典剛體運動原理，參考物體運動應符合剛體運動模型，如式（1）所示：

是位移系數(shù)。算法通過以下五個步驟實現(xiàn)，流程如圖1所示。

至此，所有 ∈U均符合統(tǒng)一的剛體運動特征，因此保證了參考平面和虛擬物體運動的穩(wěn)定性，消除了虛擬物體抖動現(xiàn)象。

4? 結? 論

在基于單攝像頭的AR設備上進行三維坐標的跟蹤注冊會受到設備分辨率、環(huán)境光照、物體輪廓和紋理等諸多因素的影響而導致不穩(wěn)定，從而使得生成的虛擬物體位置產生抖動。這種情況在復雜場景和運動物體追蹤中更為明顯。利用剛性物體在運動中形狀不變的特性，可以在很大程度上過濾同一剛體部分特征點識別誤差帶來的抖動，從而提高AR跟蹤注冊的精確程度。解決在運動中可形變物體的跟蹤注冊將是下一步研究的方向。

參考文獻：

[1] 吳騫華.增強現(xiàn)實（AR）技術應用與發(fā)展趨勢 [J].通訊世界，2019，26（1）：289-290.

[2] 關媛元，王喆.增強現(xiàn)實技術發(fā)展及應用綜述 [J].計算機產品與流通，2019（1）：98.

[3] 王孜琦.增強現(xiàn)實專利技術綜述 [J].科技經濟導刊，2018，26（17）：98.

[4] 蔣大為.基于AR系統(tǒng)實現(xiàn)三維物體目標跟蹤 [J].科技創(chuàng)新導報，2018，15（31）：102-103.

[5] 郭陽陽，孫涵.基于單目AR環(huán)境下的目標識別與跟蹤算法 [J].計算機技術與發(fā)展，2018，28（10）：8-12.

[6] 鄭曉萌，張德海.基于有效特征點的運動目標匹配跟蹤算法 [J].電子設計工程，2018，26（20）：59-64+71.

[7] 郭蓓.增強現(xiàn)實中虛實融合技術研究 [D].西安：長安大學，2018.

作者簡介：張量（1982-），男，漢族，江蘇蘇州人，講師，碩士，研究方向：虛擬現(xiàn)實與增強現(xiàn)實技術。