基于FAST特征檢測與TLD的三維注冊方法研究

張曉初 曹民

摘 要：增強(qiáng)現(xiàn)實系統(tǒng)在虛擬信息疊加過程中，待注冊區(qū)域會出現(xiàn)被遮擋情況，針對該問題，提出一種基于FAST特征檢測與TLD目標(biāo)跟蹤的混合增強(qiáng)現(xiàn)實系統(tǒng)三維注冊方法。首先采用TLD算法對待注冊目標(biāo)區(qū)域進(jìn)行跟蹤，再運(yùn)用FAST算法從指定目標(biāo)區(qū)域中提取相應(yīng)特征值，然后基于不同特征值之間的聯(lián)系構(gòu)建注冊矩陣，利用疊加矩陣得來的信息實現(xiàn)增強(qiáng)現(xiàn)實的效果。根據(jù)實驗可知，混合三維注冊方法在光照變化、遮擋以及旋轉(zhuǎn)變換的情況下，可將虛擬信息快速、準(zhǔn)確地疊加到待注冊區(qū)域，有效提高AR系統(tǒng)實時性、穩(wěn)定性和魯棒性。

關(guān)鍵詞：FAST;TLD;增強(qiáng)現(xiàn)實;注冊

DOI：10. 11907/rjdk. 182143

中圖分類號：TP319文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2019）002-0115-04

Abstract： In the superposition process of virtual information， the area to be registered will be obscured， and a three dimensional registration method of hybrid augmented reality system based on FAST feature detection and TLD target tracking is proposed. First of all， the target area of registration is followed by TLD algorithm， and the tracking target area is extracted and matched by FAST algorithm， then the registration matrix is calculated using the matching relationship between the feature points; finally， the virtual information is added to the registration matrix to enhance the real world. The experimental results show that the hybrid 3D registration method can quickly and accurately superpose the virtual information to the area to be registered under the conditions of illumination change， occlusion and rotation transformation， which can effectively improve the real-timeness， stability and robustness of the AR system.

Key Words： FAST;TLD;augmented reality;registration

0 引言

AR三維技術(shù)包含多個方面：自然特征、標(biāo)示、自然紋理及特殊標(biāo)示模式等。但基于標(biāo)識的注冊方法在虛擬信息疊加過程中，易出現(xiàn)待注冊區(qū)域被遮擋的情況[1]。隨著新一代人工智能的發(fā)展，在當(dāng)今AR領(lǐng)域，采用自然特征實現(xiàn)注冊已成為主要方向，不僅可以滿足當(dāng)前多重功能化應(yīng)用需求，而且擺脫了傳統(tǒng)地域及時空局限性，成為AR技術(shù)發(fā)展的主流趨勢，但是基于自然紋理特征的跟蹤匹配注冊策略在進(jìn)行特征值提取及特征值位置跟蹤時，時耗較大，嚴(yán)重影響AR系統(tǒng)性能 [2]。

現(xiàn)階段主流檢測算法包含SIFT、FAST、SURF 3種方法。FAST（features from accelerated segment test）檢測方法運(yùn)用較多，主要是由于其具有較明顯的實時監(jiān)測優(yōu)勢，能滿足增強(qiáng)現(xiàn)實系統(tǒng)實時性要求[3]。在實現(xiàn)位置跟蹤檢測時，一般采用光流法，它具有簡單、快速、高效等諸多設(shè)計優(yōu)勢，但該算法是基于跟蹤特征點坐標(biāo)的方式，在實踐中存在長時間跟蹤定位失敗的弊端。而TLD跟蹤檢測方法是一種融合檢測、跟蹤及在線學(xué)習(xí)的檢測模式，在實踐中具有較強(qiáng)的魯棒特性[4]。

綜上所述，本文提出一種基于FAST特征檢測與TLD目標(biāo)跟蹤的混合三維注冊方法。首先采用TLD算法跟蹤注冊區(qū)域，然后采用FAST算法對跟蹤區(qū)域進(jìn)行特征點檢測與匹配，求出三維注冊矩陣并完成注冊。除此之外，需要對輸入的視頻圖像按照公式（1）進(jìn)行色彩轉(zhuǎn)換[6]，可最大程度確定特定目標(biāo)數(shù)值位置、特征匹配，并進(jìn)行在線檢測，降低計算維度、提高運(yùn)算效率。

1 TLD目標(biāo)跟蹤

學(xué)習(xí)、跟蹤與檢測是TLD目標(biāo)檢測方法的3個子任務(wù)。這3個子任務(wù)都有單獨(dú)的處理部分，每個任務(wù)一起運(yùn)行[7]。跟蹤器的圖像匹配利用傳統(tǒng)NCC算法濾除匹配效果差的像素點。假設(shè)待處理模板圖像為T（大小為[M2×][N2]），待匹配圖像為F（大小為[M1×N1]）?；鶞?zhǔn)點選取整個適配圖像的左上位置，通過移動模板T獲取相應(yīng)的搜索子圖，模板位于[（m，n）]處的像素分別為[Fij（i+m，j+n）]（其中[0iM1-M2]，[0iN1-N2]）及[T（m，n）]。對于NCC算法而言，發(fā)現(xiàn)匹配和模板圖像中存在的所有特征值就是該方法核心所在[8]。經(jīng)典去均值NCC算法為：

通過上述公式推理過程可知，TLD算法與傳統(tǒng)跟蹤檢測方法相比，具有更強(qiáng)的穩(wěn)定性、實時性，并且在較復(fù)雜的視頻環(huán)境中，能準(zhǔn)確檢測出目標(biāo)并進(jìn)行穩(wěn)定跟蹤[9]。

2 FAST特征點檢測與匹配

本文采用FAST算法提取與匹配注冊跟蹤目標(biāo)圖像特征點。

2.1 FAST特征檢測

FAST算法在提取特征值過程中，融入了FAST信息[10]。同時，F(xiàn)AST算法在描述目標(biāo)區(qū)域特征點時，采用BRIEF對其優(yōu)化，從而使圖形對噪音的敏感度降低，有效改觀旋轉(zhuǎn)時產(chǎn)生的流動性。P作為像素聚焦中心點，基于FAST算法對其進(jìn)行分割檢測。假如目標(biāo)區(qū)域為圓形，半徑用r表示，在該區(qū)域內(nèi)存在n個像素Ik，其中各像素間彼此聯(lián)系，則可通過公式（5）對像素點p是否可為角點作出有效判別。

其中，[Ip]代表p像素點在圖像上呈現(xiàn)的灰度數(shù)值;[Ip]指圖像中任何一個像素點在圖像上呈現(xiàn)的灰度數(shù)值[11]。因此可將尺度特性引入至圖形金字塔中，通過灰度質(zhì)心方法消除方向信息。

2.2 FAST特征點匹配

對待注冊區(qū)域與計算機(jī)模板進(jìn)行FAST特征匹配，需保證待注冊區(qū)域有足夠數(shù)量的高質(zhì)量特征點，判斷標(biāo)準(zhǔn)為[hi>H]。其中，Hessian值為[hi]，閾值H=1 000，且將提取的特征與上一幀特征進(jìn)行匹配。

在匹配過程中，受外部多重因素綜合影響，容易導(dǎo)致精度降低。為提升匹配精確度，采用RANSAC算法可以有效改善上述弊端[12]。

完成匹配后可計算出AR系統(tǒng)注冊矩陣，并將虛擬信息疊加至待注冊區(qū)域以完成對現(xiàn)實世界的增強(qiáng)。

3 增強(qiáng)現(xiàn)實系統(tǒng)混合三維注冊方法

增強(qiáng)現(xiàn)實系統(tǒng)在虛擬信息的疊加過程中，待注冊區(qū)域肯定會出現(xiàn)被遮擋的情況，導(dǎo)致無法進(jìn)行目標(biāo)區(qū)域跟蹤及特征檢測，從而無法成功注冊。通過觀察發(fā)現(xiàn)，在系統(tǒng)目標(biāo)跟蹤及特征檢測的整個過程中，在待注冊區(qū)域的周圍有一些固定區(qū)域，可為增強(qiáng)現(xiàn)實系統(tǒng)三維注冊穩(wěn)定性提供支持[13]。因此，本文混合三維注冊方法的具體步驟包括：①采用標(biāo)識注冊方法進(jìn)行注冊;②若注冊不成功，利用周邊穩(wěn)定特征點進(jìn)行三維注冊。

3.1 初始三維注冊矩陣求取

圖1給出了顯示器、注冊圖形及攝像機(jī)的三重坐標(biāo)系，具體指示如下所示。其中[XP（u，v）]表示顯示器上任何一個點的有效投影坐標(biāo)。

投影點[XP（u，v）]與待注冊圖形上任意一點[P（X，Y，Z）]之間坐標(biāo)變換關(guān)系為[15]：

其中，f是攝像機(jī)焦距，尺度因子為[sx]、[sy]，圖像重心坐標(biāo)為[u0]、[v0]。通過圖1的坐標(biāo)及投影變換關(guān)系可知：

其中，三維注冊矩陣采用符號[Tm]表示[[xc，yc]]為節(jié)點X在屏幕圖像中呈現(xiàn)的理想坐標(biāo)數(shù)值，主要用[[Xm，Ym，Zm]]表示該數(shù)值在待注冊圖形中的有效值，C為攝像頭內(nèi)部參數(shù)。因此，通過獲取攝像頭參數(shù)矩陣C，再采用標(biāo)識注冊方法進(jìn)行注冊，即可得到初始三維注冊矩陣[Tm']。

3.2 初始注冊分析

提取特殊性質(zhì)圖像特征點后，利用初始矩陣[Tm']計算該特征點在注冊圖形坐標(biāo)系中的坐標(biāo)并保存，再建立多視角特征模板。若注冊區(qū)域是平面的，則將提取的特征點隨機(jī)仿射變換作為該特征點鄰域內(nèi)圖像新特征模板[16 ]，仿射變換方程為：

其中，m經(jīng)過變換后的新坐標(biāo)為n，t為二維平移向量，n0為仿射變換后鄰域中心坐標(biāo)，可將A矩陣分解為：

其中，[S=diag[λ1，λ2]]為縮放矩陣，[Rθ]與[Rφ]分別為[θ]和[φ]的旋轉(zhuǎn)[17]。其中參數(shù)范圍[θ]為±50°，[φ]為±80°，t為???? ±2px，模板間相關(guān)度計算方法為：

其中，[c（I1，I2）]可衡量兩者間不相似程度，[I1（x，y）]、[I2（x，y）]分別為兩個比較模板。

3.3 特征模板匹配

該步驟建立在AR場景中沒有圖形待注冊的基礎(chǔ)上，具體過程包括3個部分：

Step1：獲取現(xiàn)實圖像，并進(jìn)行特征點提取。

Step2：對提取到的特征點[（xc，yc）]，使用系統(tǒng)已存儲的特征模板與特征點[（xc，yc）]所在的注冊圖形塊進(jìn)行運(yùn)算。

Step3：選出較大相關(guān)度的特征點為當(dāng)前特殊性質(zhì)圖像特征對應(yīng)的點，則[（Xm，Ym，Zm）]為該匹配特征坐標(biāo)[18]。正相關(guān)度計算式為：

i]分別為圖像塊像素值和模板像素值。

3.4 混合三維注冊矩陣

模板匹配后得到候選特征點集合[（Xci，Xmi）] （1≤i≤匹配特征點對數(shù)），再依次計算注冊矩陣，具體注冊方法為：

Step1：從[（Xci，Xmi）]中隨機(jī)選取4對非共線特征點。

Step2：通過坐標(biāo)系和投影變換的關(guān)系，計算出的矩陣并作為備用[19]。

Step3：用特征點集合和備用矩陣計算每一對匹配特征點對應(yīng)的[Xci]以及[λCTmXmi]間的距離[di]，并計算出距離數(shù)最多的[Tm]，從而生成攝像頭目標(biāo)頭像區(qū)域矩陣值，完成對現(xiàn)實世界的增強(qiáng)。

4 實驗結(jié)果與分析

4.1 實驗平臺搭建

基于FAST特征檢測與TLD目標(biāo)跟蹤的混合三維注冊方法具體的實驗平臺如表1所示。

4.2 三維注冊實驗結(jié)果

對本文提出的混合三維注冊方法進(jìn)行實驗，得到的實驗結(jié)果如圖2-圖4所示。圖2為通過攝像頭獲取的初始頭像效果。在此基礎(chǔ)上，利用光照條件，實現(xiàn)對真實世界及虛擬物體之間的三維注冊，完成相應(yīng)的功能疊加，具體結(jié)果如圖3所示。圖4為在對光照進(jìn)行遮擋時的效果圖。通過對圖像旋轉(zhuǎn)變換實現(xiàn)注冊，具體結(jié)果見圖5。綜上可知，本文提出的方法在光照變化及遮擋時均可實現(xiàn)對AR系統(tǒng)的功能注冊，具有普適性。

基于上述分析可知，無論標(biāo)示是否可見，圖像是否進(jìn)行尺度或特征旋轉(zhuǎn)變換，均可通過AR系統(tǒng)注冊。

4.3 三維注冊實驗結(jié)果分析

分別采用本文注冊方法與SURF注冊方法進(jìn)行注冊并對結(jié)果及AR系統(tǒng)三維注冊運(yùn)算時間進(jìn)行比對分析。對待注冊區(qū)域進(jìn)行平移、旋轉(zhuǎn)和縮放等操作，以100幀為一次平均計算間隔，注冊運(yùn)算時間對比結(jié)果如表2所示。

從表2可以看出，本文采用的研究方法具有較高的運(yùn)行效率，其中僅用0.18s即完成三維注冊，相對于傳統(tǒng)的SURF方法[20]，效率提升近1/3。所以采用TLE目標(biāo)與FAST特征檢測相互融合的方法，對于實現(xiàn)三維注冊信息具有較強(qiáng)的推動作用，可以提升AR系統(tǒng)各種指標(biāo)性能，如魯棒性及實時呈現(xiàn)性。

5 結(jié)語

本文提出了一種準(zhǔn)確、快速的增強(qiáng)現(xiàn)實混合三維注冊方法，該注冊方法通過采用FAST特征檢測與TLD目標(biāo)跟蹤相結(jié)合的跟蹤注冊策略，利用TLD算法對目標(biāo)區(qū)域進(jìn)行準(zhǔn)確、有效跟蹤，采用FAST算法保證在視角、尺度縮放、亮度及旋轉(zhuǎn)等情況下注冊成功率及運(yùn)算效率。實驗結(jié)果表明，本文三維注冊方法在待注冊位置發(fā)生光照變化、遮擋以及旋轉(zhuǎn)變換時，均能成功完成注冊。

參考文獻(xiàn)：

[1] BILLINGHURST M，CLARK A，LEE G. A survey of augmented reality[J]. Foundations and Trends in Human-Computer Interaction， 2015， 8（2-3）：73-272.

[2] 饒玲珊，林寅，楊旭波，等. 增強(qiáng)現(xiàn)實游戲的場景重建和運(yùn)動物體跟蹤技術(shù)[J]. 計算機(jī)工程與應(yīng)用， 2012， 48（9）：198-200.

[3] 李揚(yáng)，孫超，張明敏，等. 跟蹤與匹配并行的增強(qiáng)現(xiàn)實注冊方法[J]. 中國圖象圖形學(xué)報，2011，16（4）：680-685.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[5] 歐陽能鈞，李偉彤，韋蔚，等. Comparison of SIFT， PCA-SIFT and SURF[J]. 遙感技術(shù)與應(yīng)用， 2013， 28（1）：58-64.

[6] 呂旸，王涌天，陳靖，等. 基于SIFT+KLT混合特征的增強(qiáng)現(xiàn)實跟蹤定位[C]. 2009中國計算機(jī)大會，2009.

[7] 王小紅. 基于TLD與SIFT的增強(qiáng)現(xiàn)實三維注冊方法[J]. 哈爾濱師范大學(xué)：自然科學(xué)學(xué)報， 2017， 33（2）：71-74.

[8] 李炎， 尹東. 基于TLD的增強(qiáng)現(xiàn)實跟蹤注冊方法[J]. 系統(tǒng)仿真學(xué)報， 2014， 26（9）：2062-2067.

[9] 邢藏菊， 溫蘭蘭， 何蘇勤. TLD視頻目標(biāo)跟蹤器快速匹配的研究[J]. 小型微型計算機(jī)系統(tǒng)， 2015， 36（5）：1113-1116.

[10] ROSTEN E， DRUMMOND T. Machine learning for high speed corner detection[C]. European Conference on Computer Vision， 2006：430-443.

[11] CALONDER M， LEPETIT V， STRECHA C. et al. Brief： binary robust independent elementary features[C]. European Conference on Computer Vision， 2010：778-792.

[12] ROSIN P L. Measuring corner properties [J].Computer Vision and Image Understanding， 1999，73（2）：291-307.

[13] 周見光， 石剛， 馬小虎. 增強(qiáng)現(xiàn)實系統(tǒng)中的虛擬交互方法[J]. 計算機(jī)工程， 2012， 38（1）：251-252.

[14] 張志禹， 劉耀陽. 基于SURF與光流法的增強(qiáng)現(xiàn)實跟蹤注冊[J]. 計算機(jī)工程與應(yīng)用， 2015， 51（3）：166-170.

[15] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[16] 顧慶傳， 姜娜. 基于FAST特征點檢測的混合虛實注冊方法[J]. 哈爾濱師范大學(xué)：自然科學(xué)學(xué)報， 2017， 33（2）：58-62.

[17] RABIN J， DELON J， GOUSSEAU Y， et al. MAC-RANSAC： a robust algorithm for the recognition of multiple objects[J]. Proceedings of DPTV， 2010：51.

[18] 管濤， 李利軍， 段利亞，等. 基于標(biāo)識與平面間單應(yīng)性矩陣的虛實注冊方法[J]. 華中科技大學(xué)學(xué)報：自然科學(xué)版， 2006， 34（10）：55-57.

[19] ZHANG G F. Camera tracking based on structure and motion recovery for augmented video[J]. Chinese Journal of Computers， 2006， 29（12）：2104-2111.

[20] TRUCCO E， VERRI A. Introductory techniques for 3-D computer vision [M]. Englewood Cliffs： Prentice Hall， 1998.

（責(zé)任編輯：江 艷）