基于BRISK特征的增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)

楊松　萬(wàn)韜阮　武桐　朱耀麟

摘 要：目前，基于特殊標(biāo)志的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，不夠美觀，且不適用室外；而基于自然特征的傳統(tǒng)算法速度慢，提出了一種基于BRISK特征檢測(cè)提取的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。BRISK采用二進(jìn)制的描述子以及漢明距離匹配，以給定半徑圍繞關(guān)鍵點(diǎn)周圍的圓進(jìn)行均勻采樣，顯著減少采樣點(diǎn)的數(shù)量，從而大大改善了運(yùn)行速度，且該系統(tǒng)采用自然場(chǎng)景中的物體作為目標(biāo)，省去了不美觀的標(biāo)志。實(shí)驗(yàn)表明，該系統(tǒng)在很短的時(shí)間便可達(dá)到穩(wěn)定結(jié)果，在室外以及遮擋部分標(biāo)志物也能穩(wěn)定工作。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；自然特征；BRISK；漢明距離；描述子

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：Currently，augmented reality systems based on special signs affect the appearance and don't work in outdoor.And the traditional algorithms of the systems based on natural features are slow.This paper presents an augmented reality system designed based on BRISK feature extraction.BRISK use binary descriptor and match with the Hamming distance.And BRISK uses a deterministic sampling pattern resulting in a uniform sampling-point density at a given radius around the keypoint.So BRISK uses dramatically fewer sampling-point.It significantly improved speed.The system uses natural objects in the scene as the target.It eliminates unsightly markers.The experimental results show that：the system can achieve a stable result in a very short time.And it also stably work in outdoor and blocking the partially marker.

Keywords：augmented reality；natural features；BRISK；Hamming distance；descriptor

1 引言（Introduction）

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR），也被稱之為混合現(xiàn)實(shí)，利用計(jì)算機(jī)技術(shù)和可視化技術(shù)生成現(xiàn)實(shí)場(chǎng)景中不存在的虛擬物體，并通過(guò)傳感技術(shù)將虛擬物體準(zhǔn)確注冊(cè)在真實(shí)場(chǎng)景中，借助顯示設(shè)備將虛擬物體與真實(shí)場(chǎng)景融為一體，給使用者一個(gè)感官效果真實(shí)的新環(huán)境[1，2]。由于其廣闊的應(yīng)用和發(fā)展前景，所以吸引越來(lái)越多國(guó)內(nèi)外知名大學(xué)和研究機(jī)構(gòu)的關(guān)注。

基于特征提取、匹配、定位的注冊(cè)技術(shù)在AR研究中占有很大比例，通過(guò)建立二維圖像特征坐標(biāo)和三維真實(shí)世界特征坐標(biāo)之間一一對(duì)應(yīng)關(guān)系，估算攝像機(jī)的姿態(tài)[3]，即虛擬物體進(jìn)行幾何變換的參數(shù)，定位成功后，把虛擬物體放置在目標(biāo)上。

虛擬物體的注冊(cè)定位問(wèn)題是增強(qiáng)現(xiàn)實(shí)研究的一個(gè)難點(diǎn)，目前解決的方法大體可分為采用特殊標(biāo)志的和基于自然特征的。采用特殊標(biāo)志的技術(shù)發(fā)展比較成熟，日本廣島城市大學(xué)與美國(guó)華盛頓大學(xué)聯(lián)合開(kāi)發(fā)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)二次開(kāi)發(fā)工具——ARToolkit[4]是以此技術(shù)開(kāi)發(fā)的，國(guó)內(nèi)武漢大學(xué)的常勇等利用此開(kāi)發(fā)包設(shè)計(jì)完成了“地下管網(wǎng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)”[5]，華中科技大學(xué)的熊金猛、易俊等設(shè)計(jì)了“基于增強(qiáng)現(xiàn)實(shí)的車間布局仿真系統(tǒng)”[6]和“海底冒險(xiǎn)室內(nèi)增強(qiáng)現(xiàn)實(shí)系統(tǒng)”[7]；由于特殊標(biāo)志包含了所有定位信息，所以標(biāo)志物要完整出現(xiàn)在視頻幀中，因此此技術(shù)廣泛應(yīng)用于環(huán)境穩(wěn)定的室內(nèi)，有很大的局限性?；谧匀惶卣鞯氖钱?dāng)前的熱門研究方向[8]。

關(guān)于自然特征的檢測(cè)及描述算法有許多，眾所周知的SIFT、SURF、FAST等，在不考慮旋轉(zhuǎn)與仿射變換的條件下，F(xiàn)AST是不錯(cuò)的選擇，在小幅度的旋轉(zhuǎn)下，F(xiàn)AST還是有一定的容錯(cuò)能力的；SIFT、SURF具有尺度不變性和旋轉(zhuǎn)不變性，精度高，只是速度很慢，對(duì)于實(shí)時(shí)的系統(tǒng)不滿足要求；為了滿足速度要求，在犧牲一些精度的情況下，提出了ORB、BRISK算法。BRISK特征算子是一種新的具有尺度不變性和旋轉(zhuǎn)不變性的角點(diǎn)檢測(cè)和描述算法，與其他的特征檢測(cè)與描述算法（SIFT、SURF等）相比，由于其采用二進(jìn)制描述子以及Hamming距離匹配，使運(yùn)算速度有了很大改善[9]。

本文BRISK算法對(duì)自然特征進(jìn)行檢測(cè)與提取，然后使用Hamming距離匹配，最后用RANSAC算法去除誤匹配點(diǎn)，通過(guò)這些匹配特征點(diǎn)對(duì)，建立相機(jī)坐標(biāo)和真實(shí)世界坐標(biāo)之間的變換關(guān)系，找到預(yù)設(shè)目標(biāo)，之后通過(guò)OpenGL將虛擬物體放置在目標(biāo)上，達(dá)到對(duì)現(xiàn)實(shí)的增強(qiáng)效果。

2 系統(tǒng)設(shè)計(jì)（The system design）

所設(shè)計(jì)的AR系統(tǒng)主要包括圖像識(shí)別與特征檢測(cè)、特征提取、特征匹配、攝像機(jī)標(biāo)定、虛擬物體三維注冊(cè)等部分。

系統(tǒng)的大體工作流程是：先預(yù)設(shè)目標(biāo)圖片（如書封面等），用攝像頭遍歷場(chǎng)景，通過(guò)BRISK算法檢測(cè)與提取自然特征，之后通過(guò)提取的特征進(jìn)行匹配，成功后即找到目標(biāo)，將由攝像機(jī)標(biāo)定得到的內(nèi)參數(shù)和得到的匹配特征點(diǎn)對(duì)代入到投影方程中求得旋轉(zhuǎn)矩陣R和平移分量t，最后將OpenGL生成的虛擬物體放置到目標(biāo)上，完成對(duì)現(xiàn)實(shí)場(chǎng)景增強(qiáng)的效果。

3 BRISK特征檢測(cè)提?。–amera pose estimation）

3.1 尺度空間關(guān)鍵點(diǎn)檢測(cè)提取

其中，d0由c0下采樣得到，不同octave之間的采樣關(guān)系為2/3，不同尺度之間的采樣關(guān)系為1/2。

關(guān)鍵點(diǎn)檢測(cè)是通過(guò)FAST的算法進(jìn)行的，BRISK算法大部分使用FAST9-16提取特征點(diǎn)。首先，F(xiàn)AST9-16應(yīng)用于每一個(gè)octave和每一層intra-octave，取相同的閾值T識(shí)別潛在的感興趣區(qū)域；然后，對(duì)興趣區(qū)域中的點(diǎn)進(jìn)行非極大值抑制：（1）問(wèn)題點(diǎn)要滿足最大值條件，即同一層中興趣點(diǎn)的FAST score必須大于與它相鄰的其他八個(gè)點(diǎn)；（2）上下層的必須小于該點(diǎn)的。滿足條件的即為所提取的關(guān)鍵點(diǎn)。對(duì)于最底層c0層，需要用FAST5-8虛擬一個(gè)d-1層。

3.2 BRISK描述子建立

BRISK使用幾個(gè)同心Bresenham圓上均勻分布的點(diǎn)，每個(gè)模式設(shè)置了60個(gè)點(diǎn)，如圖1所示為尺度t=1的模式的采樣點(diǎn)分布，由長(zhǎng)距離采樣點(diǎn)和短距離采樣點(diǎn)對(duì)分別估計(jì)特征點(diǎn)方向和生成二進(jìn)制描述子。

4 攝像機(jī)的位姿估計(jì)（The result and conclusion）

其中，（X，Y，Z）T為真實(shí)世界坐標(biāo)；為攝像機(jī)內(nèi)參數(shù)矩陣，fx、fy、Cx、Cy為內(nèi)參數(shù)，由攝像機(jī)標(biāo)定可得；（x，y）T為投影變換后的二維圖像坐標(biāo)；R、t為世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換系數(shù)。

由此式可得，通過(guò)匹配點(diǎn)對(duì)，代入方程中即可計(jì)算得到攝像機(jī)的位姿。最后將OpenGL生成的虛擬物體放置到目標(biāo)上。

5 結(jié)論（Conclusion）

實(shí)驗(yàn)所用的主要的硬件有Microsoft LifeCam Studio攝像頭，系統(tǒng)為64位win8的筆記本電腦；開(kāi)發(fā)平臺(tái)為Visual Studio 2010，鏈接OpenCV、OpenGL開(kāi)發(fā)數(shù)據(jù)庫(kù)。

圖3（a）—圖3（d）為實(shí)驗(yàn)結(jié)果，分別以不同目標(biāo)圖片（書封面、空調(diào)箱、窗戶、工藝品）為目標(biāo)。

就速度而言，從特征檢測(cè)、提取到建立匹配，BRISK的處理總時(shí)間大約為75ms左右，SIFT的處理總時(shí)間大約為3200ms左右；可看出BRISK這點(diǎn)遠(yuǎn)優(yōu)于SIFT。從實(shí)驗(yàn)可得，該系統(tǒng)也可在戶外穩(wěn)定工作，且遮擋部分標(biāo)志也能穩(wěn)定運(yùn)行。后期，加入GPS、慣性導(dǎo)航傳感器，在戶外便可達(dá)到高精度的定位信息，從而為戶外增強(qiáng)現(xiàn)實(shí)技術(shù)的研究提供了一條路徑。

參考文獻(xiàn)（References）

[1] 申凱，戴青，費(fèi)曉飛.戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究[J].微機(jī)算機(jī)信息，2006，22（27）：169-172.

[2] 朱淼良，姚遠(yuǎn)，蔣云良.增強(qiáng)現(xiàn)實(shí)綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2004，9（7）：767-773.

[3] 孫源，陳靖.智能手機(jī)的移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)研究[J].計(jì)算機(jī)科學(xué)，2012，39（Z6）：493-498

[4] 任結(jié)，等.基于ORB自然特征的AR實(shí)時(shí)系統(tǒng)實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究，2012，29（9）：3594-3596.

[5] Kato H，Billinghurst M.Marker tracking and HMD calibration for a video-based augmented reality conferencing system[C].Proceedings of 2nd IEEE and ACM International Workshop on Augmented Reality，Washington DC，USA：IEEE ComputerSociety，1999：85-94.

[6] 常勇，何宗宜.基于ARToolKit的地下管網(wǎng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究[J].計(jì)算機(jī)工程與應(yīng)用，2005，（29）：196-199.

[7] 熊金猛，等.基于增強(qiáng)現(xiàn)實(shí)的車間布局仿真系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[J].機(jī)械與電子，2007，（1）：64-67.

[8] 易俊，李自力.基于ARToolKit立體視覺(jué)成像增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究[J].微計(jì)算機(jī)信息，2007，23（10）：255-257.

[9] Huang Fen，et al.Piano AR：a markerless augmented reality basedpiano teaching system[C].Proc of Intelligent Human-Machine Systems and Cybernetics.2011：47-52.

[10] 曹建，等.基于BRISK改進(jìn)的快速角點(diǎn)特征算法[J].艦船電子工程，2013，33（5）：44-47.

作者簡(jiǎn)介：

楊 松（1986-），男，碩士生.研究領(lǐng)域：戶外增強(qiáng)現(xiàn)實(shí)技術(shù).

萬(wàn)韜阮（1960-），男，博士，教授.博師生導(dǎo)師.研究領(lǐng)域：三維可視化.

武 桐（1982-），女，碩士，講師.研究領(lǐng)域：圖像處理.

朱耀麟（1977-），男，博士，副教授.研究領(lǐng)域：信號(hào)處理.