增強(qiáng)現(xiàn)實(shí)中的目標(biāo)遠(yuǎn)距離識(shí)別方法研究

呂淘沙　湯汶　萬(wàn)韜阮　朱耀麟　武桐

摘 要：在以往ARToolKit增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，攝像機(jī)能夠正確識(shí)別標(biāo)識(shí)物并在計(jì)算機(jī)生成虛擬物體的距離大都過(guò)近。針對(duì)增強(qiáng)現(xiàn)實(shí)三維注冊(cè)過(guò)程中傳統(tǒng)算法標(biāo)識(shí)物匹配過(guò)程中誤識(shí)率較高，識(shí)別距離不夠遠(yuǎn)，提出了基于輪廓特征點(diǎn)的目標(biāo)遠(yuǎn)距離識(shí)別方法。在識(shí)別過(guò)程中，利用多邊形近似算法和金字塔中的迭代Lucas-kanade算法尋找圖像中要跟蹤識(shí)別的對(duì)象，對(duì)尋找到輪廓角點(diǎn)進(jìn)行亞像素定位，利用角點(diǎn)的精確定位來(lái)跟蹤目標(biāo)。實(shí)驗(yàn)結(jié)果驗(yàn)證及分析表明，采用這種方法，其識(shí)別距離有大幅度增加。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；遠(yuǎn)距離；目標(biāo)跟蹤；多邊形近似

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：In the unimproved ARToolKit system，the distance is too close that camera can recognized the markers correctly and the virtual objects generated by the computer.The insufficient of traditional algorithm of the three-dimensional registration process in augmented reality is analyzed，a method to improve the registration in the augmented reality is put forward.In the process of identification，the extraction and outline of the polygon fitting algorithm and pyramid Lucas-kanade algorithm are used to identify and track targets.The corners of the polygon target are positioned in sub-pixel resolution of the position.The polygons can be replaced with these corners which describe the goals in high precision.The experiment result shows that the recognized distance is improved greatly.

Keywords：augmented reality；far distance；object tracking；polygon fitting

1 引言（Introduction）

目標(biāo)跟蹤方法可分為基于模板的跟蹤、基于區(qū)域的跟蹤、基于輪廓的跟蹤、基于特征匹配的跟蹤和基于運(yùn)動(dòng)特性的跟蹤等方法[1]。增強(qiáng)現(xiàn)實(shí)中基于標(biāo)識(shí)物的三維注冊(cè)技術(shù)是利用計(jì)算機(jī)技術(shù)視覺(jué)觀察者相對(duì)于標(biāo)識(shí)點(diǎn)的位置、方位和姿態(tài)，以實(shí)現(xiàn)對(duì)標(biāo)識(shí)物的跟蹤定位，將虛擬物體精準(zhǔn)地放置在標(biāo)定好的標(biāo)識(shí)物上。早期，研究人員通過(guò)向真實(shí)場(chǎng)景中添加人為的已經(jīng)標(biāo)定好的標(biāo)志物來(lái)獲取完成虛實(shí)注冊(cè)所需的攝像機(jī)位置和姿態(tài)信息。以美國(guó)華盛頓大學(xué)的ARToolKit、德國(guó)政府資助研發(fā)的ARVIKA以及國(guó)內(nèi)北京理工大學(xué)的彩色標(biāo)志點(diǎn)方法[2]和華中科技大學(xué)的ARDK[3]為代表，實(shí)現(xiàn)注冊(cè)問(wèn)題的同時(shí)也存在缺陷，如攝像機(jī)識(shí)別目標(biāo)的距離大都過(guò)近，無(wú)法應(yīng)用于大場(chǎng)景范圍現(xiàn)實(shí)中。本文提出了基于輪廓特征點(diǎn)的目標(biāo)遠(yuǎn)距離識(shí)別方法，在識(shí)別過(guò)程中，利用多邊形近似算法和金字塔中的迭代Lucas-kanade算法尋找圖像中要跟蹤識(shí)別的對(duì)象，對(duì)尋找到輪廓角點(diǎn)進(jìn)行亞像素定位，利用角點(diǎn)的精確定位來(lái)跟蹤目標(biāo)。采用改進(jìn)的漢明碼對(duì)標(biāo)識(shí)物進(jìn)行編碼，減少真實(shí)環(huán)境中的偽標(biāo)志出現(xiàn)率。

2 標(biāo)識(shí)物連通域提取和輪廓檢測(cè)（The maker connected domain extraction）

由于每一個(gè)標(biāo)志物都是黑白相間的區(qū)域組成。所以定位標(biāo)志物的最好方式是找到封閉的輪廓和近似多邊形的四個(gè)頂點(diǎn)。

圖像經(jīng)過(guò)二值化處理后，需要對(duì)其進(jìn)行圖像分割來(lái)辨識(shí)目標(biāo)，從而與背景分離。主要任務(wù)是對(duì)其連通域結(jié)構(gòu)進(jìn)行提取。對(duì)二值化圖像以順序從左到右，從上到下按照八鄰域規(guī)律[4]對(duì)像素進(jìn)行跟蹤，搜索二值圖像的所有連通域區(qū)域。計(jì)算連通域的面積是由標(biāo)志物圖像內(nèi)部像素點(diǎn)的個(gè)數(shù)決定，從而確定了最左端、最右端、最頂端和最底端的像素點(diǎn)。

跟蹤輪廓線，搜索閉合曲線，提取輪廓坐標(biāo)。如圖1所示為可視化輪廓檢測(cè)效果圖。

3 多邊形擬合搜索可能標(biāo)志物（Polygon fitting search the possible maker）

計(jì)算輪廓中各個(gè)像素點(diǎn)到上述直線的距離，取離該直線最遠(yuǎn)距離值的像素點(diǎn)的坐標(biāo)，得到的點(diǎn)即為另兩個(gè)對(duì)角頂點(diǎn)。由此可知，在已知四個(gè)頂點(diǎn)中任取兩個(gè)頂點(diǎn)確定一個(gè)直線，看是否存在到該直線距離最大的且不同于已知四個(gè)頂點(diǎn)的其他點(diǎn)，若存在，多邊形不是四邊形，否則即為四邊形。

4 標(biāo)識(shí)物編碼（Encode the maker）

標(biāo)志物圖像中有含有內(nèi)部編碼，如圖2所示。將標(biāo)志物圖像分為7×7的網(wǎng)格，其中內(nèi)部5×5的網(wǎng)格包含著標(biāo)志物的ID信息。其余為外部的黑色邊框。檢測(cè)是否為標(biāo)志物時(shí)應(yīng)檢測(cè)內(nèi)部5×5的網(wǎng)格內(nèi)是否提供了一個(gè)有效的編碼。

使用改進(jìn)的漢明碼，每一個(gè)字節(jié)只有2位有效信息。其余三位用于錯(cuò)誤檢測(cè)。因此，標(biāo)志物可以有多達(dá)1024種不同的ID。與漢明碼的主要區(qū)別是，首位取反。所以，ID 0（在漢明碼中是00000），而在這里變成了10000。該方法是為了防止一個(gè)完全黑色的方形標(biāo)記也具備有效的ID，減少真實(shí)環(huán)境中偽標(biāo)志物的出現(xiàn)率。

5 金字塔中的迭代Lucas-kanade算法（Pyramid iterative Lucas-kanade algorithm）

本系統(tǒng)采用Lucas-kanade光流算法在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中對(duì)標(biāo)志物特征點(diǎn)進(jìn)行跟蹤。Lucas-kanade只需要感興趣點(diǎn)周?chē)翱诘木植啃畔?，但較大的運(yùn)動(dòng)會(huì)使點(diǎn)移出這個(gè)區(qū)域而無(wú)法跟蹤到這些點(diǎn)。與圖像金字塔分層結(jié)合起來(lái)解決Lucas-kanade光流算法的準(zhǔn)確度和效率。圖像金字塔Lucas-kanade光流跟蹤算法處理過(guò)程，首先把圖像根據(jù)分辨率劃分為L(zhǎng)層（多數(shù)情況為4層）。其次，在最高層L（圖像分辨率最低的一層）處計(jì)算光流，然后把結(jié)果傳給L-1層，L層得到的運(yùn)算結(jié)果作為L(zhǎng)-1層的開(kāi)始點(diǎn)，重復(fù)這個(gè)動(dòng)作直到金字塔最底層0（分辨率最高）。根據(jù)前一幀特征點(diǎn)坐標(biāo)計(jì)算當(dāng)前視頻幀上的特征點(diǎn)坐標(biāo)。尋找具有子像素精度的坐標(biāo)值。改進(jìn)的注冊(cè)算法在跟蹤失敗的情況下，可以結(jié)合標(biāo)志物的部分特征點(diǎn)就可以得到單應(yīng)矩陣來(lái)實(shí)現(xiàn)注冊(cè)。

6 實(shí)驗(yàn)結(jié)果（Experimental result）

在以往使用的ARToolKit在距離方面存在限制，表1展示了不同尺寸的標(biāo)志物允許的最大識(shí)別距離。下表是通過(guò)固定標(biāo)志物攝像機(jī)距離標(biāo)志物由近到遠(yuǎn)識(shí)別的方式采用估算法獲得，觀察顯示器上的虛擬物體，直到虛擬物體在標(biāo)志物上消失，即得到攝像機(jī)能夠識(shí)別標(biāo)志物的最大距離。

而本文探討的采用基于輪廓特征點(diǎn)的方法，利用多邊形近似和金字塔中的迭代Lucas-kanade光流算法，使攝像頭識(shí)別目標(biāo)的距離大幅增加，試驗(yàn)中打印8cm×8cm大小的標(biāo)識(shí)物放置墻上，經(jīng)估算攝像機(jī)識(shí)別的距離可以達(dá)到5m遠(yuǎn)的距離。實(shí)驗(yàn)結(jié)果效果圖如圖3中所顯示的藍(lán)色正方體為虛擬物體。

7 結(jié)論（Conclusion）

本文利用基于輪廓特征點(diǎn)的目標(biāo)遠(yuǎn)距離識(shí)別方法。結(jié)合OpenCV，利用多邊形近似算法和金字塔中的迭代Lucas-kanade算法尋找圖像中要跟蹤識(shí)別的對(duì)象，對(duì)尋找到的輪廓角點(diǎn)進(jìn)行亞像素定位，從而利用角點(diǎn)的精確定位來(lái)跟蹤標(biāo)志物。同時(shí)采用改進(jìn)的漢明碼對(duì)標(biāo)志物進(jìn)行編碼，減少真實(shí)環(huán)境中偽標(biāo)志物的出現(xiàn)率。實(shí)現(xiàn)了增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)系統(tǒng)攝像機(jī)識(shí)別標(biāo)志物的距離可以達(dá)到5m遠(yuǎn)。

參考文獻(xiàn)（References）

[1] 劉永祿，邵龍?zhí)?基于輪廓特征點(diǎn)的高精度識(shí)別目標(biāo)方法[J].電腦與信息技術(shù)，2009，03：1-5；66.

[2] 李玉，王涌天，劉越.基于彩色標(biāo)志點(diǎn)的增強(qiáng)現(xiàn)實(shí)注冊(cè)算法研究[J].系統(tǒng)仿真學(xué)報(bào)，2008，03：654-656；661.

[3] 管濤，李利軍，王乘.增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)工具ARDK的研究與應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2006，19：84-86；89.

[4] 杜鳳儀.增強(qiáng)現(xiàn)實(shí)在文物展示中的應(yīng)用研究[D].電子科技大學(xué)，2009.

[5] 劉嘉敏，等.基于多色彩標(biāo)識(shí)的跟蹤及交互方法[J].系統(tǒng)仿真學(xué)報(bào)，2014，12：2928-2933；2938.

作者簡(jiǎn)介：

呂淘沙（1989-），女，碩士生.研究領(lǐng)域：三維可視化.

湯 汶（1965-），女，博士，教授.研究領(lǐng)域：三維可視化.

萬(wàn)韜阮（1960-），男，博士，教授.研究領(lǐng)域：三維可視化.

朱耀麟（1977-），男，博士，副教授.研究領(lǐng)域：數(shù)字媒體及三維可視化技術(shù).

武 桐（1982-），女，碩士，講師.研究領(lǐng)域：虛擬場(chǎng)景建模與實(shí)現(xiàn).