增強(qiáng)現(xiàn)實(shí)的系統(tǒng)結(jié)構(gòu)與關(guān)鍵技術(shù)研究

麻興東

摘要：首先概要介紹了增強(qiáng)現(xiàn)實(shí)技術(shù)的概念、相關(guān)特性，并總結(jié)了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的總體結(jié)構(gòu)，概略介紹了各組成部分的功能以及對(duì)應(yīng)的關(guān)鍵技術(shù)。然后在此基礎(chǔ)上論述了關(guān)鍵技術(shù)中的顯示技術(shù)和跟蹤注冊(cè)技術(shù)，最后對(duì)增強(qiáng)現(xiàn)實(shí)的當(dāng)前應(yīng)用和未來(lái)趨勢(shì)做出了概要總結(jié)。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；跟蹤注冊(cè)；實(shí)時(shí)跟蹤；虛實(shí)配準(zhǔn)

1引言

增強(qiáng)現(xiàn)實(shí)技術(shù)AR（Augmented Reality）是在虛擬現(xiàn)實(shí)VR技術(shù)（Virtual Reality）的基礎(chǔ)上發(fā)展起來(lái)的典型的交叉學(xué)科，具有十分廣泛的研究和應(yīng)用范圍，涉及到諸多技術(shù)領(lǐng)域，如計(jì)算機(jī)圖形和圖像處理、人機(jī)界面交互設(shè)計(jì)、移動(dòng)計(jì)算、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、信號(hào)處理技術(shù)、以及新型顯示器和傳感器的設(shè)計(jì)等。

與傳統(tǒng)虛擬現(xiàn)實(shí)技術(shù)所要達(dá)到的完全沉浸的效果不同，AR將計(jì)算機(jī)生成的虛擬影像實(shí)時(shí)準(zhǔn)確地疊加在實(shí)景對(duì)象上，從而允許用戶使用實(shí)景對(duì)象與虛擬的影像進(jìn)行實(shí)時(shí)無(wú)縫交互。AR技術(shù)需具有3方面的特點(diǎn)：（1）真實(shí)與虛擬圖像的結(jié)合，（2）實(shí)時(shí)互動(dòng)，（3）根據(jù)實(shí)景物理對(duì)象對(duì)虛擬影像進(jìn)行定位。由于增強(qiáng)現(xiàn)實(shí)具有將真實(shí)場(chǎng)景同虛擬物體加以融合并實(shí)現(xiàn)實(shí)時(shí)交互的特性，能夠增強(qiáng)用戶對(duì)現(xiàn)實(shí)環(huán)境的理解和認(rèn)知。

本文首先討論增強(qiáng)現(xiàn)實(shí)系統(tǒng)的總體架構(gòu)，在此基礎(chǔ)上著重論述增強(qiáng)顯示的關(guān)鍵技術(shù)，即：顯示技術(shù)、跟蹤注冊(cè)技術(shù)、相關(guān)方法及其各自的特性，在本文的最后，對(duì)增強(qiáng)現(xiàn)實(shí)應(yīng)用和未來(lái)趨勢(shì)概要地作出總結(jié)。

2增加現(xiàn)實(shí)系統(tǒng)架構(gòu)

增強(qiáng)現(xiàn)實(shí)的整體系統(tǒng)通常由場(chǎng)景采集、跟蹤注冊(cè)、虛擬場(chǎng)景發(fā)生器、虛實(shí)合成、顯示系統(tǒng)和人機(jī)交互界面等多個(gè)子系統(tǒng)構(gòu)成，如圖1所示。

增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，通過(guò)處理現(xiàn)實(shí)實(shí)景的圖像建立起實(shí)景空間，根據(jù)跟蹤注冊(cè)技術(shù)確定攝像機(jī)的姿態(tài)以及虛擬圖像的空間定位，虛擬圖像與實(shí)景圖像通過(guò)配準(zhǔn)排列，合成未虛實(shí)融合的增強(qiáng)現(xiàn)實(shí)環(huán)境，這個(gè)環(huán)境再輸入到顯示系統(tǒng)呈現(xiàn)給用戶，最后用戶通過(guò)交互設(shè)備與場(chǎng)景環(huán)境進(jìn)行互動(dòng)。其中，讓虛實(shí)準(zhǔn)確結(jié)合的注冊(cè)步驟非常關(guān)鍵，和最后的顯示輸出端一起，決定了用戶對(duì)增強(qiáng)現(xiàn)實(shí)環(huán)境的最終感知效果，

3增強(qiáng)現(xiàn)實(shí)系統(tǒng)的顯示技術(shù)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)的能夠利用融合計(jì)算機(jī)視覺(jué)、顯示技術(shù)、多傳感器等技術(shù)對(duì)真實(shí)場(chǎng)景進(jìn)行擴(kuò)展和增強(qiáng)，根據(jù)Eitoku提出的標(biāo)準(zhǔn)，AR的顯示裝置的設(shè)計(jì)應(yīng)該有4個(gè)準(zhǔn)則：（1）虛擬信息與現(xiàn)實(shí)世界共存；（2）支持協(xié)同工作；（3）不給用戶增加特殊儀器的負(fù)擔(dān)用戶；（4）支持顯示自然的三維圖像。主要集中在3種類型：透視式的頭部佩戴顯示器，基于投影顯示器和手持式顯示器。

3.1頭部配戴顯示設(shè)備

透視式HMDS通過(guò)光學(xué)或視頻技術(shù)，使用戶看到將虛擬物體與現(xiàn)實(shí)實(shí)景融合后的場(chǎng)景。這類顯示器又可分為光學(xué)透視OST（Optical See Through）和視頻透視VST（Video See Through）的HMD。

用戶通過(guò)OST HMD可以直接看到現(xiàn)實(shí)實(shí)景與虛擬信息疊加融合后的場(chǎng)景。例如Google正式發(fā)布的眼鏡項(xiàng)目“Google Glass”，這款眼鏡集智能手機(jī)、GPS、相機(jī)于一身，所有的信息都能即時(shí)展現(xiàn)在眼前，比以往的設(shè)計(jì)頭盔式顯示器更小更薄的頭部佩戴裝置。

OST HMD對(duì)真實(shí)環(huán)境幾-乎無(wú)損顯示。用戶獲得的信息比較可靠全面，對(duì)真實(shí)環(huán)境與虛擬圖像融合匹配的精確度要求較高。首先由攝像機(jī)攝取實(shí)景圖像，然后將生成的信息或虛擬影像圖像疊加在攝像機(jī)視頻上，通過(guò)顯示系統(tǒng)呈現(xiàn)給用戶。VST HMD的優(yōu)點(diǎn)在于較好地處理諸如被遮擋場(chǎng)景、色彩強(qiáng)度等問(wèn)題，以保持真實(shí)場(chǎng)景與虛擬圖像的一致性。

3.2投影顯示設(shè)備

基于投影技術(shù)的顯示，不需要用戶佩戴設(shè)備，對(duì)用戶的體驗(yàn)保持最低限度的侵?jǐn)_?，F(xiàn)有多種投影顯示技術(shù)，將圖像信息直接投射到真實(shí)物體的表面，通常是在固定的物體的表面。投影設(shè)備同時(shí)能夠?qū)D像投影到更大范圍的環(huán)境中。

投影顯示設(shè)備更加適合室內(nèi)增強(qiáng)現(xiàn)實(shí)環(huán)境，生成圖像的焦點(diǎn)不隨用戶視角的改變而改變。投影顯示設(shè)備與固定的跟蹤定位設(shè)備相配合，將虛擬物體投影到真實(shí)世界中的相應(yīng)位置。例如大眾研究集團(tuán)與大眾服務(wù)學(xué)院聯(lián)合開發(fā)的投影式增強(qiáng)現(xiàn)實(shí)系統(tǒng)，可用于新車型的開發(fā)與技術(shù)創(chuàng)新的培訓(xùn)。

3.3手持顯示設(shè)備（Hand Held Device）

手持設(shè)備的增強(qiáng)現(xiàn)實(shí)應(yīng)用不需要額外的設(shè)備和應(yīng)用程序的能力，對(duì)用戶體驗(yàn)沒(méi)有侵?jǐn)_，易于攜帶和高度移動(dòng)自由度等優(yōu)點(diǎn)，廣泛為社會(huì)所接受，因此經(jīng)常被用于在廣告，教育和培訓(xùn)吸引用戶注意的重要設(shè)備。

Layer App是典型的智能手機(jī)上的增強(qiáng)現(xiàn)實(shí)應(yīng)用程序之一。用戶在指定的位置，使用手機(jī)內(nèi)置羅盤以確定鏡頭所指的方向，在手機(jī)顯示屏上即可顯示出場(chǎng)景中的細(xì)節(jié)信息，當(dāng)用戶平移其設(shè)備的攝像頭左右，屏幕上會(huì)填充不同的景點(diǎn)信息，包括快速通道的可用性，景點(diǎn)的描述等等。

4增強(qiáng)現(xiàn)實(shí)系統(tǒng)的跟蹤注冊(cè)技術(shù)

跟蹤是指跟蹤3D空間中的一點(diǎn)或幾點(diǎn)的3D坐標(biāo)與6DOF的姿態(tài)信息，注冊(cè)即是虛擬物體和真實(shí)場(chǎng)景在三維空間中位置的一致性，即在空間上的整合，跟蹤注冊(cè)是一個(gè)持續(xù)的動(dòng)態(tài)過(guò)程。跟蹤注冊(cè)是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的緊密相關(guān)的關(guān)鍵技術(shù)。目前廣泛應(yīng)用的注冊(cè)跟蹤技術(shù)可以分為3類：基于傳感器的注冊(cè)跟蹤技術(shù)、基于視覺(jué)的跟蹤注冊(cè)技術(shù)、和基于傳感器與實(shí)際的混合跟蹤注冊(cè)技術(shù)。

4.1基于傳感器的跟蹤注冊(cè)

基于傳感器的跟蹤注冊(cè)技術(shù)，首先記錄實(shí)際場(chǎng)景中用戶的方向和位置，在便保持虛擬空間和真實(shí)空間連續(xù)性的基礎(chǔ)上，實(shí)現(xiàn)虛擬對(duì)象與實(shí)際場(chǎng)景的精確配準(zhǔn)融合。常用的傳感器技術(shù)主要有：磁場(chǎng)（magnetic）跟蹤注冊(cè)、聲學(xué)（acoustic）跟蹤注冊(cè)、光學(xué)（ortic）跟蹤注冊(cè)、慣性（inertial）跟蹤注冊(cè)。

磁場(chǎng)跟蹤注冊(cè)系統(tǒng)，由控制器、磁場(chǎng)發(fā)射器和接收器組成，利用磁場(chǎng)相關(guān)的參數(shù)，從而確定用戶的位置和方位。例如徐彤等設(shè)計(jì)的六自由度電磁跟蹤系統(tǒng)。

聲學(xué)跟蹤注冊(cè)系統(tǒng)包括超聲波發(fā)射器、接收器、和處理單元。利用同一聲源到達(dá)不同地點(diǎn)或者不同聲源的超聲波到達(dá)同一地點(diǎn)的時(shí)間差、聲壓差等參數(shù)進(jìn)行跟蹤注冊(cè)。超聲波跟蹤注冊(cè)系統(tǒng)成本低，抗電磁干擾能力強(qiáng)，但是非常容易受周圍環(huán)境的噪聲、溫度、濕度以及遮擋問(wèn)題的影響。

光學(xué)跟蹤注冊(cè)系統(tǒng)使用感光設(shè)備，接受發(fā)光元件產(chǎn)生的光線，用以測(cè)量目標(biāo)的方位。該類系統(tǒng)的精度高，不受噪聲和電磁場(chǎng)影響。主要缺點(diǎn)是易受視線和遮擋的影響，而且設(shè)備昂貴。

慣性跟蹤注冊(cè)系統(tǒng)使用慣性傳感器，獲取用戶或攝像機(jī)的運(yùn)動(dòng)方向和姿態(tài)，獲取攝像機(jī)的運(yùn)動(dòng)位置和速度。使用慣性跟蹤注冊(cè)技術(shù)存在著漂移和誤差累計(jì)，因此精度不高，必須與其他注冊(cè)跟蹤技術(shù)聯(lián)合使用，才能達(dá)到較高的精度。

基于傳感器的跟蹤注冊(cè)系統(tǒng)，可以記錄真實(shí)場(chǎng)景中用戶的方向和位置，在此基礎(chǔ)上保持虛擬空間和真實(shí)空間的連續(xù)性，實(shí)現(xiàn)精確配準(zhǔn)與虛實(shí)圖像的融合。

4.2基于視覺(jué)（vision-Based）的跟蹤注冊(cè)

基于視覺(jué)的跟蹤注冊(cè)基于視覺(jué)跟蹤的跟蹤注冊(cè)則不需要使用傳感器設(shè)備，由于硬件成本相對(duì)低廉，而受到越來(lái)越多地關(guān)注。

基于視覺(jué)的跟蹤注冊(cè)過(guò)程為：首先根據(jù)攝像機(jī)攝入的圖像或視頻流進(jìn)行處理，檢測(cè)圖像中目標(biāo)物體的特征，并欲與預(yù)存的場(chǎng)景圖像的特征進(jìn)行匹配。若匹配成功，通過(guò)圖像特征可以獲得攝像鏡頭的單應(yīng)性矩陣，據(jù)此可以計(jì)算出攝像鏡頭相對(duì)于場(chǎng)景中物體的位置及姿態(tài)。跟蹤注冊(cè)主要是基于標(biāo)識(shí)的跟蹤和無(wú)標(biāo)識(shí)的跟蹤。

基于標(biāo)識(shí)的跟蹤注冊(cè)技術(shù)，由于標(biāo)識(shí)是人工放置，由此根據(jù)計(jì)算機(jī)視覺(jué)中的透視投影算法，即可獲取攝像機(jī)相對(duì)于標(biāo)識(shí)的轉(zhuǎn)換矩陣，從而獲得注冊(cè)信息。目前基于標(biāo)識(shí)的跟蹤注冊(cè)系統(tǒng)，已有ARToolKit，ARTag等。ARToolKit較為適用小規(guī)模的應(yīng)用，而ARTag在處理較大規(guī)模的應(yīng)用時(shí)則處理速度更快?；跇?biāo)識(shí)的跟蹤注冊(cè)計(jì)算復(fù)雜度較低，具有較好的精確性，但同時(shí)也易受遮擋的影響。

無(wú)標(biāo)識(shí)跟蹤注冊(cè)技術(shù)，又稱為基于自然特征點(diǎn)的注冊(cè)跟蹤技術(shù)，是直接利用場(chǎng)景中存在并且容易識(shí)別的實(shí)景物體的自然特征，提取識(shí)別的基準(zhǔn)點(diǎn)。經(jīng)典的算法有Ferns算法、SURF算法、和SIFT算法。在手持設(shè)備上運(yùn)用時(shí)，由于真實(shí)的場(chǎng)景往往比較復(fù)雜無(wú)標(biāo)識(shí)跟蹤注冊(cè)的計(jì)算量較大，實(shí)時(shí)性較差。

4.3混合跟蹤注冊(cè)技術(shù)

混合跟蹤注冊(cè)是指在同一增強(qiáng)現(xiàn)實(shí)系統(tǒng)中采用兩種以上的跟蹤注冊(cè)，以實(shí)現(xiàn)各種跟蹤注冊(cè)的優(yōu)勢(shì)互補(bǔ)?；趥鞲衅鞯母欁?cè)技術(shù)跟蹤需要較為昂貴的硬件設(shè)備，易受外部環(huán)境變化的影響，但是實(shí)時(shí)性好，魯棒性高?；跇?biāo)識(shí)的跟蹤注冊(cè)的主要性能特點(diǎn)是精度高，實(shí)時(shí)性較差。把這兩種注冊(cè)跟蹤技術(shù)相結(jié)合，則可以綜合各自的優(yōu)點(diǎn)，彌補(bǔ)各自的缺點(diǎn)，使其成為一個(gè)魯棒性較強(qiáng)、實(shí)時(shí)性較好、精度較高并且受外界干擾較小的綜合跟蹤注冊(cè)系統(tǒng)。例如Azuma等在1998年提出的將GPS、視覺(jué)跟蹤注冊(cè)技術(shù)和慣性傳感器三種技術(shù)綜合戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)。

5結(jié)語(yǔ)

增強(qiáng)現(xiàn)實(shí)技術(shù)雖然和虛擬現(xiàn)實(shí)技術(shù)可以追溯至同一個(gè)起源，但對(duì)它的研究要比虛擬現(xiàn)實(shí)技術(shù)落后很長(zhǎng)的時(shí)間。盡管如此，增強(qiáng)現(xiàn)實(shí)一經(jīng)出現(xiàn)就引起了國(guó)際工業(yè)界和學(xué)術(shù)界的極大重視，國(guó)際上眾多科研機(jī)構(gòu)、學(xué)術(shù)組織，商業(yè)公司，如波音、索尼，羅克韋爾都競(jìng)相展開對(duì)它的研究。

實(shí)時(shí)視頻圖像處理技術(shù)、計(jì)算機(jī)圖形系統(tǒng)以及新的顯示技術(shù)和觸覺(jué)技術(shù)的發(fā)展使得虛擬圖形與3D真實(shí)場(chǎng)景的結(jié)合，增強(qiáng)環(huán)境的創(chuàng)造成為可能。在這一增強(qiáng)環(huán)境之中，三維的虛擬物體圖像能準(zhǔn)確的與用戶周圍的三維環(huán)境視圖進(jìn)行配準(zhǔn)，同時(shí)用戶可以以自然的方式與虛擬物體交互。在醫(yī)學(xué)成像、機(jī)械設(shè)計(jì)與制造、軍事應(yīng)用、機(jī)器人遙控、新聞娛樂(lè)等各行業(yè)，增強(qiáng)現(xiàn)實(shí)技術(shù)正在逐步從實(shí)驗(yàn)性研究轉(zhuǎn)化到商業(yè)性開發(fā)，在有著巨大的發(fā)展前景。