基于移動(dòng)增強(qiáng)現(xiàn)實(shí)終端的一致性研究

楊衛(wèi)軍，列鍵佳，郭亮，何華貴，李少智

(1.廣州市城市規(guī)劃勘測設(shè)計(jì)研究院，廣東 廣州 510060； 2.華南農(nóng)業(yè)大學(xué) 資源環(huán)境學(xué)院，廣東 廣州 510642)

基于移動(dòng)增強(qiáng)現(xiàn)實(shí)終端的一致性研究

楊衛(wèi)軍1*，列鍵佳2，郭亮1，何華貴1，李少智1

(1.廣州市城市規(guī)劃勘測設(shè)計(jì)研究院，廣東 廣州 510060； 2.華南農(nóng)業(yè)大學(xué) 資源環(huán)境學(xué)院，廣東 廣州 510642)

Augmented Reality(AR)中，空間位置一致性是指虛擬物體在攝像機(jī)屏幕與現(xiàn)實(shí)世界坐標(biāo)匹配的準(zhǔn)確性?？臻g位置一致性是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵性能。文章對移動(dòng)端增強(qiáng)現(xiàn)實(shí)技術(shù)中空間位置一致性相關(guān)問題進(jìn)行了研究，設(shè)計(jì)了一種跨移動(dòng)平臺(tái)的增強(qiáng)現(xiàn)實(shí)算法，并在Android平臺(tái)與IOS平臺(tái)上各自實(shí)現(xiàn)了一個(gè)AR程序，驗(yàn)證了算法的可行性，得出了該算法能較好地解決了空間位置一致性問題的結(jié)論。

增強(qiáng)現(xiàn)實(shí)；空間位置一致性；智能移動(dòng)終端

1 引 言

增強(qiáng)現(xiàn)實(shí)是一種將虛擬信息內(nèi)容如圖像、文字、三維模型等和現(xiàn)實(shí)世界中真實(shí)存在的內(nèi)容進(jìn)行實(shí)時(shí)融合，形成虛擬、現(xiàn)實(shí)之間互動(dòng)，并具有實(shí)時(shí)交互特點(diǎn)的技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)在軍事、醫(yī)療、教育、文化以及娛樂等領(lǐng)域具有廣泛的應(yīng)用前景[1]。增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)與虛擬現(xiàn)實(shí)(Virtual Reality，VR)不同，VR技術(shù)僅是由計(jì)算機(jī)生成一個(gè)完全虛擬環(huán)境給用戶感受，而AR技術(shù)則是將計(jì)算機(jī)或電子設(shè)備生成虛擬物體或信息與用戶現(xiàn)實(shí)中看到的真實(shí)世界相結(jié)合，用戶可通過設(shè)備提供的虛擬信息來增強(qiáng)對現(xiàn)實(shí)世界的認(rèn)知感受，以達(dá)到對現(xiàn)實(shí)世界進(jìn)行增強(qiáng)[2]。增強(qiáng)現(xiàn)實(shí)不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示出來，兩種信息相互補(bǔ)充與疊加[3]。一個(gè)AR系統(tǒng)是由跟蹤定位技術(shù)、標(biāo)定技術(shù)、界面可視化技術(shù)、顯示技術(shù)等多門技術(shù)構(gòu)成。跟蹤定位技術(shù)和標(biāo)定技術(shù)共同實(shí)現(xiàn)了對被跟蹤對象方位和位置的檢測，并將數(shù)據(jù)呈現(xiàn)給AR系統(tǒng)，實(shí)現(xiàn)在虛擬世界和真實(shí)世界里坐標(biāo)的統(tǒng)一[4]。移動(dòng)增強(qiáng)現(xiàn)實(shí)的性能指標(biāo)主要體現(xiàn)在跟蹤目標(biāo)位置的正確性、響應(yīng)時(shí)間、魯棒性和跟蹤范圍等。增強(qiáng)現(xiàn)實(shí)技術(shù)大致可以分為兩種，一種是基于GPS與硬件傳感器實(shí)現(xiàn)，另一種則是基于視覺圖像識別的方式，而基于視覺圖像識別方式還可分為基于標(biāo)記方法與基于自然特征方法[5]。本文主要對基于GPS與硬件傳感器方式的增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)的系統(tǒng)的空間位置一致性進(jìn)行研究。這種方式的主要實(shí)現(xiàn)思路就是解決現(xiàn)實(shí)世界坐標(biāo)系與虛擬世界坐標(biāo)系的統(tǒng)一性、虛擬世界坐標(biāo)系與移動(dòng)智能設(shè)備攝像機(jī)屏幕坐標(biāo)系的統(tǒng)一性。最后本文根據(jù)設(shè)計(jì)的算法在Android設(shè)備和IOS設(shè)備上各實(shí)現(xiàn)了一個(gè)移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序。

2 增強(qiáng)現(xiàn)實(shí)系統(tǒng)原理與框架

移動(dòng)增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)本質(zhì)就是實(shí)時(shí)跟蹤獲取手機(jī)設(shè)備在真實(shí)場景中的位置和姿態(tài)，并根據(jù)這些信息計(jì)算虛擬物體在攝像機(jī)中的坐標(biāo)，從而實(shí)現(xiàn)虛擬物體畫面與真實(shí)場景畫面精準(zhǔn)匹配并合并顯示。本文移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)如圖1所示：

圖1 系統(tǒng)實(shí)現(xiàn)的框架流程圖

3 系統(tǒng)流程與關(guān)鍵算法

本文設(shè)計(jì)的一種跨移動(dòng)平臺(tái)的增強(qiáng)現(xiàn)實(shí)算法：根據(jù)手機(jī)設(shè)備的重力加速度傳感器與磁場感應(yīng)器數(shù)據(jù)通過矩陣運(yùn)算得出代表設(shè)備坐標(biāo)系與世界坐標(biāo)系關(guān)系的核心三維坐標(biāo)旋轉(zhuǎn)矩陣，結(jié)合搜索范圍，設(shè)備與信息點(diǎn)的地理空間位置關(guān)系，再根據(jù)設(shè)備攝像機(jī)參數(shù)與屏幕參數(shù)通過幾何數(shù)學(xué)運(yùn)算得出虛擬物體在設(shè)備屏幕的投影坐標(biāo)。3.1 設(shè)備坐標(biāo)系與世界坐標(biāo)系的關(guān)系模塊求算

確定手機(jī)設(shè)備在真實(shí)場景的姿態(tài)，先要獲取設(shè)備的重力加速度感應(yīng)器(設(shè)為A，xyz三個(gè)方向數(shù)值為Ax、Ay、Az)與磁場感應(yīng)器(設(shè)為M，xyz三個(gè)方向數(shù)值為Mx、My、Mz)，通過垂直向下的A與水平向北的M叉乘運(yùn)算得到一個(gè)水平向東的向量H(Hx，Hy，Hz)，則H=M*A，并進(jìn)行矩陣歸一化操作，構(gòu)造得到設(shè)備坐標(biāo)系與世界坐標(biāo)系的關(guān)系三維坐標(biāo)矩陣(設(shè)為VD)，在此過程為了減少傳感器帶來的誤差，使系統(tǒng)魯棒性更好，有必要對VD進(jìn)行平滑濾波處理。

3.2POI(PointOfInterest)在屏幕坐標(biāo)系上的投影坐標(biāo)

計(jì)算POI與設(shè)備之間在經(jīng)緯度(設(shè)為dx，dy)，海拔高度(設(shè)為dz)三個(gè)方向的地理空間位置距離矩陣(設(shè)為d)d=(dx，dy，dz)，再求得POI與設(shè)備位置與姿態(tài)的關(guān)系矩陣(設(shè)為D)，則可以寫為D=d*VD。圖2展示POI在攝像機(jī)與屏幕上投影的幾何關(guān)系。POI在屏幕上投影的水平角(設(shè)為XAngle)為XAngle=atan(Dx/Dy)，垂直角(設(shè)為YAngle)為YAngle=atan(Dz/Dy)，根據(jù)設(shè)備攝像機(jī)的參數(shù)(如焦距(設(shè)為f)、水平視角度(設(shè)為HAngle)、垂直視角度(設(shè)為VAngle)等)與設(shè)備與POI兩點(diǎn)最短位置距離關(guān)系判斷是否滿足搜索范圍。圖3顯示POI在屏幕的投影集合關(guān)系則可得出POI在屏幕坐標(biāo)系上的投影坐標(biāo)(x，y)：

(width：屏幕寬度、height：屏幕高度)。

圖2 POI在攝像機(jī)與2D屏幕之間投影示意圖

圖3 POI在屏幕投影幾何關(guān)系圖

由上述可見，針對本文算法流程實(shí)現(xiàn)增強(qiáng)實(shí)景技術(shù)僅需要移動(dòng)設(shè)備提供重力加速度傳感器、磁場傳感器、攝像機(jī)及其相關(guān)參數(shù)、GPS、屏幕參數(shù)等。

4 系統(tǒng)實(shí)現(xiàn)與運(yùn)行結(jié)果

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)運(yùn)行在Android和iPhone/iPad設(shè)備上的，基于本文算法的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。該系統(tǒng)使用智能設(shè)備的后置攝像頭對真實(shí)場景進(jìn)行拍攝，并同時(shí)實(shí)時(shí)獲取GPS信息、重力感應(yīng)器和磁場感應(yīng)器數(shù)據(jù)，通過算法邏輯運(yùn)算檢測智能設(shè)備的在真實(shí)場景中的位置與姿態(tài)，計(jì)算虛擬數(shù)據(jù)物體在設(shè)備屏幕上的投影坐標(biāo)并與攝像頭實(shí)時(shí)采取的真實(shí)場景進(jìn)行融合顯示。圖4和圖5分別是在Android設(shè)備和IOS設(shè)備運(yùn)行應(yīng)用的結(jié)果圖，與真實(shí)場景對比，虛擬信息POI能夠較準(zhǔn)確地與現(xiàn)實(shí)建筑物相對應(yīng)匹配。該系統(tǒng)可作為移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序的基礎(chǔ)框架。

圖4 Android端增強(qiáng)系統(tǒng)運(yùn)行結(jié)果圖

圖5 IOS端增強(qiáng)系統(tǒng)運(yùn)行結(jié)果圖

5 總 結(jié)

本文先對移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的概念和框架進(jìn)行了簡單的介紹以及對實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)原理和本質(zhì)進(jìn)行了簡要的描述分析，提出了實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的關(guān)鍵問題與本文的主要研究問題是虛擬物體在屏幕場景與真實(shí)世界場景的空間位置一致性。然后針對本文的主要研究問題提出了自主設(shè)計(jì)的移動(dòng)增強(qiáng)現(xiàn)實(shí)算法，并在Android操作系統(tǒng)與IOS操作系統(tǒng)上實(shí)現(xiàn)開發(fā)了移動(dòng)增強(qiáng)實(shí)景應(yīng)用程序，對程序代碼的多次測試與實(shí)驗(yàn)，程序較為精確地將POI虛擬信息與真實(shí)場景相對應(yīng)實(shí)時(shí)匹配融合在一起。并且，在此系統(tǒng)中，程序設(shè)置了戶外GPS系統(tǒng)每隔 1 s與每隔 3 m便刷新手機(jī)的位置、手機(jī)加速度傳感器與磁場感應(yīng)器實(shí)時(shí)監(jiān)聽手機(jī)姿態(tài)的變化。目前手機(jī)屏幕的刷新幀數(shù)一般是 60 fps，也就是刷新一次圖像需要 16.67 ms。系統(tǒng)中虛擬信息POI基本能快速響應(yīng)，實(shí)時(shí)隨手機(jī)位置與姿態(tài)更改顯示的投影位置，較好地解決了移動(dòng)增強(qiáng)現(xiàn)實(shí)智能終端的空間位置一致性問題，最終達(dá)到了預(yù)期的結(jié)果。

在解決空間位置一致性的過程中，主要調(diào)用了移動(dòng)終端的硬件傳感器設(shè)備運(yùn)行的數(shù)據(jù)來判斷測定手機(jī)在真實(shí)場景中的位置與姿態(tài)，目前的移動(dòng)智能設(shè)備位置定位精度與電子羅盤精度等還存在有一定的受干擾因素和誤差，系統(tǒng)也對傳感器數(shù)據(jù)進(jìn)行了平滑濾波去噪處理，但移動(dòng)增強(qiáng)現(xiàn)實(shí)智能終端的空間位置一致性問題的精度還是存在著一定的誤差。雖然精度存在著誤差，但對于一般的增強(qiáng)現(xiàn)實(shí)應(yīng)用，該系統(tǒng)已經(jīng)足夠可以勝任。

[1] 隋毅. 基于手持設(shè)備的增強(qiáng)現(xiàn)實(shí)技術(shù)研究與應(yīng)用[D]. 青島：青島大學(xué)，2009.

[2] 王靖濱，李明，耿衛(wèi)東等. 基于增強(qiáng)現(xiàn)實(shí)技術(shù)的景觀規(guī)劃系統(tǒng)[J]. 中國圖象圖形學(xué)報(bào)，2002；7：405～10.

[3] 郭亮，楊衛(wèi)軍，何華貴等. 基于增強(qiáng)實(shí)景的地名地址普查系統(tǒng)研究[C]. 中國測繪地理信息學(xué)會(huì)2014工程測量分會(huì)與礦山測量專委會(huì)年會(huì)暨全國變形與安全監(jiān)測學(xué)術(shù)研討會(huì)，2014.

[4] 王迪. 基于Android的增強(qiáng)現(xiàn)實(shí)技術(shù)研究與實(shí)現(xiàn)[D]. 武漢：武漢理工大學(xué)，2013.

[5] 劉權(quán). 基于智能移動(dòng)終端的移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用研究與實(shí)現(xiàn)[D]. 昆明：云南大學(xué)，2013.

Research Based on the Consistency of Mobile Augmented Reality Terminals

Yang Weijun1，Lie Jianjia2，Guo Liang1，He Huagui1，Li Shaozhi1

(1.Guangzhou Urban Planning&Design Survey Research Institute，Guangzhou 510060，China；2.College of Resources and Environment，South China Agricultural University，Guangzhou 510642，China)

In Augmented Reality，the consistency of spatial position is the accuracy of matching the virtual objects’ coordinates between the camera and the real world. The consistency of spatial position is the key to the realization of Augmented Reality system. This paper studied the problems of the consistency of spatial position in AR，and a cross-platform mobile Augmented Reality algorithm was designed. An AR program was achieved on the Android and IOS platforms respectively，which verified the feasibility of the algorithm. The results show that the algorithm can solve the problem of the consistency of spatial position.

augmented reality；the consistency of spatial position；intelligent mobile terminal

1672-8262(2016)06-54-03

P208.2，P209

A

2016—05—24

楊衛(wèi)軍(1978—)，男，博士，高級工程師，主要從事地理信息系統(tǒng)方面的研發(fā)工作。 通訊作者：列鍵佳(1993—)，男，本科在讀，主要從事移動(dòng)GIS、AR、云GIS等工作。

廣州市越秀區(qū)科技計(jì)劃項(xiàng)目(2016-GX-059)