移動增強現(xiàn)實應用及進展

潘志庚　高翔　丁丹丹

1 移動AR簡介

虛擬現(xiàn)實（VR）是一種對現(xiàn)實世界的數(shù)字化模擬技術，包括對于環(huán)境的視覺、聽覺、觸覺等方面的感覺模擬。用戶通過使用必要的交互設備，最終獲得身臨其境的感受。VR涉及多個學科，包括心理學、計算機科學、電子學、多媒體等，具有極強的學科交叉性，目前已經(jīng)成為了科研中一種常用的輔助手段。VR 的典型特征，即沉浸感、交互性和構(gòu)想性。沉浸感指的是用戶在虛擬環(huán)境中，得到了視覺、聽覺、嗅覺、味覺、觸覺等多種感官刺激，仿佛身臨其境的感受。交互性是指在VR環(huán)境中用戶能夠擁有人性化的人機交互方式和操作。構(gòu)想性指的是通過前兩個特性，用戶能夠根據(jù)環(huán)境變化和交互變化而激發(fā)出更大的創(chuàng)意和想法。圖1是我們開發(fā)的虛擬健身系統(tǒng)。

增強現(xiàn)實（AR）是VR的技術拓展，它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，將真實環(huán)境和虛擬物體實時地疊加到了同一個畫面或空間中。AR強調(diào)的是現(xiàn)實世界疊加虛擬世界，從而實現(xiàn)“虛實結(jié)合”。移動AR技術是AR的一個分支。目前主要有傳統(tǒng)移動AR技術和基于移動終端的移動AR技術兩種。圖2是我們開發(fā)的AR樂器虛擬教學系統(tǒng)。

傳統(tǒng)移動AR技術主要依靠PC機、頭盔顯示器或者全球定位系統(tǒng)（GPS）、磁傳感器等一些外接設備來完成系統(tǒng)。該類系統(tǒng)具有設備昂貴，不便于長期攜帶，維護成本較高等局限性。美國哥倫比亞大學研制的戶外AR導航系統(tǒng)，也是世界上第一個移動AR系統(tǒng)。它使用視頻透視式頭盔顯示器和方向跟蹤器，用戶身后的背包里面裝有計算機、GPS以及無線電，手上是一個具有觸摸筆的可觸屏的手持設備。

而基于移動終端的移動AR技術近幾年發(fā)展迅速，為人們的生活娛樂等帶來極大的便捷和樂趣。圖3所示為谷歌眼鏡，是谷歌公司2012年4月發(fā)布的一款“AR”眼鏡。它同智能手機一樣，主要采用音頻交互的方式，可以控制拍照、視頻通話和導航以及網(wǎng)上沖浪、處理文字信息和電子郵件等。2013年11月12日，谷歌公司發(fā)布一系列新功能，包括搜索歌曲、掃描已保存播放列表，以及收聽高保真音樂等。在某種程度上，谷歌眼鏡改變了人們的生活方式。

移動AR技術最重要的特征是移動，它的應用場景更加廣大，不僅僅只是局限在桌面上。因此移動AR技術將會是未來發(fā)展的主流趨勢，尤其是基于移動終端的移動AR技術。雖然AR技術的應用在硬件設備以及發(fā)展形式上發(fā)生了變化，但是AR技術的關鍵問題和關鍵技術依然沒有改變。而且，隨著移動設備的硬件與軟件條件越來越高端，移動AR技術也得到了迅飛猛進的發(fā)展。

2 移動AR的應用

移動AR的應用面很廣，限于篇幅無法一一列舉，重點介紹幾類。

2.1教育與娛樂

相對于傳統(tǒng)的教學方式來說，移動 AR 能幫助學生更加高效學習，直觀的演示和生動的場景更是提升了知識吸收率和留存時長。早在 2001 年，Billinghurst 等人[1]發(fā)明了一種“魔法書（MagicBook）”（如圖4所示），將可交互的數(shù)字內(nèi)容覆蓋到真實書本上，為讀者提供了一種在真實書本和沉浸式虛擬環(huán)境的過渡效果。Dünser 在2007年[2]和2008[3]年分別做了實驗證明魔法書確實能提升學生的閱讀體驗和復述效果。自此之后，AR圖書開始大力發(fā)展，現(xiàn)在市面上已經(jīng)有很多這樣的產(chǎn)品。AR圖書是將文本內(nèi)容進行了增強，還有很多產(chǎn)品是將圖形內(nèi)容進行增強。Feng等人[5]發(fā)明的 MagicToon 可以將紙上的畫轉(zhuǎn)化成栩栩如生的卡通形象。通過簡單便捷的點擊拖拽交互即可編輯生成的 3D 模型。

Fonseca等人[6]觀察學生用傳統(tǒng)和移動 AR的方式去學習建筑學知識，發(fā)現(xiàn)學生用后者學習對“空間”的理解更深刻，直接導致他們的課程評估分數(shù)變高?？梢钥闯觯涸谛枰Ⅲw模型或強交互的教學場景中，移動AR可以幫助人們更形象、直接地觀察3D結(jié)構(gòu)，從而使學習更加有效。因此在天文學、化學、生物學、建筑學、工程學、設計和幾何學等學科，移動AR都已經(jīng)有類似的應用。Nguyen等人[7] 設計了一個用戶可交互、可編輯的說明書，生動地教用戶操作。

2.2 建筑工程

傳統(tǒng)的建筑圖或工程圖通常都是2D 視圖，從不同角度繪制的視圖或電腦輔助設計建模視圖等。2D 視圖雖然利于工程計算，但是通常需要工程師有非常強的空間想象能力才能在腦海中構(gòu)建出大致模型，3D 視圖則有可能導致失真、比例不對和丟失了真實建筑的細節(jié)等問題。此外，這些工程制圖大部分都需要專業(yè)人士去解讀，不同的水平也容易產(chǎn)生誤解。如果使用移動AR，這些問題都可以充分解決。Velasco等人[7]提出了一種在移動 AR中通過交互來規(guī)劃建筑的設計方式。文獻[8-9]評估了移動 AR 在建筑規(guī)劃方面的優(yōu)勢，一致認為移動AR的直觀性促進了決策制定和對規(guī)劃的理解。不僅如此，通過結(jié)合傳感器收集的數(shù)據(jù)、開發(fā)者提供的數(shù)據(jù)，可以將生成的各類3D模型疊加到現(xiàn)實場景中，使建筑規(guī)劃、維護、勘探和裝配都更加高效。

Schall等人[10]開發(fā)了一個手機應用，可以生成像X光一樣的視圖，用于展示建筑或設施內(nèi)部的框架結(jié)構(gòu)，幫助現(xiàn)場勘探人員之間觀察建筑內(nèi)部結(jié)構(gòu)。Schall等人[11]還提供了一個增強現(xiàn)實的測繪工具，通過讓有經(jīng)驗的工程師使用傳統(tǒng)技術和完全沒經(jīng)驗的工程師使用該系統(tǒng)進行對比，最后發(fā)現(xiàn)其在交互性方面勝過傳統(tǒng)技術。Lee等人[12]開發(fā)了一個能快速搜索鉆井日志并用增強現(xiàn)實可視化出來的系統(tǒng)。Kollatsch等人[13]則用增強現(xiàn)實可視化出了裝配流水線相關的信息。此外移動 AR 在災后（如地震）建筑勘察和檢測方面也有應用。Behzadan等人[14]開發(fā)的視覺避撞系統(tǒng)可以幫助挖掘機操作員在工程實施時看到埋在建筑中的東西避免造成破壞或人員傷亡，如圖 5所示。如圖6所示，可在 AR 幫助下將先前存儲的建筑物基線疊加到現(xiàn)在的建筑物上，實現(xiàn)對建筑物損壞程度的評估。

2.3 地理與導航endprint

導航一直是增強現(xiàn)實的一個重要應用。傳統(tǒng)的導航都是在2D地圖上，缺乏三維信息和對真實世界的感知。在移動 AR中，可以直接在視野中添加方向注釋（箭頭、路徑跟隨等）或一些必要的提示（交規(guī)、停車場位置等）， 如圖 7所示。典型的應用有飛機飛行導航和汽車駕駛導航等。通過對視野內(nèi)事物的識別和追蹤，動態(tài)地將需要的信息圖像疊加到真實場景上。除了交通方面，移動AR在旅游景點、博物館、圖書館或商場的瀏覽和探索方面也有應用。這類導覽式的應用都大同小異，如博物館中，參觀者可以通過移動AR和工藝品進行轉(zhuǎn)動等交互，更好地觀察工藝品的全貌，還可以通過AR展示出工藝品的數(shù)據(jù)信息等[4]。商場中可以直接通過移動AR展示商品的信息，不用親自動手去貨架上查看，甚至可以在移動 AR 中比貨。

2.4 醫(yī)療

移動 AR 可以將電子計算機斷層掃描（CT）或磁共振成像（MRI）等醫(yī)學三維重建得到的虛擬模型圖像融合到病人相應的部位、器官，使醫(yī)生的視角得到增強[15]，在看到真實身體部位的同時，還能看到器官內(nèi)部的具體信息。這對于醫(yī)學手術計劃制定、手術演練、手術教學和術前對話等都提供了巨大的便利。典型的工作有用移動AR幫助驗尸[16]，通過將 CT 圖像疊加到尸體上，可以保證法醫(yī)在不丟失真實傷口信息的情況下，觀察分析肉眼不可見的內(nèi)傷，而且不會對尸體造成破壞，從而保護了證據(jù)（如圖 8所示）。Soeiro等人[17]開發(fā)了一款增強現(xiàn)實 Android 應用來指導醫(yī)生進行經(jīng)顱磁刺激技術（TMS）治療。其中增強現(xiàn)實部分用來顯示虛擬的病人腦模型，以便醫(yī)生了解目前病人腦中的脈沖變化。Hansen等人[18]開發(fā)了一種減少三維規(guī)劃模型復雜性的視覺算法，將 3D 模型更好地可視化到真實器官上，并在外科手術中運用。

3 移動AR的應用前景

3.1 移動AR的商業(yè)應用模式

根據(jù)網(wǎng)易科技報道[19]，移動AR技術的應用前景多種多樣。雖然目前有很多頂尖的AR企業(yè)提供一系列的產(chǎn)品、服務和更多其他的東西，但歸納起來基本上屬于5種基本類型的公司，他們“錢”景無限。提供的技術產(chǎn)品或服務（也稱為商業(yè)模式）如表1所示。

3.2 移動AR的市場預測

根據(jù)VR網(wǎng)報道[20]，AR/VR已經(jīng)成為一個雙速前進的市場，其中移動AR在2021年的安裝基數(shù)將超過2017年總AR/VR市場的2倍。蘋果ARKit、谷歌ARCore和Facebook Camera Effects平臺的推出改變了整個市場的軌跡，到2018年有可能獲得9億安裝基數(shù)。Digi-Capital已經(jīng)徹底修改了關于AR/VR市場的分析和預測報告。

l由于移動AR的出現(xiàn)，VR的市場潛力減弱，移動AR在未來將支配AR/VR市場；

l智能手機仍然是AR/VR的未來，但可能需要10年時間才能成為一個大眾消費市場；

l直到第2代VR一體機（無需連接PC或移動設備）在2019—2020年期間爆發(fā)之前，高端VR的發(fā)展可能不會提速；

l由于頭顯廠商和開發(fā)者正在轉(zhuǎn)向移動AR，到2021年，移動AR的安裝基數(shù)將增長至30億以上；

l智能眼鏡、高端VR和移動VR的組合在同一時間段內(nèi)可能達到1億（即每個平臺數(shù)千萬），這使得移動AR的安裝基數(shù)超出所有AR/VR頭顯的25倍以上。

在2021年，主導AR/VR安裝基數(shù)的移動AR將占據(jù)總市場營收的2/3。移動AR軟件的體量跟總移動市場的體量接近，盡管每用戶平均收入（ARPU）較低，但巨大的用戶基數(shù)將能帶來高增長和高盈利。得益于硬件銷售，智能眼鏡、高端VR和移動VR的ARPU更高，但較小的安裝基數(shù)限制了其非硬件營收的潛力。在2018年，移動AR的營收將達到智能眼鏡的4.8倍，高端VR的1.3倍，以及移動VR的1.5倍；而2021年將增長至智能眼鏡的3.9倍，高端VR的4.8倍，以及移動VR的9.6倍。

鑒于移動AR的安裝基數(shù)和轉(zhuǎn)換率的提高，電子商務在2021年可能成為AR/VR的最大營收來源。Houzz已經(jīng)通過移動AR實現(xiàn)了11倍的銷售轉(zhuǎn)換，所以移動AR電子商務可以進一步鞏固亞馬遜，eBay和阿里巴巴的主導地位。硬件銷售（特別是消費類智能眼鏡和第二代高級VR一體機）為第二營收來源；其次是廣告、游戲和非游戲應用收入。AR將成為企業(yè)/B2B營收的主要驅(qū)動驅(qū)動，而視頻和線下娛樂（主題公園）營收則處于較低水平。

4 結(jié)束語

從前面的介紹可知，移動AR的應用已經(jīng)擴展到我們生活的多個方面。AR和VR的發(fā)展一開始受5G網(wǎng)絡的限制。5G網(wǎng)絡被視為解鎖市場機會的關鍵，擁有低延遲、高可靠和網(wǎng)絡統(tǒng)一性的優(yōu)勢，能夠應付VR和AR對網(wǎng)絡日益增長的速度和容量的需求。對于移動AR應用擴展的速度以及應用的廣度，讓我們拭目以待。

參考文獻

[1] BILLINGHURST M， HIROKAZU K， POUPYREV I. The Magicbook： A Transitional AR Interface[J]. Computers & Graphics， 25（5）：745-753， 2001

[2] DUNSER A， HORNECKER E. Lessons from an AR Book Study[C]//In Proceedings of the 1st International Conference on Tangible and Embedded interaction. USA：ACM， 2007： 179-182

[3] DUNSER A. Supporting Low Ability Readers with Interactive Augmented Reality[J]. Annual Review of Cyber Therapy and Telemedicine， 2008， 12（1）：41-48， 2008endprint

[4] WHITE M， LIAROKAPIS F， DARCY J， et al. Augmented Reality for Museum Artefact Visualization[C]//Proceedings of Irish Workshop on Computer Graphics， Eurographics Ireland Chapter. UK： Northern Ireland， 2003：75-80， 2003

[5] FENG L， YANG X， XIAO S. MagicToon： A 2D-to-3D Creative Cartoon Modeling System with Mobile AR[C]//Virtual Reality. USA：IEEE， 2017：195-204

[6] FONSECA D， VILLAGRASA S， MARTI N， et al. Visualization Methods in Architecture Education Using 3D Virtual Models and Augmented Reality in Mobile and Social Networks[J]. Procedia - Social and Behavioral Sciences， 2013， 93（1）：1337-1343

[7] VELASCO R， BRAKKE A P， CHAVARRO D. Computer-Aided Architectural Design Futures[M]. The Next City - New Technologies and the Future of the Built Environment. Germany： Springer-Verlag

[8] OLSSON T D， SSAVISALO A T， HAKKARAINE M， et al. User Evaluation of Mobile Augmented Reality in Architectural Planning[J].eWork and eBusiness in Architecture， Engineering and Construction， Gudnason G. & Scherer R. （Eds.）， 2001：203-211. DOI：10.1201/b12516-116

[9] LEE G A， DUNSER A， KIM S， et al. Cityviewar： A Mobile Outdoor AR Application for City Visualization[C]// In Mixed and Augmented Reality （ISMAR-AMH）， 2012 IEEE International Sympo- sium on. USA：IEEE， 2012： 57-64

[10] SCHALL G， MENDEZ E， KRUIJFF E， et al. Handheld Augmented Reality for Underground Infrastructure Visualization[J]. Personal & Ubiquitous Computing， 2009， 13（4）：281-291

[11] SCHALL G， ZOLLMANN S， REITMAYR G. Smart Vidente： Advances in Mobile Augmented Reality for Interactive Visualization of Under- Ground Infrastructure[J]. Personal & Ubiquitous Computing， 2013， 17（7）：1533-1549

[12] LEE S， SUH J， PARK H D. BoreholeAR： A Mobile Tablet Application for Effective Borehole Database Visualization Using an Augmented Reality Technology[J]. Computers & Geosciences， 2015， 76：41-49

[13] KOLLATCH C， SCHUMANN M， KLIMANT P， et al. Mobile Augmented Reality Based Monitoring of Assembly Lines [J]. Procedia Cirp， 2014， 23：246-251

[14] BEHZADAN A H， DONG S， KAMAT V R. Augmented Reality Visualization： A Review of Civil Infrastructure System Applications[J]. Advanced Engineering Informatics， 2015， 29（2）：252-267

[15] 張軍毅， 羅述謙. 醫(yī)學增強現(xiàn)實建模方法研究[J]. 系統(tǒng)仿真學報， 2009， 21（12）：3658-3661

[16] KILGUS T， HEIM E， HAASE S， et al. Mobile Markerless Augmented Reality and Its Application in Forensic Medicine [J]. International Journal of Computer Assisted Radiology & Surgery， 2015， 10（5）：573-586

[17] SOEIRO J， CLAUDIO A P， CARMO M B， et al. Mobile Solution for Brain Visualization Using Augmented and Virtual Reality[C]//International Conference Information Visualisation.USA： IEEE， 2016：124-129.DOI：10.1109/IV.2016.18

[18] HANSEN C， WIEFERICH J， RITTER F， et al. Illustrative Visualization of 3D Planning Models for Augmented Reality in Liver Surgery[J]. International Journal of Computer Assisted Radiology & Surgery， 2010， 5（2）：133-141

[19] 移動AR才是未來？細數(shù)AR公司的五種商業(yè)模式.（2016-11-01）[2017-11-10].http：//tech.163.com/16/1101/13/C4PR76NP00097U7U.html

[20] 移動AR未來將支配AR/VR市場.（2017-10-10）[2017-11-10].https：//www.hiavr.com/news/industry/40232.htmlendprint