VR/AR應用場景及關(guān)鍵技術(shù)綜述

徐碩+孟坤+李淑琴+丁濛+鄔麗君

摘要： 關(guān)鍵詞： 中圖分類號： 文獻標志碼： A文章編號： 2095-2163（2017）06-0028-04

Abstract： Virtual Reality and Augmented Reality， as a link between the digital world and the real scene， have become one of the core technologies of immersive digital applications， and immersive digital applications are bound to explode with the support of related devices. This paper introduces the existing application scenarios and equipment configuration， analyzes and summarizes the key technology， implementation mode and potential scientific problems of data acquisition， data transmission， real-time interaction and case reconstruction.

0引言

2016年，針對下一代智能計算平臺，國內(nèi)外興起一場史無前例的虛擬現(xiàn)實[1]（Virtual Reality，VR）“嘉年華”。追溯原因可知，其一，是二維到三維技術(shù)的轉(zhuǎn)變；其二，虛擬現(xiàn)實/增強現(xiàn)實（Argument Reality，AR）將成為智能手機之后下一代個人計算和信息通信平臺，甚至可以完全替代其他移動設(shè)備。因此，本文系統(tǒng)地總結(jié)了VR/AR應用場景和設(shè)備形態(tài)發(fā)展狀況，并從數(shù)據(jù)采集、傳輸、交互與情形實時再現(xiàn)等方面對涉及的關(guān)鍵技術(shù)和實現(xiàn)方式進行剖析。

1虛擬現(xiàn)實/增強現(xiàn)實

1.1虛擬現(xiàn)實/增強現(xiàn)實概念

虛擬現(xiàn)實是由計算機視覺、仿真技術(shù)、人機交互等多種信息技術(shù)演變發(fā)展而來的新型計算機技術(shù)。通過將視覺與現(xiàn)實世界隔離開，借助顯示設(shè)備，使人能夠穿越沉浸于一個完全的虛擬世界。所謂增強現(xiàn)實，是將虛擬信息疊加在以識別物為基準的某個位置，并可實時交互虛擬信息，以此增強視覺效果。作為上述兩者的結(jié)合產(chǎn)物，混合現(xiàn)實（Mixed Reality，MR），是將現(xiàn)實與虛擬世界合并后形成數(shù)字與物理對象共存的、可交互的全新可視化環(huán)境。

1.2VR/AR的技術(shù)分類

目前，VR/AR技術(shù)主要分為桌面式、分布式、沉浸式和增強式四種，如表1所示。

1）輕量級VR。即依托移動設(shè)備的頭戴式VR，無獨立的計算與存儲配件及顯示設(shè)備，沉浸效果較差，但成本較低，易攜帶。

2）基于PC的VR。是將PC作為計算和存儲設(shè)備進行有線連接的頭戴式設(shè)備，結(jié)構(gòu)較復雜，但具備獨立的顯示屏，沉浸感較好。

3）獨立式VR。內(nèi)置CPU/GPU、顯示屏等部件，能夠獨立運行。迄今尚未成熟，但有望成為未來的主流設(shè)備形態(tài)。

輸入設(shè)備目前主要包含：動作捕捉器、位置跟蹤器、眼動儀等。

2VR/AR的常見應用

2.1游戲娛樂類

游戲是VR技術(shù)重要突破口，也是以最輕松的方式認識和學習新事物的一種良好渠道。目前，以頭戴式設(shè)備（HMD）為主的沉浸式游戲模式已掀起了業(yè)界熱潮。已有不少公司發(fā)布了各類虛擬現(xiàn)實游戲及相關(guān)設(shè)備，從根本上改變了傳統(tǒng)的鍵鼠/手柄操作模式。其中，Oculus在FPS射擊游戲上的成果獲得較強吸引力，如圖1所示。

HMD這種即時跟蹤，能夠通過調(diào)整用戶游戲視角，完善游戲體驗的模式，彌補3D游戲沉浸感的不足。雖然多數(shù)游戲依然處于探索階段，但隨著時間的推移，VR/AR游戲勢必受到為數(shù)眾多年輕人的推崇與追捧。

在影視娛樂方面，VR技術(shù)的應用場景經(jīng)歷了本地視頻改造、VR動畫展示、及借助360°全景攝像、雙目攝像等設(shè)備，通過拼接算法制作UGC影視等多個過程。在電影領(lǐng)域，更多地采用VR技術(shù)拍攝的影片進入大眾視野。

2.2商業(yè)服務(wù)類

2.2.1數(shù)字科技館/博物館

在數(shù)字科技館/博物館方面，最初，從參與者通過鍵鼠操作瀏覽預制的虛擬場景和展物到利用3D眼鏡等穿戴式設(shè)備實現(xiàn)人機互動，更好地體驗“身臨其境”的感覺[2]。部分學者認為，以3D VR為基礎(chǔ)，通過簡單的展現(xiàn)和描述物品的模式不如傳統(tǒng)網(wǎng)站以敘事的方式更有利于對文化內(nèi)容的學習和理解。最終，通過建立云端3D 虛擬展覽館，借助虛擬人物和游戲的方式營造文化遺產(chǎn)的學習環(huán)境的方式贏得了專家的肯定。在增強交互性的同時，也達到傳播知識的目的[3]。

目前，國內(nèi)外已建立了一系列大型虛擬博物館，如阿伽門農(nóng)博物館、大英博物館、奧運博物館等。這些場館的出現(xiàn)成功解決了實體博物館時間、空間、交互的限制，有效縮短了展品的更新周期，是檢驗新技術(shù)，促進國際性交流、學術(shù)研究的重要科普方式。

2.2.2軍事模擬訓練

VR技術(shù)是被NASA和相關(guān)軍事部門最早應用于美軍軍事作戰(zhàn)領(lǐng)域的高端技術(shù)，其具體應用主要體現(xiàn)在：基于VR和MR環(huán)境的單兵模擬訓練[4]、多軍種聯(lián)合虛擬仿真演習（如圖2所示），即通過網(wǎng)絡(luò)采取虛擬實體與分布式虛擬戰(zhàn)場結(jié)合的無縫交互環(huán)境模擬訓練[5]，并拓展了一系列新應用，如：高新武器研發(fā)與設(shè)計、信息網(wǎng)絡(luò)虛擬戰(zhàn)等[6]。

未來VR 技術(shù)模擬訓練則將向分布式模擬訓練方式轉(zhuǎn)變；將游戲融入軍事訓練；在虛擬現(xiàn)實中加入全息影像技術(shù)，以借助LVC[7]實現(xiàn)未來作戰(zhàn)系統(tǒng)。不難看出，現(xiàn)代軍事的發(fā)展將會更多地依托于高端技術(shù)，隨著VR等新型技術(shù)的連續(xù)涌現(xiàn)，將有利于削減軍事成本開支，降低實戰(zhàn)演練中的不必要傷亡，提高戰(zhàn)斗效率。endprint

2.2.3醫(yī)學仿真訓練

VR技術(shù)在醫(yī)學方面的需求堪稱龐大，而且醫(yī)學診療中面臨的眾多疑難雜癥對VR技術(shù)的快速發(fā)展則提供了強勁動力。目前，在人體結(jié)構(gòu)數(shù)字化、虛擬手術(shù)訓練、輔助教學[8]、遠程協(xié)作[9]、康復治療等方面，VR技術(shù)已得到成熟及深入的發(fā)展應用。

其中，虛擬手術(shù)訓練是VR在醫(yī)學領(lǐng)域的主流重要應用。將VR與三維可視化系統(tǒng)結(jié)合，在交互式虛擬環(huán)境中表示各種器官、組織等信息，能夠為醫(yī)學人員提供自主學習和評估的功能。同時，低成本的VR系統(tǒng)在為新手醫(yī)生錘煉和增強手術(shù)技巧方面已成為任何一家醫(yī)療機構(gòu)的不錯選擇[10]。虛擬手術(shù)訓練可以輔助醫(yī)生定制合理的手術(shù)方案，減少手術(shù)傷害，提高手術(shù)成功率。

2.3生活服務(wù)類

2.3.1旅游

隨著人們生活需求的不斷增高，旅游已經(jīng)成為生活中必不可少的組成部分。時下，VR技術(shù)在旅游中的應用也逐漸呈現(xiàn)成熟發(fā)展態(tài)勢。

起初，虛擬旅游將VR結(jié)合地理信息系統(tǒng)、全景技術(shù)生成全景旅游景點模型，實現(xiàn)無交互的虛擬漫游[11]。隨著多媒體、3D建模技術(shù)的發(fā)展，基于Web 3D的虛擬旅游系統(tǒng)得以研發(fā)問世，借此用戶足不出戶即可對模擬構(gòu)建的3D歷史景觀或現(xiàn)存景觀做到選取任意路線，并以任意角度觀賞、瀏覽，同時還具有較強的交互性[12]。這些功能應用均有效提升了用戶的臨場感，并降低了旅游成本，保障了安全。

2.3.2智能家居

智能家居作為智能空間的典型代表，已成為虛擬現(xiàn)實應用的重點領(lǐng)域。目前主要以Web3D結(jié)合無線傳感器網(wǎng)絡(luò)，通過傳感器采集室內(nèi)物體的濕溫等數(shù)據(jù)，由可穿戴醫(yī)療傳感器采集用戶實時的體征信息構(gòu)建智能家居模型，以此實時獲取室內(nèi)的信息，進而控制智能家居設(shè)備[13]。

3基于VR/AR的關(guān)鍵技術(shù)

3.1數(shù)據(jù)采集與優(yōu)化傳輸技術(shù)

數(shù)據(jù)獲取通常采用直接采樣技術(shù)的方式，這里僅限三維場景中事物。如針對光照、火焰、動態(tài)地形等自然現(xiàn)象的數(shù)據(jù)獲取多采用如下3種方法 [14] ：

1）利用全向相機拍攝高動態(tài)、多維度的圖像。

2）利用高速攝像機進行實時跟蹤拍攝。

3）利用激光設(shè)備進行時變數(shù)據(jù)的多維可控捕獲。

數(shù)據(jù)傳輸?shù)臋C制是網(wǎng)絡(luò)中的節(jié)點在消息等待發(fā)送時，首先計算出消息自身的傳輸概率，然后獲得通信范圍內(nèi)其他節(jié)點的消息轉(zhuǎn)發(fā)概率，隨后將消息轉(zhuǎn)發(fā)到所有轉(zhuǎn)發(fā)概率大于自身傳輸概率的節(jié)點。

為優(yōu)化數(shù)據(jù)傳輸技術(shù)，滿足低功耗、低延遲、高效率等特點，保證數(shù)據(jù)傳輸?shù)目煽啃?，文獻[15]提出基于容忍延遲的面向消息的覆蓋層體系結(jié)構(gòu)的不同轉(zhuǎn)發(fā)概率的動態(tài)數(shù)據(jù)轉(zhuǎn)發(fā)策略，但這種數(shù)據(jù)傳輸機制存在明顯的高延遲和高中斷缺陷。

3.2交互與情形實時再現(xiàn)技術(shù)

3.2.1觸/力覺反饋技術(shù)

在VR應用中，交互接觸方式可分為力覺反饋和觸覺反饋兩種，內(nèi)容闡釋如下[16]：

1）力覺反饋。是指借助操作控制桿的反作用力效果將虛擬物體的運動軌跡轉(zhuǎn)換成真實物體的機械運動，使用戶享受到真實的力覺感知體驗。

2）觸覺反饋。是通過手戴3D數(shù)據(jù)手套獲取手掌和手指的形態(tài)、溫度等信息，來滿足用戶對虛擬物體的移動、抓取、觸摸等操作。PlayStation VR是基于手套形態(tài)的交互設(shè)備，手套的每根手指都集成柔性壓力傳感器，通過傳感器收集的數(shù)據(jù)進行手勢識別，并將其轉(zhuǎn)換為相應指令決策控制輸入。

3.2.2跟蹤定位方式

跟蹤定位方式分為有源和無源兩類，對其可做解析分述如下：

1）有源跟蹤定位方法。是一種利用聲波、電磁波位置跟蹤器發(fā)射不同源，通過測量不同源的時間差、相位差、耦合度來推定被跟蹤對象的空間方位。上述跟蹤方式雖然在精度、成本上各具優(yōu)勢，但易受到周圍場景的干擾。另一種是光學位置跟蹤方式[17]，利用環(huán)境光或跟蹤器光源發(fā)出的光的投影確定被跟蹤對象的方位。

2）無源定位跟蹤。是利用加速器和陀螺構(gòu)成慣性傳感器，分別獲取轉(zhuǎn)動角度與移動位置的變化。通過高頻的刷新率來獲得實時定位。

3.2.3高效可靠的渲染技術(shù)

目前，多數(shù)VR渲染引擎均為明確直接地渲染兩遍。有學者采用降低API調(diào)用次數(shù)的優(yōu)化方法加快渲染速度，相比左、右眼整個場景先后渲染兩次，僅對每個物體提交兩次渲染，而且借助Instancing 技術(shù)，只提交一次數(shù)據(jù)，一個物體只渲染一次，能夠優(yōu)勢提升渲染效果[18-19]。

3.2.4逼真的顯示方式

當前場景顯示設(shè)備以頭戴式顯示設(shè)備（HMD）為主，其中的非透視式HMD是目前消費級VR產(chǎn)品的首選，通過對用戶的頭部和其它部位的動作捕捉，將三維場景呈現(xiàn)在顯示器上，給予用戶一種沉浸感。而透視式HMD則是AR系統(tǒng)的選擇，其與VR設(shè)備的區(qū)別就在于，前端需要增加獲取真實環(huán)境的數(shù)據(jù)采集設(shè)備，將現(xiàn)實情境與生成的虛擬情境合成后才能提交呈現(xiàn)給用戶。

4結(jié)束語

過去幾年，VR/AR在理論研究、關(guān)鍵技術(shù)創(chuàng)新、應用拓展等方面取得了突破性成果。未來，隨著VR/AR技術(shù)的不斷進步，在電子商務(wù)、電視直播、社交等領(lǐng)域，有望突破時空約束，用戶可通過“化身”的表現(xiàn)來改善性格，甚至進行“全球購物”，給用戶帶來更充沛的臨場感。為實現(xiàn)上述目標期許，在一些關(guān)鍵技術(shù)與理論支撐上，后續(xù)研究仍然面臨著巨大的挑戰(zhàn)。

參考文獻：

[1] 趙沁平. 虛擬現(xiàn)實綜述[J]. 中國科學（F輯：信息科學）， 2009，39 （1）：2-46.

[2] HAYASHI M， BACHELDER S， NAKAJIMA M，et al. A new virtual museum equipped with automatic video content generator[C]//International Conference onCyberworlds（CW）. Santander， Spain：IEEE，2014：377-383.endprint

[3] PETRIDIS P， DUNWELL I， LIAROKAPIS F， et al. The Herbert virtual museum[J]. Journal of Electrical and Computer Engineering，2013，2013：1-8.

[4] SADAGIC A. Next generation of physical training environments： Bringing in sensor systems and virtual reality technologies[M]// SCHMORROW D D， FIDOPIASTIS C M. Foundations of Augmented Cognition. AC 2013. Lecture Notes in Computer Science， Berlin/Heidelberg：Springer， 2013， 8027：717-726.

[5] AN Xing， LI Gang， XU Linwei，et al. A survey on application of virtual reality technology in U.S military simulation training [J]. Electronic Optics & Control， 2011， 18（10）：42-46.

[6] LELE A. Virtual reality and its military utility[J]. Journal of Ambient Intelligenceand Humanized Computing， 2013， 4（1）：17-26.

[7] NEWENDORP B J， NOON C， HOLUB J， et al. Configuring virtual reality displays in a mixedreality environment for LVC training[C]//ASME 2011 World Conference on Innovative Virtual Reality. Milan， Italy：AMSE， 2011：423-430.

[8] FALAH J， KHAN S， ALFALAH T， et al. Virtual reality medical training system for anatomy education[C]//Science and Information Conference（SAI）. London， UK：IEEE， 2014：752-758.

[9] MI Shaohua， HOU Zengguang， YANG Fan. An 3D interactive virtual reality software toolkit for minimally invasive vascular surgery[C]//IEEE International Conference on Mechatronics and Automation（ICMA）. Tianjin， China：IEEE， 2014：588-593.

[10]PARK C H， WILSON K L， HOWARD A M. Pilot study：Supplementing surgical training for medical students using a low-cost virtual reality simulator[C]// IEEE 27th International Symposium on Computerbased Medical Systems. Washington， DC， USA：IEEE， 2014：125-127.

[11]JIANG Wenyan， ZHU Xiaohu， CHEN Chen. Research progress of virtual tourism[J]. Science & Technology Review， 2007， 25（14）：53-57.

[12]TAN Yunlan， JIA Jinyuan， PENG Shuo，et al. Survey on some key technologies of virtual tourism system based on Web3D[J]. Journal of System Simulation， 2014， 26（7）：1541-1548.

[13]HU Wenshan， ZHOU Hong， LIN Chaoyang， et al. Design of Webbased smart home with 3D virtural reality interface[C]// 2012 UKACC International Conference on Control. Cardiff：IEEE， 2012：223-228.

[14]趙沁平. 自然現(xiàn)象的數(shù)據(jù)獲取與模擬[J]. 中國科學：信息科學， 2011， 41（4）：385-419.

[15]XU Fulong， LIU Ming， GONG Haigang， et al. Relative distanceaware data delivery scheme for delay tolerant mobile sensor networks[J]. Journal of Software， 2010， 21（3）：490-504.

[16]BARE B， MARTIN J， SELLS P， et al. Method and system for disambiguation of augmented reality tracking databases： US，027333[P]. 2014-09-25.

[17]BLASCOVICH J， BAILENSON J. 虛擬現(xiàn)實：從阿凡達到永生[M]. 辛江，譯. 北京：科學出版社，2015.

[18]KAPLANYAN A S， HILL S， PATNEY A， et al. Filtering distributions of normals for shading antialiasing[C]//Proceedings of High Performance Graphics. Switzerland ：Eurographics Association， 2016：151-162.

[19]DUPUY J， HEITZ E， IEHL J C， et al. Linear efficient antialiased displacement and reflectance mapping[J]. Acm Transactions on GraphicsProceedings of ACM Siggeraph Asia， 2013， 2013， 32（6）：1-11.endprint