VR、AR和MR-挑戰(zhàn)與機遇

顧 君 忠

(華東師范大學計算機應用研究所　上海 200062) (中國VR虛擬現(xiàn)實產(chǎn)業(yè)創(chuàng)新聯(lián)盟　上海 200062)

0　引　言

數(shù)字化的巨浪把數(shù)字革命從我們的真實世界活動引入到了虛擬世界。除了通信、購物、學習、生產(chǎn)、游戲、交友外，人們發(fā)微信、玩網(wǎng)游、看3D影視等，消耗在虛擬世界的時間在逐步超過在真實世界的時間。VR技術依靠其沉浸感把人類推高到虛擬環(huán)境的一個高境界。HMD(Head Mounted Display)，即頭戴式顯示器(俗稱頭盔)，結合跟蹤系統(tǒng)使得沉浸容易實現(xiàn)，大大推動了虛擬現(xiàn)實的發(fā)展，應用紛紛涌現(xiàn)，令人眼花繚亂。隨著發(fā)展， AR和MR成了虛擬現(xiàn)實的新寵[1-2,10]。

1) VR：關于VR,有不同的定義：虛擬現(xiàn)實技術是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)，它利用計算機生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

虛擬現(xiàn)實VR一般指一種技術，它仿真真實和虛擬世界，使人類沉浸地融入一個三維空間，產(chǎn)生有立體感的視覺、聽覺、觸覺甚至嗅覺，在一個確定范圍內(nèi)非常類似于真實世界。它有三個特征(3R)：實時渲染 (Real-time)、真實空間(Real space)和真實交互(Real Interaction)。

幾十年來，VR在游戲、影視、專業(yè)學習與訓練、旅游、制造、軍事等各個方面極大地影響了人類。近年來，隨著HMD的普及和遠程通信技術的發(fā)展，距離已經(jīng)不成問題，在真實環(huán)境中融入虛擬現(xiàn)實獲得了人們的青睞，從而誕生了增強現(xiàn)實(AR)。進一步，技術的發(fā)展使得真實環(huán)境和虛擬環(huán)境可以更好地融合，人類可以靈活地游走于虛、實環(huán)境，從而混合現(xiàn)實(MR)大大發(fā)展，以至于Microsoft 號稱其Hololens系統(tǒng)只聚焦于混合現(xiàn)實。

2) AR：什么是增強現(xiàn)實(AR)，百度百科和維基百科說：增強現(xiàn)實技術是一種實時地計算攝影機影像的位置及角度并加上相應圖像、視頻、3D模型的技術，這種技術的目標是在屏幕上把虛擬世界套在現(xiàn)實世界并進行互動。

增強現(xiàn)實技術AR，以一種鮮活的直接或間接視點交互物理真實環(huán)境，其中的成分已獲“增強”，增強效果借助于計算機生成或真實世界傳感輸入，諸如聲音、視頻、圖形或GPS數(shù)據(jù)等。

顯然，VR本身是基于個人計算機誕生的，而增強現(xiàn)實和參與者的現(xiàn)實環(huán)境相關，因此可以說是面向移動計算的。

3) 混合現(xiàn)實MR,有時也稱 hybrid reality，它把真實世界和虛擬世界合成在一起，產(chǎn)生一個新的環(huán)境，使之形象化，物理和數(shù)字對象共存，實時的交互?；旌犀F(xiàn)實不僅僅發(fā)生在真實世界或虛擬世界，而且把現(xiàn)實和虛擬現(xiàn)實融合到了一起，借助于沉浸技術包容了增強現(xiàn)實和增強虛擬。

借用文獻[8]的一張圖說明VR、AR和MR，以及它們之間的差別。見圖1。

圖1　從現(xiàn)實到虛擬和從虛擬到現(xiàn)實

如圖1所示，橫向兩端分別是真實(環(huán)境)和虛擬(環(huán)境)，從左往右，對真實世界略有修改的狀態(tài)稱為放大現(xiàn)實(Amplified Reality)。放大現(xiàn)實意味著借用計算手段將物理對象的性質予以充實。AR是關于如何讓用戶感知真實，放大現(xiàn)實則是影響用戶感知真實。這里，出現(xiàn)了新的中間狀態(tài)——Mediated reality(姑且稱為“間接現(xiàn)實”)。這里還出現(xiàn)了增強虛擬AV(Augmented Virtuality)，指的是從一個虛擬世界看真實世界。因這兩個已不常用，我們這里不再贅述。

我們關注的是其中的3點：VR、AR和MR。我們在廣義上把VR、AR和MR統(tǒng)稱為虛擬現(xiàn)實(VR)。下面就以VR統(tǒng)稱它們。

4) 虛擬現(xiàn)實的歷史與由來：Virtual Reality 這個詞是由美國計算機科學工作者Jaron Lanier 在上世紀80年代末引入的。但是，追溯起來，虛擬現(xiàn)實的歷史要悠久得多。借用文獻[3]，我們列出一張表，見表1。

表1　虛擬現(xiàn)實發(fā)展歷史

續(xù)表1

到了21世紀， 計算設施和智能手機越來越強大、高清晰度顯示和3D圖像能力劇增，VR迅速發(fā)展。各種頭盔(如Google Cardboard，Samsung galaxy Gear, Oculus Rift, HTC vive)的問世，大幅推動了VR的發(fā)展。云計算又使得基于云端的VR應用紛紛涌現(xiàn)，AR和MR成了主流。一些IT尤其是軟件界巨頭，如Google、Apple和Microsoft開始競相大力布局AR和MR，構建自己的VR生態(tài)系統(tǒng)。

以Microsoft為例，2015年1月，微軟對Microsoft HoloLens 混合現(xiàn)實設備的能力進行了發(fā)布和展示。它可以無縫地把全息對象集成到用戶世界，有時難以區(qū)分自己是在現(xiàn)實世界還是虛擬世界。微軟在做一個大布局，就像當年Apple開發(fā)智能手機iPhone一樣，開放接口，讓基于 HoloLens平臺的新應用不停地由獨立開發(fā)者開發(fā)出來，共享這個大餅。

1　若干關鍵技術支持

本節(jié)討論VR涉及的技術問題。虛擬現(xiàn)實涉及技術很多，限于篇幅，這里聚焦于其中的一部分。首先討論VR建模方法與技術，因為建模是虛擬現(xiàn)實的關鍵核心之一。

1.1　虛擬現(xiàn)實建模

虛擬現(xiàn)實建模即3D對象建模，這些對象將在真實世界和虛擬世界里交互。建模是VR的基礎之一，它包括一系列方法。

1.1.1場景展現(xiàn)建模方法

虛擬現(xiàn)實系統(tǒng)首先需要一個場景及其展現(xiàn)，需要建立一個虛擬與真實融通的場景，并有效地展現(xiàn)。相關的建模問題包括：

1) 基于深度區(qū)域圖像的建模：

(1) 區(qū)域圖像獲取與登錄；

(2) 3D模型表面重構；

(3) 3D模型修補。

2) 基于圖像的建模方法：

(1) 基于單個圖像的幾何模型重構；

(2) 采用立體視覺和結構光照方法幾何模型重構；

(3) 使用先驗知識重構風景；

(4) 基于輪廓線的幾何模型重構。

3) 材質光照建模方法：

(1) 體光照建模方法(Volume Illumination modelling method)；

(2) 活性變化建模(Active alteration model)；

(3) 變密度傳播模型(Varying density emission model)；

(4) 材質分類與混合模型(Material classification & hybrid model)。

4) 領域建模方法(Filed modelling method)：

(1) 矢量場(Vector field)；

(2) 標量場(Scalar field)。

1.1.2行為建模方法

虛擬現(xiàn)實環(huán)境中活動對象(如人、車)建模尤其是其行為建模也是VR的關鍵，其中，常用的方法有：

(1) 自主對象的主要類型 (Main types of autonomous objects)方法；

(2) 基于有限狀態(tài)自動機的建模方法；

(3) 面向建模方法的專家系統(tǒng)；

(4) 基于智能代理的建模方法；

(5) 聚合與分解模型(Aggregation and disaggregation model)。

1.1.3虛實結合建模

AR和MR需要虛實結合的場景，虛實結合建模是一個大挑戰(zhàn)。涉及的建模問題包括：

(1) 虛實合成場景中真實環(huán)境信息的獲取與表示；

(2) 虛實間3D登錄和存儲方法；

(3) 虛實間耦合處理方法；

(4) 虛實合成方法。

1.1.4基于物理的建模方法

1) 剛體建模方法：

(1) 剛體運動仿真；

(2) 碰撞檢測；

(3) 連接性和限制性建模。

2) 柔性物體建模方法：

(1) 離散顆粒建模；

(2) 連續(xù)性建模方法；

(3) 柔性物體碰撞檢測。

3) 虛擬人體運動建模方法：

(1) 運動數(shù)據(jù)采集(Acquisition of motion data)；

(2) 運動數(shù)據(jù)處理(Treatment of motion data)；

(3) 運動控制(Motion control)。

1.2　計算機圖形學和計算機動畫

視覺是人感知世界的第一感覺，因此虛擬現(xiàn)實中涉及的一個關鍵技術是計算機圖形學和計算機動畫技術。

這里涉及的技術有數(shù)學問題、3維建模和影像渲染問題等。數(shù)學指的是坐標系統(tǒng)、向量和轉換矩陣，用于表示可視化、3D對象動畫、特征描述等。3D建模是借助于幾何描述為實際物體對象構建一個特定的3D形象；渲染借助于光照模型、燈光、色彩和紋理演繹3D模型。

大部分虛擬世界是動態(tài)的，隨時間變化的，物件在其中運動、旋轉和變化，因此需要計算機動畫技術的支持。計算機動畫的主要目標是合成期望的運動效果。

1.3　虛擬現(xiàn)實系統(tǒng)的體系結構

虛擬現(xiàn)實系統(tǒng)的體系結構也是一個技術難點。

目前常用的體系結構大多數(shù)由本地部署的，陸續(xù)地往基于云計算的發(fā)展。

圖2　一個模擬駕駛系統(tǒng) [11]

文獻[8]討論基于Microsoft的HoloLens開發(fā)MR系統(tǒng)，給出開發(fā)一個混合現(xiàn)實系統(tǒng)的必要軟、硬件要求：一臺PC，參數(shù)要求是：Windows 10 64-bit (Windows, Mac OS, or Linux)；30 GB可用硬盤空間；RAM≥6 GB；CPU處理能力。文獻[9]中推薦的是Intel Core i5或Core i7處理器(或類似性能)；GPU(Graphics Processing Unit)或圖形卡。

如果使用HoloLens仿真器，文獻[8] 推薦的最小系統(tǒng)要求是：操作系統(tǒng)64-bit Windows 10 Pro/Enterprise/Education Edition；CPU 至少 4 核；8 GB RAM；BIOS 必須支持和能夠基于硬件的虛擬化；二級地址轉換技術 (SLAT)和基于硬件的數(shù)據(jù)執(zhí)行保護 (DEP)；DirectX 11.0及以上的GPU, WDDM 1.2或更高版的驅動。其他還有專用硬件要求：HoloLens, Emulator或其他類似硬件。建模則可以使用一些3D建模軟件，如Unity Technologies公司的Unity。

1.4　感知技術

1.4.1視覺

計算機的顯示技術經(jīng)歷了顯像管CRT、液晶LCD等時代，期間，等離子顯示也曾流行，但目前基本上有LCD占據(jù)主流。

虛擬現(xiàn)實的顯示目前有HMD頭盔、投影和桌面顯示三種主要方式，最受青睞的是HMD。

大部分HMD有一個或兩個帶透鏡的小顯示器，顯示單元可以使用CRT、LCD、LCos或OLED技術。顯示器有鏡頭和半透明反光鏡，封裝在一起。許多HMD配有耳機(或喇叭)，以便視頻和音頻一起輸出。有的HMD是一個復雜的感知和計算系統(tǒng)，以Microsoft的HoloLens為例：它擁有3個處理器——CPU、GPU、HPU(holographic processing unit)；Inertial Measurement Unit (IMU)——加速度傳感器、陀螺儀、磁力計；攝像機——5個可見波長攝像機、一個遠紅外攝像機; 一個遠紅外激光投影器；麥克風；等等。

為了發(fā)揮自己潛力，HMD和跟蹤器配合在一起，探測角度、方向甚至是位置的變化，以便在計算機里控制VR應用，按特定實踐渲染成虛擬場景。

在醫(yī)療外科應用中，還使用了X射線視像，和傳統(tǒng)視像合成在一起。傳統(tǒng)的HMD可以提供大多數(shù)沉浸感，但還有不足，主要如顯示粒度、視角大小等。

1.4.2聽覺

聲音是我們?nèi)粘Ｉ铙w驗的一部分，從中獲取大量信息。聲音來自不同空間位置，我們生活中感知的是空間聲音。如何在虛擬環(huán)境里構建空間聲音一個重要挑戰(zhàn)。

聲音在虛擬顯示系統(tǒng)中扮演著不同角色, 如：

1) 補充信息: 聲音可以提供較僅有視覺外補充的、更豐富的信息。少許的回聲和反響都可使人的大腦對關注對象的方位和距離，以及環(huán)境大小和背景有新的認識。

2) 可供選擇的反饋:聲音反饋可以提升用戶接口 (例如可以用聲音指示用戶命令的確認或選擇的對象)。

3) 可供選擇的交互模式: 聲音是一種有效的通信通道。語音識別和語音合成可以有效地提升VR效果。

涉及的問題如空間聲音的記錄與再生和空間聲音合成等?？臻g聲音合成包括處理聲音信號以生成逼真的聲音，描述真實聲音場景：聲源的位置、方位，室內(nèi)還是曠野，等等。還有的問題如聲音渲染。聲音渲染大多用于為動畫生成同步聲道， 為場景里的每個對象通過創(chuàng)建有特征音色的空間聲音。聲源可以通過采樣或合成實現(xiàn)。

VR里的聲音系統(tǒng)需要滿足如下需求：

1) 3D定位: 精確地定位虛擬聲源。

2) 音響仿真: 音響空間仿真是再現(xiàn)真實環(huán)境的基本要素，要能反映出房間的大小，墻面的特點等。

3) 速度和效能: 在空間聲音的物理性質的精確仿真和聲音實時有效生成間往往存在矛盾，因此一般需要有個折衷。同時，實現(xiàn)虛擬環(huán)境還需要一定數(shù)目的虛擬聲源。大多數(shù)重要的聲音現(xiàn)象可以用計算機引擎仿真。值得注意的一個挑戰(zhàn)是如何在任意虛擬位置將聲源映射到一定數(shù)目的喇叭，而其實際位置又受到VR系統(tǒng)安裝時的物理設置所限制。

1.4.3觸覺

目前的大多數(shù)VR 應用提供視覺和聽覺反饋，較少涉及力反饋。但是，很多VR應用，迫切需要涉及觸覺和肌肉運動知覺，給人“接觸”虛擬物體的能力。觸摸是人的一種重要感覺， 其中包括皮膚接觸和肌肉運動觸覺等。典型的觸覺感知設備和技術如：

1) 數(shù)據(jù)手套(Data Gloves) 手是人觸摸的一個主要輸入通道，是通過觸摸感知和操縱外部環(huán)境的主要接口。因此，手套形式的VR設備被大量設計和開發(fā)出來。這類手套里納入了大量的傳感器，用于獲取手指彎曲等身體數(shù)據(jù)。內(nèi)置磁性或慣性的運動跟蹤器(motion tracker)用于獲取全方位的手套位置與旋轉數(shù)據(jù)。有的還有響應激勵設施，用于反映用戶在虛擬現(xiàn)實應用中的反應，例如在手指關節(jié)處內(nèi)置可充氣氣囊，在用戶接觸虛擬物體時，彎曲手指或握拳時適時將小氣囊充氣，用戶感知氣囊壓力，虛擬環(huán)境逼真仿真出握到虛擬物體的感覺。市場上已有豐富的數(shù)據(jù)手套產(chǎn)品，如CyberGlove?，5DT Data Glove。它們擁有豐富的傳感功能，藍牙接口，開發(fā)SDK等。

2) 觸覺演繹和渲染 觸覺演繹和渲染指的是通過用戶和虛擬物體的交互，計算和產(chǎn)生出響應力的過程。一般有2類渲染算法：

(1) 3-DOF觸覺演繹: 這類算法考慮和虛擬物體的單個接觸點場景，只有3個自由度(3 DOF)，只能在3D空間里變化位置。

(2) 6-DOF觸覺演繹: 這類算法以6自由度抓住的物體：解決位置和轉動問題，觸覺的反饋既有位置還有力矩。觸覺渲染接口也值得一提，觸覺渲染接口負責產(chǎn)生機械信號刺激人的肌肉和觸摸通道，讓人理解感知和在現(xiàn)實環(huán)境里作出響應動作。觸覺接口的目標是通過再生虛擬物體的物理特征便于操縱虛擬物體。一般可將這類接口分為被動觸覺接口、主動觸覺接口和混合觸覺接口三類。被動觸覺接口只能針對用戶運動施加阻力。主導觸覺接口使用激勵器，有提供能量的能力，這類激勵器可以是電動馬達、水力系統(tǒng)、壓電裝置等。混合觸覺接口則同時使用主動和被動激勵器。

2　虛擬現(xiàn)實系統(tǒng)工程與軟件框架

2.1　如何構建一個VR系統(tǒng)[11]

開發(fā)和運維一個VR系統(tǒng)并不容易，需要許多領域的深度知識，涵蓋傳感和跟蹤技術、立體顯示、多模態(tài)交互和處理、計算機圖形學和幾何建模、動態(tài)和物理仿真、性能調節(jié)等。和其他軟件系統(tǒng)比較，新的特點是：(1) 實時性性能要求；(2) 對象外觀和物理性質建模問題，還要包括其行為特征；(3) 根據(jù)不同任務和輸入/輸出設備，不同風格和形態(tài)的交互技術。同時VR面臨的是一個多目標決策的復雜問題，這些目標還很可能是矛盾的。

構建一個VR系統(tǒng)往往需要分步和迭代實現(xiàn)。第一步需要分析對虛擬體驗的需求，初略描述完整的流程和情景結構，包括時間和交互條件。還需要估算基本的輸入/輸出設施或必要的計算能力。 在需求分析基礎上，需要對主要虛擬對象建模。要使用CAD軟件常常還需要建立幾何形態(tài)，開發(fā)人員使用圖形/VR庫函數(shù)(例程)對行為特征進行編程。虛擬對象和其他成分要組織起來構成一幕幕場景，編程后的場景要渲染，以高幀率(如20 Hz)顯示給用戶，保證對象動畫的平滑性。系統(tǒng)中常用特定的VR傳感器和顯示設備作為接口。通過一步一步的精細化，系統(tǒng)逐步到達用戶要求。

VR軟件應當?shù)绞椒植介_發(fā)。最初的迭代應聚焦于常規(guī)視圖，如需求分析，描述對象和特征，定義分層、全局系統(tǒng)行為、用戶任務建模和總體系統(tǒng)體系。下一步更多涉及VR相關的視野，對性能目標、計算模塊逐步細化。我們可以簡述如下：

算法1VR軟件開發(fā)算法

(1) 腳本設計/需求分析

(2) 對象/全局行為/系統(tǒng)結構“場景”建模

① 系統(tǒng)概要設計/修改需求

② 系統(tǒng)設計

③ 系統(tǒng)仿真與驗證，性能調節(jié)，過程分配

(3) 性能/任務分解/交互模型/信息、功能、行為模型精細化

(4) 實現(xiàn)呈現(xiàn)/特效

2.2　虛擬現(xiàn)實系統(tǒng)工程

VR/AR/MR開發(fā)是一種特殊的系統(tǒng)工程，我們這里稱為虛擬現(xiàn)實系統(tǒng)工程，對此，文獻[6]從3個方面討論： 交互設計、軟件設計和實現(xiàn)、虛擬現(xiàn)實應用。

2.2.1交互設計

學者提出了一個基于混合對象的集成框架[6]：將MR中出現(xiàn)的對象稱為(虛/實)混合對象，分析混合對象的內(nèi)涵特征和外延特征，從而給出了一些方法，如：

(1) 一種迭代的用戶為中心的設計方法；

(2) 嵌入式MR環(huán)境。

針對虛擬現(xiàn)實系統(tǒng)工程，文獻[6]還討論了若干特殊設計問題，如提出一個面向工程的軟硬件協(xié)調設計方法；在設計結構中，討論了基于模型的方法，使用傳統(tǒng)的基于模型轉換方法，從概念模型逐步演化和求精，最后實現(xiàn)軟件的方法。

2.2.2生命周期

和所有軟件系統(tǒng)一樣，VR系統(tǒng)也有其生命周期。VR系統(tǒng)的生命周期管理也是一個挑戰(zhàn)[6]。

3　應　用

VR不只是在游戲娛樂中找到用武之地，其應用的領域很廣，主要應用在健康、教育、娛樂、文化、工業(yè)和軍事等領域。

3.1　健康科學

虛擬現(xiàn)實技術廣泛應用在健康領域，如外科、康復等。

3.1.1虛擬外科

虛擬外科是虛擬現(xiàn)實應用的一個熱門課題，很多系統(tǒng)被開發(fā)出來。手術前的準備往往可以用一個VR系統(tǒng)來實現(xiàn)。這樣的系統(tǒng)讓外科醫(yī)生在一個虛擬環(huán)境里熟悉和改進技能，大大有利于真實手術過程。

3.1.2虛擬康復和治療

虛擬現(xiàn)實也可用來基于物理治療的康復處理。用于康復的VR系統(tǒng)集成觸覺和先進傳感技術，識別運動模式、開發(fā)仿真任務(治療練習)和診斷。一般通過立體顯示、力反饋設備、現(xiàn)代傳感技術實現(xiàn)的。診斷則通過收集數(shù)據(jù)、導入醫(yī)院檢測和基于人工智能模型實現(xiàn)的。

3.1.3心理治療

心理治療中使用虛擬現(xiàn)實也很有用。例如，對于孤獨癥兒童而言，直接將其置于人群中可能兒童會不適應。使用VR技術，讓他/她在虛擬人群中先熟悉起來，在逐步讓其真正融入人群會更有利。

3.1.4虛擬解剖

虛擬解剖也是VR的典型應用，借助于VR技術，醫(yī)學學生可以很直觀地掌握解剖技術、了解人體結構，很好解決解剖對象短缺困境的問題。

3.2　工業(yè)制造業(yè)應用

計算機在產(chǎn)品開發(fā)中廣泛使用，計算機輔助設計 (CAD)、計算機輔助制造(CAM)、計算機輔助裝配規(guī)劃(CAAP)等是產(chǎn)品生命周期里廣泛使用的計算機系統(tǒng)。VR技術的應用大大提高CAD/CAM處理能力。圖3展示VR在產(chǎn)品設計中的應用。

圖3　產(chǎn)品設計中的VR系統(tǒng)[1,13]

在裝配和運維中虛擬現(xiàn)實技術也廣泛應用。1990年，波音公司啟動777飛機的研制工作，生產(chǎn)過程采用了大量全新的航電、飛控、起落架等設計，需要在飛機上安裝大量的長捆航空線束。這些航空線束僅擔負著傳統(tǒng)的輸配電功能，還擔負這各類系統(tǒng)的信息傳輸功能。線束的安裝位置必須準確快速，一方面保證各類線束之間彼此不產(chǎn)生干擾，另一方面也要避免被外界的信號干擾或者干擾外界的信號。為了準確地安裝這些復雜的線束，1990年，波音的兩位工程師，Thomas Caudell和David Mizell，提出了使用一種抬頭透視裝置。利用這個裝置，安裝工人在工作過程中，按照他們現(xiàn)在所處的位置以及頭部朝向，系統(tǒng)依據(jù)數(shù)字CAD圖，自動生成虛擬圖像，疊加到工人們視野中的真實場景里。工人們可以方便地按照透視的虛擬線路指導，進行各類航空線束的安裝。通過這么一個裝置，可以輕而易舉地提高安裝線束的效率同時減少安裝線束的錯誤。增強現(xiàn)實這個詞也產(chǎn)生于此，描述這種在真實場景下，按照用戶看到的物體以及他們的位置和頭部朝向，自動疊加虛擬內(nèi)容的這種技術。Thomas和David把他們的設想寫成論文，發(fā)表在1992年的第25屆系統(tǒng)科學國際會議上。

3.3　軍事應用

虛擬現(xiàn)實在軍事上的應用由來已久。表1中例舉的Ivan Sutherland 的項目支持就來自美國國防部DARPA。戰(zhàn)場的態(tài)勢感知(Situation Awareness)是軍事上的重要問題。大量偵察到的信息，無論來自衛(wèi)星、雷達、傳感設備，還是飛機偵察等，需要收集起來、融合到一起，借助于3D技術和虛擬現(xiàn)實技術就可以把戰(zhàn)場環(huán)境虛擬地再現(xiàn)出來， 有利于指揮和作戰(zhàn)。

培訓也是虛擬現(xiàn)實技術在軍事上的重要應用。飛機駕駛、導彈操控、軍艦操作往往可以借助于VR技術部分實現(xiàn)，從而減少成本，避免新手初操作時容易發(fā)生的事故。其他還有:戰(zhàn)士的單兵作戰(zhàn)系統(tǒng)、飛行員的駕駛系統(tǒng)等。

VR的其他應用，如教育、文化、旅游、BIM等，讀者可能已很熟悉，限于篇幅，本文不再贅述。

4　趨勢、發(fā)展和挑戰(zhàn)

虛擬現(xiàn)實發(fā)展迅速，從資本市場看：2017年8月9日-蜜蜂網(wǎng)發(fā)布《2017年上半年VR/AR投融資報告》稱：全球VR/AR行業(yè)投資總額超過21.63億美元。其中，國內(nèi)VR/AR行業(yè)投資總額超過5.2億美元; 國外投資總額超過16.4億美元。半年里，發(fā)生投資事件126起，其中國內(nèi)為60起，國外為84起。這些投資主要集中在技術、硬件、游戲、平臺、教育、建筑和行業(yè)應用等領域。其中，技術、硬件、游戲是投資熱點。騰訊2016發(fā)布年全球首份AR行業(yè)報告：到2017年，AR市場將增長至52億美元。IDC發(fā)布報告：全球范圍內(nèi)AR和VR市場的收入預計將在接下來四年內(nèi)翻倍，甚至更多。所有在AR/VR產(chǎn)品和服務上的花費預計會從2017年的114億美元上漲至2021年的2150億美元，年增長率達到113.2%。面臨大好機會，我們也面臨新的挑戰(zhàn)。

首先，鑒于虛擬現(xiàn)實的3R要求，對處理器的要求很高。芯片(CPU，GPU和HPU)及其集成能力的需求十分迫切。感知技術/激勵技術包括硬件和軟件需要進一步的發(fā)展。這里，我們僅從軟件角度看，我們的機遇和挑戰(zhàn)包括：

(1) VR建模技術。前面描述了VR建模技術的需求，目前尚有很多工作需要去做。

(2) VR開發(fā)方法。和大家習慣的軟件開發(fā)有很大不同的是，VR是一個軟硬件融合對策系統(tǒng)，需要軟硬件協(xié)同設計和開發(fā)，相應的開發(fā)方法有待研究和深化。

(3) 大數(shù)據(jù)處理能力。VR系統(tǒng)中涉及大量感知數(shù)據(jù)，實時采集、融合、處理和分析這些數(shù)據(jù)需要專門的算法。

(4) 人工智能。傳統(tǒng)的VR演化為AR和MR，其關鍵在于大數(shù)據(jù)處理與AI技術，而面向AR和MR的算法與技術研究尚在初級階段。

(5) 情景感知計算能力。作為一種計算形態(tài)，情景感知計算具有適應性、反應性、相應性、就位性、情景敏感性和環(huán)境導向性的特征[12]，這就是VR系統(tǒng)所必須的，更是需要突破的。

5　結　語

本文給出了關于VR、AR和MR的概述，其關鍵技術、應用和展望?？梢灶A計，未來幾年里，虛擬現(xiàn)實技術會更快地發(fā)展，并融入我們的日常生活和工作。在中國科技產(chǎn)業(yè)化促進會支持下成立的中國VR虛擬現(xiàn)實產(chǎn)業(yè)創(chuàng)新聯(lián)盟將會致力于協(xié)助國內(nèi)企業(yè)為此做出貢獻。

[1] Furht B.Handbook of Augmented Reality[M].4th ed.Springer,2011.

[2] Steinicke F.Being Really Virtual:Immersive Natives and the Future of Virtual Reality[M].Springer,2016.

[3] Singh N,Singh S.Virtual reality:A brief survey[C]//International Conference on Information Communication and Embedded Systems.IEEE,2017.

[4] Paolis L T D,Mongelli A.Augmented and Virtual Reality[M].Springer,2014.

[5] Ma D Z,Fan X M,Gausemeier J,et al.Virtual Reality & Augmented Reality in Industry[M].Springer,2011.

[6] Dubois E,Gray P,Nigay L.The Engineering of Mixed,Reality Systems[M].Springer,2010.

[7] Taylor A G.Develop Microsoft HoloLens Apps Now[M].Apress,2016.

[8] Ong S.Beginning Windows Mixed Reality Programming:For HoloLens and Mixed Reality Headsets[M].Apress,2017.

[9] Wang Xiangyu.Mixed Reality,in Architecture,Design & Construction[M].Springer,2009.

[10] Penichet V M R,Pealver A,Gallud J A.New Trends in Interaction,Virtual Reality and Modeling[M].Springer London,2013.

[11] Kim G J.Designing Virtual Reality Systems:The Structured Approach[M].Springer,2005.

[12] 顧君忠.情景感知計算[J].華東師范大學學報(自然科學版),2009(5):1-20.

[13] Ng L X,Ong S K,Nee A Y C.ARCADE:A Simple and Fast Augmented Reality Computer-Aided Design Environment Using Everyday Objects[C]//Proceedings of IADIS Interfaces and Human Computer Interaction 2010 Conference (IHCI2010),2010:227-234.