基于虛擬現(xiàn)實(shí)技術(shù)的AR校園規(guī)劃沙盤設(shè)計(jì)

馬超，徐守祥，趙文勇，韓麗屏

（深圳信息職業(yè)技術(shù)學(xué)院數(shù)字媒體學(xué)院，廣東 深圳 518172）

引言

虛擬現(xiàn)實(shí)技術(shù)是近幾年來的研究熱點(diǎn)，受到廣泛關(guān)注[1-3]。它以計(jì)算機(jī)技術(shù)為核心，結(jié)合相關(guān)科學(xué)技術(shù)，生成與一定范圍內(nèi)的真實(shí)環(huán)境在視、聽、觸感等方面高度近似的數(shù)字化環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對(duì)象進(jìn)行交互作用、相互影響，可以產(chǎn)生親臨對(duì)應(yīng)真實(shí)環(huán)境的感受。虛擬現(xiàn)實(shí)通過實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù)，廣角（寬視野）立體顯示技術(shù)，對(duì)觀察者頭、眼和手的跟蹤技術(shù)，以及觸覺和力覺反饋、立體聲、網(wǎng)絡(luò)傳輸、語音輸入輸出等技術(shù)手段，給體驗(yàn)者營造出一種高沉浸性與交互性的虛擬環(huán)境[4-5]。在產(chǎn)業(yè)界，將虛擬現(xiàn)實(shí)定義為三類技術(shù)應(yīng)用方式：虛擬現(xiàn)實(shí)（Virtual Reality, VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality, AR）和混合現(xiàn)實(shí)（Mixed Reality, MR），本文虛擬現(xiàn)實(shí)主要是基于VR和AR技術(shù)來實(shí)現(xiàn)的。

虛擬現(xiàn)實(shí)技術(shù)能夠通過設(shè)備實(shí)現(xiàn)用戶與模擬環(huán)境進(jìn)行自然交互，有以下幾個(gè)特點(diǎn)[6]：

（1）感知性，可以提供人所具有的感知功能，包括視聽感知、運(yùn)動(dòng)感知等，除了可以體驗(yàn)真實(shí)感覺外，還能模擬某些不可能發(fā)生的環(huán)境。（2）沉浸感，通過創(chuàng)建和模擬虛擬環(huán)境，讓用戶以第一視角存在于虛擬環(huán)境中去體驗(yàn)真實(shí)程度[7]。（3）交互感，用戶操作虛擬物體和從虛擬環(huán)境中得到反饋。虛擬現(xiàn)實(shí)技術(shù)強(qiáng)調(diào)人機(jī)交互的自然性，不再局限于傳統(tǒng)操作體驗(yàn)，可以通過先進(jìn)的硬件設(shè)備進(jìn)行交互[8]。

虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療、教育、工業(yè)等方面得到了廣泛的關(guān)注和應(yīng)用，在教育方面的應(yīng)用包括教育研究和虛擬仿真實(shí)訓(xùn)等。

根據(jù)使用目的以及對(duì)象的不同，虛擬現(xiàn)實(shí)技術(shù)的分類大體如下[9]：

（1）非沉浸式虛擬現(xiàn)實(shí)系統(tǒng)。也叫桌面式虛擬現(xiàn)實(shí)系統(tǒng)，它是基于普通電腦呈現(xiàn)模擬環(huán)境的小型虛擬現(xiàn)實(shí)系統(tǒng)，這種系統(tǒng)屬于非沉浸式，并且無需其他特殊硬件及設(shè)備，價(jià)格較為低廉，很適合普通用戶的需求，因此較為常見。

（2）沉浸式虛擬現(xiàn)實(shí)系統(tǒng)。它是桌面虛擬現(xiàn)實(shí)系統(tǒng)的增強(qiáng)版，是一種非常注重沉浸感的虛擬現(xiàn)實(shí)形式，具有實(shí)時(shí)、高效并且支持多種交互設(shè)備集成工作的特性，但是成本較高，不太適應(yīng)于普通用戶。

（3）分布式虛擬現(xiàn)實(shí)系統(tǒng)。它是基于網(wǎng)絡(luò)虛擬環(huán)境，通過網(wǎng)絡(luò)將分布在不同地理位置的多個(gè)用戶進(jìn)行連接，從而實(shí)現(xiàn)信息交換以及信息共享。

（4）增強(qiáng)式虛擬現(xiàn)實(shí)系統(tǒng)[10]。也稱為AR虛擬實(shí)境系統(tǒng)，它需要一些特定的設(shè)備來讓其使用者產(chǎn)生較強(qiáng)的浸入感和更自然的交互，通過特定設(shè)備將信息疊加到真實(shí)場景中。

本文以Unity3D作為主要開發(fā)載體，基于微軟HoloLens眼鏡設(shè)備設(shè)計(jì)和開發(fā)了一個(gè)具有沉浸感和交互性的虛擬校園規(guī)劃沙盤。以深圳信息職業(yè)技術(shù)學(xué)院作為研究對(duì)象，通過對(duì)校園場地地形和建筑的還原，讓體驗(yàn)者能夠身臨其境地感受，對(duì)學(xué)校有更直觀的了解。

1 虛擬校園規(guī)劃沙盤設(shè)計(jì)

研究可以實(shí)現(xiàn)的功能包括：

（1）實(shí)現(xiàn)沙盤功能展示，將三維校園地圖真實(shí)直觀地展示在用戶眼前，用戶可以實(shí)現(xiàn)對(duì)校園規(guī)劃沙盤的位置拖動(dòng)以及旋轉(zhuǎn)操作。

（2）可以對(duì)校園規(guī)劃沙盤進(jìn)行語音控制，即用戶通過說話直接與沙盤進(jìn)行交互操作，也支持手動(dòng)操作。

（3）用戶可以直接進(jìn)入到具體建筑物內(nèi)，進(jìn)行直觀地參觀和漫游，讓用戶有身臨其境的感受。

（4）用戶對(duì)沙盤的操作通過手勢(shì)完成，無需借助其他硬件設(shè)備。

1.1 三維校園場景模型的建立

（1）建立模型

三維模型是整個(gè)校園規(guī)劃沙盤的基礎(chǔ)，模型的好壞直接影響運(yùn)行以及展示效果，本文采用3DsMax三維建模工具對(duì)校園進(jìn)行全景建模[11]，利用設(shè)計(jì)以及可視化性能，對(duì)場景中的每個(gè)模型都進(jìn)行了精確的構(gòu)建和優(yōu)化，然后根據(jù)校園建筑的三維視圖和尺寸比例，實(shí)現(xiàn)各個(gè)建筑物的三維虛擬建模，形成一個(gè)完善的校園建筑物三維模型庫，其中所有的建筑物三維模型都保存為.FBX格式的文件，并保存到Unity的Package文件夾中，導(dǎo)入的信息包括三維模型的模型、紋理材質(zhì)。

（2）優(yōu)化模型

在校園規(guī)劃沙盤模型完成后，為達(dá)到更理想的場景渲染效果，需要對(duì)大規(guī)模三維場景模型進(jìn)行進(jìn)一步優(yōu)化。本文采用的是LOD（Level of Detail）多細(xì)節(jié)層次優(yōu)化[12]，它是一種采用不同細(xì)節(jié)存儲(chǔ)對(duì)象的模型管理方法，使之能有效地表現(xiàn)不同程度建筑物模型的真實(shí)感。其流程為：（a）為建筑物模型構(gòu)建一組詳細(xì)程度不同的模型；（b）根據(jù)建筑對(duì)象離視點(diǎn)距離以調(diào)用相應(yīng)的模型。主要是通過移除被繪制對(duì)象中的不必要細(xì)節(jié)，即減少模型的三角面數(shù)量來精簡模型提高渲染速度。

通過LOD技術(shù)在模型構(gòu)建中根據(jù)視點(diǎn)到目標(biāo)對(duì)象的距離遠(yuǎn)近，以及對(duì)象視距變化，實(shí)時(shí)減少對(duì)象模型的三角面片數(shù)量，實(shí)現(xiàn)對(duì)象的動(dòng)態(tài)優(yōu)化。

本文校園規(guī)劃沙盤場景主要以靜態(tài)建筑對(duì)象為主，并行模型數(shù)量較多，具有較多重復(fù)性。首先對(duì)場景中模型內(nèi)容進(jìn)行分類，然后根據(jù)模型精細(xì)程度加以分類，采用關(guān)聯(lián)復(fù)制方法構(gòu)建多個(gè)模型，當(dāng)模型導(dǎo)入到Unity引擎中時(shí)，在當(dāng)前場景中只需調(diào)用依次模型即可完善大量模型設(shè)置，減少模型加載量。

1.2 Unity關(guān)聯(lián)HoloLens眼鏡

基于Unity3D引擎平臺(tái)，在微軟HoloLens眼鏡設(shè)備上進(jìn)行設(shè)計(jì)開發(fā)。

首先配置好開發(fā)環(huán)境，安裝SDK，所有配置準(zhǔn)備完畢，可以進(jìn)行制作。新建項(xiàng)目后Unity會(huì)顯示出三維場景，將3DsMax建好的三維模型導(dǎo)入到Unity編輯器中，擺放模型在場景中，設(shè)置好使用者視角，在場景布置完成后，需要發(fā)布應(yīng)用并利用模擬器進(jìn)行測(cè)試。由于HoloLens只能與Windows Store應(yīng)用商店發(fā)布的平臺(tái)相兼容，根據(jù)提出訪問相應(yīng)目錄，雙擊安裝下載文件。

在指定生成目標(biāo)平臺(tái)后，需要選擇應(yīng)用商店中的一些功能，例如空間感知可以使用空間映射功能，話筒可以使用語音作為輸入，通過語音輸入使用戶進(jìn)行模型交互操作，但需要注意的是HoloLens只支持英語的語音識(shí)別，而中文語音識(shí)別技術(shù)尚未能很好地支持，將訊飛的Windows SDK嫁接到Unity3D中進(jìn)行開發(fā)，HoloLens無法正常運(yùn)行，原因可能是訊飛的SDK不支持Windows10。網(wǎng)絡(luò)客戶端應(yīng)用通過網(wǎng)絡(luò)連接實(shí)現(xiàn)功能，最后點(diǎn)擊生成Visual Studio解決方案。

在用戶設(shè)置面板中，添加Windows Holographic的SDK，演示界面如圖1所示。打開.sln文件啟動(dòng)Visual Studio 2015，創(chuàng)建可以提交到Windows應(yīng)用商店的項(xiàng)目包，啟動(dòng)后即可看到之前創(chuàng)建的模型并通過鼠標(biāo)箭頭以及鍵盤進(jìn)行交互操作。圖中的圓點(diǎn)即為用戶的目光聚集點(diǎn)。

利用Windows10系統(tǒng)提供的應(yīng)用程序HoloLens對(duì)設(shè)備進(jìn)行連接，連接Wifi后，在Settings -＞Network&internet -＞ AdvAnced options -＞ ipv4 address設(shè)置相應(yīng)的IP地址，實(shí)現(xiàn)HoloLens的網(wǎng)絡(luò)連接。

圖1 Windows HoloLens的SDK添加設(shè)置Fig.1 Windows HoloLens SDK Add Settings

1.3 功能設(shè)計(jì)

為了更好地滿足校園規(guī)劃沙盤的展示效果和需求，結(jié)合AR技術(shù)在HoloLens全息眼鏡設(shè)備上實(shí)時(shí)展示校園沙盤的場景位置移動(dòng)，旋轉(zhuǎn)，可從多角度展示局部效果圖；設(shè)置根據(jù)聲控進(jìn)行實(shí)時(shí)交互操作以及漫游的功能。流程圖如圖2所示。

圖2 交互操作流程圖Fig.2 Flow chart of interactive operation

交互設(shè)計(jì)和導(dǎo)航設(shè)計(jì)說明具體如下：

（1）Place mode。單擊模型后，會(huì)出現(xiàn)導(dǎo)航網(wǎng)格，此時(shí)可將模型放置在任意平面，確定要放置的位置后，再次點(diǎn)擊模型，即可實(shí)現(xiàn)定位，同時(shí)導(dǎo)航網(wǎng)格消失；

（2）Rotation mode。準(zhǔn)星對(duì)焦到模型后，長按左右拖拽可旋轉(zhuǎn)沙盤Y軸，此模式下除了改變大小無法定位無法演示；

（3）Demo演示模式。在加載完進(jìn)度條后，在模型右上方會(huì)出現(xiàn)“點(diǎn)擊進(jìn)入傳送門”的按鈕，對(duì)焦后，單擊場景會(huì)進(jìn)行跳轉(zhuǎn)(羽毛球館)，在羽毛球館這個(gè)場景，無法響應(yīng)沙盤場景的任何口令及手勢(shì)。在觀賞完畢，通過口令（Go back）返回到沙盤場景，或者在羽毛球館的中心位置尋找一個(gè)有著紅色字體“退”的圓柱體，準(zhǔn)星對(duì)準(zhǔn)后，單擊，也可以返回到沙盤場景；

（4）通用口令。Smaller放小沙盤、Bigger放大；按鈕共有5個(gè)，分別是大、小、放置、旋轉(zhuǎn)、內(nèi)部，大/小對(duì)應(yīng)Bigger/Smaller；

（5）放置對(duì)應(yīng)Place mode、旋轉(zhuǎn)對(duì)應(yīng)Rotation mode、演示對(duì)應(yīng)Demo，按鈕只能在沙盤場景內(nèi)使用，無法在羽毛球館場景使用。

圖3 校園沙盤導(dǎo)航界面Fig.3 Campus sand table navigation interface

1.4 實(shí)現(xiàn)手段

操作系統(tǒng)：Windows10 64位專業(yè)版，編輯環(huán)境：Visual Studio 2015，Unity3d版本為Unity 5.6.1f1，以及HoloLens Emulator，CPU處理器為Intel Core TM i5-3470 @ 3.2GHz，內(nèi)存16GB，硬盤1TB，顯卡Direct X 11.0以上，并通過HoloLens全息眼鏡進(jìn)行調(diào)試和發(fā)布。

2 虛擬校園規(guī)劃沙盤應(yīng)用展示

展示界面如圖所示。界面中提供放大、縮小、旋轉(zhuǎn)、放置和內(nèi)部導(dǎo)航菜單功能。根據(jù)功能的設(shè)計(jì)，校園沙盤展示平臺(tái)，雖然未提供大量素材模型，但可以調(diào)用模型庫文件，隨時(shí)添加新模型。在校園場景漫游中，使用者以第一視角觀察場景并與場景進(jìn)行交互，用戶可以在場景中隨意走動(dòng)、前進(jìn)、后退等，并可以看到場景的任意角落和細(xì)節(jié)。

同時(shí)在校園場景設(shè)計(jì)中，使用光照系統(tǒng)和Shader材質(zhì)著色器來渲染三維模型，在渲染時(shí)候，為了更好更逼真地將場景光照效果呈現(xiàn)出來，通過光影貼圖實(shí)現(xiàn)，光線遇到障礙物會(huì)有多次反射折射，呈現(xiàn)出自然光的感覺。場館內(nèi)演示效果如圖4所示。

圖4 羽毛球館內(nèi)部場地演示圖Fig.4 Interior of a badminton hall

3 實(shí)現(xiàn)難點(diǎn)

3.1 實(shí)施方案

本項(xiàng)目實(shí)施方案設(shè)計(jì)流程如下：

圖5 設(shè)計(jì)流程圖Fig.5 Flow chart of designing

圖6 程序架構(gòu)圖Fig.6 Program architecture diagram

HoloLens中顯示效果包括實(shí)體加全息高亮和添加特效。分配操作方式有手勢(shì)加語音、對(duì)操作方式進(jìn)行穿插、在設(shè)計(jì)流程的時(shí)候控制操作之間的間隙等。

實(shí)現(xiàn)所需的資源及標(biāo)準(zhǔn)設(shè)置如下：

（1）圖片為PNG格式；（2）HoloLens應(yīng)用的圖標(biāo)（465*465）；（3）HoloLens啟動(dòng)面板的圖片（930*450）；（4）程序中的UI設(shè)計(jì)實(shí)現(xiàn)；（5）模型為FBX格式；（6）貼圖為Tga；（7）音頻為mp3。

同時(shí)在設(shè)計(jì)模型應(yīng)注意以下幾方面：(1)需要低面模型，實(shí)時(shí)光照同場景控制在10W面以內(nèi)，不用實(shí)時(shí)光照同場景控制在20W面以內(nèi)，建模階段的單位尺寸和Unity保持一致使用米為單位。(2)HoloLens中使用光照貼圖，貼圖種類盡量少一些，Shader最好使用Microsoft HoloLens官方實(shí)例中提供的Shader視頻及音頻。

3.2 沙盤空間定位

在對(duì)沙盤進(jìn)行空間定位時(shí)具體實(shí)現(xiàn)如下：

（1）增加空間映射讓HoloLens掃描并讀取空間網(wǎng)格數(shù)據(jù)（Spatial Mapping）；

（2) 增加默認(rèn)光標(biāo)，以凝視的方式確定選中的物體；

（3）增加輸入管理器，用來管理凝視、手勢(shì)等輸入方式（InputManager）；

（4）給游戲?qū)ο筇砑涌臻g定位腳本（Tap To Place）；

（5）增加空間錨點(diǎn)管理器以優(yōu)化物體在空間中的定位（空間錨點(diǎn)）。

3.3 語音切換設(shè)置

（1）使用共有函數(shù)編寫語音控制的具體內(nèi)容：

（a）啟用旋轉(zhuǎn)模式函數(shù)：關(guān)閉Tap To P、BillBoard，開始Rotation。

（b）啟動(dòng)定位模式函數(shù)：開啟TapToPlace、BillBoard，關(guān)閉Rotation。

（2）使用關(guān)鍵詞管理器Keyword Manager定義語句內(nèi)容并制定具體函數(shù)。

4 結(jié)束語

本文以虛擬現(xiàn)實(shí)技術(shù)中的AR技術(shù)為基礎(chǔ)，詳細(xì)介紹了利用3DsMax構(gòu)建虛擬校園沙盤中的三維場景模型庫，將三維模型和語音系統(tǒng)結(jié)合，基于3DsMax三維建模工具、Unity3D技術(shù)以及微軟HoloLens全息眼鏡實(shí)現(xiàn)校園規(guī)劃沙盤的交互式漫游變換、三維校園場景多功能導(dǎo)航、語音交互、多平臺(tái)功能部署，讓用戶通過使用電腦以及HoloLens全息眼鏡可以感受到虛擬現(xiàn)實(shí)技術(shù)帶來的身臨其境的體驗(yàn)。本文的模型還有部分問題，例如當(dāng)從體育場館中退出返回到校園規(guī)劃沙盤界面后，旋轉(zhuǎn)模式會(huì)失效，無法再次使用該導(dǎo)航功能，等等。后繼模型還需要進(jìn)一步完善和優(yōu)化，讓用戶具有更好的體驗(yàn)。