多設備交互和多用戶協(xié)作的虛擬現(xiàn)實劇場

（西安音樂學院，陜西西安市，710000）石茜睿 任思錦 趙璇 王延松

1 虛擬現(xiàn)實劇場

1.1 虛擬現(xiàn)實劇場的結(jié)構(gòu)

虛擬現(xiàn)實劇場通常支持用戶在身臨其境的虛擬環(huán)境中進行交互?，F(xiàn)在提出了一個支持多設備交互和多用戶協(xié)作的虛擬劇場系統(tǒng)的體系結(jié)構(gòu)和實現(xiàn)方法。在這項研究中，系統(tǒng)配備了一個大的環(huán)形屏幕來顯示身臨其境的立體虛擬場景，以及多自由度平臺、仿真槍和智能手機等多種交互設備來支持用戶交互。這里介紹了一個身臨其境的虛擬現(xiàn)實劇場系統(tǒng)，它配備了6-自由度平臺、3-自由度座椅、模擬槍和智能手機等多種交互設備。為了實現(xiàn)用戶協(xié)作，根據(jù)不同的交互任務將用戶分成兩組。在應用中，一組采用6-自由度平臺控制視點，另一組通過仿真槍和智能手機與目標物體進行交互。漫游時，用戶通過6-自由度平臺或3-自由度座椅產(chǎn)生的模擬運動獲得逼真的飛行體驗。

1.2 虛擬現(xiàn)實劇場的多設備交互和多用戶協(xié)作

1.2.1 多設備交互

這種交互設備不僅獲得用戶的輸入，而且提供觸覺反饋。由于本系統(tǒng)交互的特點是多用戶協(xié)同工作的同時性和同位性，本系統(tǒng)由四種不同類型的交互設備組成：6-自由度平臺、3-自由度座椅、仿真槍和智能手機。根據(jù)交互設備的性能，可以將其分為兩類：輸入設備和輸出設備。對于輸入設備，6-自由度平臺獲取用戶的駕駛輸入，模擬槍和智能手機為其他用戶采集射擊信息。所有輸入將被發(fā)送到核心模塊。核心模塊完成數(shù)據(jù)處理后，輸出設備，包括6-自由度平臺和3自由度座椅，接收輸出數(shù)據(jù)，改變機械結(jié)構(gòu)，為用戶提供觸覺反饋。核心模塊作為一個軟件控制器來管理交互式設備和系統(tǒng)顯示。一般來說，核心模塊處理輸入數(shù)據(jù)并生成輸出數(shù)據(jù)，包括用戶反饋和渲染結(jié)果。硬件支持核心模塊的平臺由高性能工作站和一系列服務客戶端計算機組成。對于軟件，核心模塊被實現(xiàn)為兩種相互通信的組件類型，交互管理器的主要功能是實現(xiàn)交互式設備的輸入輸出處理。交互管理器不斷地從輸入設備接收數(shù)據(jù)，分析和處理輸入數(shù)據(jù)，并通過網(wǎng)絡將結(jié)果數(shù)據(jù)發(fā)送到系統(tǒng)引擎。一旦系統(tǒng)引擎響應交互管理器，管理器立即將數(shù)據(jù)傳輸?shù)捷敵鲈O備。

系統(tǒng)引擎包含系統(tǒng)的邏輯。引擎接收規(guī)范化的輸入數(shù)據(jù)，更新渲染，并與交互管理器通信。在渲染方面，系統(tǒng)引擎采用Unity游戲引擎生成并渲染虛擬場景，提供逼真的圖形。

為了實現(xiàn)多用戶協(xié)同交互，實驗環(huán)境中提出了一種新穎的設計方案。設計了一個基于第一人稱射擊游戲的飛行模擬場景，在這個場景中，用戶可以探索虛擬環(huán)境，沉浸在飛行體驗中。在探索過程中，用戶需要拍攝視角中顯示的目標。因此，可以歸納為三個基本的交互任務：旅行任務、射擊任務和飛行模擬。旅行任務的目的是允許用戶在虛擬環(huán)境中自由地移動自己的觀點；射擊任務是指射擊虛擬目標的行為，由仿真槍和智能手機完成；飛行模擬為用戶提供漫游時的運動感。

1.2.2 多用戶協(xié)作

實驗者緊接著建立了一個由基本交互任務組成的協(xié)同任務，并將不同的基本任務合理分配給用戶，實現(xiàn)用戶的協(xié)同。用戶分為兩組，分別有相應的任務，即G1和G2。G1的交互任務是射擊任務和飛行模擬。在這個小組中，每個用戶都配備了一把模擬槍或一部智能手機，坐在一個3-自由度的座位上。用戶被安排在一個區(qū)域內(nèi)，面向投影屏幕。當目標出現(xiàn)在屏幕上時，用戶通過控制相應的十字準線來射擊目標。隨著用戶視角的移動，所有3-自由度座椅都會根據(jù)速度和方向定期模擬動作。G2的任務是旅行任務和飛行模擬。由于多用戶控制可能會引起混淆，G2中只有一個用戶。G2采用6-自由度平臺，幫助用戶完成任務。詳見表1。

表1 多用戶協(xié)作任務

通過這種方式，用戶可以自由地探索沉浸式虛擬環(huán)境，并與虛擬目標進行聯(lián)合交互。在評估中，探討了將不同種類的交互設備組合在一起以提高系統(tǒng)的協(xié)作能力的優(yōu)勢。結(jié)果表明，適當?shù)娜蝿談澐钟兄谔岣哂脩趔w驗。

2 多設備交互和多用戶協(xié)作的虛擬現(xiàn)實劇場

虛擬和增強現(xiàn)實技術(shù)有望通過提供歷史上精確的重建和相關(guān)的信息來緩解這些困難，從而提供更豐富的游客體驗。在這個身臨其境的世界里，他們可以在一個歷史遺址中導航或被引導，這個歷史遺址通過虛擬再現(xiàn)缺失的特征，并通過講述其元素的意義和作用來增強。這樣可以豐富現(xiàn)場和非現(xiàn)場的經(jīng)驗。在網(wǎng)站上，一個視頻流的實際（往往是部分破壞）網(wǎng)站可以覆蓋一個虛擬模型，擴大遺產(chǎn)地，以揭示缺失的歷史元素。在場外，可以用虛擬模型覆蓋實際站點的三維副本來重新創(chuàng)建歷史站點。比布洛斯羅馬劇院創(chuàng)造這種沉浸式增強體驗而開發(fā)的系統(tǒng)。

2.1 比布洛斯羅馬虛擬劇院

三維模型是使用Rhinoceros3D軟件建立的?！霸瓨印蹦Ｐ蜑閯?chuàng)建最合適的假設模型提供了必要的證據(jù)。與理論上的維特魯維經(jīng)典模型相比，網(wǎng)格的結(jié)合顯示了置換的Byblos劇院的多重變化和不精確性。5對于確定比布洛斯劇院的幾何結(jié)構(gòu)和比例，殘存遺跡的精確復制至關(guān)重要。例如，由于“原樣”模型，人們注意到的第一個區(qū)域變化是管弦樂隊偏離中心，與羅馬的維特魯維亞模式不太一樣。管弦樂隊的中心從舞臺移到禮堂大約一米遠，這樣直徑就變小了，劇場的尺寸也相應地改變了。增強現(xiàn)實應用擴展并豐富了游客在場景中觀察到的實時信息；它們通過在現(xiàn)有廢墟上增強虛擬模型，提供了一種信息豐富的體驗。

在虛擬環(huán)境中與增強模型交互。虛擬現(xiàn)實世界是使用Unityengine開發(fā)的，這是一個跨平臺的游戲引擎，用于開發(fā)PC、控制臺、移動設備和網(wǎng)站上的視頻游戲。開發(fā)的應用程序允許用戶在三維真實網(wǎng)站的演練中可視化和交互。此外，為了使應用程序更具交互性，在場景中添加了一個向?qū)?，以吸引用戶的注意力并讓他們對網(wǎng)站進行虛擬游覽。

二維虛擬應用程序的開發(fā)首先是在一個統(tǒng)一場景中添加一個玩家預置；統(tǒng)一場景是一個包含所有“游戲”對象的虛擬空間，而玩家預置則是一個跟蹤“玩家”所有信息的游戲?qū)ο螅凰ㄟ^跟蹤來定義要在播放器屏幕上呈現(xiàn)的內(nèi)容。

2.1.1 多設備交互

玩家的虛擬姿勢是通過用戶在鍵盤（改變位置）和鼠標（改變方向）或游戲控制器（x-box控制器）上的輸入來更新的。一旦播放器在場景中設置好，就將實際站點生成的紋理網(wǎng)格移植到場景中。用戶可以手動與模型碰撞交互。然后將虛擬模型添加到場景中，并與實際站點仔細合并。

為了使應用程序更具交互性，在場景中添加了一個虛擬向?qū)?。特定的poi（Point of Information縮寫，信息點）被選在歷史文物附近，比如劇院的祭壇。指南在預定義的檢查點周圍浮動，并等待用戶在離它很近的距離內(nèi)到達，然后解釋感興趣的對象是什么。一旦用戶在對象附近，它就會發(fā)光，在指南開始講述關(guān)于該對象的信息音頻之前捕獲用戶的注意力。完成后，向?qū)⒁苿拥较乱粋€檢查點并等待用戶再次靠近。為了幫助用戶知道要去哪里，使用了一個A*（通用的路徑查找和圖遍歷算法）路徑規(guī)劃算法，它確定了用戶和指南之間的路徑,并將其呈現(xiàn)在屏幕上供用戶遵循。

2.1.2 用戶協(xié)作

虛擬應用程序的開發(fā)首先是在一個統(tǒng)一的場景中添加一個用戶預設；一個統(tǒng)一的場景是一個包含所有“游戲”對象的虛擬空間,而用戶預置則是一個跟蹤“玩家”所有信息的游戲?qū)ο?；它通過跟蹤來定義要在播放器屏幕上呈現(xiàn)的內(nèi)容。提出了一個關(guān)于可能重建拜布洛斯羅馬劇院的區(qū)域指導假設，重建模型用于設計考古遺址中用于旅游目的的最終用戶虛擬和增強現(xiàn)實應用程序。對所采用的虛擬方法和增強方法的技術(shù)挑戰(zhàn)和局限性進行了詳細和系統(tǒng)的解決，產(chǎn)生了一種可擴展到其他站點的可擴展方法。

2.2 浙江省科技館臺風體驗劇場

2.2.1 設備交互

項目系統(tǒng)組成:（1）視頻影片。本項目分為兩個部分，360°環(huán)幕影片和虛擬現(xiàn)實視頻。環(huán)幕視頻，通過建立三維模型，動畫制作，實時重建臺風場景、各種氣象現(xiàn)象的模擬等。虛擬現(xiàn)實視頻通過虛擬現(xiàn)實技術(shù)提供與環(huán)幕視頻內(nèi)容不同的內(nèi)容。（2）動感模擬座椅。由電力驅(qū)動，座椅可以實時響應運動的視頻內(nèi)容，并可以做三自由度的運動。它能真實地模擬臺風引起的船舶搖晃和車輛晃動的影響，從而擴展了經(jīng)驗者的模擬場景，彌補了單一經(jīng)驗模式的不足。（3）風力模擬系統(tǒng)。風扇產(chǎn)生的風速可以無限調(diào)節(jié)，提供類似于真實臺風的風體驗。（4）廣播系統(tǒng)。該系統(tǒng)由兩部分組成，分別是環(huán)幕投影系統(tǒng)和虛擬現(xiàn)實顯示系統(tǒng)，通過播放系統(tǒng)控制的子播放系統(tǒng)，用于虛擬現(xiàn)實體驗座椅的視頻播放。根據(jù)體驗的形式，展覽將體驗區(qū)分為兩個區(qū)域：一個是會場中心的環(huán)形屏幕體驗區(qū)，觀眾可以站在360°的環(huán)形屏幕上體驗，將觀眾置于風暴眼中。另一個是外環(huán)的虛擬現(xiàn)實體驗區(qū)。該設計充分利用了人體坐姿和站姿的高度差異，在不影響中央環(huán)屏體驗區(qū)效果的情況下，彌補了由前后蓋形成的上線觀看和站立的人數(shù)單一體驗，提高了場地承載體驗的能力，豐富體驗的形式，實現(xiàn)一個項目多種體驗模式。

2.2.2 多用戶協(xié)作

臺風體驗項目屬于情景式展示形式。該系統(tǒng)在保證虛擬現(xiàn)實體驗和環(huán)屏體驗的同時，還能保證展品的體驗。同時，解決了單一使用虛擬現(xiàn)實技術(shù)的弊端。（1）解決展品數(shù)量少的問題。通過環(huán)幕體驗區(qū)和6個動態(tài)座位，可以保證20多人同時體驗。（2）解決了傳統(tǒng)虛擬現(xiàn)實體驗操作不便的問題。在大多數(shù)情況下，展覽可以通過360°環(huán)屏體驗區(qū)進行。虛擬眼鏡作為環(huán)形體驗的補充，可為參觀者提供一個選擇，豐富展覽的呈現(xiàn)手法。

3 結(jié)語

在藝術(shù)教育中，通過使用VR技術(shù)渲染教室環(huán)境可以幫助學生提高對藝術(shù)的理解，激發(fā)他們的興趣，專注于教學內(nèi)容，有效地增強他們的存在感并更好地實現(xiàn)教育目標，感受到豐富多彩的藝術(shù)知識，并不斷提高審美能力。