淺談虛擬現(xiàn)實(shí)教學(xué)軟件開發(fā)中的交互技術(shù)

潘斌+常承陽(yáng)

摘要：為了順應(yīng)虛擬現(xiàn)實(shí)在教育領(lǐng)域的必然發(fā)展趨勢(shì)，提出了基于HTC Vive的教學(xué)軟件開發(fā)，而開發(fā)過(guò)程的核心就是交互技術(shù)的實(shí)現(xiàn)，通過(guò)對(duì)交互設(shè)備的分析，從輸入設(shè)備和輸出設(shè)備兩個(gè)方面來(lái)進(jìn)行交互技術(shù)的詳細(xì)研究，并通過(guò)交互技術(shù)在教學(xué)軟件開發(fā)中提供的理論和技術(shù)支持來(lái)闡述虛擬現(xiàn)實(shí)環(huán)境下教學(xué)軟件開發(fā)的必要性與科學(xué)性。

關(guān)鍵詞：虛擬現(xiàn)實(shí)；反饋；交互；用戶界面；教學(xué)軟件

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）28-0086-03

Abstract： In order to conform to the inevitable trend of the development of virtual reality in the field of education， the development of teaching software Based on Vive is put forward， realizing interactive technology is the core of the development process. By analysis of interactive devices， a detailed study of the interactive technology from two aspects of input and output devices is commissioned， and with the support of theory and technology of interactive technology in teaching software development， expounding the necessity and scientificalness of the development of teaching software in virtual reality environment.

Key words： virtual reality； feedback； interaction； user interface； teaching software

虛擬現(xiàn)實(shí)的出現(xiàn)使得教育手段更加完善，教學(xué)環(huán)境逐步趨于虛擬化，教學(xué)與虛擬現(xiàn)實(shí)的結(jié)合為教育教學(xué)開辟了新的領(lǐng)域，教學(xué)方法也更加具備科學(xué)性和真實(shí)性。如今虛擬現(xiàn)實(shí)的迅速發(fā)展，無(wú)疑將開啟一種新的教學(xué)模式——身臨其境的教學(xué)模式，相比傳統(tǒng)實(shí)驗(yàn)室教學(xué)更

具備安全性，相比傳統(tǒng)的情景式教學(xué)更具備情境性。HTC Vive教學(xué)軟件的開發(fā)核心是真實(shí)的交互體驗(yàn)，交互技術(shù)的實(shí)現(xiàn)對(duì)于教學(xué)效果的體現(xiàn)是成正比的。HTC Vive是基于PC端的，所以交互技術(shù)是從輸入和輸出設(shè)備兩方面來(lái)體現(xiàn)。

1 VR中的輸入輸出設(shè)備

一個(gè)完整的虛擬現(xiàn)實(shí)教學(xué)軟件系統(tǒng)包括五個(gè)部分：虛擬學(xué)習(xí)場(chǎng)景、計(jì)算機(jī)、VR教學(xué)軟件、輸入設(shè)備和輸出設(shè)備。所以教學(xué)中的交互必須在這幾個(gè)部分中實(shí)現(xiàn)，虛擬頭顯的操作基本已經(jīng)脫離鼠標(biāo)和鍵盤的操作，依靠的是手柄、游戲桿或遙控器等媒介來(lái)實(shí)現(xiàn)，我們與虛擬世界的連接點(diǎn)在于頭顯中的視屏和手柄設(shè)備，也就是輸入設(shè)備和輸出設(shè)備，對(duì)于計(jì)算機(jī)和虛擬世界并沒有直接聯(lián)系，VR軟件作為一個(gè)媒介連接電腦與設(shè)備，所以交互技術(shù)最終要實(shí)現(xiàn)在輸入與輸出設(shè)備上，輸入設(shè)備的交互實(shí)現(xiàn)主要是通過(guò)對(duì)設(shè)備的觸摸、移動(dòng)和按壓等，輸出設(shè)備的交互實(shí)現(xiàn)主要體現(xiàn)在聲音反饋和震動(dòng)反饋等。因此，交互技術(shù)的開發(fā)主要圍繞這兩個(gè)部分來(lái)展開。一個(gè)完整的虛擬現(xiàn)實(shí)學(xué)習(xí)系統(tǒng)如下圖：

1.1 輸出設(shè)備

交互最終的效果體現(xiàn)在對(duì)使用者五官的刺激上，基于輸出設(shè)備的交互方式大多通過(guò)聽覺來(lái)實(shí)現(xiàn)，目前為止，只有極少數(shù)的虛擬現(xiàn)實(shí)設(shè)備能夠?qū)崿F(xiàn)對(duì)嗅覺與特殊觸覺的刺激。這種基于輸出設(shè)備交互技術(shù)在教學(xué)中的較為簡(jiǎn)單的體現(xiàn)就是聲音與震動(dòng)的反饋。

1.1.1 聲音反饋

HTC Vive交互中聲音的反饋來(lái)自于電腦的聲卡的輸出功能，外接耳機(jī)與音響就是將聲卡的輸出功能具體化，聲音反饋本質(zhì)上就是一種交互，是人作用于虛擬世界后產(chǎn)生的效果以聲音的形式展現(xiàn)出來(lái)。這種交互形式相對(duì)簡(jiǎn)單，也是我們平時(shí)最為常見的一種交互形式。

1.1.2 震動(dòng)反饋

震動(dòng)反饋看似復(fù)雜，但是對(duì)于程序的編寫人員來(lái)說(shuō)實(shí)現(xiàn)卻相當(dāng)容易，引入VRTK工具包就可通過(guò)簡(jiǎn)單的設(shè)置震動(dòng)的Strength（強(qiáng)度）、duration（持續(xù)時(shí)間）以及pulseInterval（震動(dòng)間隔）來(lái)調(diào)節(jié)震動(dòng)反饋的效果，強(qiáng)度的范圍一般為0-3999，所以在不同的場(chǎng)景中，震動(dòng)的反饋方式可以實(shí)現(xiàn)多樣化，以呈現(xiàn)出更逼近真實(shí)的體驗(yàn)。這種震動(dòng)反饋也只是簡(jiǎn)單的觸覺體驗(yàn)，而對(duì)于在特殊場(chǎng)景下產(chǎn)生的特殊觸覺卻依舊無(wú)法實(shí)現(xiàn)。這種震動(dòng)反饋可應(yīng)用于教學(xué)開發(fā)中的直接傳遞給學(xué)習(xí)者的一種實(shí)質(zhì)性提示。

1.2 輸入設(shè)備

傳統(tǒng)的基于移動(dòng)端或PC端的教學(xué)軟件交互主要是通過(guò)鍵鼠和屏幕操作來(lái)實(shí)現(xiàn)，而HTC Vive依賴于輸入設(shè)備的交互形式主要是通過(guò)對(duì)輸入設(shè)備的觸摸和按壓等，并且HTC Vive虛擬現(xiàn)實(shí)設(shè)備可通過(guò)一種激光定位的形式將捕捉到的動(dòng)作轉(zhuǎn)換為數(shù)據(jù)錄入電腦，然后通過(guò)分析數(shù)據(jù)將動(dòng)作在虛擬世界中再現(xiàn)從而實(shí)現(xiàn)一種交互，這種交互技術(shù)在x-box和一些電視一體游戲機(jī)中也有過(guò)一定的體現(xiàn)。

輸入設(shè)備是教學(xué)軟件中交互技術(shù)的主要載體，基于HTC Vive的輸入設(shè)備主要包括激光定位器，頭戴顯示器和手柄，手柄作為虛擬現(xiàn)實(shí)交互的主要媒介也是交互技術(shù)開發(fā)的重中之重。

2 VR教學(xué)軟件中的交互技術(shù)

虛擬現(xiàn)實(shí)促使教學(xué)模式發(fā)生改變，交互技術(shù)的支持突破了傳統(tǒng)的教師掌握課堂模式，學(xué)生主動(dòng)進(jìn)行學(xué)習(xí)，有利于創(chuàng)新思維和能力的開發(fā)。幾種友好的UI界面和立體展示的接近真實(shí)的學(xué)習(xí)環(huán)境很大程度上提升了學(xué)生學(xué)習(xí)興趣，進(jìn)而提高學(xué)習(xí)效率。endprint

2.1 激光定位技術(shù)

HTC Vive虛擬現(xiàn)實(shí)設(shè)備中自帶有激光定位器，通過(guò)定位器我們可以直接實(shí)現(xiàn)場(chǎng)景內(nèi)外漫游的同步，用戶可以很容易實(shí)現(xiàn)兩種漫游模式，站立式與房間模式，但 HTC Vive激光定位器的內(nèi)部設(shè)計(jì)較為復(fù)雜，在2016-2017年間，加利福尼亞大學(xué)戴維斯分校的一名虛擬現(xiàn)實(shí)研究人員Oliver Kreylos詳細(xì)的分析了HTC Vive的激光定位器，這篇分析涉及了定位器的更新頻率與延遲、跟蹤抖動(dòng)、慣性定位推算、漂移校正以及準(zhǔn)確度等幾個(gè)方面，這對(duì)于Vive開發(fā)人員可以說(shuō)是非常好的一件事，盡量降低不必要的誤差，提高準(zhǔn)確率，實(shí)現(xiàn)高效率、高精確度、高仿真的交互。這種室內(nèi)動(dòng)作和定位的技術(shù)對(duì)于虛擬實(shí)驗(yàn)室這類區(qū)域性教學(xué)軟件的開發(fā)有著突破性的價(jià)值。

實(shí)驗(yàn)室教學(xué)活動(dòng)的重要組成部分，親身實(shí)驗(yàn)的效果遠(yuǎn)比單純的理論教學(xué)更有說(shuō)服力，并且能夠產(chǎn)生更好的學(xué)習(xí)效果。但是教學(xué)實(shí)驗(yàn)的時(shí)間、空間問(wèn)題矛盾較為突出。昂貴的設(shè)備和實(shí)驗(yàn)材料經(jīng)費(fèi)是主要矛盾，而基于HTC Vive的虛擬現(xiàn)實(shí)實(shí)驗(yàn)很好地避免了這個(gè)問(wèn)題，時(shí)間不限，足不出戶便可實(shí)驗(yàn)。同時(shí)生物和化學(xué)方面的實(shí)驗(yàn)危險(xiǎn)性也是極其突出的矛盾，而交互技術(shù)支持下的虛擬現(xiàn)實(shí)實(shí)驗(yàn)將沒有任何危險(xiǎn)性，但是又與現(xiàn)實(shí)實(shí)驗(yàn)有接近同樣的體驗(yàn)。

2.2 手柄交互技術(shù)

在教學(xué)手段方面，相對(duì)傳統(tǒng)基于移動(dòng)和PC端的教學(xué)軟件開發(fā)而言，交互技術(shù)的加入使得互動(dòng)式的啟發(fā)教學(xué)尤為明顯，尤其體現(xiàn)在對(duì)手柄的操作。身臨其境、自主控制的人機(jī)交互，視覺、聽覺、觸覺的生動(dòng)展示提供了生動(dòng)活潑的直觀形象思維材料，形成知識(shí)點(diǎn)，將原本平面化的事物展示在眼前。

手柄是教學(xué)中實(shí)現(xiàn)交互的最重要設(shè)備，如通過(guò)菜單按鈕、touchPad、系統(tǒng)按鈕、扳機(jī)鍵和側(cè)面的手柄按鈕等。首先通過(guò)手柄實(shí)現(xiàn)交互的最簡(jiǎn)單方式就是觸碰，不需要任何按鍵，如在一些虛擬世界中，我們需要將手柄做成教學(xué)軟件中需要的模型，那么觸碰就是必不可少的交互方式，以Unity游戲引擎開發(fā)為例，這種交互技術(shù)的實(shí)現(xiàn)與傳統(tǒng)的教學(xué)軟件開發(fā)中Trigger（觸發(fā)器）的實(shí)現(xiàn)原理一致，在手柄模型接觸到物體、停留在物體中和離開物體時(shí)，分別調(diào)用Unity內(nèi)置的OnTriggerEnter、OnTriggerStay和OnTriggerExit函數(shù)并在函數(shù)內(nèi)實(shí)現(xiàn)相應(yīng)的功能即可，這種交互技術(shù)在由電腦屏幕操作到虛擬現(xiàn)實(shí)操作轉(zhuǎn)變過(guò)程中其本質(zhì)原理是不變的，只是在展示給用戶的使用形式上發(fā)生了改變，所以相對(duì)于開發(fā)人員來(lái)說(shuō)，由普通的2D和3D電腦手機(jī)游戲轉(zhuǎn)向虛擬頭顯游戲開發(fā)過(guò)程中，這種交互技術(shù)是最容易理解和掌握的。

再者就是HTC Vive虛擬現(xiàn)實(shí)教學(xué)軟件開發(fā)不同于傳統(tǒng)教學(xué)軟件開發(fā)的交互技術(shù)，總體來(lái)說(shuō)可以歸結(jié)為一種UI的交互，在Stream平臺(tái)中，成型的基于HTC Vive的教學(xué)軟件已經(jīng)越來(lái)越多，但是交互技術(shù)可以說(shuō)是萬(wàn)變不離其宗，其中一部分是通過(guò)手柄下方的Trigger扳機(jī)鍵來(lái)實(shí)現(xiàn)虛擬環(huán)境中按鈕的打開與關(guān)閉，這方面與傳統(tǒng)的Unity開發(fā)按鈕的使用原理也不盡相同，但是大部分項(xiàng)目使用的是最為常用的交互技術(shù)——射線交互，用戶在使用手柄過(guò)程中可在虛擬環(huán)境中的手柄上端發(fā)射出一條激光指針，通過(guò)指針與另一端的UI進(jìn)行交互，這種交互技術(shù)主要是通過(guò)引用VRTK中的SimplePointer來(lái)實(shí)現(xiàn)，通過(guò)動(dòng)態(tài)的設(shè)置射線接觸UI的過(guò)程中UI產(chǎn)生的顏色和形式的變化來(lái)實(shí)現(xiàn)交互，這種交互技術(shù)脫離了傳統(tǒng)媒介的交互模式，充分地展現(xiàn)了虛擬學(xué)習(xí)場(chǎng)景中獨(dú)具時(shí)代感的交互模式，在虛擬學(xué)習(xí)場(chǎng)景中實(shí)現(xiàn)了未來(lái)康寧玻璃式的交互方式，并且充分展示了手柄的獨(dú)特與靈活之處，所以這種射線交互技術(shù)得到了最為廣泛的使用。同時(shí)另一種射線交互Bezzier Pointer，也就是我們常說(shuō)的貝塞爾曲線，通過(guò)簡(jiǎn)單的接觸TouchPad就可以在虛擬學(xué)習(xí)場(chǎng)景中實(shí)現(xiàn)瞬移，TouchPad就相當(dāng)于整個(gè)虛擬學(xué)習(xí)場(chǎng)景地面，通過(guò)手在TouchPad上滑動(dòng)取點(diǎn)，就可在虛擬學(xué)習(xí)場(chǎng)景中選擇對(duì)應(yīng)的瞬移終點(diǎn)，這種交互技術(shù)將虛擬世界復(fù)雜的不規(guī)則曲線運(yùn)動(dòng)變得規(guī)則，同時(shí)又解決了虛擬現(xiàn)實(shí)項(xiàng)目運(yùn)行所需的空間限制問(wèn)題，僅需站立模式就可實(shí)現(xiàn)房間模式所能實(shí)現(xiàn)的效果，將Bezzier曲線巧妙地應(yīng)用于虛擬教學(xué)中，可以說(shuō)這種交互技術(shù)實(shí)現(xiàn)了一舉多得的效果。

最后一種利用手柄實(shí)現(xiàn)的交互技術(shù)我們稱之為手柄菜單，簡(jiǎn)單的手柄菜單就是在虛擬手柄上方添加一個(gè)UI，可通過(guò)編寫手柄按鍵來(lái)實(shí)現(xiàn)UI的隱藏與顯示；稍微復(fù)雜的手柄菜單也就是RadiaMenu（環(huán)形菜單），通過(guò)將RadiaMenu 預(yù)制體綁定到對(duì)應(yīng)的控制器下，并設(shè)計(jì)環(huán)形菜單的圖案與點(diǎn)擊事件來(lái)完成編寫，用戶可通過(guò)滑動(dòng)觸摸TouchPad來(lái)選擇對(duì)應(yīng)的環(huán)形菜單按鈕從而實(shí)現(xiàn)交互。這種手柄菜單也是目前Vive開發(fā)中較為常用的一種交互技術(shù)。

2.3 頭顯凝視技術(shù)

學(xué)習(xí)者在學(xué)習(xí)過(guò)程中，交互形式多種多樣，而最為簡(jiǎn)單的一種方式就是用眼睛觀看，這種技術(shù)在以往任何形式的教學(xué)軟件中都未曾實(shí)現(xiàn)，但是基于HTC Vive的虛擬現(xiàn)實(shí)教學(xué)軟件卻可以實(shí)現(xiàn)，這種交互技術(shù)叫做凝視，凝視反映出頭顯在作為一種輸出設(shè)備的同時(shí)，也可作為一種輸入設(shè)備。

SteamVR_GazeTracker（凝視）是一種在沒有手柄等輸入設(shè)備的情況下，可以通過(guò)眼睛盯著某個(gè)物體看來(lái)實(shí)現(xiàn)的一種視點(diǎn)交互。我們只需要將輔組類添加到我們想要凝視的物體上，比如菜單等，就可以實(shí)現(xiàn)凝視的功能，這是不依靠其他設(shè)備，直接通過(guò)頭顯實(shí)現(xiàn)的一種交互技術(shù)。

凝視的原理實(shí)際上是從頭盔的位置發(fā)出一條射線判斷是否與物體相交來(lái)做選中或者交互的。而且因?yàn)槟暤木_度不高，所以沒有做直接與物體相交，而是在物體的位置創(chuàng)建了一個(gè)平面，通過(guò)射線與平面相交的交點(diǎn)的位置與物體的距離來(lái)大概判斷的。這個(gè)距離值是可以調(diào)的，主要是對(duì)Gaze In Cutoff和Gaze Out Cutoff兩個(gè)參數(shù)設(shè)置來(lái)調(diào)整是否選中的距離。

頭戴顯示器交互的實(shí)現(xiàn)直接決定虛擬教學(xué)的沉浸程度。就角色層面而言，交互技術(shù)支持下的操作具備很強(qiáng)的沉浸性和交互性，比如虛擬駕校學(xué)習(xí)軟件出現(xiàn)使得學(xué)生在虛擬環(huán)境中完全扮演一個(gè)學(xué)徒的角色，全身心的投入環(huán)境中，體驗(yàn)著只有真實(shí)駕校才可能有的體驗(yàn)，這對(duì)后面真實(shí)的學(xué)習(xí)起著一種過(guò)渡作用，角色化的學(xué)習(xí)更有利于對(duì)技能的掌握。

3 結(jié)束語(yǔ)

隨著虛擬現(xiàn)實(shí)技術(shù)和開發(fā)引擎的不斷發(fā)展，目前尚未成熟的基于HTC Vive虛擬現(xiàn)實(shí)設(shè)備的交互技術(shù)的開發(fā)也會(huì)逐步完善。這使得虛擬現(xiàn)實(shí)新領(lǐng)域的探索成為了未來(lái)教育發(fā)展的一種必然趨勢(shì)，HTC Vive這類沉浸式頭戴顯示器的開發(fā)程度也會(huì)逐漸提升，更多的基于HTC Vive的交互技術(shù)將被開發(fā)出來(lái)，更多種的交互方式將被應(yīng)用在教育教學(xué)之中，跟隨時(shí)代的步伐，掌握最前沿的開發(fā)技術(shù)，已成為信息時(shí)代的需要，更是未來(lái)教育發(fā)展的需要。

參考文獻(xiàn)：

[1] 陳耕藝. 虛擬現(xiàn)實(shí)的社交之路[J]. 中國(guó)信息化， 2015（6）.

[2] 牟長(zhǎng)軍， 童志偉. 綜述虛擬現(xiàn)實(shí)技術(shù)及其應(yīng)用[J]. 裝備制造技術(shù)， 2007（1）.

[3] 張璐. 基于虛擬現(xiàn)實(shí)技術(shù)的用戶界面設(shè)計(jì)與研究[D]. 上海： 東華大學(xué)， 2013.

[4] 李國(guó)杰. 基于虛擬現(xiàn)實(shí)技術(shù)的力覺交互設(shè)備的研究與構(gòu)建[D]. 上海： 上海交通大學(xué)， 2008.

[5] 張少波. 沉浸式虛擬現(xiàn)實(shí)中人機(jī)交互關(guān)機(jī)技術(shù)研究[D]. 重慶： 重慶郵電大學(xué)， 2016.

[6] 杭云， 蘇寶華. 虛擬現(xiàn)實(shí)與沉浸式傳播的形成[J]. 現(xiàn)代傳播：中國(guó)傳媒大學(xué)學(xué)報(bào)， 2007（6）.

[7] 張鳳君， 戴國(guó)忠， 彭曉蘭. 虛擬現(xiàn)實(shí)的人機(jī)交互綜述[J]. 中國(guó)科學(xué)： 信息科學(xué)， 2016.

[8] 帥立國(guó). 虛擬現(xiàn)實(shí)及觸覺交互技術(shù)[J]. 人民論壇-學(xué)術(shù)前沿， 2016（24）：68-83.

[9] 趙沁平. 虛擬現(xiàn)實(shí)綜述[J]. 中國(guó)科學(xué)， 2009（1）：2-46.

[10] 劉氫. 基于Unity3D和htcvive的虛擬現(xiàn)實(shí)游戲設(shè)計(jì)與實(shí)現(xiàn)[J]. 通訊世界， 2017（3）.

[11] 蔣文君. 互動(dòng)與沉浸——虛擬現(xiàn)實(shí)開啟廣告新時(shí)代[J]. 西部廣播電視， 2016（13）.endprint