虛擬現(xiàn)實技術(shù)實訓(xùn)平臺的設(shè)計開發(fā)與教學(xué)實踐研究

王帥

（重慶水利電力職業(yè)技術(shù)學(xué)院，重慶 402160）

0 引 言

隨著媒體技術(shù)的不斷演進，教育的“場域”與“在場”被新技術(shù)不斷重新定義，虛擬現(xiàn)實技術(shù)（Virtual Reality,VR）具有3 I的特征，即沉浸性、交互性、構(gòu)想性，為教育教學(xué)提供創(chuàng)新性思考，其中沉浸性是指使用戶有種置身于虛擬情境中的感覺，愈加“具身”（Embodiment）的虛擬現(xiàn)實體驗為教育教學(xué)提供了變革思路。

1 理論基礎(chǔ)

1.1 虛擬現(xiàn)實技術(shù)

虛擬現(xiàn)實是集合計算機技術(shù)、人工智能、語言處理等相關(guān)技術(shù)的新興技術(shù)，通過立體眼鏡、觸覺反饋數(shù)據(jù)手套等傳感設(shè)備，以眼動、手勢等接近自然的交互方式向計算機輸送信息，以視覺、聽覺和觸覺多維度感知形式反饋給學(xué)習(xí)者，具有高感知、深交互和即時反饋的特性。通過梳理虛擬現(xiàn)實技術(shù)演進脈絡(luò)，技術(shù)經(jīng)歷桌面式虛擬現(xiàn)實、沉浸式虛擬現(xiàn)實、增強/擴展現(xiàn)實和元宇宙等四個階段，技術(shù)將教育推向“共維”“共生”和“共在”的新形態(tài)。在實驗教學(xué)過程中，運用虛擬現(xiàn)實技術(shù)構(gòu)建沉浸式的教學(xué)互動場域，揭示當下所謂的"虛擬"與"現(xiàn)實"的現(xiàn)實壁壘，同步滿足師生在物理世界和虛擬世界中的教與學(xué)需求。

現(xiàn)有VR 常用3 種交互模式：鼠標交互模式、手柄交互模式和手勢交互模式。傳統(tǒng)VR 采用鼠標鍵盤交互的虛擬實驗中在學(xué)習(xí)過程中學(xué)習(xí)者的學(xué)習(xí)體驗不佳，真實物理空間中眼部視覺是輔助手部操作鎖定目標任務(wù)繼而執(zhí)行，鼠標操作無法發(fā)揮出虛擬現(xiàn)實系統(tǒng)手眼協(xié)作的沉浸性、交互性、構(gòu)想性和智能化等優(yōu)勢。手柄交互在注重手部交互體驗的同時融入手指追蹤技術(shù)、自適應(yīng)扳機技術(shù)等，大大提高手部操作適應(yīng)性，在沉浸式交互體驗中使用較為廣泛。手勢交互作為一種重要的自然交互方式，在形式上和空間上極大改善了交互體驗，不僅能提升交互的沉浸感和效率，而且也能增加交互的真實感，但隨著科技的發(fā)展手勢交互的VR 交互性不及時、臨場感不強等問題也隨即暴露出來。

1.2 具身認知

具身認知理論強調(diào)認知依賴于各種情境活動與身體自身在環(huán)境中感知生成即認知的發(fā)生是身體、情境和認知上的耦合統(tǒng)一論，大腦并非認知的唯一源，在認知形成過程中要注重置身情境、身體感知與動態(tài)交互過程。具身理論視域下的沉浸式教學(xué)在深化學(xué)習(xí)者學(xué)習(xí)體驗中體現(xiàn)3 層次：一即調(diào)動具身經(jīng)驗。為促進學(xué)習(xí)達成認知的生成，虛擬情境中的學(xué)習(xí)體驗需調(diào)動具身經(jīng)驗，與反思觀察、抽象概括和主動檢驗形成螺旋上升的學(xué)習(xí)循環(huán)過程，；二是升華抽象經(jīng)驗。為革新學(xué)習(xí)者的認知感知模式和范圍，多通道感知在學(xué)習(xí)中發(fā)揮重要作用，通過領(lǐng)悟獲得抽象經(jīng)驗，并且與原有經(jīng)驗產(chǎn)生聯(lián)結(jié)，從而實現(xiàn)意義建構(gòu)和知識遷移；三是延展認知資源。虛擬情境也可促進物理情境認知范圍的延伸，創(chuàng)建虛擬的認知資源促進學(xué)習(xí)者多感官情境下的多通道信息處理，深化知識留存率達到深度學(xué)習(xí)體驗。

2 虛擬現(xiàn)實技術(shù)支持的VR 實訓(xùn)系統(tǒng)設(shè)計與開發(fā)

2.1 交互行為設(shè)計

VR 技術(shù)能夠為學(xué)習(xí)者提供多感官交互通道，協(xié)助學(xué)習(xí)者更流暢便捷地完成實驗任務(wù)。在三維場景中提供真實自然的交互是VR 虛擬實驗平臺的重要研究內(nèi)容。手柄交互作為使用便捷、應(yīng)用范圍廣的交互形式之一，為交互體驗提供更自由的操作空間。評價用戶使用體驗的好壞標準之一就是交互隱喻的設(shè)計。Stutman 和Putnam（1994）認為隱喻的基本功能就是構(gòu)建虛擬空間的逼真性（包括我們的感覺和信念）和提供擬真的交互行為，隱喻是將已有認知進行轉(zhuǎn)換形成新認知的一種方式，是決定虛擬實驗逼真程度的重要指標。能否通過已有的感知、體驗來想象、理解另一種事物，降低用戶的認知負荷，完成特定的交互任務(wù)是隱喻設(shè)計成功與否的決定因素，創(chuàng)建基于真實世界的隱喻是虛擬現(xiàn)實交互界面設(shè)計的基本方法，交互隱喻就是為完成特定的交互動作和任務(wù)需要將用戶雙手的位置信息和空間方向作為輸入映射到虛擬環(huán)境中操作。隱喻式學(xué)習(xí)過程是學(xué)習(xí)者在活動域中從基礎(chǔ)模塊（獲得隱喻）—發(fā)展模塊（參與隱喻）的發(fā)展過程，以“認知喚起—運用知識—建構(gòu)知識—發(fā)展認知”機制推進。在虛擬情境中主要通過與學(xué)習(xí)者已有經(jīng)驗相吻合的隱喻信息，通過操作游戲場景與互動模式，在有意識或無意識狀態(tài)下接觸、接受各種信息、符號的暗示，進行著文字閱讀、圖形圖像和觸覺反饋（材質(zhì)、肌理、韌性等）視、聽、觸覺的信息加工，進而促進理解、認知、思考等過程與形式的關(guān)聯(lián)互通，使學(xué)習(xí)者達成隱喻式、遷移式學(xué)習(xí)。

任務(wù)和反饋的交互設(shè)計層面，采用直接隱喻和間接隱喻設(shè)計的交互任務(wù)能夠幫助學(xué)習(xí)者流暢地通過VR 設(shè)備進行交互，避免額外的認知負荷?，F(xiàn)有交互方式有4 種：一是定時錨點，錨點會跟隨學(xué)習(xí)者頭部動作同步移動，可以在交互區(qū)域內(nèi)觸發(fā)錨點進行交互操作，錨點提供基礎(chǔ)形式的交互，過程體驗較差；二是手柄操作優(yōu)勢是比鼠標操作體現(xiàn)便捷性，可以實現(xiàn)即時反饋；三是空間定位及位置追蹤，分為手柄控制器及定位器2 種操作方式，實現(xiàn)一定范圍內(nèi)的空間自由運動；四是手勢操作，通過數(shù)據(jù)手套收集雙目攝像頭視覺圖像并進行手勢分割算法進行交互實現(xiàn)，由干神經(jīng)網(wǎng)絡(luò)可以用靜態(tài)的和動態(tài)的輸人，適用于實踐操作性強的快速、交互方式，缺點是目前技術(shù)局限所能達到的精確度不高，無法識別每個手指的精細動作。

本研究設(shè)計開發(fā)的交互設(shè)計是基于手柄的實驗工具，涵蓋選擇/操作交互任務(wù)主要包括模式選擇、定位與旋轉(zhuǎn)、動作；導(dǎo)航交互任務(wù)主要是虛擬環(huán)境中實現(xiàn)漫游和路徑查找，即拾取、行走、前后左右；系統(tǒng)控制交互任務(wù)指改變系統(tǒng)交互模式和系統(tǒng)狀態(tài)的相關(guān)系統(tǒng)命令，即重新開始、保存、返回等，如圖1所示。

圖1 聯(lián)合感測控制模式

2.2 三維建模和UI 設(shè)計

VR 虛擬實驗平臺采用3Dmax 作為三維引擎，能夠易于構(gòu)建符合物理實物的各類參數(shù)，構(gòu)建可以物體三維建構(gòu)、貼圖等方面的刪除、附加等操作。此次實驗中主要構(gòu)建的模型有煙霧傳感器、酒精傳感器、溫濕度傳感器和實驗附件的模型制作與材質(zhì)貼圖，如圖2所示。通過實驗實物高擬真還原度，結(jié)合UI 界面設(shè)計，實驗平臺屏幕、實驗原理、實驗提示顯示等，提高虛擬環(huán)境中的學(xué)習(xí)體驗效果。

圖2 實訓(xùn)物體實物與三維模型對比

2.3 Unity3D 引擎開發(fā)

VR 虛擬實驗平臺采用Unity3D 作為三維引擎，實現(xiàn)可視化編程界面完成各種開發(fā)工作，方便編輯腳本、開發(fā)，支持直接導(dǎo)入骨骼和動畫，支持粒子系統(tǒng)，Unity 開發(fā)作用體現(xiàn)在VR 可視化、實時三維動畫的交互內(nèi)容的實現(xiàn)，如圖3所示。

圖3 Unity 交互引擎開發(fā)

3 VR 沉浸式教學(xué)的學(xué)習(xí)體驗相關(guān)性分析

本研究基于自主開發(fā)的實訓(xùn)平臺在教學(xué)實踐中分析使用VR 實訓(xùn)沉浸式教學(xué)的學(xué)習(xí)體驗有效性，檢驗學(xué)習(xí)體驗三維度：學(xué)習(xí)動機、沉浸感、和態(tài)度，并探究三維度之間的關(guān)系，使用問卷調(diào)查的工具分析30 名被試的實驗結(jié)果，使用Spearman相關(guān)方法進行檢驗，用來檢測元素之間的相關(guān)關(guān)系。結(jié)果顯示：沉浸感與學(xué)習(xí)動機（=0.943，＜0.01）和態(tài)度（=0.840，＜0.01）存在顯著相關(guān)。說明VR 實訓(xùn)情境中沉浸感越強，學(xué)習(xí)者的學(xué)習(xí)動機越強，學(xué)習(xí)的積極態(tài)度越明顯。在創(chuàng)建VR 實訓(xùn)時，為學(xué)習(xí)者構(gòu)建高還原、高擬真的學(xué)習(xí)情境，有助于學(xué)習(xí)者提升學(xué)習(xí)投入、學(xué)習(xí)注意力，學(xué)習(xí)者的動機越強，對VR 實訓(xùn)學(xué)習(xí)環(huán)境越具有積極態(tài)度，愿意接受更多的虛擬現(xiàn)實體驗和學(xué)習(xí)，也就是說，VR 實訓(xùn)的沉浸感對學(xué)習(xí)體驗有著重要作用。結(jié)果分析可以看出學(xué)習(xí)動機與沉浸感和態(tài)度呈現(xiàn)顯著相關(guān)，說明VR 虛擬實訓(xùn)沉浸感越強，學(xué)習(xí)者積極態(tài)度越強烈，對學(xué)習(xí)體驗越好。其中態(tài)度對學(xué)習(xí)體驗起著重要作用，學(xué)習(xí)者的積極態(tài)度增強，有利于學(xué)習(xí)動機的提升，有利于學(xué)習(xí)體驗獲得，如表1所示。

表1 沉浸感、學(xué)習(xí)動機和態(tài)度相關(guān)性

4 VR 沉浸式教學(xué)融入學(xué)科的課程類型及臨場維度

基于虛擬現(xiàn)實技術(shù)的沉浸式教學(xué)融入學(xué)科教學(xué)中，在應(yīng)用取向與邏輯演進中分為學(xué)科本位與知識應(yīng)用、學(xué)科思維與融合運用兩種方式，呈現(xiàn)四種類型：

（1）獨立式學(xué)科本位型，即以培養(yǎng)單一學(xué)科知識為主要目標，促使學(xué)習(xí)者獲取以學(xué)科知識，通過具身體驗達到習(xí)得經(jīng)驗、提升投入和增強情境的目的；（2）分布式學(xué)科本位型，即借助互聯(lián)網(wǎng)聯(lián)結(jié)各個虛擬現(xiàn)實系統(tǒng)，以獲取多元學(xué)科資源為目標，支持單一學(xué)科和跨學(xué)科分布式虛擬現(xiàn)實系統(tǒng)的學(xué)習(xí)，促使學(xué)習(xí)者打破囿于時空界限實現(xiàn)無邊界的泛在學(xué)習(xí)場域；（3）獨立式項目融合型，即以項目式為導(dǎo)向，通過任務(wù)進階培養(yǎng)發(fā)現(xiàn)問題與解決問題的能力，通過操作體驗、知識應(yīng)用達到自主探究的學(xué)習(xí)過程；（4）分布式項目融合型，即將培養(yǎng)多學(xué)科知識與復(fù)雜問題解決能力為目標，強調(diào)去學(xué)科化，注重掌握知識與探究能力，培養(yǎng)學(xué)習(xí)者復(fù)雜學(xué)科思維，同時注重個體與個體、個體與群體、個體與社會的交流協(xié)作與情感體驗。

王廣新提出虛擬現(xiàn)實情境內(nèi)臨場感影響五因子，即情感涉入度、逼真度、感知響應(yīng)力、控制力和注意力，進而提出臨場感生成模型：現(xiàn)實和虛擬情境的刺激—注意分配—卷入—臨場感，Schultze 從虛擬現(xiàn)實媒介技術(shù)作為重要中介的作用提出臨場感的激活模式，基于以上分析，將虛擬現(xiàn)實沉浸式學(xué)習(xí)體驗分為四個維度：旁觀者維度（Spectator dimension）、參與者維度（Participant dimension）、沉浸者維度（Immersion dimension）和創(chuàng)造者維度（Creator dimension），具體有以下幾點。

4.1 旁觀者維度（Spectator dimension）

學(xué)習(xí)者在沉浸式虛擬情境中體現(xiàn)出感知、參與和互動行為，借助虛擬現(xiàn)實沉浸式教學(xué)豐富的學(xué)習(xí)資源以理論知識為主，在虛擬情境中以體驗感知為主，用虛擬現(xiàn)實真實、沉浸與交互豐富知識的表征形式，并不能激發(fā)深層次的學(xué)習(xí)投入。

4.2 參與者維度（Participant dimension）

借助虛擬現(xiàn)實搭建沉浸式情境，幫助學(xué)習(xí)者形成應(yīng)用知識指導(dǎo)解決問題的學(xué)科思維，通過進行相關(guān)操作、交互體驗等逐步在理論知識與虛擬情境間建立橋梁，增強發(fā)現(xiàn)問題、提出問題從而解決問題的能力，增強學(xué)習(xí)效果和學(xué)習(xí)投入。

4.3 沉浸者維度（Immersion dimension）

虛擬現(xiàn)實融入沉浸式教學(xué)，支持學(xué)習(xí)者浸入虛擬情境進行感知體驗，感悟知識價值所在，進而深化已有認知經(jīng)驗，促使學(xué)習(xí)者進行抽象與概括、對比與歸納、聯(lián)想與記憶等信息加工過程，從而達到理解知識、運用知識、遷移知識和生成新知識的過程，促成學(xué)習(xí)者知識關(guān)聯(lián)思考、遷移理解能力的生成。

4.4 創(chuàng)造者維度（Creator dimension）

學(xué)習(xí)者在虛擬現(xiàn)實沉浸式教學(xué)中注重具身體驗、情感狀態(tài)、協(xié)作交流和探究學(xué)習(xí)能力，實現(xiàn)重構(gòu)學(xué)科知識與共建共享資源的過程，能夠打破學(xué)科、時空壁壘，關(guān)注個體與個體、個體與群體、個體與社會的密切關(guān)系，實現(xiàn)“身心合一”的多元交互、創(chuàng)造性和泛在化的學(xué)習(xí)體驗活動。

綜上所述，學(xué)習(xí)者學(xué)習(xí)體驗在虛擬現(xiàn)實融入學(xué)科課程類型、臨場感激發(fā)過程、沉浸式教學(xué)臨場維度融合過程中呈現(xiàn)三次循環(huán)迭代上升：一即在虛擬現(xiàn)實融入學(xué)科課程類型從單一學(xué)科知識向多元跨學(xué)科

知識再獲取新單學(xué)科知識循環(huán)迭代，再以獲取學(xué)科知識為基礎(chǔ)促使學(xué)習(xí)者通過具身體驗獲得一般科學(xué)思維的循環(huán)迭代；二即學(xué)生在臨場感激發(fā)過程中受五因子影響，在“刺激—注意”過程更易獲取單一學(xué)科知識，學(xué)習(xí)者以獲取學(xué)科知識為主，注重培養(yǎng)一般學(xué)科思維，而在“卷入—臨場感”過程，以培養(yǎng)學(xué)習(xí)者的多元一體自主探究學(xué)習(xí)能力為主，注重培養(yǎng)跨學(xué)科融合型復(fù)雜學(xué)科思維，在掌握基礎(chǔ)學(xué)科知識上進一步拓展探究，形成融會貫通、泛在化學(xué)習(xí)體驗活動，再次獲取單一學(xué)科知識中能夠提出新問題、新方法、新境界，產(chǎn)生認知思維上的循環(huán)迭代；三在沉浸式教學(xué)臨場維度，即學(xué)習(xí)者在虛擬現(xiàn)實沉浸式教學(xué)中隨著任務(wù)驅(qū)動、體驗提升、深度投入等過程從旁觀者維度—參與者維度—沉浸者維度—創(chuàng)造者維度依次遞進，形成自身迭代體驗過程，如圖4所示。

圖4 沉浸式教學(xué)臨場維度模型

5 基于VR 沉浸式教學(xué)的高職應(yīng)用場景

5.1 “高職+實訓(xùn)”的沉浸式教學(xué)

沉浸式教學(xué)在實驗實訓(xùn)課程中主要體現(xiàn)出三種形式：一是觀摩體驗型，主要面向特定的服務(wù)行業(yè)課程，在制作過程中需要精準滿足流程中的規(guī)則要求，讓學(xué)習(xí)者切身感受到“實景實情”；二是仿真操作型，需要通過準確的虛擬現(xiàn)實場景操作產(chǎn)生對應(yīng)的交互反饋，交互反饋可以是文字、動作姿態(tài)，也可以是實驗數(shù)據(jù)或現(xiàn)象等；三是虛實結(jié)合型，虛擬現(xiàn)實實驗與物理實驗相結(jié)合，即可在具有危險性和高損耗的實驗場景中，規(guī)避風(fēng)險、節(jié)約資源，也可以為學(xué)習(xí)者提供線上線下融合的無邊界學(xué)習(xí)場域。

5.2 虛擬現(xiàn)實融入思政課堂

虛擬現(xiàn)實技術(shù)融合思政構(gòu)建“VR ＋思政教育”模式，加強沉浸式體驗的“活動+德育”聯(lián)動模式，創(chuàng)建思政課堂的多維課堂，通過學(xué)生社團、思政主題展演、賽學(xué)結(jié)合等載體形式，將思政課堂以靈活生動的形式展開，“以情動人”與“以理服人”相結(jié)合。

5.3 虛擬現(xiàn)實+融課堂在線教學(xué)

虛擬現(xiàn)實技術(shù)課上教學(xué)與課下學(xué)習(xí)邊界打破，真實實現(xiàn)“泛”學(xué)習(xí)化，將“師—生—境”有機融合，支持學(xué)習(xí)者借由“虛擬化身”實現(xiàn)遠程“在場”達到參與課堂學(xué)習(xí)的行為，進行資源共享、合作互動和具身體驗等活動。同時，學(xué)習(xí)者可以通過發(fā)送遠程協(xié)助請求，教師可以遠程對學(xué)習(xí)者進行教學(xué)干預(yù)，與其他化身完成多元互動，實現(xiàn)泛在學(xué)習(xí)、終生學(xué)習(xí)、過程體驗的沉浸式學(xué)習(xí)體驗。

6 結(jié) 論

本研究通過搭建虛擬現(xiàn)實技術(shù)實訓(xùn)平臺，探究在實踐教學(xué)中學(xué)生學(xué)習(xí)體驗的沉浸感、學(xué)習(xí)動機和態(tài)度之間的相關(guān)關(guān)系，結(jié)果顯示：沉浸感與學(xué)習(xí)動機和態(tài)度存在顯著相關(guān)，說明VR 實訓(xùn)情境中沉浸感越強，學(xué)習(xí)者的學(xué)習(xí)動機越強，學(xué)習(xí)的積極態(tài)度越明顯。深入探究在學(xué)科本位與知識應(yīng)用、學(xué)科思維與融合運用兩種課程融合方式中，虛擬現(xiàn)實教學(xué)實踐旁觀者維度、參與者維度、沉浸者維度和創(chuàng)造者維度的維度涵義及其在職業(yè)教育中的教學(xué)實踐應(yīng)用。