基于虛擬現(xiàn)實技術的體驗式學習系統(tǒng)實踐研究

王巍

摘要：課題是研究一個基于虛擬現(xiàn)實技術的體驗式學習系統(tǒng)，系統(tǒng)開發(fā)使用3Dmax、Unity3D、JavaScript、C#、MySQL等工具和技術，設計體驗式虛擬現(xiàn)實學習系統(tǒng)的具體功能模塊和體驗式學習演示場景。通過頭戴式虛擬現(xiàn)實顯示器、頭戴式3D手勢輸入設備、微型主機等組件組合便攜式體感硬件系統(tǒng)，并通過系統(tǒng)測試驗證基于虛擬現(xiàn)實技術的體驗式學習系統(tǒng)的開發(fā)成果。

引言：

嘗試通過虛擬現(xiàn)實技術建立一個學習者可以便捷使用的、具有浸入式體驗感的虛擬空間場景學習系統(tǒng)。該系統(tǒng)建立在對虛擬現(xiàn)實技術、體驗式學習理論、體感捕捉技術、圖形圖像渲染引擎研究與應用、虛擬現(xiàn)實成像技術、人體工程學、游戲開發(fā)等多個方面學科的綜合研究。研究實現(xiàn)一種全新的體驗式學習方式，通過計算機虛擬各種場景和互動方式來建立直觀的、逼真的、感同身受的學習經(jīng)歷體驗。并通過這種偽真實的體驗來加深學習記憶，起到快速學習的目的，是和傳統(tǒng)課堂學習完全不同的學習形式和教育的方法。

研究具體要解決的問題總結如下：

1、研究建立三維虛擬現(xiàn)實環(huán)境的操控技術

研究實現(xiàn)角色在虛擬現(xiàn)實場景的自由運動和UI操作以及物體觸碰等控制。研究實現(xiàn)手勢控制，通過三維傳感器對使用者手部動作進行捕捉，匹配預設的動作模型來識別手勢命令。研究計算機通過三維手勢傳感器捕捉使用者手勢數(shù)據(jù)，來實現(xiàn)虛擬現(xiàn)實操控，研究結合虛擬現(xiàn)實設備實現(xiàn)在虛擬三維場景中的計算機操控。研究實現(xiàn)多種三維虛擬現(xiàn)實場景的虛擬物體碰撞代替?zhèn)鹘y(tǒng)計算機系統(tǒng)的二維界面和元素。

2、研究建立便攜式的虛擬現(xiàn)實體感系統(tǒng)

研究使用頭戴式虛擬現(xiàn)實顯示器、頭戴式3D手勢輸入設備、微型主機等設備構建可便攜式體感系統(tǒng)，使用者可通過設備穿戴或便攜輕松使用該套系統(tǒng)。通過微型主機WIFI聯(lián)網(wǎng)模塊形成和服務器的數(shù)據(jù)交換。研究實現(xiàn)同一虛擬場景多個使用者交互。

3、研究實現(xiàn)基于系統(tǒng)上的體驗式學習場景

研究融合式虛擬現(xiàn)實技術，實現(xiàn)體驗式學習場景應用。研究在虛擬現(xiàn)實基礎系統(tǒng)上，實現(xiàn)體驗式學習場景應用的開發(fā)，結合基礎系統(tǒng)功能實現(xiàn)體驗式學習。研究全面融合游戲學習、體感學習理念，研究從學習的本質入手，顛覆傳統(tǒng)課堂學習形式，建立全新的感官學習體驗。

研究過程與目標：

1、建立一種體感式學習的方法

課題研究融合虛擬現(xiàn)實技術，實現(xiàn)體驗式學習場景應用。在虛擬現(xiàn)實基礎系統(tǒng)上，實現(xiàn)體驗式學習場景應用的開發(fā)，結合基礎系統(tǒng)功能實現(xiàn)體驗式學習。研究融合游戲學習、體感學習理念，從學習的本質入手，顛覆傳統(tǒng)課堂學習形式，建立全新的感官學習體驗。并研究通過三維虛擬現(xiàn)實環(huán)境的操控技術，實現(xiàn)角色在虛擬現(xiàn)實場景的自由運動和UI操作以及物體觸碰等控制。實現(xiàn)手勢控制，通過三維傳感器對使用者手部動作進行捕捉，匹配預設的動作模型來識別手勢命令。

2、建立一個軟硬件兼?zhèn)涞耐暾摂M現(xiàn)實體驗學習系統(tǒng)方案

系統(tǒng)研究一種便攜式的基于虛擬現(xiàn)實和互聯(lián)網(wǎng)的體感系統(tǒng)，包括頭戴式顯示器、頭戴式陀螺儀、頭戴式3D手勢體感器、微型主機以及附件組成。頭戴式顯示器用于顯示三維虛擬場景，頭戴式陀螺儀用于定位頭戴式設備方向和水平仰角;頭戴式3D手勢體感器用于定位人體手的空間位置;微型主機用于處理輸入和輸出信息及存儲體感軟件。系統(tǒng)設計了一種計算機操作系統(tǒng)，更具體地說涉及一種基于三維手勢體感的計算機操作系統(tǒng)，計算機通過三維手勢傳感器捕捉使用者手勢數(shù)據(jù)，來實現(xiàn)虛擬現(xiàn)實操控;結合虛擬現(xiàn)實設備實現(xiàn)在虛擬三維場景中的計算機操控;實現(xiàn)多種三維虛擬現(xiàn)實場景的虛擬物體碰撞代替?zhèn)鹘y(tǒng)計算機系統(tǒng)的二維界面和元素。系統(tǒng)建立了一個軟硬件完備的虛擬現(xiàn)實體驗學習系統(tǒng)。

3、課題開發(fā)一個基于系統(tǒng)技術的教育內(nèi)容演示

系統(tǒng)開發(fā)一個K12教育階段的數(shù)學速算教學內(nèi)容“數(shù)字王國”。內(nèi)容演示部分開發(fā)內(nèi)容場景、內(nèi)容關卡、內(nèi)容邏輯、內(nèi)容情節(jié)等。內(nèi)容場景包括數(shù)字王國場景和太空飛船場景。內(nèi)容關卡包括速算關卡和練習關卡，內(nèi)容邏輯包括學習邏輯和測試邏輯，內(nèi)容情節(jié)包括數(shù)據(jù)魔術情節(jié)和用戶游歷地圖發(fā)現(xiàn)關卡。

4、課題實現(xiàn)VR虛擬場景內(nèi)的虛擬操控技術

系統(tǒng)實現(xiàn)計算機通過三維手勢傳感器捕捉使用者手勢數(shù)據(jù)，來實現(xiàn)虛擬現(xiàn)實操控。并實現(xiàn)結合虛擬現(xiàn)實設備實現(xiàn)在虛擬三維場景中的計算機操控，實現(xiàn)多種三維虛擬現(xiàn)實場景的虛擬物體碰撞代替?zhèn)鹘y(tǒng)計算機系統(tǒng)的二維界面和元素的具體技術。

5、課題實現(xiàn)VR設備的可穿戴技術

課題實現(xiàn)通過頭戴式虛擬現(xiàn)實顯示器、頭戴式3D手勢輸入設備、微型主機等組件構成的可便攜式體感系統(tǒng)，使用者可通過設備穿戴或便攜輕松使用該套系統(tǒng)。并且可以通過微型主機WIFI聯(lián)網(wǎng)模塊形成和服務器的數(shù)據(jù)交換。通過使用手勢即可進行場景內(nèi)的虛擬操作。實現(xiàn)同一虛擬場景多個使用者互動。

研究結果與社會效益

1、通過課題研究過程建立黑龍江財經(jīng)學院虛擬現(xiàn)實實驗室

課題研究通過黑龍江財經(jīng)學院藝術系和哈爾濱寰維科技發(fā)展有限公司合作完成，黑龍江財經(jīng)學院藝術系研究團隊主要負責虛擬現(xiàn)實學習內(nèi)容的開發(fā)，哈爾濱寰維科技發(fā)展有限公司主要負責虛擬現(xiàn)實技術公關和系統(tǒng)開發(fā)。雙方建立基于黑龍江財經(jīng)學院文化創(chuàng)意產(chǎn)業(yè)學院的項目研究實驗室，長期從事課題的研究和成果轉化。

2、設計并實現(xiàn)一種便攜式虛擬現(xiàn)實學習系統(tǒng)

課題研究領域涉及虛擬現(xiàn)實技術、體驗式學習理論、體感捕捉技術、圖形圖像渲染引擎研究與應用、虛擬現(xiàn)實成像技術、人體工程學、游戲開發(fā)等多個方面學科。課題結合虛擬現(xiàn)實技術的發(fā)展趨勢和體驗式學習的方式與應用研究，實現(xiàn)一種全新的體驗式學習方式，通過計算機虛擬各種場景和互動方式來建立直觀的、逼真的、感同身受的學習經(jīng)歷體驗。

系統(tǒng)硬件部分設計并實現(xiàn)一種便攜式的基于虛擬現(xiàn)實和互聯(lián)網(wǎng)的體感系統(tǒng)，包括頭戴式顯示器，頭戴式陀螺儀，頭戴式3D手勢體感器，微型主機以及附件組成。

系統(tǒng)軟件部分采用C/S即客戶端和服務器的架構模式，根據(jù)MVC系統(tǒng)框架設計思想構建系統(tǒng)總體框架。研究通過三維虛擬現(xiàn)實環(huán)境的操控技術，實現(xiàn)角色在虛擬現(xiàn)實場景的自由運動和UI操作以及物體觸碰等控制。實現(xiàn)手勢控制，通過三維傳感器對使用者手部動作進行捕捉，匹配預設的動作模型來識別手勢命令。

研究內(nèi)容部分通過3Dmax三維模型制作軟件設計并制作課題內(nèi)容的虛擬場景，通過Unity3D虛擬引擎平臺以及JavaScript、C#、MySQL等技術，設計并開發(fā)系統(tǒng)的具體功能模塊和虛擬現(xiàn)實體驗式學習內(nèi)容。

3、課題研究成果采用技術轉讓和應用產(chǎn)品開發(fā)的方式進行轉化。成果應用不限于教育學習，也可以應用于產(chǎn)品VR交互、會展VR交互、商業(yè)環(huán)境VR游歷交互等。

（作者單位：黑龍江財經(jīng)學院藝術系）