基于“互聯(lián)網(wǎng)+”的虛擬現(xiàn)實(shí)（VR）計(jì)算機(jī)輔助教學(xué)系統(tǒng)設(shè)計(jì)

劉澤宇　張思維　陸覲　萬航　王可拼　王亞莉

摘 要 目前主流的課件制作方式主要是幻燈片或者動(dòng)畫，對(duì)于圖文信息呈現(xiàn)時(shí)直觀度有限。虛擬現(xiàn)實(shí)技術(shù)作為創(chuàng)建模擬環(huán)境的計(jì)算機(jī)系統(tǒng)，能夠給用戶身臨其境的沉浸式體驗(yàn)。利用虛擬現(xiàn)實(shí)技術(shù)設(shè)計(jì)虛擬現(xiàn)實(shí)計(jì)算機(jī)輔助教學(xué)系統(tǒng)，教師使用系統(tǒng)設(shè)計(jì)制作課件，有效實(shí)現(xiàn)將學(xué)習(xí)內(nèi)容以可感的方式呈現(xiàn)給學(xué)習(xí)者。其分為教師端和學(xué)生端。教師端主要功能為VR課件的制作和上傳。學(xué)生端能夠?qū)崿F(xiàn)VR課件播放，教師端和學(xué)生端之間通過p2p聯(lián)機(jī)，構(gòu)成線上VR交互式多媒體教室系統(tǒng)。

關(guān)鍵詞 虛擬現(xiàn)實(shí) 計(jì)算機(jī)輔助教學(xué) 課件制作系統(tǒng) VR 教學(xué)系統(tǒng)

中圖分類號(hào)：G424 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.16400/j.cnki.kjdkx.2019.06.062

Computer Aided Teaching System Design of

Virtual Reality （VR） Based on Internet +

LIU Zeyu， ZHANG Siwei， LU Jin， WAN Hang， WANG Kepin， WANG Yali

（Jiangsu Second Normal University， Modern Media Institute， Nanjing， Jiangsu 210013）

Abstract At present， the mainstream way of courseware production is mainly slide or animation， which has limited intuition when presenting graphic information. As a computer system for creating simulation environment， virtual reality technology can give users immersive experience. Using virtual reality technology to design virtual reality computer-aided instruction system， teachers use system design to make courseware， effectively realizing the presentation of learning content to learners in a sensible way. It can be divided into teacher-side and student-side. The main function of the teacher end is to make and upload VR courseware. Student side can play VR courseware， and the online VR interactive multimedia classroom system is composed of teacher side and student side through P2P.

Keywords Virtual Reality； CAI； courseware making system； VR； teaching system

1 系統(tǒng)概述

自2016年VR技術(shù)的普及以來，根據(jù)對(duì)VR在技術(shù)應(yīng)用的領(lǐng)域分布的調(diào)查，可以發(fā)現(xiàn)教育在VR的應(yīng)用中和娛樂比起來還有很大差距，VR教學(xué)應(yīng)用的發(fā)展難度和技術(shù)瓶頸限制了VR教育的發(fā)展。為了解決這個(gè)問題，本項(xiàng)目組設(shè)計(jì)了一個(gè)基于互聯(lián)網(wǎng)的VR計(jì)算機(jī)輔助教學(xué)系統(tǒng)，其分為教師端和學(xué)生端。教師端集VR課件寫作系統(tǒng)、VR工具組件與課件云分享為一體，實(shí)現(xiàn)VR課件的制作和上傳。學(xué)生端集VR課件播放系統(tǒng)、課件云讀取系統(tǒng)及課件云評(píng)價(jià)系統(tǒng)為一體。本系統(tǒng)為教師提供了基于VR的課件寫作系統(tǒng)，其方便易上手程度甚至高于圖形界面。教師端和學(xué)生端之間可以通過p2p聯(lián)機(jī)，構(gòu)成線上VR交互式多媒體教室系統(tǒng)，實(shí)現(xiàn)突破空間的VR情境教學(xué)。學(xué)生端也可以單獨(dú)對(duì)上傳到云上的VR課件進(jìn)行下載使用，實(shí)現(xiàn)突破時(shí)間的VR情境教學(xué)。VR具有沉浸性、互動(dòng)性、創(chuàng)造性等特點(diǎn)，是其他輔助教學(xué)模式無法比擬的。為教師構(gòu)建虛擬現(xiàn)實(shí)計(jì)算機(jī)輔助教學(xué)系統(tǒng)，將助力更多VR課程的開發(fā)，為網(wǎng)絡(luò)交互課程帶來更好的用戶體驗(yàn)。

2 系統(tǒng)設(shè)計(jì)

VR設(shè)備（以HTC Vive為例）感知用戶位置輸入、手柄按鍵輸入以及語音輸入。通過HMD反饋給用戶。系統(tǒng)軟件憑Unity物理引擎，以C#語言進(jìn)行設(shè)計(jì)。通過VR設(shè)備，以教師客戶端為host，學(xué)生客戶端為client，實(shí)現(xiàn)P2P系統(tǒng)客戶端之間的聯(lián)機(jī)。另外架設(shè)服務(wù)器作為素材庫(kù)，以供用戶上傳和下載課件和模型。虛擬現(xiàn)實(shí)系統(tǒng)的模塊如圖1。

圖1 虛擬現(xiàn)實(shí)系統(tǒng)的模塊

2.1 教師端

2.1.1 VR工具組件

VR工具組件指為了幫助和支持課件的開發(fā)，提高課件的質(zhì)量，使用VR交互界面制作課件素材的軟件內(nèi)置組件。

模型制作工具：可以在虛擬空間中建立二維圖像或三維模型。包括基本圖形建造工具，變形工具，畫筆工具，顏色工具，雕刻工具，復(fù)制粘貼工具，焊接解綁工具。

場(chǎng)景制作工具：可以對(duì)當(dāng)前虛擬場(chǎng)景進(jìn)行編輯。包括地形雕刻工具，場(chǎng)景材質(zhì)選擇工具，模型導(dǎo)入工具。Skybox工具。

2.1.2 VR課件寫作系統(tǒng)

VR課件寫作系統(tǒng)指為了免除教師學(xué)習(xí)程序設(shè)計(jì)語言而設(shè)計(jì)的使用VR交互界面的軟件內(nèi)置組件。

素材導(dǎo)入模塊：該模塊可以導(dǎo)入外部準(zhǔn)備的圖片、文字、音頻、視頻、模型等素材。也可以直接調(diào)用素材庫(kù)里的模型、動(dòng)畫、場(chǎng)景等。

文字編輯模塊：該模塊可以在三維虛擬空間中建立立體文本框用于輸入文字并能進(jìn)行屬性格式編輯，通過控制器上的觸摸板和虛擬鍵盤共同實(shí)現(xiàn)文字輸入。

動(dòng)畫制作模塊：該模塊可以對(duì)導(dǎo)入素材的運(yùn)動(dòng)路徑和屬性變化進(jìn)行錄制。通過時(shí)間軸和錄制按鈕?？梢詫?shí)現(xiàn)對(duì)整個(gè)場(chǎng)景一切運(yùn)動(dòng)和變化的記錄。速度編輯工具可以控制運(yùn)動(dòng)的速度。用戶可以決定在任何地方暫停、播放、快慢放和倒放。

對(duì)象關(guān)系模塊：該模塊可以規(guī)定導(dǎo)入素材的類與對(duì)象的關(guān)系，便于統(tǒng)一設(shè)置和管理?？梢宰约簞?chuàng)建也可以直接套用預(yù)設(shè)。比如設(shè)為“背景”的對(duì)象就不收物理效果影響，而設(shè)為“物理”的對(duì)象就受設(shè)置的物理規(guī)則的影響。

互動(dòng)模塊：該模塊可以決定用戶和素材間的互動(dòng)模式，互動(dòng)模式主要分為抓取互動(dòng)，接觸互動(dòng)，視線接觸互動(dòng)和無互動(dòng)。

抓取互動(dòng)指動(dòng)作在用戶抓取對(duì)象時(shí)發(fā)生。接觸互動(dòng)指動(dòng)作在用戶在虛擬空間中的碰撞箱與對(duì)象接觸時(shí)發(fā)生。視線接觸互動(dòng)指動(dòng)作在用戶在HMD中顯示圖像的中心視線與對(duì)象接觸時(shí)發(fā)生。無互動(dòng)指對(duì)象和用戶間沒有互動(dòng)關(guān)系。動(dòng)作為音視頻的播放，動(dòng)畫的播放，模型的顯現(xiàn)，文字的顯現(xiàn)，場(chǎng)景的切換等。

2.1.3 課件云分享

課件云分享指用戶在該系統(tǒng)中創(chuàng)建的一切素材，包括單個(gè)素材（如制作的模型和動(dòng)畫等）或整個(gè)課件項(xiàng)目都可以上傳到云端素材庫(kù)進(jìn)行分享。也可以從素材庫(kù)中下載任何共享的資源。

2.2 學(xué)生端

VR課件播放系統(tǒng)：該系統(tǒng)讓用戶可以加載教師制作的課件項(xiàng)目，并在此之中互動(dòng)。VR課件錄制系統(tǒng)：該系統(tǒng)讓用戶可以錄制自己或其他用戶在此課件中的互動(dòng)和交互。課件云下載：該功能讓學(xué)生可以從素材庫(kù)中下載教師上傳的課件項(xiàng)目。課件云評(píng)價(jià)：該功能讓學(xué)生可以對(duì)該課件進(jìn)行評(píng)價(jià)，評(píng)價(jià)會(huì)顯示在課件下載頁(yè)中。

2.3 素材庫(kù)

素材庫(kù)是所能使用的素材的合集，用戶可以從中提取或上傳素材，分為線上素材庫(kù)和本地素材庫(kù)。本地素材庫(kù)中為系統(tǒng)預(yù)設(shè)的素材和用戶保存的素材以及用戶本地電腦中的素材。線上素材庫(kù)中為用戶上傳或我們官方更新的素材。素材庫(kù)的內(nèi)容分類主要為課件、模型、場(chǎng)景、動(dòng)畫、化學(xué)模擬、對(duì)象、函數(shù)、邏輯、工具，此分類方法按功能分類，當(dāng)然，在用戶大量上傳課件和素材后，還可以通過大數(shù)據(jù)按學(xué)科、時(shí)間、領(lǐng)域、評(píng)價(jià)結(jié)果等分類。

2.4 線上VR多媒體教室系統(tǒng)

線上VR多媒體教室系統(tǒng)指通過互聯(lián)網(wǎng)p2p技術(shù)，以教師客戶端為host，學(xué)生客戶端為client進(jìn)行聯(lián)機(jī)。一個(gè)host可以對(duì)應(yīng)多個(gè)client，所以一個(gè)教師可以同時(shí)和多個(gè)學(xué)生進(jìn)行互動(dòng)，甚至如果有其他教師作為client加入，可以實(shí)現(xiàn)多個(gè)教師學(xué)生共同互動(dòng)與在同一虛擬空間中的沉浸式教學(xué)。選用P2P而非c/s模式的原因是，p2p不需要另外建立服務(wù)器，簡(jiǎn)便成本低，避免了與服務(wù)器之間連接不好導(dǎo)致的延遲等問題，并且可以在真實(shí)的教室環(huán)境中利用局域網(wǎng)快速聯(lián)機(jī)。所以說，本系統(tǒng)既可以實(shí)現(xiàn)教師與學(xué)生的教學(xué)發(fā)生在世界上任何有互聯(lián)網(wǎng)的地方，也可以放在傳統(tǒng)教室中應(yīng)用。

VR設(shè)備自帶語音輸入系統(tǒng)，教師和學(xué)生可以在此用語音交流。教師在此可以給學(xué)生們演示講解課件，或讓學(xué)生與課件內(nèi)容互動(dòng)。教師也可以現(xiàn)場(chǎng)利用課件寫作工具和素材庫(kù)創(chuàng)建教學(xué)內(nèi)容，或開放工具給學(xué)生們一起制作，進(jìn)行啟發(fā)式教學(xué)。學(xué)生與教師互動(dòng)的同時(shí)也可以與同學(xué)進(jìn)行互動(dòng)，并可以把課堂內(nèi)容通過錄制系統(tǒng)錄制下來，進(jìn)行回看和復(fù)習(xí)。

2.5 其他輸出形式

除了VR頭部顯示器輸出以外，本系統(tǒng)還可以采用傳統(tǒng)顯示器輸出和全息投影輸出兩種形式。在VR頭部顯示器輸出的同時(shí)，PC端的傳統(tǒng)顯示器可以展現(xiàn)VR顯示器的內(nèi)容，讓旁觀者也能看見VR設(shè)備穿戴者的視角，除此之外，PC端可以通過鍵鼠操作進(jìn)行一部分的設(shè)計(jì)、素材導(dǎo)入等操作，并和VR穿戴者進(jìn)行一定的互動(dòng)。對(duì)于在系統(tǒng)中用戶建立的模型和素材，本系統(tǒng)還添加了全息投影的輸出模式，建立的模型可以打包以obj格式導(dǎo)出，一方面便于素材格式的統(tǒng)一和素材庫(kù)的上傳，另一方面可以通過全息投影模式輸出，例如教師可應(yīng)用360度全息顯示屏像技術(shù)在普通教學(xué)環(huán)境下向?qū)W生全景展示模型。

3 結(jié)語

基于“互聯(lián)網(wǎng)+”的 VR計(jì)算機(jī)輔助教學(xué)系統(tǒng)基于虛擬現(xiàn)實(shí)平臺(tái)、互聯(lián)網(wǎng)絡(luò)、計(jì)算機(jī)系統(tǒng)、Unity引擎、C#編程語言、數(shù)據(jù)庫(kù)等技術(shù)開發(fā)，設(shè)計(jì)符合教育學(xué)理論與規(guī)律，能夠?qū)崿F(xiàn)VR平臺(tái)上的課件設(shè)計(jì)和線上教學(xué)及反饋。系統(tǒng)的使用可以簡(jiǎn)化VR課件的制作難度，降低教師制作VR課件的技術(shù)門檻，擴(kuò)大VR課件制作者的范圍，具有較大的市場(chǎng)價(jià)值和發(fā)展空間。

【課題項(xiàng)目】江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練省級(jí)重點(diǎn)項(xiàng)目《基于互聯(lián)網(wǎng)+的虛擬現(xiàn)實(shí)（VR）計(jì)算機(jī)輔助教學(xué)系統(tǒng)設(shè)計(jì)》（編號(hào)：201814436006Z）

參考文獻(xiàn)

[1] 王衛(wèi)國(guó)，胡今鴻，劉宏.國(guó)外高校虛擬仿真實(shí)驗(yàn)教學(xué)現(xiàn)狀與發(fā)展[J].實(shí)驗(yàn)室研究與探索，2015.34（05）：214-219.

[2] 包永華.基于VR技術(shù)的分析儀器虛擬維修拆裝教學(xué)訓(xùn)練系統(tǒng)設(shè)計(jì)[J].現(xiàn)代食品，2017（24）：7-10.

[3] 王浩宇.虛擬現(xiàn)實(shí)：媒體變革的新風(fēng)口[J].新媒體研究，2016.2（10）：71-72.

[4] 楊丹陽(yáng)，高小博.“VR+教育”熱下的冷思考[J].中國(guó)教師，2017（23）：90-92.

[5] 任旻.淺談CAI多媒體課件的設(shè)計(jì)制作[J].山西科技，2012.27（03）：144-145.

[6] 魯黎明.論圖書館服務(wù)互動(dòng)[J].寧波教育學(xué)院學(xué)報(bào)，2007（02）：59-61.