基于VR技術(shù)的在線教學(xué)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

王克君 王哲河 李達(dá)輝

（海南熱帶海洋學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 海南省三亞市 572022）

1 引言

隨著5G 通信技術(shù)的日趨成熟和互聯(lián)網(wǎng)的高速發(fā)展，人們對(duì)視頻（聲音）、圖像的體驗(yàn)感要求越來越高。然而，有時(shí)人們無法親臨真實(shí)環(huán)境但又想有如同身臨其境的體驗(yàn)感。為了實(shí)現(xiàn)這些應(yīng)用需求，虛擬現(xiàn)實(shí)技術(shù)應(yīng)運(yùn)而生。虛擬現(xiàn)實(shí)技術(shù)是利用計(jì)算機(jī)技術(shù)來模擬生成具有視覺等多種感官的逼真的虛擬環(huán)境，使用戶可以進(jìn)入到虛擬世界中，同虛擬環(huán)境中的物體進(jìn)行交互，產(chǎn)生前所未有的現(xiàn)場(chǎng)沉浸感。除了沉浸感(Immersion)、實(shí)時(shí)交互性(Interactivity)、構(gòu)想性(Imagination)等特征之外，它還具有趣味性，自主性，靈活性，創(chuàng)新性，震撼性等特征。由于它的這些特征，引起了各界的廣泛關(guān)注，被應(yīng)用到軍事訓(xùn)練和對(duì)抗演練，工業(yè)產(chǎn)品設(shè)計(jì)，娛樂游戲，虛擬手術(shù)訓(xùn)練和教育等領(lǐng)域。

近年來，國(guó)內(nèi)外“VR+教育”成為新的研究熱點(diǎn)。2016年4月14日，工業(yè)和信息化部中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布了《虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展白皮書(2016年)》，從國(guó)家層面去規(guī)劃和支持VR 應(yīng)用的發(fā)展。2018年12月25日又發(fā)布《關(guān)于加快推進(jìn)虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展的指導(dǎo)意見》，提出加快我國(guó)虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展，推動(dòng)虛擬現(xiàn)實(shí)應(yīng)用創(chuàng)新，培育信息產(chǎn)業(yè)新增長(zhǎng)點(diǎn)和新動(dòng)能。2021年10月19日工業(yè)和信息化部中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院發(fā)布了《虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展白皮書(2021年)》，并分析虛擬現(xiàn)實(shí)產(chǎn)業(yè)現(xiàn)狀、特點(diǎn)及趨勢(shì)，預(yù)計(jì)虛擬現(xiàn)實(shí)產(chǎn)業(yè)將進(jìn)入新一輪爆發(fā)增長(zhǎng)期； 2017年12月9日教育部教育裝備研究與發(fā)展中心虛擬現(xiàn)實(shí)教育應(yīng)用研究院成立，標(biāo)志著基于VR 技術(shù)的教學(xué)模式正式得到教育行政主管部門的認(rèn)可。國(guó)外則在新技術(shù)與研發(fā)投入均比較明顯。2015年9月，谷歌啟動(dòng)了Expeditions Pioneer項(xiàng)目,正式涉足VR 教育。2021年8月19日Facebook 推出 VR 遠(yuǎn)程工作應(yīng)用程序，并稱其為邁向“元宇宙”的一步。Facebook 創(chuàng)始人扎克伯格日前表示將繼續(xù)向VR 教育投資巨資，以協(xié)助技術(shù)開發(fā)并培訓(xùn)人們使用增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)工具,同時(shí)宣布將與 Coursera 和 edX 合作，幫助推動(dòng) Meta 的增強(qiáng)和虛擬現(xiàn)實(shí)課程即Spark AR 課程 [；加利福尼亞大學(xué)發(fā)布3D 開源數(shù)據(jù)集OpenRooms，旨在幫助用戶操縱室內(nèi)3D 場(chǎng)景中的對(duì)象、材料、照明等。目前VR 技術(shù)在教育領(lǐng)域的應(yīng)用探索幾乎覆蓋了各個(gè)教育階段，包括小學(xué)，初中、高中、大學(xué)以及職場(chǎng)培訓(xùn)等。但國(guó)內(nèi)針對(duì)VR 教育的實(shí)際應(yīng)用案例比較少，因此，本文則試圖從實(shí)現(xiàn)角度完成一套簡(jiǎn)單實(shí)用的在線虛擬教學(xué)平臺(tái)。

圖 1：虛擬教學(xué)平臺(tái)功能模塊示意圖

2 虛擬教學(xué)平臺(tái)的功能描述

在線虛擬教學(xué)是基于虛擬現(xiàn)實(shí)技術(shù)在虛擬空間中進(jìn)行教育學(xué)習(xí)的一種新型教學(xué)模式，它通過構(gòu)建一個(gè)虛擬的教與學(xué)環(huán)境，然后通過對(duì)知識(shí)點(diǎn)客觀、真實(shí)地模擬重現(xiàn)，使教師和學(xué)生在虛擬環(huán)境中完成教與學(xué)的全過程。整個(gè)過程要求教學(xué)理念、教與學(xué)關(guān)系、教學(xué)組織及教學(xué)手段等方面必須做出相應(yīng)的調(diào)整。

為此，本文通過線下對(duì)實(shí)際教學(xué)環(huán)境的實(shí)地考察，以實(shí)際教學(xué)環(huán)境作為虛擬教學(xué)環(huán)境為參照，由墻壁、地板、門、黑板、講臺(tái)、桌子、椅子、窗戶、窗簾、風(fēng)扇、吊燈等環(huán)境要素構(gòu)成。根據(jù)大學(xué)生的好奇心重、學(xué)習(xí)能力強(qiáng)、思維活躍等特點(diǎn)，結(jié)合VR 技術(shù)的特點(diǎn)，設(shè)計(jì)并開發(fā)一套簡(jiǎn)易適合當(dāng)代大學(xué)生的在線虛擬教學(xué)平臺(tái)，試圖為傳統(tǒng)書面“滿堂灌，學(xué)生被動(dòng)聽”的乏味教學(xué)方式，注入具有趣味性的VR 教學(xué)功能，讓觀察式學(xué)習(xí)、體驗(yàn)式學(xué)習(xí)和實(shí)際操作學(xué)習(xí)等學(xué)習(xí)模式進(jìn)入課堂，激發(fā)他們的學(xué)習(xí)興趣。該虛擬教學(xué)平臺(tái)主要功能模塊包括虛擬教學(xué)環(huán)境及其要素模型設(shè)計(jì)，虛擬教學(xué)功能劃分，教學(xué)功能又進(jìn)一步分為板書教學(xué)功能和視頻教學(xué)功能等，如圖1所示。

3 虛擬教學(xué)平臺(tái)設(shè)計(jì)

根據(jù)第2 節(jié)的功能模塊規(guī)劃，我們需要逐一對(duì)各個(gè)模塊的進(jìn)行設(shè)計(jì)，在虛擬教學(xué)環(huán)境中實(shí)現(xiàn)傳統(tǒng)教學(xué)模式中主要環(huán)境及相關(guān)要素的設(shè)計(jì)，教學(xué)板書功能設(shè)計(jì)、視頻播放功能設(shè)計(jì)等。本文采用了3DsMAX 建模軟件的高精度3D 模型和高分辨率材質(zhì)，配合Unreal Engine 4 引擎的光照系統(tǒng)所營(yíng)造的動(dòng)態(tài)光照效果，構(gòu)建出了逼真的虛擬教學(xué)環(huán)境。

3.1 虛擬教學(xué)環(huán)境要素模型設(shè)計(jì)

（1）桌子模型設(shè)計(jì)。整體長(zhǎng)66 厘米，寬44 厘米，高75 厘米，抽屜長(zhǎng)55 厘米，寬33 厘米，高18 厘米。材質(zhì)上還原木制桌面，金屬制桌腿和抽屜，其視覺效果如圖2(a)所示。

圖2：桌子，椅子模型

（2）椅子模型設(shè)計(jì)。整體長(zhǎng)41 厘米，寬36 厘米，高74 厘米，坐墊高度40 厘米，靠背高度34 厘米。材質(zhì)上還原木制坐墊和靠背，金屬制框架，其視覺效果如圖2(b)所示。

（3）風(fēng)扇模型設(shè)計(jì)。整體半徑為70 厘米，高度46 厘米，可通過觸碰交互開關(guān)模擬風(fēng)扇轉(zhuǎn)動(dòng)。材質(zhì)上還原為金屬材質(zhì)，其視覺效果如圖3(a)所示。

圖3：吊扇，燈管模型

（4）吊燈模型設(shè)計(jì)。整體長(zhǎng)122 厘米，高64 厘米，燈光直徑2 厘米。結(jié)合光照系統(tǒng)可模擬現(xiàn)實(shí)燈光效果，材質(zhì)上還原為金屬制支架和亮白色燈泡，其視覺效果如圖3(b)所示。

（5）風(fēng)扇模型設(shè)計(jì)。窗簾模型設(shè)計(jì)。整體長(zhǎng)224 厘米，高255 厘米。材質(zhì)上還原金屬制支架和布料材質(zhì)窗簾，其視覺效果如圖4(a)所示。門窗如4(b)、4(c)，其參數(shù)省略不再詳敘。

圖4：窗簾，門，窗模型

（6）黑板模型設(shè)計(jì)。整體長(zhǎng)404 厘米，高164 厘米，厚度為15 厘米，分為4 個(gè)子黑板和1 個(gè)白板，單個(gè)子黑板長(zhǎng)100 厘米，高154 厘米，厚度為4 厘米，白板長(zhǎng)190 厘米，高154 厘米，其中中間的兩塊子黑板可移動(dòng)。材質(zhì)上還原金屬邊框和綠色板面，其視覺效果如圖5(a)所示。

圖5：黑板，講臺(tái)模型

（7）講臺(tái)模型設(shè)計(jì)。整體長(zhǎng)110 厘米，寬74 厘米，高100厘米。材質(zhì)上還原為金屬材質(zhì)，其視覺效果如圖5(b)所示。

（8）教室模型設(shè)計(jì)。整體長(zhǎng)9 米，寬6.9 米，高3.4 米，由簡(jiǎn)單的立方體墻壁、地板、天花板等構(gòu)成。

將上述環(huán)境要素模型整合后，從前后方視角觀察，其效果分別如圖6，7所示。

圖6：教室前方視角

圖7：教室后方視角

3.2 虛擬教學(xué)動(dòng)態(tài)互動(dòng)元素設(shè)計(jì)

（1）板書要素功能設(shè)計(jì)。它包括控制對(duì)象、粉筆和黑板。其中控制對(duì)象即為用戶在虛擬場(chǎng)景中的化身，是VR 線上教學(xué)模式的主體，一切交互功能都需要圍繞控制對(duì)象加以實(shí)現(xiàn)，用戶通過VR 手柄操控控制對(duì)象進(jìn)行一切交互行為。控制對(duì)象的Motion Controller Pawn 負(fù)責(zé)實(shí)現(xiàn)用戶的基本操作，簡(jiǎn)單的用戶交互操作和用戶移動(dòng)操作等；粉筆在其3D 模型的基礎(chǔ)上將其實(shí)現(xiàn)為可交互藍(lán)圖類，讓用戶能夠?qū)⑵淠迷谑种?；黑板的交互功能即?shí)現(xiàn)其在現(xiàn)實(shí)中的教學(xué)功能，結(jié)合前面的兩個(gè)部分，實(shí)現(xiàn)其移動(dòng)功能及書寫功能，用戶通過手柄控制內(nèi)嵌黑板將其左右拖動(dòng)以及用戶手握粉筆在黑板上進(jìn)行書寫。

（2）黑板移動(dòng)功能設(shè)計(jì)。通過檢測(cè)用戶手部是否接觸黑板且按下pick up 交互按鈕，若滿足以上條件則跟蹤用戶手部坐標(biāo)，將被交互的黑板進(jìn)行坐標(biāo)跟蹤變換，當(dāng)用戶手部結(jié)束與黑板的接觸時(shí)結(jié)束黑板移動(dòng)操作，其部分藍(lán)圖代碼如圖8所示。

圖8：黑板移動(dòng)藍(lán)圖代碼

（3）書寫功能設(shè)計(jì)。通過檢測(cè)用戶手部是否握住粉筆且粉筆是否接觸黑板，若滿足以上條件則跟蹤粉筆絕對(duì)坐標(biāo)，通過與當(dāng)前接觸的黑板絕對(duì)坐標(biāo)進(jìn)行坐標(biāo)換算得到相對(duì)坐標(biāo)，然后通過Widget 組件實(shí)現(xiàn)的畫布配合自定義的繪制函數(shù)，在幀間隔內(nèi)將幀前后相對(duì)坐標(biāo)連成線并繪制到畫布上渲染出來，實(shí)現(xiàn)在黑板上書寫的效果，當(dāng)用戶握住的粉筆結(jié)束與黑板的接觸時(shí)結(jié)束書寫操作，其部分藍(lán)圖代碼如圖9所示。

圖9：黑板書寫藍(lán)圖代碼

圖13：虛擬教學(xué)情景——教師視角

（4）視頻教學(xué)功能設(shè)計(jì)。它包括控制器和視頻播放器兩部分?？刂破餍柙谠械幕A(chǔ)上添加控件交互組件，用以與視頻播放器進(jìn)行交互。而視頻播放器則通過繼承編輯器工具控件加以實(shí)現(xiàn)，與常見的播放器類似，具備基本的視頻切換、變速、播放暫停、進(jìn)度調(diào)節(jié)和音量調(diào)節(jié)功能，其界面如圖10所示，其部分藍(lán)圖代碼如圖11所示。教師播放視頻的同時(shí)學(xué)生也可在自己的視頻播放器上同步教師所播放的視頻，以達(dá)到最佳的視頻教學(xué)效果。

圖10：視頻播放器界面

圖11：視頻播放器代碼

3.3 虛擬教學(xué)情景渲染

根據(jù)3.2 節(jié)的設(shè)計(jì)，我們編碼實(shí)現(xiàn)虛擬教學(xué)情景如圖12，13 所示，兩個(gè)圖均是模擬老師在為學(xué)生講解正方體、長(zhǎng)方體和球體等幾何模型的情景，只是觀察的視角不同而已。從圖中，我們可以看到，學(xué)生可直觀的理解這些幾何模型的結(jié)構(gòu)特點(diǎn)。除此之外，還可以利用VR 物體3D 展示功能展示更復(fù)雜的生物體和機(jī)械結(jié)構(gòu)，能夠更加全面和詳細(xì)描述所示的物體，讓學(xué)生更加快速準(zhǔn)確的理解其三維結(jié)構(gòu)和運(yùn)動(dòng)模式。圖14為學(xué)生（帶頭顯）通過終端接入在線虛擬教學(xué)平臺(tái)后的情景。

圖12：虛擬教學(xué)情景——學(xué)生視角

圖14：學(xué)生終端登陸平臺(tái)的情景

3.4 虛擬教學(xué)平臺(tái)的拓?fù)浣Y(jié)構(gòu)

該平臺(tái)的拓?fù)浣Y(jié)構(gòu)如圖15所示，包括學(xué)生端，教師端，Web 服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器，它們之間是通過VR 設(shè)備（頭顯）、網(wǎng)絡(luò)設(shè)備進(jìn)行數(shù)據(jù)傳輸和存儲(chǔ)。老師和學(xué)生均可通過終端登陸VR 教學(xué)平臺(tái)，整個(gè)上課過程，師生都需要帶頭顯，否則無法看到虛擬場(chǎng)景。

圖15：虛擬教學(xué)平臺(tái)的拓?fù)浣Y(jié)構(gòu)圖

4 結(jié)論

本論文主要基于Unreal Engine 4 工具和VR 技術(shù)，設(shè)計(jì)并開發(fā)一套面向當(dāng)代大學(xué)生的在線虛擬教學(xué)平臺(tái)。將日常教學(xué)全過程融入到虛擬教學(xué)環(huán)境中，利用先進(jìn)的通信技術(shù)和3D 技術(shù)，實(shí)現(xiàn)即時(shí)、交互、仿真的教學(xué)環(huán)境，讓五湖四海的同學(xué)可以集聚到同一個(gè)教室，同一場(chǎng)景，同一個(gè)老師，上同一門課，從而實(shí)現(xiàn)教學(xué)資源的共享。但受硬件設(shè)備和資金限制，目前該平臺(tái)還有許多功能尚未完全實(shí)現(xiàn)。比如，VR Office 課件教學(xué)、VR 物化生實(shí)驗(yàn)室、VR 物體3D 展示、VR沉浸式事件體驗(yàn)教學(xué)、VR 體育運(yùn)動(dòng)、VR 大型多人互動(dòng)教學(xué)等，這也是我們下一階段研究的重點(diǎn)。