基于STEAM的虛擬現(xiàn)實實驗室建設實踐

葛 巖， 楊 雪， 王藝潼， 孫 艷

（1.北華大學計算機科學技術(shù)學院，吉林吉林132013；2.吉林大學高等教育研究所，長春130012；3.吉林大學管理學院，長春130022）

0 引 言

虛擬現(xiàn)實技術(shù)被認為是21 世紀影響人們生活的重要技術(shù)之一［1］，如何將教學、科研和虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展相結(jié)合，培養(yǎng)虛擬現(xiàn)實行業(yè)發(fā)展的高素質(zhì)創(chuàng)新人才，是近年來高校重點關(guān)注的問題。實驗室是高校進行實驗教學和科學研究的重要基地［2］。結(jié)合虛擬現(xiàn)實實驗室建設的必要性，合理規(guī)劃和布局虛擬現(xiàn)實實驗室，提高數(shù)字媒體技術(shù)專業(yè)教學質(zhì)量，對培養(yǎng)復合型人才具有一定現(xiàn)實意義。

1 虛擬現(xiàn)實實驗室建設的必要性

1.1 數(shù)字媒體技術(shù)專業(yè)發(fā)展的需要

數(shù)字媒體技術(shù)是融合了數(shù)字信息處理技術(shù)、計算機技術(shù)、數(shù)字通信和網(wǎng)絡技術(shù)的交叉學科，致力于培養(yǎng)UI設計、虛擬現(xiàn)實、影視等方向的復合型人才。一流實驗設備是做強專業(yè)的戰(zhàn)略資源［3］，建立虛擬現(xiàn)實技術(shù)實驗室，配置虛擬現(xiàn)實硬件設備，是支撐數(shù)字媒體技術(shù)專業(yè)發(fā)展的需要［4］。

1.2 虛擬現(xiàn)實行業(yè)人才培養(yǎng)的需要

《國民經(jīng)濟和社會發(fā)展十三五規(guī)劃綱要（2016-2020）》中提出［5］，大力推進虛擬現(xiàn)實前沿領(lǐng)域創(chuàng)新和產(chǎn)業(yè)化。隨著虛擬現(xiàn)實產(chǎn)品的廣泛普及，虛擬現(xiàn)實行業(yè)人才的市場需求很大，僅國內(nèi)VR ／ AR創(chuàng)業(yè)公司已超過1 500 家［6］。因此，建立虛擬現(xiàn)實實驗室，是培養(yǎng)虛擬現(xiàn)實行業(yè)人才的需要。

1.3 產(chǎn)學研一體化建設的需要

黨的十九大報告指出“必須深化科技體制改革，建立以企業(yè)為主體、市場為導向、產(chǎn)學研深度融合的技術(shù)創(chuàng)新體系”，上述表述為產(chǎn)學研合作指明了發(fā)展方向［7］。虛擬現(xiàn)實實驗室是集課程實踐、應用開發(fā)、科學研究為一體的綜合性實驗室，以虛擬現(xiàn)實實驗室為平臺，通過實踐教學，將學生制作的虛擬現(xiàn)實作品演化為系列化產(chǎn)品，進一步深化“產(chǎn)學研”一體化建設。

2 理論依據(jù)

2.1 STEAM教育的關(guān)鍵特征

STEAM教育作為全球性教育戰(zhàn)略，于20 世紀90年代起源于美國，是科學（Science）、技術(shù)（Technology）、工程（Engineering）、藝術(shù)（Art）和數(shù)學（Mathematics）的簡稱，其關(guān)鍵特征如下：①以學生為中心、多元主體參與的教育理念。STEAM教育強調(diào)不同學科的教師、公司人員共同指導學生，組織學生自由分組，鼓勵每位學生自由表達，完成以項目為導向的實踐教學。②跨學科整合的學習內(nèi)容［8］。根據(jù)真實問題與情境的需要，利用科學、技術(shù)、工程、藝術(shù)和數(shù)學學科的知識，以矛盾觀點來考慮問題，以系統(tǒng)的視角來解決具體問題。③基于項目／問題的學習活動形式。STEAM強調(diào)把學習置于開放的、復雜的、有意義的問題情境中，根據(jù)自身的能力和團隊合作來解決問題，鼓勵學習者主動建構(gòu)新知識。④依托工具和學習資源。STEAM教學的開展需要應用信息檢索工具來查找相關(guān)資源，利用概念圖、思維導圖等知識建模工具來表征活動流程，需要依托科學、技術(shù)、工程、藝術(shù)和數(shù)學學科的教學資料、課件、媒體素材等來進行自主學習。⑤創(chuàng)新意識培養(yǎng)的學習目標。STEAM教育以項目驅(qū)動，鼓勵學生主動地確認目標、尋找資源與解決問題，進而培養(yǎng)學生的科學探究和創(chuàng)新意識。

2.2 可行性分析

虛擬現(xiàn)實作品兼有藝術(shù)作品和文化產(chǎn)品的雙重屬性，對比STEAM 關(guān)鍵特征與虛擬現(xiàn)實作品創(chuàng)作的過程、內(nèi)容基礎(chǔ)、形式、軟硬件要求與目標，可得表1 所示一致性對比結(jié)果。根據(jù)上述一致性對比結(jié)果，認為STEAM理論用于指導虛擬現(xiàn)實實驗室的建設、管理與運行是可行的，能達到預期教學效果。

表1 一致性對比

3 實施路徑

虛擬現(xiàn)實作品的形成需要經(jīng)過建模、材質(zhì)與貼圖、燈光與渲染、動畫、交互等5 個主要步驟。在STEAM教育理論指導下，以虛擬現(xiàn)實作品主要步驟為基礎(chǔ)，構(gòu)建基于STEAM 的虛擬現(xiàn)實實驗室建設的實施路徑。STEAM教育指導虛擬現(xiàn)實實驗室頂層戰(zhàn)略規(guī)劃的制定，虛擬現(xiàn)實實驗室的運行需要硬件設備的支撐、資金的保障和運行監(jiān)督，進而滿足教師的科學研究與相關(guān)課程實踐教學的需求，具體實施路徑概括為“一個思想、兩種機制、3 個工作室、4 種應用模式”，如圖1所示。

圖1 實施路徑

3.1 以學生為中心、多元主體參與

秉承“以學生為中心”的核心理念，激發(fā)學生的學習動機，培養(yǎng)學生勇于探索的創(chuàng)新意識和善于解決問題的實踐能力，強調(diào)不同學科教師、公司人員等共同參與來完成教學任務。虛擬現(xiàn)實相關(guān)軟件實際操作性強、技能點多、知識更新速度快，因此，虛擬現(xiàn)實相關(guān)課程由在校教師和公司程序開發(fā)人員共同來完成，在實驗室內(nèi)同時進行理論講授和實驗教學。

3.2 推進兩種機制

為進一步加強虛擬現(xiàn)實實驗室的運行管理，需要推進兩種機制。①推進資金保障機制，以高等教育強省項目與中央支持地方項目資金為主，緊跟虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展動態(tài)，根據(jù)教師對虛擬現(xiàn)實相關(guān)設備的調(diào)研情況，及時更新硬件設備，使其始終具備較強的實踐應用性。②推進信息化管理監(jiān)督機制，采用研究生作為學生負責人，利用出勤管理系統(tǒng)，督查學生出勤時間，提高了虛擬現(xiàn)實實驗室的信息化管理水平。

3.3 建立三個工作室

（1）三維模型工作室。三維模型工作室的主要作用是實現(xiàn)建模、材質(zhì)表現(xiàn)與渲染等，真實展現(xiàn)三維模型。三維模型工作室包括三維建模平臺、材質(zhì)與貼圖制作平臺與渲染平臺，如圖2 所示，從硬件和軟件兩方面，總結(jié)了三維模型工作室的架構(gòu)圖，高性能的圖形工作站、繪圖屏與磁盤陣列等硬件設備既滿足數(shù)字媒體技術(shù)相關(guān)專業(yè)學生的實驗需要，又滿足教師科學研究的需要。

圖2 三維模型工作室的架構(gòu)圖

（2）運動捕捉工作室。運動捕捉工作室主要是在分析三維模型的基礎(chǔ)上，利用運動捕捉系統(tǒng)進行三維模型的動作設計與實現(xiàn)。三維模型的動作添加方式有兩種，①通過使用3dsmax 軟件中的調(diào)整關(guān)鍵幀的方法來實現(xiàn)，僅適用于簡單動作制作；②通過運動捕捉系統(tǒng)來獲得三維模型的復雜動作，節(jié)省了調(diào)整動畫關(guān)鍵幀的時間。因此，本工作室購置NaturalPoint公司研制的Optitrack 動作捕捉系統(tǒng)，用于實時采集模型的運動數(shù)據(jù)。

（3）虛擬交互工作室。虛擬交互工作室的主要工作是利用Unity3D 開發(fā)引擎，基于C＃腳本語言，配合虛擬現(xiàn)實交互設備和虛擬現(xiàn)實顯示設備，來完成虛擬現(xiàn)實作品的交互功能。配置的交互設備包括Leapmotion手勢識別、SoftKinect 姿態(tài)識別和光學位置追蹤系統(tǒng)G—Motion。Leapmotion通過紅外光反射，能夠追蹤約1 米直徑內(nèi)的手及10 根手指的三維坐標信息，其支持多語言平臺，允許使用原始數(shù)據(jù)進行手勢分析與二次開發(fā)。SoftKinect 是能獲取深度圖像數(shù)據(jù)和骨骼運動數(shù)據(jù)的體感設備，與Unity3D結(jié)合，用于識別用戶自定義姿勢，來完成與虛擬場景交互。G—Motion［9］作為光學位置追蹤系統(tǒng)，包含MotionCamera紅外相機、帶有剛體的立體眼鏡、SpaceNavi手柄，可以實現(xiàn)多種人機交互功能（見圖3）。

圖3 G_Motion工作原理

顯示設備用于虛擬現(xiàn)實作品的交互式動態(tài)演示，包括Google Cardboard、Oculus、HTC VIVE、HoloLens和沉浸式虛擬現(xiàn)實顯示系統(tǒng)。Cardboard 是谷歌公司于2014 年開發(fā)的廉價VR 眼鏡，能夠?qū)⒅悄苁謾C作為體驗虛擬現(xiàn)實的原型設備。Oculus 能追蹤用戶的頭部運動，使其更加身臨其境地體驗虛擬環(huán)境。HTC Vive由頭戴式顯示器、定位器、無線操控手柄組成［10］（見圖4），通過頭部的位移或操控手柄來控制畫面的同步變化。HoloLens是微軟推出的全息眼鏡，根據(jù)頭部的傳感器獲取用戶的位置和姿態(tài)信息，實時渲染出全息影像，用于制作虛實融合的視覺畫面。沉浸式虛擬現(xiàn)實顯示系統(tǒng)采用智能多核處理架構(gòu)，將主機系統(tǒng)生成的視景投影到多LED屏幕上，生成具有較強沉浸感的虛擬現(xiàn)實環(huán)境，用于各類虛擬現(xiàn)實作品的展示。

圖4 HTC Vive實物圖片

3.4 虛擬現(xiàn)實實驗室的教學應用

虛擬現(xiàn)實實驗室在實際教學運行中，被應用于課程教學、開放性綜合實驗、科研基地、校企合作等。

（1）課程教學實驗室。教育部文件《高等學校實驗室工作規(guī)程》規(guī)定：高等學校教學實驗室的核心任務是承擔實驗教學任務［11］。虛擬現(xiàn)實實驗室作為專業(yè)教學實驗室，根據(jù)理論課教學的需要，以3 個工作室為實驗場地，承擔“三維動畫建?；A(chǔ)”“虛擬現(xiàn)實技術(shù)”“人機交互軟件Unity3D”等課程的實驗教學工作。

（2）開放式綜合性實驗室。遵循以學生為中心的教育理念，實現(xiàn)時間、場地和實驗內(nèi)容3 個維度的開放，提高虛擬現(xiàn)實設備的開放共享程度［12］。如圖5 所示，在實驗室時間管理方面，實現(xiàn)虛擬現(xiàn)實實驗室的全面開放。采用“線上＋線下”的管理模式，以QQ 群直播、微信群等，開展師生之間的實時互動交流，延長了工作室的運行時間。在場地管理方面，實現(xiàn)實驗室硬件設備開放共享，最大限度受益于學生［13］；在實驗內(nèi)容組織方面，將實驗內(nèi)容延伸到項目實踐、學科競賽、大創(chuàng)項目與畢業(yè)設計［14］。

實驗對象可以是工作室學生、畢業(yè)設計學生及綜合性項目團隊。目前開放模式有課程項目實踐、學科競賽和畢業(yè)設計。課程項目實踐基于具體的理論課程，以班級為單位進行，一般課內(nèi)要求完成4 學時的課程，并提交設計作品及總結(jié)報告［15］，目的是考查學生對本門課程的綜合運用情況。學科競賽需要組建備戰(zhàn)競賽的創(chuàng)新團隊，其更關(guān)注作品的質(zhì)量和創(chuàng)新性。在畢業(yè)設計環(huán)節(jié)，引入“雙導師”的培養(yǎng)模式，由學科教師和企業(yè)技術(shù)人員共同負責學生畢業(yè)設計的指導工作。上述開放形式有著交叉融合的學習目標，從認知感知、綜合應用到實踐創(chuàng)新能力的提高，內(nèi)容、層次逐步上升，更好地培養(yǎng)學生對知識的靈活駕馭能力。

（3）教師科研基地。虛擬現(xiàn)實實驗室的指導教師是涵蓋計算機科學與技術(shù)、藝術(shù)設計、數(shù)字媒體技術(shù)等多領(lǐng)域的教學科研團隊，包括專任教師、研究員和實驗技術(shù)人員。虛擬現(xiàn)實實驗室的創(chuàng)建改變了實驗技術(shù)人員只能從事實驗準備工作的情形，使教學、科研和實驗技術(shù)3 支隊伍完美融合。教師帶領(lǐng)一批對數(shù)字媒體充滿熱情的學生，積極申報科研項目和教研項目，將教學實踐、科學研究延伸到虛擬現(xiàn)實行業(yè)中，打造產(chǎn)學研一體化的虛擬現(xiàn)實實驗室。

（4）面向企業(yè)開展合作。愛迪斯通（北京）科技有限公司依托在虛擬現(xiàn)實、交互設計、游戲開發(fā)等技術(shù)優(yōu)勢，我校與其在課程開發(fā)、教師定向培訓、校企項目方面開展合作。①課程開發(fā)，依據(jù)數(shù)字媒體技術(shù)專業(yè)規(guī)范和虛擬現(xiàn)實行業(yè)發(fā)展現(xiàn)狀，以企業(yè)與高校相互配合的教學視角，與愛迪斯通公司合作開設“人機交互軟件Unity3D”“游戲引擎原理及應用”“Unity3D 跨平臺游戲制作”等課程；②教師定向培訓，愛迪斯通公司以“功能模塊化”的方式，提供游戲開發(fā)、虛擬現(xiàn)實、交互設計等方向的課程培訓；③校企合作項目，按照企業(yè)真實項目的業(yè)務流程，進行規(guī)范化指導。

圖5 開放實驗模式

4 實施效果

通過STEAM教育理念應用于虛擬現(xiàn)實實驗室建設和管理，激發(fā)了教師的工作積極性和學生的學習熱情。近5 年來，虛擬現(xiàn)實實驗室承擔的教師科研、學科競賽、畢業(yè)設計、大學生創(chuàng)新創(chuàng)業(yè)訓練項目數(shù)量明顯增加，STEAM教育理念在實驗室建設方面產(chǎn)生了一定的促進作用。①教學實驗室的虛擬現(xiàn)實相關(guān)課程開出率明顯增加。目前主要承擔數(shù)字媒體技術(shù)與教育技術(shù)學2 個專業(yè)的實驗教學任務，因虛擬現(xiàn)實工作室具有相關(guān)硬件設備和Unity 軟件運行環(huán)境的支撐，使虛擬現(xiàn)實相關(guān)課程開出率明顯增加。②開放綜合性實驗室，學科競賽獲獎級別升高。以虛擬現(xiàn)實實驗室為依托，學生在全國大學生計算機設計大賽、全國大學生廣告設計大賽、互聯(lián)網(wǎng)＋創(chuàng)新創(chuàng)業(yè)大賽等學科競賽中取得了豐碩的成果，獲獎級別與人數(shù)明顯增多。其中，“噴油泵虛擬裝配實驗”“回收對對碰”與“虛擬樣板間”等作品均獲得國家級獎項。③科研項目基地，教師科研項目數(shù)量增加，教師隊伍專業(yè)水平提高。以虛擬現(xiàn)實實驗室為平臺，教師獲得省級科研項目2 項、省級教學改革項目4 項與校級教學改革項目多項。選派3位教師參加“數(shù)字媒體專業(yè)骨干教師研修班”，提高了教師隊伍的專業(yè)素質(zhì)。④通過校企合作，公司開發(fā)人員與教師共同帶領(lǐng)學生參加全國Unity 開發(fā)者大賽，現(xiàn)場計時制作虛擬現(xiàn)實作品，鍛煉了學生實踐動手能力，提升了學生學習成就感。

5 結(jié) 語

將STEAM教育理念融入虛擬現(xiàn)實實驗室建設、管理與運行中，搭建了課程設計、學科競賽、大創(chuàng)項目和畢業(yè)設計一體化的虛擬現(xiàn)實實踐教學平臺，提升了數(shù)字媒體技術(shù)專業(yè)人才培養(yǎng)質(zhì)量和教師的科研能力，探索了虛擬現(xiàn)實實驗室的應用模式，為兄弟院校類似實驗室建設、管理及運行提供借鑒。