結(jié)合“嵌入式系統(tǒng)”和“虛擬現(xiàn)實(shí)技術(shù)”創(chuàng)新實(shí)踐教學(xué)探索與研究

王麗 陳亞東

摘要：虛擬現(xiàn)實(shí)開發(fā)技術(shù)實(shí)驗(yàn)課程，存在實(shí)驗(yàn)內(nèi)容單一、固化等問題，結(jié)合虛擬現(xiàn)實(shí)硬件與嵌入式系統(tǒng)課程的相關(guān)性，展開了以虛擬現(xiàn)實(shí)技術(shù)為主導(dǎo)，嵌入式系統(tǒng)課程為輔助的創(chuàng)新實(shí)踐教學(xué)研究。研究設(shè)計(jì)了兩者相結(jié)合的實(shí)驗(yàn)內(nèi)容，包括基礎(chǔ)性實(shí)驗(yàn)和開放性實(shí)驗(yàn)，不僅鍛煉學(xué)生的基礎(chǔ)知識開發(fā)能力，又開發(fā)了學(xué)生自主創(chuàng)新的能力。該套實(shí)驗(yàn)內(nèi)容結(jié)合了學(xué)科前沿技術(shù)，激發(fā)了學(xué)生學(xué)習(xí)興趣和主動性，有效地解決了現(xiàn)有問題，并在畢業(yè)設(shè)計(jì)成果中取得了驗(yàn)證。

關(guān)鍵詞：虛擬現(xiàn)實(shí);嵌入式系統(tǒng);HTC Vive實(shí)驗(yàn);實(shí)踐教學(xué);創(chuàng)新教學(xué)

中圖分類號：G642? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）12-0151-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

實(shí)踐和創(chuàng)新是工程教育過程中重要的環(huán)節(jié)之一，因此在教學(xué)方法和教學(xué)內(nèi)容方面需要多層次、多融合的實(shí)踐探索與研究。隨著醫(yī)療保健、教育培訓(xùn)、文教娛樂等領(lǐng)域?qū)μ摂M現(xiàn)實(shí)產(chǎn)業(yè)的需求不斷增加，虛擬現(xiàn)實(shí)技術(shù)在遠(yuǎn)程醫(yī)療、春晚直播、紅色教育、在線旅游等一系列典型應(yīng)用項(xiàng)目不斷涌現(xiàn)。而5G、人工智能、云計(jì)算、大數(shù)據(jù)、嵌入式等技術(shù)的高速發(fā)展[1-2]，使得虛擬現(xiàn)實(shí)設(shè)備的體驗(yàn)感大大增強(qiáng)，用戶對虛擬現(xiàn)實(shí)設(shè)備的認(rèn)可程度也在不斷提高。根據(jù) IDC的數(shù)據(jù)[3]，2019年第一季度全球 AR/VR頭顯設(shè)備出貨量為130萬臺，比去年同期增長了27.2%，其中VR頭戴式顯示器占到了96.6%。

虛擬現(xiàn)實(shí)技術(shù)課程是一門應(yīng)用型課程，虛擬現(xiàn)實(shí)技術(shù)融合了傳感器、三模建模、人機(jī)交互、視覺呈現(xiàn)等技術(shù)。隨著虛擬現(xiàn)實(shí)時代的迅猛發(fā)展，高校對虛擬現(xiàn)實(shí)技術(shù)的課程、實(shí)踐、教材等建設(shè)方面也在推陳出新[4-7]，以滿足虛擬現(xiàn)實(shí)應(yīng)用型人才的培養(yǎng)。程雷相[4]將虛擬現(xiàn)實(shí)技術(shù)融入到化工專業(yè)實(shí)訓(xùn)教學(xué)中，可解決化工實(shí)訓(xùn)教學(xué)面臨的一些實(shí)際問題。鄧逸鈺[5]認(rèn)為搭建協(xié)同育人實(shí)踐平臺、以賽代練跨專業(yè)組隊(duì)參加學(xué)科競賽等方式實(shí)現(xiàn)人才培養(yǎng)模式的優(yōu)化與創(chuàng)新。廖愛華[6]等人利用虛擬現(xiàn)實(shí)技術(shù)，在城市軌道交通車輛認(rèn)識實(shí)習(xí)課程教學(xué)方面進(jìn)行了改革。林宇[7]數(shù)字媒體專業(yè)在課程教學(xué)中，引入虛擬現(xiàn)實(shí)技術(shù)，提高教學(xué)模式的合理性。

虛擬現(xiàn)實(shí)系統(tǒng)在追求無限逼真的視覺效果時，融入了大量交互、傳感器等嵌入式系統(tǒng)技術(shù)。我院虛擬現(xiàn)實(shí)課程團(tuán)隊(duì)，擬將嵌入式實(shí)踐內(nèi)容引入虛擬現(xiàn)實(shí)課程，在實(shí)踐創(chuàng)新教學(xué)環(huán)節(jié)增設(shè)虛擬現(xiàn)實(shí)和嵌入式系統(tǒng)實(shí)驗(yàn)，對工程化實(shí)踐教學(xué)實(shí)施方法進(jìn)行了探索，培養(yǎng)學(xué)生工程實(shí)踐能力和創(chuàng)新意識。

1 教改目標(biāo)和內(nèi)容

1.1 教改主要目標(biāo)

虛擬現(xiàn)實(shí)硬件的發(fā)展離不開嵌入式系統(tǒng)的應(yīng)用，特別是在虛擬現(xiàn)實(shí)的交互、頭盔顯示、便攜投影等方面。因此，有必要在虛擬現(xiàn)實(shí)課程中拓展嵌入式系統(tǒng)課程實(shí)驗(yàn)，也是工程教育的需要。

目前，一些大場景嵌入式系統(tǒng)的開發(fā)成果，僅僅通過小單片機(jī)版展示。而虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用創(chuàng)新可以彌補(bǔ)大場景的仿真，達(dá)到逼真的效果[8]。將虛擬現(xiàn)實(shí)開發(fā)技術(shù)與嵌入式系統(tǒng)開發(fā)技術(shù)相結(jié)合，開發(fā)融合實(shí)驗(yàn)，讓學(xué)生們掌握用嵌入式的控制信號控制虛擬現(xiàn)實(shí)場景中的場景，從而開發(fā)自己的虛擬現(xiàn)實(shí)應(yīng)用。

1.2 教改的主要內(nèi)容

要清楚嵌入式系統(tǒng)技術(shù)在虛擬現(xiàn)實(shí)領(lǐng)域中的應(yīng)用和發(fā)展，分析新的軟硬件技術(shù)，使學(xué)生熟悉相關(guān)的軟硬件開發(fā)工具，培養(yǎng)其開發(fā)能力，需要設(shè)計(jì)以嵌入式系統(tǒng)技術(shù)和虛擬現(xiàn)實(shí)技術(shù)為主題的實(shí)驗(yàn)內(nèi)容，形成對現(xiàn)有嵌入式系統(tǒng)技術(shù)和虛擬現(xiàn)實(shí)開發(fā)技術(shù)實(shí)驗(yàn)體系的擴(kuò)充與拓展。

編寫融合實(shí)驗(yàn)庫。基礎(chǔ)性實(shí)驗(yàn)，對基礎(chǔ)知識點(diǎn)進(jìn)行實(shí)驗(yàn)練習(xí)。開放性實(shí)驗(yàn)，提供一定的實(shí)驗(yàn)指導(dǎo)和實(shí)戰(zhàn)項(xiàng)目，為學(xué)生提供合適的訓(xùn)練和實(shí)踐機(jī)會。

2 教學(xué)內(nèi)容設(shè)計(jì)

項(xiàng)目組成員結(jié)合自身在虛擬現(xiàn)實(shí)課程和嵌入式課程的教學(xué)經(jīng)驗(yàn)，拓展課程實(shí)驗(yàn)庫?；趦烧叩慕Y(jié)合主要設(shè)計(jì)了以虛擬現(xiàn)實(shí)技術(shù)搭建單片機(jī)的虛擬環(huán)境、虛擬現(xiàn)實(shí)頭顯為中心的教學(xué)實(shí)驗(yàn)。

目前比較流行的頭顯設(shè)備主要有HTC Vive和三星Gear VR。其中HTC Vive搭載精確的定位系統(tǒng)Lighthouse，通過頭顯顯示立體圖像，手持控制器與虛擬場景的物體進(jìn)行沉浸式交互，提供了完善的二次開發(fā)包。因此，我們選擇HTC Vive頭顯設(shè)備作為實(shí)驗(yàn)庫的設(shè)備首選。實(shí)驗(yàn)中理論教學(xué)內(nèi)容結(jié)構(gòu)如圖1所示，主要包括基于HTC Vive的虛擬現(xiàn)實(shí)系統(tǒng)的開發(fā)案例庫構(gòu)成。

HTC Vive包括一個VR頭戴式顯示眼鏡、兩個用來交互的手柄控制器、兩個空間定位的激光發(fā)射裝置。頭顯為AMOLED屏幕，雙眼合成分辨率可以達(dá)到20160*1200像素，視場角達(dá)到90Hz，內(nèi)置前置攝像頭和麥克風(fēng)，內(nèi)置加速度計(jì)、陀螺儀和光電傳感器。手柄內(nèi)如單片機(jī)布局如圖2所示。

HTC Vive頭顯設(shè)備中的定位系統(tǒng)Lighthouse技術(shù)是利用激光和光敏傳感器來確定空間中物體的位置。在3米×4米×基站高度的空間對角線上安裝兩個激光發(fā)射器。激光發(fā)射器內(nèi)部有兩個激光掃描模塊，分別在水平和垂直方向輪流發(fā)射激光，每秒發(fā)出6次激光束。頭顯上的32個光敏傳感器接收器和兩個手柄上的48個光敏傳感器接收器，通過計(jì)算機(jī)計(jì)算兩束光線到達(dá)頭顯或者手柄的角度差，從而實(shí)現(xiàn)頭顯或者手柄的空間位置及方向。

3 教學(xué)實(shí)踐設(shè)計(jì)

虛擬顯示應(yīng)用開發(fā)軟件主要有Unity3D，Unreal Engine 4等。實(shí)驗(yàn)案例的開發(fā)平臺，選擇的是Unity3D軟件，主要是其開發(fā)可定制性高，可以根據(jù)實(shí)驗(yàn)需求，通過渲染工具、動畫編輯器等，定制出很強(qiáng)邏輯性結(jié)果。腳本語言為C#語言，該引擎在渲染方面、多線程計(jì)算、內(nèi)存管理和顯存管理方面比較穩(wěn)定。

開發(fā)HTC Vive應(yīng)用程序需要下載安裝SteamVR插件，SteamVR是基于OpenVR的虛擬現(xiàn)實(shí)開發(fā)體驗(yàn)方案，提供Unity在頭盔環(huán)境中的開發(fā)框架。Vive的交互實(shí)現(xiàn)方式，比如手柄發(fā)出的射線、凝視、瞬移、拾取，UI交互等功能。

3.1 基礎(chǔ)性實(shí)驗(yàn)

讓學(xué)生了解基于HTC Vive的基本開發(fā)流程，SteamVR的使用?；A(chǔ)實(shí)驗(yàn)內(nèi)容包括：

（1）SteamVR的基礎(chǔ)配置，包括手柄的左右手配置等。

（2）UI控件實(shí)驗(yàn)，HTC Vive需要跟場景中的物體進(jìn)行交互，需要有一些UI控件作為選擇、切換，是進(jìn)行交互的重要功能之一。

（3）瞬移實(shí)驗(yàn)，是用來進(jìn)行場景中的走動，由于人在定位控件中的移動位置是有限的，所以得通過手柄移動到場景中固定位置，利用瞬移實(shí)驗(yàn)可以讓學(xué)生實(shí)現(xiàn)在場景中的位置更新。

（4）射線交互實(shí)驗(yàn)，利用手柄實(shí)現(xiàn)抓、扔、遠(yuǎn)距離相應(yīng)等功能，得需要有射線碰撞檢測功能來實(shí)現(xiàn)。通過射線交互實(shí)驗(yàn)，讓學(xué)生掌握HTC Vive手柄在場景中基本交互動作。

3.2 開放型實(shí)驗(yàn)

提供了幾個題目供學(xué)生自由選擇：

（1）模擬做菜過程：HTC Vive的最大特色就是交互性能強(qiáng)，借助手柄，模擬場景中的雙手，實(shí)現(xiàn)洗菜、切菜、炒菜的過程。在模擬場景中，需要學(xué)生學(xué)會HTCVive頭顯在Unity3D中的顯示原理及交互方法，制作做菜的交互模擬。

（2）化學(xué)實(shí)驗(yàn)類設(shè)計(jì)：虛擬化學(xué)實(shí)驗(yàn)系統(tǒng)是一個利用虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)人機(jī)交互的系統(tǒng)。傳統(tǒng)教學(xué)中，學(xué)生遇到需要進(jìn)行實(shí)驗(yàn)的時候，只能是在學(xué)校的實(shí)驗(yàn)室中，在有老師的指導(dǎo)下進(jìn)行一項(xiàng)項(xiàng)實(shí)驗(yàn)。虛擬化學(xué)實(shí)驗(yàn)系統(tǒng)作為一種新型教學(xué)方式，學(xué)生可以體驗(yàn)到如同在真實(shí)的實(shí)驗(yàn)室中一樣進(jìn)行化學(xué)實(shí)驗(yàn)。學(xué)生可以完成一些在現(xiàn)實(shí)生活中不容易實(shí)現(xiàn)的試驗(yàn)，教師則可以在教學(xué)中應(yīng)用模擬實(shí)驗(yàn)，為學(xué)生形象地指導(dǎo)各種化學(xué)變化、結(jié)構(gòu)精巧的化學(xué)儀器，提高教學(xué)效率。

（3）計(jì)算機(jī)系統(tǒng)的仿真教學(xué)設(shè)計(jì)：為了能夠使大部分學(xué)生學(xué)習(xí)計(jì)算機(jī)硬件知識，模擬了計(jì)算機(jī)硬件三維模型。利用虛擬的硬件模型，指導(dǎo)學(xué)生計(jì)算機(jī)硬件的組裝。在計(jì)算機(jī)組成原理課程中，幾乎都是以平面圖標(biāo)及箭頭演示計(jì)算機(jī)內(nèi)部進(jìn)行加法操作過程，通過VR技術(shù)，可以讓這樣的仿真更加逼真，學(xué)生們更加直觀地學(xué)習(xí)內(nèi)部的硬件工作原理。

（4）智能家居系統(tǒng)：引入ArdUnity插件，可以在Unity的開發(fā)環(huán)境中，利用Arduino串口通信控制智能家電，比如智能窗簾的閉合、設(shè)置智能空調(diào)溫度、設(shè)置智能熱水器的溫度等。

4 總結(jié)

結(jié)合“嵌入式系統(tǒng)”和“虛擬現(xiàn)實(shí)技術(shù)”兩門課程實(shí)踐案例是一次新的嘗試，積極調(diào)動了學(xué)生的學(xué)習(xí)興趣。在2016級和2017級學(xué)生的課程中開展了教學(xué)初步嘗試，效果不錯，并且每年都有1～2名學(xué)生的相關(guān)畢業(yè)設(shè)計(jì)獲得校級優(yōu)秀畢業(yè)設(shè)計(jì)。目前案例主要還是以虛擬現(xiàn)實(shí)技術(shù)為主，嵌入式技術(shù)為輔助的實(shí)踐模式，后期還要注重兩者的結(jié)合，開發(fā)結(jié)合的新形式，提煉技術(shù)融合的實(shí)踐內(nèi)容。“新工科”要求交叉學(xué)科領(lǐng)域，培養(yǎng)能夠服務(wù)于技革新、產(chǎn)業(yè)結(jié)構(gòu)升級形成的新環(huán)境的大量新型人才。作為課程建設(shè)者，在課程建設(shè)和學(xué)課拓展中，緊扣創(chuàng)新，學(xué)習(xí)前沿科技，加強(qiáng)創(chuàng)新創(chuàng)業(yè)實(shí)踐，培養(yǎng)復(fù)合型、創(chuàng)新型人才。

參考文獻(xiàn)：

[1] 尉糧蘋，馬澤正，王曉晴，等.虛擬現(xiàn)實(shí)技術(shù)在旅游文化遺產(chǎn)數(shù)字化保存中的應(yīng)用分析[J].中國信息化，2021（7）：94-96.

[2] 錢文君.5G時代下，虛擬現(xiàn)實(shí)技術(shù)在VR游戲中的應(yīng)用發(fā)展[J].新聞傳播，2021（14）：28-29.

[3] 賽迪智庫電子信息研究所虛擬現(xiàn)實(shí)產(chǎn)業(yè)聯(lián)盟. 虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展白皮書（2019年）[N]. 中國計(jì)算機(jī)報(bào)，2019-11-25（008）.

[4] 程雷相.虛擬現(xiàn)實(shí)技術(shù)在化工專業(yè)實(shí)訓(xùn)課程中的應(yīng)用[J].當(dāng)代化工研究，2021（14）：129-131.

[5] 鄧逸鈺.虛擬現(xiàn)實(shí)技術(shù)專業(yè)人才培養(yǎng)的創(chuàng)新與應(yīng)用研究[J].科技風(fēng)，2020（16）：251+255.

[6] 廖愛華，胡定玉，師蔚，等.虛擬現(xiàn)實(shí)技術(shù)在《城市軌道交通車輛認(rèn)識實(shí)習(xí)》中的應(yīng)用分析[J].產(chǎn)業(yè)與科技論壇，2021，20（13）：135-136.

[7] 林宇.虛擬現(xiàn)實(shí)技術(shù)在數(shù)字媒體人才培養(yǎng)中的應(yīng)用與創(chuàng)新[J].軟件，2021，42（5）：181-183.

[8] 劉肖佑，田立國，張馳宇，等.智能體感虛擬現(xiàn)實(shí)交互運(yùn)動系統(tǒng)[J].科技創(chuàng)新與應(yīng)用，2019（3）：37-38.

【通聯(lián)編輯：王力】