增強(qiáng)現(xiàn)實(shí)與智能交互研究生課程教學(xué)設(shè)計(jì)與實(shí)踐

王菖 葉磊 牛軼峰

摘要：分析目前增強(qiáng)/虛擬現(xiàn)實(shí)（AR/VR）課程教學(xué)設(shè)計(jì)與實(shí)踐經(jīng)驗(yàn)的不足，提出以交互技術(shù)、成像技術(shù)、跟蹤定位技術(shù)為教學(xué)重點(diǎn)，面向全校范圍選課的研究生學(xué)員，通過難易適度的課程實(shí)踐設(shè)計(jì)，激發(fā)學(xué)員的學(xué)習(xí)熱情，培養(yǎng)學(xué)生的動(dòng)手能力和創(chuàng)新能力，幫助學(xué)生深入理解增強(qiáng)現(xiàn)實(shí)與智能交互的基本理論，從而實(shí)現(xiàn)培養(yǎng)新型高素質(zhì)AR/VR專業(yè)技術(shù)人才的目標(biāo)。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)人機(jī)交互智能系統(tǒng)課程設(shè)計(jì)課程實(shí)踐

中圖分類號：G64文獻(xiàn)標(biāo)識碼：A ? ? ? ?文章編號：1672-3791（2022）01（a）-0000-00

The Design and Practice of a Graduate-level Course： Augmented Reality and Intelligent Interaction

WANG ChangYE Lei NIU Yifeng

（National University of Defense Technology， Changsha，Hu′nan Province，410073 China）

Abstract： The limitation of the design and practice of the current Augmented Reality/Virtual Reality （AR/VR） is discussed， and it is proposed that interaction， imaging and tracking are the three core technologies. Considering the diverse source of graduate students that join the course， flexible levels of difficulties are designed for practicing the theories of the course， in order to motivate the students to improve their innovative and hands-on abilities. In this way， the students are expected to understand better the theories of augmented reality and intelligent interaction. As a result， the goal of educating high-quality AR/VR talents could be achieved.

Key Words： Augmented reality; Human-machine interaction; Intelligent systems; Course design; Curriculum practice

2021年3月13日，《中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》正式公布，在“建設(shè)數(shù)字中國”篇章中框定了數(shù)字經(jīng)濟(jì)重點(diǎn)產(chǎn)業(yè)的七大產(chǎn)業(yè)方向，增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)位列其中。增強(qiáng)現(xiàn)實(shí)技術(shù)將計(jì)算機(jī)生成的圖形、數(shù)據(jù)疊加到真實(shí)世界的圖像上，為信息交流、過程可視化和思想的創(chuàng)造性表達(dá)提供了新方法，代表人機(jī)界面發(fā)展趨勢?！对鰪?qiáng)現(xiàn)實(shí)與智能交互》作為面向全校研究生學(xué)員的選修課，旨在幫助學(xué)生理解增強(qiáng)現(xiàn)實(shí)的基本原理和生成虛擬環(huán)境的過程，掌握增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)方法。目前，國內(nèi)高校開設(shè)的增強(qiáng)/虛擬現(xiàn)實(shí)相關(guān)專業(yè)課程資源較少，課程的理論教學(xué)缺乏系統(tǒng)性和科學(xué)性，尤其是實(shí)踐方面尚未充分考慮選課學(xué)員專業(yè)的差異性。該課程面向?qū)W校不同專業(yè)基礎(chǔ)的研究生學(xué)員，注重實(shí)踐環(huán)節(jié)的教學(xué)設(shè)計(jì)，使學(xué)員能自主選擇合適難度的增強(qiáng)現(xiàn)實(shí)軟件工具完成典型的人機(jī)智能交互設(shè)計(jì)任務(wù)。

1 ?增強(qiáng)現(xiàn)實(shí)相關(guān)概念內(nèi)涵

增強(qiáng)現(xiàn)實(shí)（Augmented reality，簡稱AR）是一種將計(jì)算機(jī)生成的圖形、數(shù)據(jù)等虛擬對象疊加到真實(shí)場景上，并且可以通過多種方式與虛擬對象實(shí)時(shí)交互的一種技術(shù)。虛擬現(xiàn)實(shí)（Virtual Reality，簡稱VR）是指用計(jì)算機(jī)圖形學(xué)和仿真技術(shù)生成三維人工環(huán)境，使用者利用各種傳感器設(shè)備融入虛擬空間，以自然的方式與三維環(huán)境交互，使人感覺到完全沉浸在另一個(gè)世界中，使人能做在真實(shí)世界中不能做的事情[1-2]。將真實(shí)環(huán)境和虛擬環(huán)境分別作為連續(xù)統(tǒng)的兩端，位于連續(xù)統(tǒng)中間部分被稱為混合現(xiàn)實(shí)（Mixed Reality，簡稱MR），如圖1所示。

2 增強(qiáng)現(xiàn)實(shí)與智能交互課程學(xué)情分析

該課程面向全校研究生學(xué)員，歷年選課人數(shù)一般在10～20人左右。本課程要求學(xué)員具備計(jì)算機(jī)圖形學(xué)、圖像處理、程序設(shè)計(jì)語言等相關(guān)基礎(chǔ)知識。但是，近幾年的教學(xué)情況表明，部分學(xué)員不具備上述預(yù)修知識。例如，2020年春季學(xué)期有 9名學(xué)員選課，其中2人具備一般水平的計(jì)算機(jī)圖形學(xué)基礎(chǔ)知識，7人沒有接觸過相關(guān)知識。由于計(jì)算機(jī)圖形學(xué)是學(xué)習(xí)增強(qiáng)現(xiàn)實(shí)的必備知識，因此，該課程計(jì)劃安排6課時(shí)進(jìn)行簡介。此外，選課學(xué)員的計(jì)算機(jī)編程水平參差不齊，計(jì)算機(jī)、自動(dòng)化、電子信息等工科專業(yè)的學(xué)員編程基礎(chǔ)較好，但文科專業(yè)（例如語言學(xué)、政治學(xué)）的學(xué)員編程基礎(chǔ)薄弱。因此，本課程的實(shí)踐環(huán)節(jié)需要考慮學(xué)員的基礎(chǔ)差異較大的問題，因材施教，設(shè)置難度可選的作業(yè)。

3 增強(qiáng)現(xiàn)實(shí)與智能交互課程教學(xué)總體設(shè)計(jì)

3.1 ?教學(xué)目的與課程設(shè)計(jì)總體思路

該課程以交互技術(shù)、成像技術(shù)、跟蹤定位技術(shù)為教學(xué)重點(diǎn)，幫助學(xué)生掌握增強(qiáng)現(xiàn)實(shí)基本概念和原理，學(xué)習(xí)運(yùn)動(dòng)跟蹤和三維圖形生成技術(shù)，學(xué)習(xí)增強(qiáng)現(xiàn)實(shí)界面支持的新型人機(jī)交互模式，掌握設(shè)計(jì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基本方法，了解增強(qiáng)現(xiàn)實(shí)的主要研究方向和應(yīng)用領(lǐng)域，了解增強(qiáng)現(xiàn)實(shí)環(huán)境下的人機(jī)交互基本原理和技術(shù)。該課程采用的是兩本國外的經(jīng)典教材[3-4]。該課程共36學(xué)時(shí)，其中課堂講授26學(xué)時(shí)（如圖2所示），課程實(shí)踐10學(xué)時(shí)。

3.2 ?線上線下混合式教學(xué)模式

受新冠疫情影響，該課程于2020年春季學(xué)期首次采用線上線下混合式教學(xué)模式。按照學(xué)校統(tǒng)一安排，理論課教學(xué)環(huán)節(jié)全部采用線上教學(xué)模式，實(shí)踐課環(huán)節(jié)采用線下教學(xué)模式。具體而言，線上教學(xué)采用騰訊會(huì)議結(jié)合長江雨課堂的方式。其中，騰訊會(huì)議的優(yōu)勢在于網(wǎng)絡(luò)信號較好，具備多種屏幕共享模式，支持多人在線互動(dòng)。長江雨課堂的優(yōu)勢在于可保留教學(xué)過程視頻，支持教學(xué)過程中的隨堂測試和問卷，方便教師了解學(xué)員掌握相關(guān)知識點(diǎn)的情況，如圖3所示。

“增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)的差別”屬于較容易的知識點(diǎn)，通過一次講解，學(xué)員的掌握效果顯著。然而，對于較難的知識點(diǎn)，例如“增強(qiáng)現(xiàn)實(shí)系統(tǒng)基本功能結(jié)構(gòu)”，通過一次講解，學(xué)員仍不能完全理解該知識點(diǎn)，需要教師及時(shí)調(diào)整授課策略。

4 增強(qiáng)現(xiàn)實(shí)與智能交互教學(xué)實(shí)踐環(huán)節(jié)

4.1 課程實(shí)踐環(huán)節(jié)的必要性和目的

增強(qiáng)現(xiàn)實(shí)與智能交互是一門實(shí)踐性很強(qiáng)的課程，主要涉及計(jì)算機(jī)圖性學(xué)、計(jì)算機(jī)視覺、圖像處理、人機(jī)交互、機(jī)器學(xué)習(xí)、計(jì)算機(jī)程序設(shè)計(jì)等許多學(xué)科，所以該學(xué)科具有知識點(diǎn)多、涉及面廣、理論性強(qiáng)，需要學(xué)生具備較好的邏輯思維能力和數(shù)理基礎(chǔ)等特點(diǎn)，因此，必須通過實(shí)踐才能加深對知識的理解。從加強(qiáng)學(xué)生的實(shí)踐能力出發(fā)，考慮到課程的建設(shè)需要，需要加強(qiáng)增強(qiáng)現(xiàn)實(shí)與智能交互課程的實(shí)踐教學(xué)內(nèi)容。

4.2 面向?qū)W員基礎(chǔ)差異性較大的實(shí)踐設(shè)計(jì)思路

目前研究生學(xué)員的學(xué)習(xí)任務(wù)較重，并且學(xué)生的基礎(chǔ)參差不齊，所以在設(shè)計(jì)實(shí)踐環(huán)節(jié)時(shí)，必須把握如何能在較短的時(shí)間內(nèi)讓學(xué)生得到最大的能力鍛煉。在這種情況下，教師必須進(jìn)行充分的準(zhǔn)備，事先搭好通用的軟件框架，減輕學(xué)生不必要的負(fù)擔(dān)，為學(xué)生營造良好的氛圍，將學(xué)生的主要精力集中在創(chuàng)新實(shí)踐上，這樣才能提高實(shí)踐教學(xué)的效率。結(jié)合該課題組在人工智能[5]、無人機(jī)系統(tǒng)[6-7]、智能系統(tǒng)[8]等課程實(shí)踐的設(shè)計(jì)經(jīng)驗(yàn)，該課程的實(shí)踐環(huán)節(jié)推薦學(xué)員使用Unity軟件，可根據(jù)學(xué)員自身的編程基礎(chǔ)和偏好，自選Vuforia、ARcore、easyAR等組件。

4.3 課程實(shí)踐小結(jié)

2020年春季學(xué)期，9名學(xué)員自愿分為6組完成了實(shí)踐環(huán)節(jié)。部分實(shí)踐作業(yè)完成情況如圖4所示。

圖4（a）所示實(shí)踐作業(yè)采用Unity+Vuforia平臺(tái)，用校園卡背面的圖案對著攝像頭，通過圖像匹配和視頻疊加，可在校園卡表面播放指定視頻，視頻具有暫停按鈕和播放按鈕等人機(jī)交互方式。

該組兩位學(xué)員來自于政治學(xué)專業(yè)，無任何計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)編程基礎(chǔ)。教員和他們自己起初都很擔(dān)心無法完成課程實(shí)踐環(huán)節(jié)，后來他們自學(xué)軟件使用方法，開發(fā)了增強(qiáng)現(xiàn)實(shí)小應(yīng)用，提升了能力和信心，并計(jì)劃將增強(qiáng)現(xiàn)實(shí)技術(shù)用于政治工作的宣傳上，實(shí)現(xiàn)了多學(xué)科的交叉融合運(yùn)用。

圖4（b）所示實(shí)踐作業(yè)采用Unity+Vuforia平臺(tái)，選擇C#編程語言。通過手機(jī)拍攝圖片，識別之后，會(huì)在圖片上方產(chǎn)生相應(yīng)的動(dòng)態(tài)背景與虛擬人物，并伴隨音樂背景。人物模型自下而上緩緩升起，當(dāng)人物完全出現(xiàn)后，動(dòng)態(tài)背景消失，系統(tǒng)會(huì)播放歡迎語句[9]。在不同的圖片上，會(huì)產(chǎn)生不同的人物的模型，每個(gè)人物模型會(huì)有不同的動(dòng)作。通過手指操作手機(jī)屏幕，可以對人物模型進(jìn)行操作，對人物進(jìn)行放大或縮小，也可以旋轉(zhuǎn)人物模型，從不同角度觀察人物模型。撲克牌1中的人物模型的動(dòng)作包含：“走路”“跳舞”“跑步”“射箭”。撲克牌2中的人物模型的動(dòng)作包含：“跑步”“跳舞”“俯身”“眺望”“射箭”。

該組學(xué)員來自于計(jì)算機(jī)學(xué)院，具備較好的編程基礎(chǔ)，且具有較高的學(xué)習(xí)熱情，因此自選較高難度的實(shí)踐作業(yè)。通過課程實(shí)踐，該學(xué)員加深了對AR理論和技術(shù)的理解，初步具備了AR項(xiàng)目開發(fā)的經(jīng)驗(yàn)。

5 ?結(jié)語

增強(qiáng)現(xiàn)實(shí)與智能交互課程以交互技術(shù)、成像技術(shù)、跟蹤定位技術(shù)為教學(xué)核心內(nèi)容，結(jié)合難易適度的課程實(shí)踐設(shè)計(jì)，幫助學(xué)員深入理解增強(qiáng)現(xiàn)實(shí)的基本理論，培養(yǎng)了學(xué)員的創(chuàng)新能力和信心，最終提高了課程的教學(xué)效果。2020年，首次實(shí)現(xiàn)了線上理論結(jié)合線下實(shí)踐的混合式教學(xué)模式，取得了較好的效果。學(xué)員們反饋，實(shí)踐環(huán)節(jié)難度合適，加深了他們對增強(qiáng)現(xiàn)實(shí)理論知識的理解，激發(fā)了他們對增強(qiáng)現(xiàn)實(shí)技術(shù)的興趣。該課程擬構(gòu)建實(shí)踐教學(xué)案例庫，實(shí)現(xiàn)具有持續(xù)性和繼承性的實(shí)踐教學(xué)新模式。

參考文獻(xiàn)

[1] 張竑.虛擬實(shí)踐研究[D].北京：中共中央黨校，2019.

[2] 韋艷嬌.沉浸式虛擬現(xiàn)實(shí)課堂設(shè)計(jì)方案研究[D].上海師范大學(xué)，2017.

[3] 迪特爾·施馬爾斯蒂格，托比亞斯·霍勒爾.增強(qiáng)現(xiàn)實(shí)：原理與實(shí)踐（英文版）[M].北京：機(jī)械工業(yè)出版社，2018. [4] 盧強(qiáng).信息技術(shù)環(huán)境下課程學(xué)習(xí)生態(tài)研究[D].華中師范大學(xué)，2017.

[5] 張國忠.淺談人工智能課程的教學(xué)實(shí)踐環(huán)節(jié)[J].科技資訊，2007（15）：139-140.

[6] 李杰，王菖，牛軼峰，等.無人機(jī)系統(tǒng)智能決策課程教學(xué)設(shè)計(jì)與實(shí)踐[J].計(jì)算機(jī)教育，2016（10）：11-14.

[7] 牛軼峰，賈圣德，李杰，等.以智能為核心的無人機(jī)系統(tǒng)課程體系設(shè)計(jì)[J].計(jì)算機(jī)教育，2016（10）：37-41.

[8] 王慧，姜守嶺.數(shù)字液壓缸反饋螺桿庫倫摩擦仿真研究[J].控制工程，2020，27（4）：662-668.

[9] 韓雨江.當(dāng)代數(shù)字視覺藝術(shù)研究[D].長春：東北師范大學(xué)，2019.