基于增強(qiáng)現(xiàn)實(shí)技術(shù)的沉浸式教學(xué)方法設(shè)計(jì)研究

雷浩鵬，辛 玲

（1. 江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，江西 南昌330022；2. 江西師范大學(xué)附屬小學(xué)，江西 南昌 330027）

1 背景及現(xiàn)狀

近年來，隨著信息化技術(shù)的迅速發(fā)展，新的教學(xué)方法正在不斷涌現(xiàn)，其中虛擬現(xiàn)實(shí)（Virtual Reality, 簡稱VR）作為當(dāng)前最具活力和前景的技術(shù)之一，已在教學(xué)實(shí)踐中得到一定程度的普及與應(yīng)用[1-2]。增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality，簡稱AR）是虛擬現(xiàn)實(shí)領(lǐng)域中一個重要的分支，通過將計(jì)算機(jī)生成的虛擬物體和場景無縫嵌入到真實(shí)世界中而產(chǎn)生的一種特殊可視化環(huán)境，用戶通過戴上AR眼鏡、數(shù)據(jù)手套等特殊設(shè)備便可以進(jìn)入該環(huán)境中進(jìn)行人機(jī)交互，從而實(shí)現(xiàn)對現(xiàn)實(shí)信息的增強(qiáng)。同傳統(tǒng)的VR技術(shù)相比，AR可以讓現(xiàn)實(shí)的物體場景和數(shù)字化虛擬對象很好地融為一體，有著更強(qiáng)的真實(shí)感，三維建模工作量也大大減少，所以具有更加明顯的技術(shù)優(yōu)勢。

由于AR能直接帶給用戶身臨其境的感受，因此把該技術(shù)作為一種新的教學(xué)媒體無疑會對高校教學(xué)產(chǎn)生深遠(yuǎn)的影響。傳統(tǒng)基于PPT等二維文本、圖像等靜態(tài)平面式多媒體教學(xué)環(huán)境，將向更為逼真的三維交互式學(xué)習(xí)環(huán)境方向發(fā)展。增強(qiáng)現(xiàn)實(shí)技術(shù)本身所具備的沉浸性和交互性等特征可使高校教師形象生動地展示教學(xué)內(nèi)容，學(xué)生也能更直觀地理解相關(guān)知識點(diǎn)，從而把被動灌輸式學(xué)習(xí)轉(zhuǎn)化為主動興趣式學(xué)習(xí)，進(jìn)而大大提高教師的教學(xué)效率和學(xué)生的接受能力。因此，如何將AR運(yùn)用到高校教學(xué)，正成為當(dāng)今高等教育領(lǐng)域的研究熱點(diǎn)。

在國外，基于AR的教育項(xiàng)目正成為一種越來越普及的教育媒體設(shè)計(jì)方案。美國華盛頓大學(xué)開發(fā)名為“Magic Book”的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，使傳統(tǒng)出版讀物的圖文描述轉(zhuǎn)變?yōu)槿S立體成像，開創(chuàng)了增強(qiáng)現(xiàn)實(shí)技術(shù)在教育教學(xué)中應(yīng)用的初倪。文獻(xiàn)[3]采用AR 技術(shù)把計(jì)算機(jī)生成的動畫故事疊加在現(xiàn)實(shí)世界真實(shí)環(huán)境中。文獻(xiàn)[4]詳細(xì)介紹了AR在培訓(xùn)、探究學(xué)習(xí)等方面的應(yīng)用情況。如今在AR應(yīng)用研究方面，國外成熟的系統(tǒng)遍地開花，并結(jié)合相關(guān)的教學(xué)理論和學(xué)習(xí)理論進(jìn)行了多方面的論述，成果斐然。

在國內(nèi)，許多高校已開展虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)方面的研究工作。其中最有代表的就是北京師范大學(xué)現(xiàn)代教育研究所研發(fā)的“未來之書”，該團(tuán)隊(duì)制作了一本虛實(shí)融合的立體交互書，利用增強(qiáng)現(xiàn)實(shí)的圖像識別、三維成像等技術(shù)克服傳統(tǒng)圖書的不足，帶來了新的教學(xué)模式和方法[5]。文獻(xiàn)[6]通過對增強(qiáng)現(xiàn)實(shí)教學(xué)媒體成熟案例的分析，從學(xué)習(xí)內(nèi)容、情境增強(qiáng)、交互互動和學(xué)習(xí)模式4個方面探討了增強(qiáng)現(xiàn)實(shí)教育系統(tǒng)的設(shè)計(jì)模型。文獻(xiàn)[7]分析并研究了增強(qiáng)現(xiàn)實(shí)在現(xiàn)代教學(xué)中的發(fā)展?jié)撃芎挖厔?，通過搜集AR在教學(xué)學(xué)具開發(fā)等教育領(lǐng)域中的應(yīng)用案例，總結(jié)AR在教育應(yīng)用中展現(xiàn)出的優(yōu)勢和不足。

據(jù)《2017年中國虛擬現(xiàn)實(shí)產(chǎn)業(yè)走勢》得知，我國VR產(chǎn)業(yè)規(guī)模已達(dá)到170.5億元，并且已經(jīng)開始在電影、游戲、醫(yī)療、工程設(shè)計(jì)等領(lǐng)域得到廣泛應(yīng)用[8]。同時，我國正逐漸加大對VR和AR產(chǎn)業(yè)的政策引導(dǎo)和扶持，讓其能夠迅速得到發(fā)展，力爭全方位打造VR和AR產(chǎn)業(yè)大國。然而，如何將AR引入到高等教育領(lǐng)域，從而形成先進(jìn)的教學(xué)理念和方法，并為廣大高校教師和學(xué)生提供更加優(yōu)質(zhì)的教學(xué)資源，此方面有關(guān)研究工作相當(dāng)稀少，這也是當(dāng)今教學(xué)改革的當(dāng)務(wù)之急[9]。

2 教學(xué)方法設(shè)計(jì)中需解決的關(guān)鍵問題

AR作為教育領(lǐng)域內(nèi)最有發(fā)展前景的多媒體技術(shù)，將其引入到高校教學(xué)中可以極大促進(jìn)教學(xué)工作，提高教學(xué)質(zhì)量，突破傳統(tǒng)教學(xué)方式所帶來的各種限制，使得學(xué)習(xí)過程變得更加生動。但是要利用AR設(shè)計(jì)好一堂課程，對于教師來講是一個極大的挑戰(zhàn)：既要讓學(xué)生覺得有趣，又要起到傳道解惑的作用。此外，由于在教學(xué)方法各個環(huán)節(jié)的設(shè)計(jì)上與傳統(tǒng)的教學(xué)方法設(shè)計(jì)也完全不同，以前的教學(xué)經(jīng)驗(yàn)在很多時候并不適用?？傮w來講，應(yīng)用AR到教學(xué)之中有以下幾個關(guān)鍵問題需要得到解決。

1）基于AR的教學(xué)場景中各個功能模塊的構(gòu)建。

基于AR的教學(xué)場景設(shè)計(jì)要點(diǎn)是將虛擬元素加入真實(shí)教學(xué)環(huán)境，以此來引導(dǎo)學(xué)生逐漸進(jìn)入情境課堂，并提供有效的交互來刺激感官。這個過程涉及的關(guān)鍵技術(shù)繁多，包括三維顯示、虛實(shí)合成和人機(jī)交互等。在教學(xué)硬件上，一方面需要能夠采集真實(shí)世界信息的設(shè)備，另一方面需要實(shí)時媒體能夠融入虛擬內(nèi)容的設(shè)備。因此如何結(jié)合教學(xué)內(nèi)容來運(yùn)用相關(guān)技術(shù)設(shè)備，從而設(shè)計(jì)出基于AR教學(xué)場景的各個功能模塊（如教學(xué)內(nèi)容顯示、教師講解、學(xué)生感知交互等模塊），成為著重考慮的內(nèi)容。

2）基于AR的交互式教學(xué)方法和教學(xué)內(nèi)容的設(shè)計(jì)。

基于AR的教學(xué)方法和教學(xué)內(nèi)容的設(shè)計(jì)與傳統(tǒng)課堂的教學(xué)方法和內(nèi)容大不相同：傳統(tǒng)教學(xué)方法設(shè)計(jì)以教師為中心，在教師的講授中僅以文字和靜態(tài)課件的形式強(qiáng)化教學(xué)內(nèi)容，缺少教學(xué)信息與學(xué)生之間的互動；基于AR的教學(xué)方法和內(nèi)容設(shè)計(jì)則需考慮如何突出學(xué)生的主體地位，進(jìn)而讓學(xué)生體驗(yàn)學(xué)習(xí)，通過三維虛擬數(shù)字內(nèi)容來傳遞知識，實(shí)時交互讓學(xué)生深入理解教學(xué)內(nèi)容，同時還要避免三維動畫場景引發(fā)學(xué)生注意力轉(zhuǎn)移的弊端。

3）基于AR的教學(xué)效果評價體系設(shè)計(jì)。

在教學(xué)中引入AR的目的是為了讓學(xué)生更好地掌握課程知識，所以必須要設(shè)計(jì)合理和科學(xué)的教學(xué)效果評價體系來保障教師實(shí)現(xiàn)課程目標(biāo)。由于基于AR的教學(xué)還屬于新興事物，目前處于探索階段，所以與傳統(tǒng)的教學(xué)效果評價標(biāo)準(zhǔn)不同。設(shè)計(jì)基于AR的教學(xué)效果評價體系必須要充分分析教學(xué)目標(biāo)和教學(xué)對象，要建立學(xué)習(xí)結(jié)果與學(xué)習(xí)過程并重的評價機(jī)制，做到評價目標(biāo)多元化、評價手段多樣化、定性評價和定量評價并舉，這樣才能發(fā)現(xiàn)教學(xué)過程中所遇見的問題，進(jìn)而對基于AR的教學(xué)方法進(jìn)行改進(jìn)。

3 基于AR的教學(xué)平臺和教學(xué)方法構(gòu)建

自2016年以來，江西省南昌市正在著力發(fā)展成為世界級的AR和VR產(chǎn)業(yè)中心，力爭占領(lǐng)全國虛擬現(xiàn)實(shí)產(chǎn)業(yè)的制高點(diǎn)。依托省政府出臺的各項(xiàng)促進(jìn)AR/VR產(chǎn)業(yè)發(fā)展的鼓勵政策，借鑒國內(nèi)外高校的成功經(jīng)驗(yàn)，并結(jié)合江西師范大學(xué)傳統(tǒng)優(yōu)勢教育學(xué)科基礎(chǔ)，筆者搭建了一套基于AR/VR現(xiàn)實(shí)技術(shù)的教學(xué)平臺系統(tǒng)，將AR獨(dú)特的交互性、沉浸性和想象性等特點(diǎn)應(yīng)用到教學(xué)實(shí)踐中，創(chuàng)建逼真的三維學(xué)習(xí)情境，幫助學(xué)生更有效地達(dá)到掌握知識的目的。

3.1 教學(xué)場景的搭建

搭建基于AR的教學(xué)場景是整個教學(xué)過程中最重要的一步，設(shè)計(jì)核心是利用虛實(shí)結(jié)合、三維呈現(xiàn)以及實(shí)時交互的特點(diǎn)來彌補(bǔ)傳統(tǒng)教學(xué)環(huán)境的不足。AR教學(xué)場景的創(chuàng)建不僅要遵循真實(shí)的教學(xué)情境設(shè)計(jì)原則，還要能形象直觀地呈現(xiàn)學(xué)科知識。除此之外，該教學(xué)平臺必須操作簡便，隨時隨地能夠使用，且成本不宜太高，否則會影響平臺進(jìn)一步地推廣，所以這對整個教學(xué)場景的硬件和軟件的搭建都提出了很高的要求。因此，筆者對整個教學(xué)平臺的功能進(jìn)行模塊化處理。在硬件顯示終端，筆者選取SHINECON Y012 AR Glass和3D顯示頭盔，學(xué)生通過佩戴AR眼鏡等方式在顯示設(shè)備上呈現(xiàn)真實(shí)教學(xué)場景和虛擬影像實(shí)時疊加的三維立體教學(xué)環(huán)境，如圖1(a)所示。此外，在教學(xué)過程中學(xué)生可以運(yùn)用AR手柄和數(shù)據(jù)手套來操縱顯示內(nèi)容，進(jìn)行交互學(xué)習(xí)。在軟件平臺，筆者選取ARToolKit開發(fā)包和Unity引擎開發(fā)教學(xué)相關(guān)的三維場景和模型。為了豐富教學(xué)內(nèi)容，筆者使用3D max、OpenGl等三維圖形建模工具并按照不同學(xué)科內(nèi)容構(gòu)建不同的三維模型，例如建筑設(shè)計(jì)專業(yè)中的三維建筑模型、化學(xué)專業(yè)中的蛋白分子模型、醫(yī)學(xué)專業(yè)中的人體骨骼模型等。除此之外，筆者還利用Google 3D warehouse，3D café等三維搜索引擎擴(kuò)展教學(xué)平臺中的三維模型和虛擬信息資源，通過Unity引擎將這些模型導(dǎo)入到AR系統(tǒng)中，并進(jìn)行場景匹配和目標(biāo)識別，直接將相關(guān)資源加載到真實(shí)場景中，實(shí)現(xiàn)虛實(shí)結(jié)合，如圖1(b)所示。在授課時，教師可以根據(jù)不同學(xué)科專業(yè)的教學(xué)內(nèi)容調(diào)用AR教學(xué)平臺中對應(yīng)的三維模型資源，與學(xué)生進(jìn)行互動展示。

圖1 基于AR教學(xué)場景的搭建

3.2 教學(xué)方法和策略的設(shè)計(jì)

教學(xué)方法和策略是在不同的教學(xué)情境下，為達(dá)到不同的教學(xué)結(jié)果所采用的手段，是教學(xué)規(guī)律和教學(xué)原理的具體化。基于AR的教學(xué)方法要求把課堂內(nèi)容和虛擬環(huán)境有效結(jié)合，將教學(xué)內(nèi)容和資源合理地存放于教學(xué)平臺中進(jìn)行信息傳遞，既要調(diào)動學(xué)生主觀能動性，也要充分發(fā)揮教師的引導(dǎo)性,從而為復(fù)雜抽象的教學(xué)內(nèi)容提供合理的解決方案。因此，根據(jù)AR具有沉浸性等特點(diǎn)，筆者采用探索式教學(xué)方法，讓教師引導(dǎo)學(xué)生進(jìn)入情境，學(xué)生利用增強(qiáng)現(xiàn)實(shí)設(shè)備主動探究，從而調(diào)動學(xué)生主觀能動性，完成知識構(gòu)建。例如，計(jì)算機(jī)輔助建筑設(shè)計(jì)專業(yè)學(xué)生面臨繁重的學(xué)習(xí)任務(wù)：一方面必須掌握建筑結(jié)構(gòu)、空間、材料等建筑學(xué)的基本概念；另一方面要求能夠?qū)⑦@些抽象概念進(jìn)行準(zhǔn)確表達(dá)，并通過CAD等計(jì)算機(jī)輔助工具描繪出來。這就需要該專業(yè)的學(xué)生有很強(qiáng)的理解能力和十分豐富的空間想象能力。但是，傳統(tǒng)的教學(xué)方式無法讓學(xué)生觀察到真正的實(shí)體建筑模型，只能讓學(xué)生在抽象層面上進(jìn)行理解，缺乏感性認(rèn)識。因此，在教學(xué)實(shí)踐中，筆者在應(yīng)用基于AR的教學(xué)平臺給該專業(yè)學(xué)生授課時，首先通過三維建模等方式將一些經(jīng)典建筑實(shí)例的三維模型導(dǎo)入到平臺中，再利用AR強(qiáng)大的可視化技術(shù)將這些經(jīng)典的建筑逼真地顯示出來，讓學(xué)生在課堂上以沉浸式漫游的方式直觀地觀察建筑內(nèi)部的三維結(jié)構(gòu)。同時，在此過程中，教師不斷地進(jìn)行引導(dǎo)，直接將建筑學(xué)中的概念引入到演示內(nèi)容中，并且讓學(xué)生對演示內(nèi)容進(jìn)行自由交互，根據(jù)自身需求從不同層面和角度觀察三維建筑模型，幫助學(xué)生真正體會和理解相關(guān)知識。實(shí)踐證明，這種教學(xué)方式可以充分激發(fā)學(xué)生的學(xué)習(xí)興趣和熱情，取得較好的教學(xué)效果。

3.3 教學(xué)質(zhì)量評價機(jī)制的建立

教學(xué)評價是依據(jù)教學(xué)目標(biāo)對教學(xué)過程及結(jié)果進(jìn)行價值判斷，并為教學(xué)決策服務(wù)的活動，是教師改進(jìn)教學(xué)策略、完善教學(xué)功能的重要依據(jù)?；贏R的教學(xué)方法尚不成熟，并不一定能夠取得立竿見影的效果，還有很多地方需要改進(jìn)和創(chuàng)新，因此必須要建立針對基于增強(qiáng)現(xiàn)實(shí)教學(xué)質(zhì)量的評價機(jī)制。該機(jī)制需結(jié)合教學(xué)環(huán)境、教學(xué)條件、教學(xué)內(nèi)容等特點(diǎn)，并且要充分考慮學(xué)生的學(xué)習(xí)心理及認(rèn)知規(guī)律等因素，及時反饋學(xué)生掌握知識的程度和情況，從而對教師的整體教學(xué)設(shè)計(jì)、教學(xué)組織和實(shí)施等方面進(jìn)行綜合分析和判斷。筆者結(jié)合基于AR的教學(xué)特點(diǎn)分別從教學(xué)內(nèi)容、教學(xué)組織、教學(xué)能力和教學(xué)效果4個方面建立教學(xué)質(zhì)量一級評價指標(biāo)，每個一級評價指標(biāo)下又包含若干個教學(xué)質(zhì)量二級評價指標(biāo)，整個基于AR的教學(xué)質(zhì)量評價體系如圖2所示。

這套評價體系分別從學(xué)生和教師兩個不同的方面對基于增強(qiáng)現(xiàn)實(shí)技術(shù)的教學(xué)平臺進(jìn)行評價，既包含了對于平臺所展示的教學(xué)內(nèi)容學(xué)生是否覺得具有趣味性、科學(xué)性和創(chuàng)新性等，也包含了平臺在教學(xué)能力上是否幫助教師講授知識和提高教學(xué)效率等。筆者采用調(diào)查問卷和現(xiàn)場打分等多種形式，分別讓使用過教學(xué)平臺的教師和學(xué)生進(jìn)行教學(xué)反饋，相應(yīng)的評價標(biāo)準(zhǔn)按照師生的體驗(yàn)性劃分為優(yōu)秀、良好、一般和較差4個等級，此外也考慮了同行和專家的評價意見，最后評價結(jié)果如圖3所示。

圖2 基于AR教學(xué)質(zhì)量評價體系

圖3 基于AR教學(xué)質(zhì)量評價結(jié)果

根據(jù)評價結(jié)果，我們可以得知在教學(xué)內(nèi)容上利用AR得到了師生比較好的評價，特別在創(chuàng)新性和趣味性等方面帶給了學(xué)生耳目一新的感覺；在教學(xué)效果上也能夠有效地啟發(fā)學(xué)生思維，幫助學(xué)生理解知識。對于教師而言，在一定程度上可以提高教師的教學(xué)能力，但是基于不同的專業(yè)背景，很多教師對于操縱基于AR的教學(xué)平臺并不是很熟悉，因此影響老師的教學(xué)體驗(yàn)。此外，該平臺在教學(xué)組織方面則略顯不足。經(jīng)調(diào)查得知，主要還是基于AR的教學(xué)，雖然提供學(xué)生強(qiáng)大視覺感染力，但是也分散了學(xué)生的注意力，影響了課堂秩序。此外，有些學(xué)生反映在佩戴增強(qiáng)現(xiàn)實(shí)眼鏡時間過久的情況下，尤其當(dāng)出現(xiàn)三維畫面旋轉(zhuǎn)時就會造成頭暈、惡心等癥狀，從而影響學(xué)習(xí)效果，這些都是進(jìn)一步設(shè)計(jì)基于AR的教學(xué)方法需要改進(jìn)的地方。

4 結(jié) 語

相對于傳統(tǒng)二維化的平面教學(xué)，AR不僅給學(xué)生提供更加生動的教學(xué)環(huán)境，還具備新媒體教學(xué)系統(tǒng)強(qiáng)大的互動性，讓學(xué)生沉浸于虛擬和現(xiàn)實(shí)營造的學(xué)習(xí)氛圍中?？梢灶A(yù)見的是，AR將為高等教學(xué)提供一條新的途徑和思路，并能夠?yàn)閺V大高校的教師和學(xué)生提供十分豐富的教學(xué)手段和內(nèi)容。與此同時，筆者還結(jié)合慕課、微課等互聯(lián)網(wǎng)教育新形式，制作視頻課程，與遠(yuǎn)程學(xué)習(xí)者進(jìn)行互動交流，從而將AR推廣到更多應(yīng)用領(lǐng)域。