AR技術(shù)在教育類游戲中的交互優(yōu)勢

錢音旋

（南京藝術(shù)學(xué)院工業(yè)設(shè)計(jì)學(xué)院,江蘇南京 210013）

近年來，隨著科學(xué)技術(shù)的迭代更新與眾多從業(yè)人員的創(chuàng)新與努力，新媒體交互設(shè)計(jì)的相關(guān)應(yīng)用已經(jīng)遍布多個(gè)學(xué)科領(lǐng)域，教育領(lǐng)域同樣對新興技術(shù)的應(yīng)用進(jìn)行了多方探索。其中，增強(qiáng)現(xiàn)實(shí)技術(shù)憑借其獨(dú)特的交互優(yōu)勢成為近幾年新興教育模式的領(lǐng)軍探索者。增強(qiáng)現(xiàn)實(shí)（Augmented Reality），簡稱AR。其發(fā)展歷程與虛擬現(xiàn)實(shí)（VR）技術(shù)密不可分，虛擬現(xiàn)實(shí)技術(shù)由計(jì)算機(jī)模擬搭建虛擬場景，用戶在進(jìn)行體驗(yàn)時(shí)會完全沉浸于虛擬環(huán)境中，硬件設(shè)備上則需要借助頭戴式等設(shè)備進(jìn)行交互體驗(yàn)。增強(qiáng)現(xiàn)實(shí)則是在真實(shí)環(huán)境基礎(chǔ)上疊加虛擬元素，計(jì)算機(jī)生成的虛擬圖像信息會實(shí)時(shí)疊加到真實(shí)環(huán)境中。用戶借助硬件設(shè)備對真實(shí)環(huán)境進(jìn)行掃描，便能夠在定點(diǎn)標(biāo)記處獲取三維圖像、聲音、視頻、圖像界面等多種信息。教育類AR游戲應(yīng)用情境可大致分為課堂教育、職業(yè)技能教育、博物館藝術(shù)展等帶有科普性質(zhì)的展覽展項(xiàng)。其中針對學(xué)齡前兒童教育、中小學(xué)學(xué)科教育的AR游戲應(yīng)用作品最為常見。AR之所以能夠快速應(yīng)用于教育類游戲開發(fā)，得益于其交互模式在教育領(lǐng)域具有極大優(yōu)勢，以下將從幾個(gè)主要特點(diǎn)進(jìn)行解析。

一、虛實(shí)結(jié)合與實(shí)時(shí)跟蹤

增強(qiáng)現(xiàn)實(shí)技術(shù)是借助于三維顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)、計(jì)算機(jī)視覺技術(shù)以及多媒體技術(shù)把計(jì)算機(jī)生成的二維或三維的虛擬信息融合到用戶所要體驗(yàn)的真實(shí)環(huán)境中的一種技術(shù)。AR技術(shù)虛實(shí)結(jié)合的核心特征是其超越VR，被廣大教育領(lǐng)域探索采用的主要因素。AR系統(tǒng)的運(yùn)行一般包含以下4個(gè)基本步驟：獲取真實(shí)場景信息；對真實(shí)場景和相機(jī)位置信息進(jìn)行分析；生成虛擬景物；合并視頻或直接顯示。更通俗地對AR應(yīng)用設(shè)計(jì)開發(fā)流程進(jìn)行拆分詳解可以分為以下幾個(gè)核心模塊：（1）確定目標(biāo)識別物。業(yè)界往往選用二維圖像作為被識別目標(biāo)，且目標(biāo)應(yīng)當(dāng)具備邊緣清晰、色彩對比度強(qiáng)烈等具有較高被識別度的特征。（2）攝像頭掃描現(xiàn)實(shí)場景，尋找已設(shè)定好的被識別目標(biāo)。（3）觸發(fā)識別目標(biāo)后在實(shí)景中實(shí)時(shí)疊加生成特定內(nèi)容，如三維模型（可含動畫）、視頻、交互界面、文字語音信息等內(nèi)容。虛實(shí)結(jié)合的交互特點(diǎn)決定了用戶不會完全脫離實(shí)際教育場景，教學(xué)效果相對可控，而生成的虛擬內(nèi)容能夠進(jìn)行實(shí)時(shí)跟蹤則大大增強(qiáng)了用戶臨場體驗(yàn)感，為進(jìn)一步設(shè)計(jì)交互流程提供了基礎(chǔ)支撐。

二、抽象概念可視化

增強(qiáng)現(xiàn)實(shí)技術(shù)之所以在教育領(lǐng)域有著巨大的潛力和應(yīng)用前景，除了虛實(shí)結(jié)合的核心特征以外，與它能夠?qū)⒊橄蟮闹R概念形象化、可視化，使信息獲取方式更加直觀也有關(guān)。將抽象的知識概念進(jìn)行視覺化演示，有助于受教育者更好地理解和吸收新知識，尤其在低學(xué)齡兒童與青少年教育中能夠發(fā)揮極好的引導(dǎo)和輔助作用。

Bhadra、Brown、Ke、Liu為學(xué)齡前兒童開發(fā)了一款識字游戲“ABC3D”。這是一款增強(qiáng)現(xiàn)實(shí)手機(jī)游戲，旨在引導(dǎo)學(xué)齡前兒童學(xué)習(xí)認(rèn)字。這個(gè)AR游戲分為兩個(gè)模塊：字母識別和物體收集游戲模塊，團(tuán)隊(duì)用Unity 3D開發(fā)了這個(gè)AR游戲，然后使用Vuforia SDK進(jìn)行圖像處理。兒童通過用移動設(shè)備掃描學(xué)習(xí)卡，設(shè)備屏幕中就會呈現(xiàn)相應(yīng)的3d模型和畫外音，幫助孩子們學(xué)習(xí)詞匯、拼寫和發(fā)音。例如，當(dāng)用戶正確寫入大寫字母T時(shí)，T將被識別，一棵樹的3D模型會出現(xiàn)，與此同時(shí)，系統(tǒng)將給出正確拼寫來加深兒童的學(xué)習(xí)記憶。這種AR游戲設(shè)計(jì)可以顯著提高學(xué)習(xí)興趣和學(xué)習(xí)效果，操作界面也相對簡單明了。由于目標(biāo)用戶是幼兒，如何教孩子使用應(yīng)用程序引入值得思考，這款應(yīng)用程序總體交互流程相對簡便。由于增強(qiáng)現(xiàn)實(shí)游戲應(yīng)用能夠?qū)和y以理解的詞匯直觀的疊加呈現(xiàn)可觀看的三維模型，并且游戲式教學(xué)相比傳統(tǒng)模式更加具有趣味性，故而教學(xué)效果能夠獲得大幅提升。

三、多標(biāo)記點(diǎn)識別互動

AR技術(shù)能夠支持多個(gè)標(biāo)記點(diǎn)同時(shí)進(jìn)行識別，被識別內(nèi)容將會實(shí)時(shí)、同步出現(xiàn)在掃描設(shè)備中。以此為基礎(chǔ)，AR游戲設(shè)計(jì)者可以進(jìn)行多模塊、所組件的交互流程設(shè)計(jì)。

蔡蘇團(tuán)隊(duì)針對初中化學(xué)教育設(shè)計(jì)過一個(gè)AR應(yīng)用游戲，團(tuán)隊(duì)利用Java、NyARToolkit、Java3D和JMF開發(fā)了這個(gè)原型。它的目的是教學(xué)生兩個(gè)氫原子和一個(gè)氧原子如何通過相互作用組成一個(gè)水分子。三張卡片分別被設(shè)置為2個(gè)氫原子和1個(gè)氧原子的目標(biāo)識別標(biāo)記，在手持移動設(shè)備相機(jī)識別出目標(biāo)后，相應(yīng)的3d模型就會出現(xiàn)在畫面中。當(dāng)學(xué)生將三張卡片組合在一起時(shí)，氫原子和氧原子會自動組合成并水分子。學(xué)生們可以近距離的觀察水分子結(jié)構(gòu)。當(dāng)他們進(jìn)一步舉起卡片時(shí)，水分子就會轉(zhuǎn)變成水滴。這個(gè)AR原型非常簡單，省去了煩瑣的界面，通過簡單的交互直接學(xué)習(xí)化學(xué)分子知識。分子、原子等概念過于抽象，初中學(xué)生在進(jìn)行學(xué)習(xí)時(shí)很容易引起困惑。而團(tuán)隊(duì)利用增強(qiáng)現(xiàn)實(shí)技術(shù)將抽象等概念進(jìn)行可視化設(shè)計(jì)，有利于學(xué)生學(xué)習(xí)復(fù)雜的物理知識。同時(shí)基于多標(biāo)記點(diǎn)識別技術(shù)，學(xué)生能夠觀察到生動的三維模型并對其進(jìn)行組合和創(chuàng)造，這將會極大地提高學(xué)生學(xué)習(xí)興趣和對物理知識的理解。

四、擴(kuò)增內(nèi)容提供學(xué)習(xí)情境

AR的應(yīng)用開發(fā)早期主要由理工學(xué)科從業(yè)者進(jìn)行探索，得益于AR技術(shù)多年的發(fā)展演變，各大主流設(shè)計(jì)軟件公司介入了AR開發(fā)平臺的建設(shè)，AR應(yīng)用開發(fā)門檻相比從前已經(jīng)降低許多，并關(guān)聯(lián)了更多功能模塊，這對于新媒體藝術(shù)設(shè)計(jì)從業(yè)者來說無疑是利好消息。視覺傳達(dá)藝術(shù)、交互設(shè)計(jì)、數(shù)字媒體藝術(shù)等學(xué)科內(nèi)容現(xiàn)如今都可以疊加至增強(qiáng)現(xiàn)實(shí)應(yīng)用模塊中，對于新媒體設(shè)計(jì)者來說，了解AR應(yīng)用開發(fā)流程與平臺將對后續(xù)創(chuàng)作起到至關(guān)重要的作用。常見增強(qiáng)現(xiàn)實(shí)開發(fā)平臺主要有Vuforia、Wikitude、ARToolKit、Kudan、XZIMG等。對于交互設(shè)計(jì)師來說，Vuforia與功能強(qiáng)大的游戲開發(fā)引擎Unity進(jìn)行協(xié)同創(chuàng)作是目前最為常見的選擇方式。除了簡單的掃描標(biāo)記點(diǎn)出現(xiàn)虛擬三維模型以外，AR應(yīng)用還能夠作為大體量擴(kuò)增內(nèi)容的載體，為用戶提供強(qiáng)大的情境和現(xiàn)場學(xué)習(xí)體驗(yàn)。這些擴(kuò)增內(nèi)容包涵三維動畫、視頻、聲音、文字信息與UI交互界面等。只需要提前將標(biāo)記點(diǎn)巧妙的融合進(jìn)書本、卡片等教學(xué)用品中，用戶就能夠通過移動終端中交互界面的引導(dǎo)獲取無窮盡的學(xué)習(xí)擴(kuò)展內(nèi)容。

一家初創(chuàng)公司小河馬書（Little Hippo Book）針對家喻戶曉的故事“小紅帽”開發(fā)了一款增強(qiáng)現(xiàn)實(shí)兒童繪本應(yīng)用。這家公司用Vuforia SDK和Unity 3D為常見的兒童繪本開發(fā)了這款A(yù)R游戲應(yīng)用。它是為學(xué)齡前和小學(xué)年齡的兒童設(shè)計(jì)的。小紅帽兒童繪本需要搭配免費(fèi)的Hippo Magic應(yīng)用程序一同使用。購買小紅帽繪本后根據(jù)書中指南下載免費(fèi)Hippo Magic應(yīng)用程序至智能設(shè)備。兒童在翻閱故事繪本的過程中，可以掃描書中設(shè)置好的標(biāo)記點(diǎn)，3D動畫和音頻就會出現(xiàn)在屏幕中。動聽的畫外獨(dú)白和生動的3d動畫將出現(xiàn)在真實(shí)的繪本上方，向孩子進(jìn)一步講解故事。這款A(yù)R應(yīng)用程序有著十分精美的藝術(shù)設(shè)計(jì)，應(yīng)用程序的使用也極其便利。用AR交互和冒險(xiǎn)故事重新構(gòu)思傳統(tǒng)的兒童書籍，AR所提供的擴(kuò)增內(nèi)容提供了有趣生動的學(xué)習(xí)情境，吸引和激發(fā)孩子們的閱讀興趣，進(jìn)一步強(qiáng)化了教育效果。

五、結(jié)語

AR既依托于科學(xué)技術(shù)的支撐，也能夠融合藝術(shù)設(shè)計(jì)學(xué)科的美學(xué)理念與用戶體驗(yàn)設(shè)計(jì)，對AR應(yīng)用的探索是跨學(xué)科、跨媒介、藝術(shù)與科技的通力合作。增強(qiáng)現(xiàn)實(shí)技術(shù)因其虛實(shí)結(jié)合、可視化、實(shí)時(shí)交互等獨(dú)特優(yōu)勢受到了新興教育模式的青睞。增強(qiáng)現(xiàn)實(shí)技術(shù)在教育中有著廣泛的應(yīng)用。它既適用于各年齡層次的學(xué)科教育，也適用于專項(xiàng)職業(yè)技能的學(xué)習(xí)和培訓(xùn)。增強(qiáng)現(xiàn)實(shí)交互游戲可以顯著提高學(xué)生的課堂參與度，有利于學(xué)生集中精力與注意力，隨著開發(fā)平臺的技術(shù)發(fā)展，設(shè)計(jì)理念的推陳出新，增強(qiáng)現(xiàn)實(shí)技術(shù)在教育類游戲中的應(yīng)用將會有更加廣闊的發(fā)展前景。此外，教育類應(yīng)用的設(shè)計(jì)還背負(fù)著社會使命，AR游戲具有引導(dǎo)用戶自主學(xué)習(xí)、承載信息體量巨大的獨(dú)特優(yōu)勢，AR交互游戲在教育領(lǐng)域的推廣還有助于促進(jìn)社會教育公平。在這種新的環(huán)境下，如何設(shè)計(jì)AR游戲的教學(xué)流程，如何在學(xué)習(xí)過程中進(jìn)行互動環(huán)節(jié)設(shè)置，并評價(jià)其學(xué)習(xí)引導(dǎo)效果，是當(dāng)前增強(qiáng)現(xiàn)實(shí)游戲設(shè)計(jì)的難點(diǎn)。歸根結(jié)底，技術(shù)只是一種工具，合適的教學(xué)方法決定著教育的最終質(zhì)量。

然而，盡管AR技術(shù)在各個(gè)領(lǐng)域都有著優(yōu)異的發(fā)展?jié)摿?，但AR技術(shù)的應(yīng)用實(shí)現(xiàn)仍然存在許多問題亟待解決。例如，課堂教學(xué)中教師很難控制AR教學(xué)的總體進(jìn)度。AR教學(xué)設(shè)備的購置費(fèi)用與后續(xù)管理成本高昂。此外，如何確保用戶使用移動設(shè)備進(jìn)行有效學(xué)習(xí)而不分散注意力也是一種挑戰(zhàn)。AR帶給我們的不僅僅是單純的技術(shù)或開發(fā)工具，也是一種新興教學(xué)模式的探索。將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于教育領(lǐng)域是一種新的嘗試，也是一個(gè)具有廣闊發(fā)展前景的課題。未來，隨著5G數(shù)據(jù)傳輸和移動設(shè)備的技術(shù)改造,以及創(chuàng)作開發(fā)平臺的普及化，AR技術(shù)的平臺局限性將逐漸降低。AR在教育領(lǐng)域的應(yīng)用將深入到日常生活的方方面面，新媒體技術(shù)帶來的沉浸式體驗(yàn)將更加真實(shí)。在大數(shù)據(jù)時(shí)代，教學(xué)模式與科技、設(shè)計(jì)的結(jié)合將具有廣闊的發(fā)展前景。