增強(qiáng)現(xiàn)實動畫技術(shù)在兒童教育中的開發(fā)研究
——以AR涂涂樂為例

（四川音樂學(xué)院，四川 成都 610000）

隨著2016年增強(qiáng)現(xiàn)實（Augmented Reality）技術(shù)的爆發(fā)式增長，各大科技企業(yè)如谷歌、Facebook、阿里巴巴等開始投資虛擬現(xiàn)實和增強(qiáng)現(xiàn)實領(lǐng)域，而可口可樂與宜家家居在增強(qiáng)現(xiàn)實AR廣告的應(yīng)用，更加印證了AR技術(shù)正在不斷的發(fā)展中。2018年的資本市場開始慢慢冷靜下來，增強(qiáng)現(xiàn)實概念逐漸淡出大眾視野。除了技術(shù)在不斷沉淀，AR技術(shù)應(yīng)用開發(fā)將是其最終發(fā)展之路。增強(qiáng)現(xiàn)實AR技術(shù)在教育中將抽象的概念通過三維模型的疊加使其形象化。利用交互手段使得學(xué)生感受更加貼近真實世界，從視覺、聽覺沉浸式的體驗知識的樂趣增強(qiáng)了學(xué)習(xí)的趣味性，達(dá)到寓教于樂的目的。

一、增強(qiáng)現(xiàn)實（AR）技術(shù)的教育應(yīng)用概述

增強(qiáng)現(xiàn)實技術(shù)最早于1990年提出，隨后經(jīng)歷了近30年的探索研究。2009年SPRXmodbile公司推出了全球首款Layer的增強(qiáng)現(xiàn)實瀏覽器，能幫助用戶通過手機(jī)獲取當(dāng)前環(huán)境的詳細(xì)信息，2012年4月，谷歌發(fā)布了一款眼鏡（Goolge Project Glass）用戶可以通過顯示屏提供輔助信息，同時可下達(dá)語音指令，實現(xiàn)拍照、導(dǎo)航、電話等功能。增強(qiáng)現(xiàn)實技術(shù)是在虛擬現(xiàn)實技術(shù)的基礎(chǔ)上發(fā)展而來，主要利用電腦圖形圖像技術(shù)、可視化技術(shù)將真是世界與虛擬世界進(jìn)行“真實”結(jié)合的技術(shù)。其把虛擬物體信息疊加到真實空間，也可以將不可見的概念實時交互的融合在真實世界中。

增強(qiáng)現(xiàn)實的硬件系統(tǒng)主要以計算機(jī)系統(tǒng)、標(biāo)識識別系統(tǒng)、顯示系統(tǒng)、傳感器組成的人機(jī)交互系統(tǒng)組成，其主要有以下幾種技術(shù)手段來實現(xiàn)計算機(jī)圖形和可視化技術(shù)，由此將虛擬的物體與真實環(huán)境進(jìn)行融合。AR與VR技術(shù)相比，AR可以不用穿戴設(shè)備，將學(xué)習(xí)對象與仿真世界融合呈現(xiàn)，使之方便有效地進(jìn)行操作，在應(yīng)用中用戶以自然的交互手段進(jìn)行自主探索，獲得知識，能將真實環(huán)境無法表現(xiàn)的信息比如說磁場、電波、分子結(jié)構(gòu)等與真實環(huán)境結(jié)合，且能互動，獲得實時的交互體驗。

（一）圖像識別技術(shù)

通過對圖像的特征進(jìn)行分析計算得出對應(yīng)的攝像機(jī)位置和圖像特點(diǎn)。當(dāng)攝像頭拍攝到預(yù)定圖像時將根據(jù)識別到的信息如圖像位置、大小、旋轉(zhuǎn)、反求出攝像機(jī)位置、移動、旋轉(zhuǎn)等，由此可將3D虛擬模型疊加到真實空間中。除了特定單一圖片，在特定場景或者物體的識別技術(shù)都與圖像識別技術(shù)原理相同。如宜家家居AR情景廣告，通過手機(jī)應(yīng)用掃描宜家家居的畫冊，可以看到家具模型，可將喜歡的家具放入到自己家中查看展示效果。

（二）定位技術(shù)

除了通過圖像識別到鏡頭的旋轉(zhuǎn)等信息以外，還可以通過電子羅盤、GPS等設(shè)備來獲取定位所在位置。如Pokemon Go的交互游戲、谷歌發(fā)布的Project Glass等。例如Project Glass它體積雖小但是將智能手機(jī)、GPS、相機(jī)集于一身，可以通過語音來控制拍照、發(fā)信息，使用地圖導(dǎo)航、分享、直播等多種功能。利用定位技術(shù)，結(jié)合網(wǎng)絡(luò)的傳輸，可現(xiàn)實地圖信息將交互性提升到了一個新的臺階。

二、增強(qiáng)現(xiàn)實AR數(shù)字化教育的產(chǎn)品開發(fā)現(xiàn)狀

（一）幼兒教育

增強(qiáng)現(xiàn)實AR產(chǎn)品應(yīng)用涵蓋多種方面，而在教育、醫(yī)療、科技、旅游、游戲以及大屏互動等應(yīng)用中相對成熟。其中在幼兒教育領(lǐng)域比較成功的方式如AR卡片識物、多卡搭建場景、涂涂樂圖書。在未來AR教育依然是技術(shù)應(yīng)用極其重要的方向，幼兒教育環(huán)境本身對創(chuàng)新教育方式保持相對積極的態(tài)度，而且幼兒又更容易接受新鮮事物，在實際課堂中，借助AR技術(shù)將世界各地風(fēng)景以3D的形式體現(xiàn)出來，甚至還能加入人機(jī)交互，在豐富了課堂內(nèi)容的同時增強(qiáng)了學(xué)習(xí)體驗，大大增加了課堂學(xué)習(xí)趣味，提高了學(xué)生學(xué)習(xí)興趣。這使得AR在教育領(lǐng)域應(yīng)用變得更加具有開發(fā)價值。

（二）中學(xué)教育

在中學(xué)階段的增強(qiáng)現(xiàn)實應(yīng)用主要以課堂理論和實驗室實踐為主要方案，提升理論知識的趣味性、形象化。在中學(xué)階段，學(xué)生開始學(xué)習(xí)物理、化學(xué)、數(shù)學(xué)等抽象概念學(xué)科，增強(qiáng)現(xiàn)實可以幫助老師在課堂快速實現(xiàn)理論知識的可視化操作，對提升學(xué)生的抽象思維、探索能力也具有積極的促進(jìn)作用。例如“云幻科教AR教學(xué)”應(yīng)用方案。其涵蓋了物理、化學(xué)、生物等學(xué)科，以中學(xué)的課程為方案設(shè)計，在演示過程中可以進(jìn)行手勢操作?？梢酝ㄟ^交互方式從各個角度觀察物理現(xiàn)象、生物動畫、化學(xué)反應(yīng)動畫等，作為一種教學(xué)手段提升了學(xué)生的參與度，同時豐富了教學(xué)模式。

（三）高等教育

增強(qiáng)現(xiàn)實AR技術(shù)在高等教育中的應(yīng)用同樣十分廣泛，它可以將抽象立體幾何圖形進(jìn)行3D可視化，可以將機(jī)械模型進(jìn)行拆分，將人體骨骼、肌肉、經(jīng)脈等展現(xiàn)在學(xué)生面前等等。據(jù)研究表明，增強(qiáng)現(xiàn)實在教育教學(xué)中能幫助學(xué)生更加直觀方便地獲取專業(yè)知識，在教學(xué)過程中免去了復(fù)雜的抽象的概念，免去了手工拆分模型的煩瑣，有助于學(xué)生專注于核心知識。這種沉浸式的體驗，有助于培養(yǎng)學(xué)生專注力，訓(xùn)練學(xué)生的空間思維能力。目前增強(qiáng)現(xiàn)實在各個學(xué)科領(lǐng)域的應(yīng)用，表明了作為一種技術(shù)手段其特有的沉浸式、交互式的優(yōu)勢，它可融合與各行各業(yè)，對各行各業(yè)相關(guān)專業(yè)的發(fā)展有很強(qiáng)的促進(jìn)作用。

三、在移動客戶端下的兒童圖書動畫產(chǎn)品需求分析

增強(qiáng)現(xiàn)實在圖書領(lǐng)域的應(yīng)用主要體現(xiàn)在書本作為可識別的對象，結(jié)合AR技術(shù)展現(xiàn)出3D物體，同時兼?zhèn)涑两?、交互式，甚至擴(kuò)展AI智能的特點(diǎn)。開發(fā)兒童對事物認(rèn)識的思維，拓展理解事物的維度。作為商業(yè)產(chǎn)品的應(yīng)用，兒童圖書產(chǎn)品需要更多關(guān)注到用戶體驗，比如更多考慮到書本識別圖案的獲取便利性、移動端對物體識別的便利性、產(chǎn)品的趣味性、可拓展性等因素。由此在制作基于增強(qiáng)現(xiàn)實技術(shù)圖書中，除了遵守最基本的兒童教育圖書相關(guān)法律和道德規(guī)范。對3D畫面的設(shè)計應(yīng)當(dāng)適合兒童的美術(shù)風(fēng)格；對交互性設(shè)計可選擇以非文字方式體現(xiàn)，可采取手勢控制、語音指令等方式體現(xiàn)。如由海洋出版社出版的兒童《AR涂涂樂2》系列圖書，分別由多樣職業(yè)系列、奇妙自然系列、多彩社會系列有趣物品系列四部分組成，通過手機(jī)客戶端下載APP選擇對應(yīng)圖書進(jìn)行AR識別，兒童可將自己涂色的人物顯示成三維模型，在美術(shù)和動畫設(shè)計上選用可愛Q版風(fēng)格，畫面清新明亮，同時配有語音和屏幕觸摸交互設(shè)計。

四、兒童AR涂涂樂動畫產(chǎn)品開發(fā)

涂色類AR應(yīng)用是將真實的圖書圖案圖上顏色顯示在虛擬模型上的一種AR應(yīng)用，其通過繪畫的方式與虛擬模型的顏色呈現(xiàn)做了一個交互體驗，讓客戶有了另一種參與感受，這種AR技術(shù)方式對兒童的動手能力、色彩思維、立體空間形象思維等開發(fā)有很強(qiáng)的參考價值。目前涂色類AR在技術(shù)實現(xiàn)上有兩種體現(xiàn)，第一種是實時的涂色（涂色過程會實時顯示在虛擬模型上），另外一種是固定涂色（涂色結(jié)束以后，需要展示涂色效果的時候才顯示在虛擬模型上）。兩種方式各有優(yōu)點(diǎn)，實時涂色方式可以實時顯示體驗過程，但在繪制過程中往往無法保持相機(jī)位置，識別容易受到環(huán)境因素而形成干擾；而固定涂色方式，是繪制結(jié)束以后才顯示繪制效果，在識別過程中不容易出現(xiàn)干擾。

五、基于計算機(jī)圖形識別的三維配準(zhǔn)技術(shù)

在AR識物卡片涂涂樂實例中，可以方便的選定需要的三維配準(zhǔn)工具，當(dāng)下常用引擎為unity3D而支持引擎的增強(qiáng)現(xiàn)實的SDK配準(zhǔn)插件包有Vuforia、EasyAR和Wikitude等。目前市面上主要的SDK開發(fā)工具包為Voforia和EasyAR。Voforia是增強(qiáng)現(xiàn)實應(yīng)用的軟件開發(fā)工具包，其除了平面圖片識別還提供了圓柱體、立方體、虛擬按鈕、智能貼圖等功能。而EasyAR是國產(chǎn)增強(qiáng)現(xiàn)實SDK在行業(yè)中使用較多，其推出的免費(fèi)版獲得了許多愛好者的擁護(hù)，隨著市場競爭愈來愈激烈EasyAR也不斷在更新使其功能更加完善，可實現(xiàn)的效果也就越來越豐富多樣，最終才會推動AR產(chǎn)業(yè)不斷向前發(fā)展。Wikitude是國外一款增強(qiáng)現(xiàn)實SDK，與其他競爭者相比，它支持地理信息定位，而識別類型目前只有圖片識別功能。

六、基于SDK開發(fā)工具包的增強(qiáng)現(xiàn)實制作技術(shù)整體設(shè)計

在制作AR增強(qiáng)現(xiàn)實中的SDK開發(fā)工具包有很多，本文以EasyAR為例。在基于EasyAR的增強(qiáng)現(xiàn)實制作流程中，主要劃分4個步驟：涂色類AR識別圖案設(shè)計、三維模型制作、配置識別圖和模型制作、獲取正確貼圖的編程。

（一）涂色類AR識別圖案設(shè)計分析

識別圖設(shè)計的優(yōu)劣會直接影響到最終能否被引擎識別，最終影響呈現(xiàn)效果。在涂色類AR的識別圖中，分為兩個部分，第一部分是有色部分，這一部分信息會作為定位模型的依據(jù)，第二部分是空白區(qū)域，這一部分需要客戶手動上色以后在虛擬模型上呈現(xiàn)出來材質(zhì)顏色區(qū)域。而第一部分的有色區(qū)域需要考慮美觀以及可識別性，我們可以利用加大圖案的復(fù)雜程度、清晰程度、對比程度來增強(qiáng)圖形的可識別性。識別圖的設(shè)計展現(xiàn)方式中常見有兩種呈現(xiàn)方式，一種是正交識別圖（空白待填色區(qū)域體現(xiàn)物體正面和背面），另一種是非正交識別圖（空白待填區(qū)域是生動的動作設(shè)計），兩種識別圖各有優(yōu)點(diǎn)，正交識別圖可以比較完美地將顏色賦予虛擬模型，但是識別圖從設(shè)計上來講顯得呆板無趣；另一個非正交識別圖，動態(tài)感比較強(qiáng)提升了美觀性和故事性，但是最后識別出來的貼圖賦予到虛擬模型上以后，材質(zhì)顯示會出現(xiàn)比較明顯的拉伸變形效果，有些部分會形成遮擋，以至于無法單獨(dú)上色。

（二）涂色類AR三維模型和動畫標(biāo)準(zhǔn)分析

在3D建模中常見的模型類型有多邊形網(wǎng)格和曲面。在引擎Unity3D中用于增強(qiáng)現(xiàn)實場景常用的是多邊形網(wǎng)格poly，為了提高客戶端運(yùn)行效率，模型網(wǎng)格數(shù)量應(yīng)該嚴(yán)格控制在一定范圍，目前行業(yè)對場景和普通物體模型的網(wǎng)格數(shù)量要求在三千個左右，而卡通人物的網(wǎng)格數(shù)量控制在一萬個以內(nèi)，模型的網(wǎng)格數(shù)量越低運(yùn)行效率越高，但是細(xì)節(jié)容易損失，需要在畫面質(zhì)量和運(yùn)行效率中找到一個平衡點(diǎn)，既能滿足普通客戶配置要求，又能得到更好的體驗。在對模型法線要求中需要法線方向朝外，以便更好顯示貼圖材質(zhì)，在擁有動畫數(shù)據(jù)和貼圖數(shù)據(jù)后，需要將動畫進(jìn)行烘焙。

七、配置識別圖與獲取正確貼圖的原理

在涂色類AR案例中，之所以能把圖書中涂色部分的顏色匹配到三維模型上，是因為三維模型的材質(zhì)現(xiàn)實是基于UV貼圖，首先需要讓客戶端APP識別到圖書中的識別圖，并將識別圖作為UV貼圖傳遞到物體上，作為物體的材質(zhì)素材圖啟用。所以在UV貼圖制作項目中需要將模型的UV展開，并將UV于識別圖模型的結(jié)構(gòu)進(jìn)行匹配，為了避免跟蹤數(shù)據(jù)的不穩(wěn)定因素造成貼圖的錯誤，也可以適量將UV邊緣與識別圖的邊緣保持一段距離，來避免識別誤差導(dǎo)致的不理想效果。

八、資源整合及編程實現(xiàn)

在Unity3D引擎中我們可以很方便搭建三維場景，可將模型、動畫、聲音、物理系統(tǒng)等素材資源進(jìn)行組合，它是一個多平臺綜合型的游戲開發(fā)工具，在增強(qiáng)現(xiàn)實AR領(lǐng)域應(yīng)用十分廣泛。在本項目中選用可在Unity3D中使用的增強(qiáng)現(xiàn)實EasyAR工具包。在操作中我們需要登錄EasyAR的官網(wǎng)下載開發(fā)工具包，在導(dǎo)入引擎以后會自動提供一個“ImageTarget”，此物體是作為場景中的識別物體現(xiàn)實，將需要識別圖片拖入“StreamingAssets”目錄下，通過對“Inspector”中的屬性進(jìn)行設(shè)置，并將場景材質(zhì)與識別圖進(jìn)行關(guān)聯(lián)。這樣即可實現(xiàn)基本的增強(qiáng)現(xiàn)實AR效果。

在實現(xiàn)可識別圖案后，作為涂涂樂AR的需要，對模型材質(zhì)部分還需要用程序進(jìn)行指定。在引擎中的實現(xiàn)方法可以采用自動啟用識別出的材質(zhì)，也可以通過按鈕替換方式來實現(xiàn)貼圖材質(zhì)。在自動啟用中，這里制作一個新的材質(zhì)Mobile/Diffuse,將材質(zhì)賦予模型（模型植物體中的網(wǎng)格物體），不過模型材質(zhì)還是為空，是因為材質(zhì)并沒有獲得任何可用信息。在這里解決辦法是新建一個C#Script對存儲的模型和貼圖通過函數(shù)將其關(guān)聯(lián)。其關(guān)聯(lián)主要代碼如下：

在另一種呈現(xiàn)方式是通過按鈕替換貼圖，要實現(xiàn)這一功能需要調(diào)用引擎的UGUI的“Button”來實現(xiàn)點(diǎn)擊按鈕來顯示貼圖或者取消顯示。在這里對按鈕的點(diǎn)擊事件中需要設(shè)置On Click（）下的表達(dá)式管理來添加對應(yīng)的函數(shù)代碼。在此案例中使用按鈕替換貼圖，其主要代碼如下：

在后續(xù)測試中，會出現(xiàn)貼圖不準(zhǔn)確的情況，這是因為在獲取識別圖時，直接將所有不想關(guān)聯(lián)的識別區(qū)域一并賦予模型。解決這一的問題可以通過獲取識別圖的四個邊角在空間位置的坐標(biāo)，以此來準(zhǔn)確獲取識別圖的區(qū)域，獲取此區(qū)域以后，就可以將它的位置定義到著色器shader上。最后通過將識別圖的資源與定位出來的區(qū)域進(jìn)行調(diào)用即可實現(xiàn)正確的貼圖效果。

九、總結(jié)

如今科技不斷發(fā)展，教育數(shù)字化在教育應(yīng)用中也在不斷創(chuàng)新，虛擬現(xiàn)實AR技術(shù)的采用加快了教育改革創(chuàng)新步伐，如何開發(fā)符合市場需求的創(chuàng)新產(chǎn)品也是當(dāng)前所缺乏的，在教育領(lǐng)域增強(qiáng)現(xiàn)實AR技術(shù)為學(xué)生建立了直觀可視化的教學(xué)案例和交互平臺，其將抽象的教學(xué)知識可視化，輔助學(xué)生對不可見的自然物象進(jìn)行可視化；同時讓學(xué)生交互式體驗不同實驗室的研究過程，增強(qiáng)了學(xué)生在學(xué)習(xí)過程的參與感，培養(yǎng)學(xué)生發(fā)散性思維。作為教學(xué)活動的新方式，增強(qiáng)現(xiàn)實AR技術(shù)也豐富了教學(xué)活動，為課堂注入了動力，提高了學(xué)生的學(xué)習(xí)趣味性，為傳道授業(yè)解惑的教育事業(yè)增添了新的活力，如何利用好增強(qiáng)現(xiàn)實技術(shù)AR為教育服務(wù)正是我們需要探索和研究的領(lǐng)域。