數(shù)字教材新形態(tài):AR 數(shù)字教材的應(yīng)用與開(kāi)發(fā)

楊繼林 ,姚亮 ,楊彥軍 ,劉金鳳

(1.上饒師范學(xué)院 文學(xué)與新聞傳播學(xué)院,江西 上饒 334001;2.上饒師范學(xué)院 教務(wù)處,江西 上饒 334001;3.上饒師范學(xué)院 物理與電子信息學(xué)院,江西 上饒 334001;4.南昌大學(xué) 教育發(fā)展研究院,江西 南昌 330031)

受全球新型冠狀病毒疫情的沖擊,我國(guó)應(yīng)急啟動(dòng)了史無(wú)前例的大規(guī)模在線教育,在極大推進(jìn)教育信息化步伐的同時(shí),也暴露出數(shù)字教材匱乏的窘境,建設(shè)信息技術(shù)與教育教學(xué)深度融合、多種介質(zhì)綜合運(yùn)用、表現(xiàn)力豐富的新形態(tài)教材[1]成為亟待解決的問(wèn)題。

AR 是增強(qiáng)現(xiàn)實(shí)(Augmented Reality)的英文縮寫(xiě)。AR 技術(shù)是一種借助計(jì)算機(jī)圖形、可視化等技術(shù),將虛擬信息疊加到真實(shí)環(huán)境中,從而達(dá)到超越現(xiàn)實(shí)的數(shù)字化技術(shù)[2]。隨著移動(dòng)智能終端的普及,AR 與教材的融合也逐漸轉(zhuǎn)向以移動(dòng)智能機(jī)為載體,以基于富媒體的數(shù)字教材之上鏈接AR 內(nèi)容為主要形態(tài)的AR 數(shù)字教材。其以虛實(shí)融合情景模擬和再現(xiàn)的方式為學(xué)習(xí)者帶來(lái)視、聽(tīng)、觸等多種感官下的具身學(xué)習(xí)體驗(yàn)。學(xué)習(xí)者與虛擬信息的沉浸式交互有助于學(xué)習(xí)者理解抽象內(nèi)容、獲得情感流暢與歸屬感,進(jìn)而培養(yǎng)其問(wèn)題解決能力和批判思維能力。因此,基于AR 技術(shù)的數(shù)字化教材的開(kāi)發(fā)具有實(shí)用性和價(jià)值性。

1 AR 數(shù)字教材的演變

1.1 AR 數(shù)字教材的技術(shù)特征

回顧我國(guó)數(shù)字教材的演變歷程,沙沙等學(xué)者依據(jù)技術(shù)應(yīng)用方式,將我國(guó)中小學(xué)數(shù)字教材分為靜態(tài)數(shù)字教材、多媒體數(shù)字教材、數(shù)據(jù)化數(shù)字教材三種類(lèi)型[3]。隨著VR、AR、MR 技術(shù)發(fā)展日新月異,數(shù)字教材的AR技術(shù)成分占比逐漸增大,有成為當(dāng)下數(shù)字教材主流技術(shù)的趨勢(shì),對(duì)此必須給予足夠的重視。為此,本研究將數(shù)字教材分為靜態(tài)媒體數(shù)字教材、多媒體數(shù)字教材、富媒體數(shù)字教材、AR 數(shù)字教材四代。AR 數(shù)字教材作為數(shù)字教材的最新形態(tài),具有AR 技術(shù)的三大特征[4]:一是虛實(shí)結(jié)合,實(shí)現(xiàn)現(xiàn)實(shí)和虛擬世界的融合;二是三維注冊(cè),實(shí)現(xiàn)3D 圖像的精確配準(zhǔn);三是實(shí)時(shí)交互,能夠?qū)崿F(xiàn)現(xiàn)實(shí)世界與虛擬信息的實(shí)時(shí)反饋。這些技術(shù)特征使得AR 數(shù)字教材較之前三代在傳播力、直觀性、互動(dòng)性等方面具有明顯優(yōu)勢(shì)。四代數(shù)字教材技術(shù)特性比較如表1所示,由此也反映出數(shù)字教材技術(shù)演變的進(jìn)程。

表1 不同類(lèi)型的數(shù)字教材媒體特性

1.2 AR 數(shù)字教材的教學(xué)特性

已有學(xué)者研究AR 教材的教學(xué)功能。馬來(lái)西亞學(xué)者[5]采用觀察和訪談法證實(shí)AR pop－up book教材有利于提高小學(xué)生英語(yǔ)學(xué)習(xí)動(dòng)機(jī)。泰國(guó)學(xué)者研究動(dòng)畫(huà)增強(qiáng)現(xiàn)實(shí)書(shū)模型(AARBook Model)[6],并評(píng)估其增強(qiáng)團(tuán)隊(duì)合作的效果。韓國(guó)學(xué)者[7]指出AR 教材可以幫助學(xué)生理解并記憶抽象信息,支持沉浸式學(xué)習(xí)和差異化學(xué)習(xí),從而增加學(xué)生的學(xué)習(xí)動(dòng)機(jī)和參與度。結(jié)合AR 數(shù)字教材的定義、技術(shù)特征以及AR 書(shū)籍的相關(guān)研究,歸納出AR 數(shù)字教材具有以下教學(xué)特性。

1.2.1 學(xué)習(xí)過(guò)程涉身化

皮亞杰發(fā)現(xiàn)幼兒認(rèn)識(shí)世界是通過(guò)吮吸和抓握等身體動(dòng)作完成的,人的認(rèn)知發(fā)展是建立在感覺(jué)能力和運(yùn)動(dòng)能力之上的發(fā)展。因此身體的感覺(jué)及運(yùn)動(dòng)成了學(xué)習(xí)的關(guān)鍵,人是通過(guò)身體來(lái)認(rèn)識(shí)世界的,這便是學(xué)習(xí)的涉身性[8]。AR 數(shù)字教材可以還原教學(xué)內(nèi)容場(chǎng)景,立體呈現(xiàn)教學(xué)模型,提供深度互動(dòng)體驗(yàn),使得整個(gè)教學(xué)過(guò)程身臨其境。

1.2.2 學(xué)習(xí)經(jīng)驗(yàn)具體化

“經(jīng)驗(yàn)之塔”(The Cone of Experience)理論認(rèn)為人的經(jīng)驗(yàn)可以通過(guò)直接或間接兩種方式習(xí)得,通過(guò)這兩種方式將經(jīng)驗(yàn)分為做的經(jīng)驗(yàn)、觀察的經(jīng)驗(yàn)、抽象的經(jīng)驗(yàn)三大類(lèi)。傳統(tǒng)的數(shù)字教材在紙質(zhì)教材的基礎(chǔ)上補(bǔ)充靜態(tài)的二維圖片和動(dòng)態(tài)的視音頻,為學(xué)習(xí)者提供觀察的經(jīng)驗(yàn)和抽象經(jīng)驗(yàn)。而AR 數(shù)字教材能填補(bǔ)紙質(zhì)書(shū)和傳統(tǒng)數(shù)字教材中所不能提供的“做的經(jīng)驗(yàn)”。AR 數(shù)字教材可以成為將學(xué)生移動(dòng)到動(dòng)畫(huà)交互的虛擬環(huán)境中去的手段[9],即點(diǎn)擊AR 數(shù)字教材中的識(shí)別按鈕,可直接將三維立體的動(dòng)態(tài)模型或影像疊加在屏幕之上,支持的手勢(shì)識(shí)別可讓用戶(hù)直接觸碰(抓取、移動(dòng)、添加、減少、旋轉(zhuǎn)、拆除、組合)虛擬模型。

1.2.3 認(rèn)知通道平衡化

認(rèn)知負(fù)荷理論認(rèn)為任何學(xué)習(xí)活動(dòng)和任務(wù)的完成都需要耗費(fèi)認(rèn)知資源,從而造成認(rèn)知負(fù)荷。從單一的視覺(jué)通道向聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多通道分流,這樣有效平衡“言語(yǔ)通道”和“視覺(jué)通道”中的信息流量以平衡各通道中的認(rèn)知負(fù)荷[10]。

1.2.4 知識(shí)記憶無(wú)意化

AR 數(shù)字教材可將二維的內(nèi)容轉(zhuǎn)換成逼真的立體影像,讓用戶(hù)全身心投入虛擬世界之中,與三維影像的立體化交互,易于使學(xué)習(xí)者更多采用無(wú)意識(shí)記憶,能夠直抵潛意識(shí),從而加深知識(shí)記憶。

1.2.5 學(xué)習(xí)場(chǎng)合自由化

AR數(shù)字教材以移動(dòng)智能終端為依托,學(xué)習(xí)者只需開(kāi)啟攝像頭對(duì)準(zhǔn)識(shí)別圖或點(diǎn)擊同步APP便能進(jìn)入學(xué)習(xí)界面,學(xué)習(xí)場(chǎng)所由被動(dòng)、固定的向主動(dòng)、移動(dòng)式的轉(zhuǎn)換,隨著學(xué)習(xí)場(chǎng)所的改變,能夠營(yíng)造出個(gè)性化的學(xué)習(xí)環(huán)境,促進(jìn)學(xué)習(xí)者深度學(xué)習(xí)。

2 AR 數(shù)字教材的教育應(yīng)用

數(shù)字教材是一類(lèi)面向教育教學(xué)的特殊電子書(shū),為進(jìn)一步了解AR 數(shù)字教材具體的教育應(yīng)用情況,以AR數(shù)字教材、AR book為檢索詞在中外文期刊文獻(xiàn)數(shù)據(jù)庫(kù)中進(jìn)行檢索,共檢索中文21篇、外文127篇。除深入研讀理論文獻(xiàn)外,同時(shí)關(guān)注AR 數(shù)字教育、AR 數(shù)字出版企業(yè)。整合分析理論資料與實(shí)際產(chǎn)品過(guò)程中,羅列出10個(gè)AR 數(shù)字教材典型案例(如表2所示),參照應(yīng)用對(duì)象的學(xué)習(xí)領(lǐng)域劃分可見(jiàn),現(xiàn)有AR 數(shù)字教材的教育應(yīng)用主要集中在語(yǔ)言學(xué)習(xí)、科學(xué)教育與職業(yè)教育等三大板塊。

表2 案例來(lái)源匯集表

2.1 語(yǔ)言學(xué)習(xí)

漢語(yǔ)拼音是識(shí)字的基礎(chǔ),是閱讀的前提。學(xué)好拼音是低年級(jí)語(yǔ)文學(xué)科的首要任務(wù)。然而,傳統(tǒng)拼音教學(xué)往往采用跟讀教學(xué)方式、以命令式的口吻讓學(xué)習(xí)者死記硬背,整個(gè)教學(xué)過(guò)程缺乏趣味性,大大降低了學(xué)習(xí)者對(duì)學(xué)習(xí)的熱愛(ài)和激情。AR 數(shù)字教材的出現(xiàn),使學(xué)習(xí)者在逼真的“現(xiàn)實(shí)情境”中直接用雙手對(duì)虛擬物體進(jìn)行靈活的操作,激發(fā)他們的學(xué)習(xí)興趣和自主探索的能力。例如:新東方推出的一套AR 拼音學(xué)習(xí)教材,學(xué)習(xí)者通過(guò)裝有攝像頭的設(shè)備對(duì)準(zhǔn)AR 標(biāo)識(shí)的卡片或圖案進(jìn)行掃描,不僅能觀看到疊加在現(xiàn)實(shí)世界之上的三維影像,還能讓學(xué)習(xí)者沉浸在逼真的虛實(shí)融合環(huán)境之中。

2.2 科學(xué)教育

科學(xué)學(xué)科(物理、化學(xué)、生物、地理中天文部分)具備抽象化、微觀化、模型化、空間認(rèn)知以及彰顯實(shí)驗(yàn)?zāi)芰Φ膶W(xué)科特征[11]。AR 技術(shù)能仿真模擬并重現(xiàn)科學(xué)微觀和宏觀場(chǎng)景,使得學(xué)習(xí)者能夠感知不可見(jiàn)現(xiàn)象,加深學(xué)習(xí)者對(duì)抽象知識(shí)的理解。蔡蘇團(tuán)隊(duì)早在2016年就發(fā)現(xiàn),不少?lài)?guó)外學(xué)者分別通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù),來(lái)創(chuàng)建探索天文知識(shí)(地球和太陽(yáng)、白天和黑夜的關(guān)系)的場(chǎng)景,模擬化學(xué)成分,創(chuàng)設(shè)可視化、可自然交互的磁場(chǎng)[12]。

2.3 職業(yè)教育

傳統(tǒng)的機(jī)械類(lèi)數(shù)字教材只能提供二維圖片供學(xué)習(xí)者學(xué)習(xí),而欠缺空間想象能力的學(xué)生在處理零部件的空間位置及運(yùn)動(dòng)關(guān)系時(shí)就會(huì)感到困難[13],使用硬件的攝像頭獲取AR 數(shù)字教材中的零部件或設(shè)備圖片,進(jìn)行空間注冊(cè),然后將模型動(dòng)畫(huà)與教具及其現(xiàn)實(shí)場(chǎng)景進(jìn)行匹配,并通過(guò)攝像機(jī)渲染達(dá)到逼真效果,最后將形成增強(qiáng)現(xiàn)實(shí)的特效場(chǎng)景疊加在教具實(shí)物之上[14]。

3 AR 數(shù)字教材的開(kāi)發(fā)現(xiàn)狀

目前,國(guó)內(nèi)已經(jīng)有若干AR 數(shù)字教材設(shè)計(jì)與開(kāi)發(fā)的研究實(shí)例。周靈等[15]提出基于Windows平臺(tái)的增強(qiáng)現(xiàn)實(shí)少兒英語(yǔ)教科書(shū)的研發(fā)流程包括需求分析、項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)施、調(diào)試與發(fā)布多個(gè)階段。進(jìn)一步,黃敏等[16]采用Unity3D 集成Vuforia SDK 設(shè)計(jì)實(shí)現(xiàn)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的英語(yǔ)視聽(tīng)說(shuō)移動(dòng)教學(xué)軟件VBook。鐘春霞[17]等認(rèn)為,基于增強(qiáng)現(xiàn)實(shí)的數(shù)字教材設(shè)計(jì),需要結(jié)合系統(tǒng)的教學(xué)設(shè)計(jì)理念,并且要面向?qū)嵕皩W(xué)習(xí)、體驗(yàn)式學(xué)習(xí)、游戲化學(xué)習(xí)等學(xué)習(xí)方式。

AR 數(shù)字教材的整體流程設(shè)計(jì)分為五個(gè)階段:需求分析階段、整體設(shè)計(jì)階段、實(shí)現(xiàn)階段、測(cè)試與調(diào)試、發(fā)布,如圖1所示。

圖1 AR 數(shù)字教材的開(kāi)發(fā)模型

(1)需求分析階段:根據(jù)師生對(duì)數(shù)字教材的需求進(jìn)行分析研究,主要包括:在匹配教學(xué)目標(biāo)、教學(xué)重難點(diǎn)的基礎(chǔ)上,確定教材的具體哪些教學(xué)知識(shí)點(diǎn)是需要融合AR 元素的。

(2)整體設(shè)計(jì)階段:根據(jù)用戶(hù)的需求分析,對(duì)比并篩選開(kāi)發(fā)環(huán)境,對(duì)不同特性的資源(識(shí)別圖、三維模型、多媒體資源)進(jìn)行分類(lèi)設(shè)計(jì),以及對(duì)交互方式進(jìn)行設(shè)計(jì)。

(3)實(shí)現(xiàn)階段:先選定教材主題內(nèi)容的增強(qiáng)方式,運(yùn)用不同的開(kāi)發(fā)工具和平臺(tái)對(duì)想要呈現(xiàn)的AR 資源分類(lèi)制作。

(4)測(cè)試與調(diào)試階段:通過(guò)已安裝測(cè)試APP的終端掃描查看識(shí)別圖效果以及特效的效果是否達(dá)到標(biāo)準(zhǔn)。根據(jù)用戶(hù)體驗(yàn)的反饋意見(jiàn),對(duì)制作的AR 資源進(jìn)行調(diào)試修改。

(5)發(fā)布階段:在安卓及蘋(píng)果商店發(fā)布APP,學(xué)習(xí)者可通過(guò)圖書(shū)封面的二維碼掃描下載APP,開(kāi)啟AR學(xué)習(xí)之旅。

AR數(shù)字教材開(kāi)發(fā)對(duì)開(kāi)發(fā)環(huán)境以及人員要求較高。正如徐瑤瑤[18]在開(kāi)發(fā)面向移動(dòng)終端的無(wú)標(biāo)識(shí)增強(qiáng)現(xiàn)實(shí)電子書(shū)時(shí)所指出的,軟硬件開(kāi)發(fā)環(huán)境涉及的軟件技術(shù)主要有:識(shí)別圖制作、3D 建模、增強(qiáng)現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)軟件與SDK 的使用、交互代碼的編寫(xiě)等,整個(gè)開(kāi)發(fā)過(guò)程要求各個(gè)部門(mén)及各個(gè)板塊的專(zhuān)業(yè)人員高度配合。筆者致力于探尋簡(jiǎn)易操作的AR 開(kāi)發(fā)路徑,因此,下面將詳述不同開(kāi)發(fā)環(huán)境和平臺(tái)的AR 實(shí)例開(kāi)發(fā)步驟,供AR開(kāi)發(fā)者參考。

4 AR 數(shù)字教材開(kāi)發(fā)

4.1 基于Unity 3D＋Easy AR SDK 開(kāi)發(fā)

在開(kāi)發(fā)AR 數(shù)字教材時(shí),借鑒上述AR 數(shù)字教材的整體流程設(shè)計(jì)。

(1)需求分析階段:遵循各學(xué)科類(lèi)的教材設(shè)計(jì)原則,根據(jù)學(xué)習(xí)對(duì)象的學(xué)習(xí)風(fēng)格和心理特征,選定需增加AR 互動(dòng)學(xué)習(xí)場(chǎng)景的內(nèi)容。如選定小學(xué)英語(yǔ)BUS單詞,增加AR 互動(dòng)學(xué)習(xí)場(chǎng)景,以游戲化、趣味性來(lái)激發(fā)學(xué)生學(xué)習(xí)英語(yǔ)的興趣,使他們初步建立學(xué)習(xí)英語(yǔ)的自信心。

(2)整體設(shè)計(jì)階段:先確定AR 互動(dòng)場(chǎng)景實(shí)現(xiàn)流程,如圖2所示。再根據(jù)實(shí)現(xiàn)要求選擇開(kāi)發(fā)環(huán)境:Unity4.2版本,Easy AR SDK 1.0版本。

圖2 AR 互動(dòng)場(chǎng)景實(shí)現(xiàn)流程

(1)制作識(shí)別圖。用Adobe Photoshop CC軟件制作單詞卡片,新建項(xiàng)目大小為595?842像素,使用文字工具輸入“BUS”,字色為紅色,字體為Algerian,調(diào)整畫(huà)布與圖像的比例,將其保存為BUS.JPG,如圖3所示。

圖3 BUS識(shí)別圖

(2)素材制作?？赏ㄟ^(guò)網(wǎng)絡(luò)資源下載所需的三維模型和音頻文件,將三維模型經(jīng)過(guò)3D MAX 軟件處理后導(dǎo)出為BUS.FBX 文件,如圖4所示;另將BUS音頻文件用Adobe Audition軟件進(jìn)行簡(jiǎn)單降噪、添加音效后命名為BUS.MP3,如圖5所示。

圖4 BUS三維模型

圖5 BUS音頻處理

(3)識(shí)別功能制作。在Easy AR 官網(wǎng)下載Easy AR SDK 1.0版本,解壓后找到此SDK 案例中的“Hello AR”將其導(dǎo)入到Unity4.2軟件中,在“Project”面板中雙擊Easy AR_Start UP,導(dǎo)入識(shí)別圖素材至Streaming Assets目錄下,更換場(chǎng)景中的識(shí)別圖為BUS.jpg,新建一個(gè)材質(zhì)命名為M_bus,將識(shí)別圖附給他們,設(shè)置相應(yīng)的屬性完成識(shí)別功能,如圖6所示。

圖6 BUS的AR 場(chǎng)景

(4)AR 場(chǎng)景呈現(xiàn)。將BUS汽車(chē)模型拖到Unity主場(chǎng)景中,作為識(shí)別圖“BUS”的子物體,之后在模型上添加盒子碰撞器“Box Collider”,調(diào)整位置與大小。編寫(xiě)運(yùn)行腳本語(yǔ)言為“void On MouseDown(){}”來(lái)實(shí)現(xiàn)觸碰模型時(shí),出現(xiàn)英文朗讀。

4.2 基于睿視平臺(tái)

睿視平臺(tái)提供模板工具制作AR 內(nèi)容,學(xué)習(xí)者在開(kāi)發(fā)AR 內(nèi)容時(shí),無(wú)須學(xué)習(xí)開(kāi)發(fā)代碼等之類(lèi)的專(zhuān)業(yè)技術(shù),即可簡(jiǎn)單制作出一個(gè)增強(qiáng)現(xiàn)實(shí)案例。以AR earth 為例。

(1)制作平臺(tái):AR 內(nèi)容制作官網(wǎng):https://ravvar.cn/new/80。

(2)操作步驟:

1)登錄賬號(hào)。在“睿視”官網(wǎng)中點(diǎn)擊右上角的“制作AR”按鈕,登錄賬號(hào)。

2)創(chuàng)作AR。第一步:完成項(xiàng)目創(chuàng)建。點(diǎn)擊制作界面的“＋”按鈕,新建項(xiàng)目,在項(xiàng)目名稱(chēng)和項(xiàng)目描述都輸入“AR earth”,添加識(shí)別圖為“D.jpg”,項(xiàng)目類(lèi)型選擇“公開(kāi)”和“AR”,即完成項(xiàng)目創(chuàng)建。第二步:AR 場(chǎng)景制作。點(diǎn)擊“＋AR 場(chǎng)景”按鈕,進(jìn)入AR 編輯界面。在編輯界面中添加三維模型,調(diào)整位置和大小,如圖7所示;選擇功能列表的“模型動(dòng)畫(huà)控制”和“自定義動(dòng)畫(huà)”,設(shè)置功能相關(guān)屬性,如圖8和9所示,場(chǎng)景制作完成后點(diǎn)擊保存按鈕,完成AR 制作,返回后臺(tái)“我的項(xiàng)目”頁(yè),找出對(duì)應(yīng)場(chǎng)景后呈現(xiàn)項(xiàng)目二維碼,如圖10所示。

圖7 睿視在線編輯界面

圖8 模型設(shè)置

圖9 模型自定義設(shè)置

圖10 項(xiàng)目二維碼

3)應(yīng)用。打開(kāi)移動(dòng)智能終端上的“睿視”APP,掃描二維碼,即可查看疊加在真實(shí)世界的虛擬影像。

5 結(jié)語(yǔ)

AR 數(shù)字教材是基于增強(qiáng)現(xiàn)實(shí)技術(shù)形成的一種新型數(shù)字教材,它是在富媒體數(shù)字教材的基礎(chǔ)上融入AR技術(shù)的多感官交互性書(shū)籍,其超越傳統(tǒng)書(shū)籍之處是能帶給師生跨越時(shí)空限制的多感官體驗(yàn),有效降低學(xué)生的認(rèn)知負(fù)荷,全面豐富師生對(duì)事物與知識(shí)的立體認(rèn)知。當(dāng)前,虛擬仿真教學(xué)已融入多個(gè)學(xué)科教育教學(xué)中,而AR 數(shù)字教材正是助力虛擬仿真教育教學(xué)的又一利器?？梢哉f(shuō),AR 數(shù)字教材用最貼近自然的交互方式為學(xué)習(xí)者搭建了一個(gè)自主探索的空間,做到教學(xué)內(nèi)容立體化、生動(dòng)化,真正實(shí)現(xiàn)教師樂(lè)教、學(xué)生樂(lè)學(xué)的教育境界。目前,AR 數(shù)字教材仍處于探索階段,期望本研究能為AR 數(shù)字教材開(kāi)發(fā)者提供參考,進(jìn)而促進(jìn)我國(guó)基于AR數(shù)字教材的教育教學(xué)實(shí)踐的進(jìn)一步發(fā)展。