基于增強現實的兒童英語單詞卡設計與實現

李國良 黃如民 楊朝勇

摘 要：為發(fā)揮增強現實技術在英語教學中的優(yōu)勢，基于Android平臺，設計可以觸控交互、朗讀發(fā)音的英語單詞卡系統(tǒng)。系統(tǒng)分為客戶端和服務器端，客戶端和服務器端之間采用HTTP協議通信，其中客戶端包含資源下載、資源加載、增強現實效果呈現和交互4個功能模塊。通過掃描紙質英語單詞卡片，呈現對應的虛擬物體并朗讀出英語發(fā)音。該系統(tǒng)滿足設計功能要求，可把增強現實效果和單詞關聯起來，有助于兒童理解和記憶英語。

關鍵詞：增強現實;英語學習;教育應用

DOI：10. 11907/rjdk. 182242

中圖分類號：TP319文獻標識碼：A文章編號：1672-7800（2019）003-0108-04

0 引言

增強現實技術（Augmented? Reality，AR）是一種將計算機制作的虛擬信息與真實環(huán)境疊加在一起，增強用戶對現實世界體驗和認知的新技術[1]。AR應用領域非常廣泛，如用于醫(yī)療手術部位精確定位、導航、古跡復原虛擬重構、房地產宣傳等。在教育領域AR也具有很大的應用潛力[2]，可將抽象的學習內容可視化、形象化，創(chuàng)造真實的學習情境，提高學習者興趣和注意力[3]。英語教學應用增強現實技術，有助于培養(yǎng)兒童英語語感，提高理解、記憶英語的能力，激發(fā)學習興趣[4]。

本文設計一種基于增強現實的英語單詞卡系統(tǒng)，通過掃描紙質英語單詞卡，呈現與單詞相關的AR效果，朗讀英文發(fā)音，同時具有交互功能，有助于兒童英語學習。

1 研究綜述

1.1 國外研究現狀

國外開展增強現實技術的研究相對較早，但早期由于硬件設備限制，將增強現實技術應用于教學的例子并不多。2002年，Mark Billinghurst& Hirokazu Kato[5]制作了具有增強現實效果的場景供學生觀看。2003年，澳大利亞研究人員Kaufmann & Schmalstieg[6]嘗試用增強現實展現幾何體，幫助孩子理解空間知識。2007年，Andreas Dunser&Eva Hornecker[7]使用增強現實技術制作兒童故事書。2010年，美國學者Juan [8]研制增強現實立體玩具，幫助孩子認識瀕危動物。孩子通過觀察立體的動物，查看動物習性信息以了解瀕危動物生存狀況。

2016年，隨著任天堂“Pokemon Go”游戲的流行，增強現實技術也被大眾了解，隨后增強現實的相關產品愈加豐富，2016年被媒體稱為“VR/AR元年”。由于增強現實技術的發(fā)展，人們借助ARToolKit、Vuforia、Metaio等AR軟件開發(fā)工具包，使增強現實的開發(fā)過程變得相對簡單[9];另一方面，隨著移動終端設備運算能力及圖形處理能力增強，開發(fā)基于移動終端的增強現實應用程序并應用于教學成為可能。2016年真田博文等 [10]為初中生設計Android應用程序，通過掃描相應字母卡片，朗讀英文發(fā)音。

1.2 國內研究現狀

國內將增強現實技術應用于教學的時間雖晚于國外，但也取得了豐碩成果。北京師范大學蔡蘇團隊[11]為AR應用于教學領域作了大量嘗試：在數學教學中，利用AR技術模擬耗費人力的重復性過程，如投硬幣概率事件，幫助學生理解概率知識;在物理教學中，通過增強現實把抽象的概念（如磁場）進行可視化顯示;在化學教學中，展現難以用肉眼觀察到的化學反應過程，如水分子形成;還有計算機學科也利用AR技術進行輔助教學研究。曾丹[12]嘗試把增強現實技術應用到漢語教學中，通過對現有漢語課本添加虛擬信息幫助學生認讀。在英語教學中，李丹[13]提出基于增強現實的英語教學模式有利于提高學生學習動機。

總體上國內外皆有將增強現實技術應用于教學的實踐，特別是關于物理、數學、化學等含較多抽象知識的學科，也有少量將增強現實技術應用于語言教學的研究，以上嘗試對知識習得均提供了一定幫助。

1.3 增強現實技術應用于英語教學的優(yōu)勢

增強現實技術可融合虛擬與現實場景，提供真實的感官體驗，具有立體化視覺呈現、實時交互、增強用戶沉浸感等特點[14]。增強現實技術應用于英語教學有3方面優(yōu)勢。

（1）提供良好的感官體驗，豐富英語學習環(huán)境。兒童學習過程以形象思維方式為主，即學習對象應“看得見，摸得著”[15]。英語學習過程提供學習材料與真實事物相似程度越高越好，圖片、視頻等學習材料的二維呈現與三維模型相比形象程度偏低。增強現實系統(tǒng)把三維模型、音頻、視頻融合成一個整體，讓孩子能看、能聽、能摸，逼真的環(huán)境、多感官的體驗讓幼兒融入到學習環(huán)境中，一定程度上緩解了現有英語學習氛圍的單調。

（2）培養(yǎng)英語語感，提高聽力水平。實際生活情境中置身于英語對話的場景十分稀少，兒童英語教學環(huán)境中雖不缺乏英語訓練，但傳統(tǒng)學習方式往往是聽、說為主[16]。而增強現實系統(tǒng)的幫助下，視、聽、說相互融合，讓兒童置身于真實的英語情境下，把英語詞語與現實事物聯系在一起，增強對英語詞語語義的理解[17]。同時調動眼、耳、口多個感官，對于兒童理解、記憶英語，提高英語聽力有所幫助。

（3）玩中學，激發(fā)學習興趣[18]。玩是兒童的天性，孩子很樂意學習有趣、好玩的事物[19]。在增強現實環(huán)境下，威風的老虎、穿梭水中的游魚等英語單詞相對應的景象呈現在兒童眼前，輕輕地觸摸后，動物們或是吼叫，或是游動，清晰標準的英語發(fā)音同時被朗讀出來。

2 增強現實英語單詞卡系統(tǒng)設計與實現

2.1 功能概述

增強現實英語單詞卡系統(tǒng)具有4個功能，即下載資源、加載資源、AR顯示、AR交互功能。系統(tǒng)下載與英語單詞、句子有關的聲音、文字、3D模型資源后再加載到移動設備中顯示出AR效果，最后用戶通過AR交互功能使系統(tǒng)朗讀英文讀音。

2.2 系統(tǒng)設計

系統(tǒng)采用客戶服務模式，分為客戶端與服務器區(qū)，如圖1所示。手機、平板等移動設備作為客戶端，有攜帶方便、無線方式連接互聯網的優(yōu)點，也具備增強現實技術必需的攝像、跟蹤計算、圖形渲染等能力。服務器主要作用是存儲模型、聲音、圖片等需占用大量存儲空間的資源。

客戶端包含下載資源、加載資源、AR顯示、AR交互4個功能模塊。首先通過下載資源功能可下載存放在服務器中的英語單詞相關的模型、音頻、圖片資源;然后移動設備通過系統(tǒng)加載資源功能將資源加載到系統(tǒng)中;接著AR顯示功能通過跟蹤目標對象，把虛擬對象如模型與現實世界的場景疊加并顯示出來;最后通過旋轉等交互功能進行一系列交互。

服務端除了存儲資源外，還需建立數據庫，存儲資源路徑、名稱、編號等相關信息，以供客戶端提取，下載關聯資源。客戶端與服務器的通信是基于HTTP協議實現的，由于其支持客戶/服務模式、連接方式簡單且傳輸數據的類型靈活，因此在互聯網上應用十分廣泛[20]。通信過程是客戶端先向服務器發(fā)送請求，服務器接收請求后，根據請求的內容查詢數據庫，再將查詢結果返回到客戶端。

2.3 功能實現

（1）下載資源功能。資源有3D模型文件、文本文件、圖片文件、音頻文件、識別文件等，皆存放在服務器中，在使用前需先下載，下載中使用Unity軟件的WWW類庫，傳輸方式為HTTP協議POST方式。

WWW是Unity封裝的一個基于HTTP協議的類庫，可以使用該類庫進行網絡請求[21]。WWW類采用客戶端與服務器工作模式，首先通過客戶端與服務器建立連接;發(fā)送請求;服務器接收到請求后，返回信息到客戶端;通信完成后關閉連接。按照HTTP協議使用POST或者GET方式傳輸數據。GET方式請求會附加在URL后面，POST方式則通過FROM形式提交。GET方式最多只能傳輸1 024字節(jié)，POST方式在理論上則沒有限制、且POST比GET方式安全性更高，所以本文使用POST方式。關鍵代碼如下：

IEnumerator SendPost（string _url， WWWForm _wForm）

{

WWW postData = new WWW（_url， _wForm）;??? //聲明一個WWW類用于接收資源數據

yield return postData; ??????????????????? //獲取下載的資源

if （postData.error ！= null）????????????? //檢查數據是否有錯

{

Debug.Log（postData.error）;

}

else

{

Debug.Log（postData.text）;

}

}

public void HttpSend（string name，string id，string urlString）

{

WWWForm form = new WWWForm（）; //聲明一個表單變量存儲服務器端的賬號與密碼

form.AddField（“Username”，name）;? //填寫賬號、密碼

form.AddField（“ID”，id）;

StartCoroutine（SendPost（urlString， form））; //開啟一個協程來進行下載工作

}

（2）加載資源功能。系統(tǒng)需把資源轉化為Unity支持的資源格式后才可加載資源，如音頻資源需要轉換為Audio Clip格式，對于文本、貼圖、資源包類型的資源，對應格式分別為Text、Texture、AssetBundle，而Unity不支持的格式需轉換為字節(jié)數組類型，其后通過Unity提供的資源加載函數，把相對應的資源加載到系統(tǒng)中。

（3）AR顯示功能。EasyAR作為增強現實開發(fā)的AR SDK，顯示模型需要包含3個步驟，分別是獲取密鑰、準備識別圖、書寫識別代碼。具體包括：①獲取密鑰是獲取使用AR SDK的使用權限，需把密鑰填寫到AR Camera的Key屬性欄中;②為使移動終端在開啟攝像頭掃描后可以追蹤到識別對象，需提前準備識別度較好的圖片作為識別圖，并把識別圖的名稱與路徑填寫到Image Target的屬性欄中;③書寫識別代碼可反饋識別對象被追蹤檢測時觀測模型能否正常顯示。當掃描或遠離識別圖時，在OnTargetFound和OnTargetLost函數中，系統(tǒng)可接收識別對象的反饋消息。

（4）AR交互。3D模型控制。unity支持多種3D模型格式，如fbx、dae、3ds、dxf、obj等文件格式，但較為常用的格式是fbx格式。首先fbx格式可存儲3D模型包含的網格、材質、動畫、骨骼等信息，unity引擎可解讀信息;其次，fbx格式允許不同3D模型制作軟件讀取編輯，如Maya和3D Max三維制作軟件都可以打開fbx格式文件進行編輯。但其它格式只能被相應的3D模型制作軟件讀取，如mb格式可以被Maya三維制作軟件讀取，但不能被3D Max三維制作軟件識別。

通過改變兩指之間的距離進行縮放，以確定模型的縮放效果。若兩指之間距離增大，則放大模型;反之則縮小模型。通過單個手指朝不同方向滑動旋轉，可從不同角度觀看模型。當手指向右滑動，模型會向右旋轉;反之模型則向左轉。關鍵代碼如下：

float offset = newDistance - oldDistance;//兩指間距離，為正表示放大手勢， 為負表示縮小手勢

float scaleFactor = offset / 100f; //縮放因子，確定縮放的比例

Vector3 scale = new Vector3（localScale.x + scaleFactor，//模型按縮放因子進行縮放

localScale.y + scaleFactor，

localScale.z + scaleFactor）;

Vector2 deltaPos = touch.deltaPosition;//手指觸點的改變距離

transform.Rotate（Vector3.down * deltaPos.x，Space.World）;//圍繞Y軸進行旋轉。若手指觸點改變距離為正，則向右旋轉;反之向左旋轉。

英語發(fā)音播放與暫停。Unity支持4種音頻格式aiff、wav、mp3、ogg。aiff、wav適合較短的聲音文件存儲，而mp3、ogg適合較長的聲音文件存儲。英語單詞發(fā)音及例句的朗讀都屬于較短的聲音。另外wav格式屬于無損壓縮格式，單詞、例句聲音的清晰程度不會受到影響，所以采用wav格式較為適合。Unity使用AudioSource組件的 Play、Stop等函數，控制聲音播放、暫停及循環(huán)播放。

文本信息顯示與隱藏。文本信息包含英語單詞及例句相關信息，可以控制文本信息的顯示與隱藏。當需要查看包含英語單詞的例句時，單擊一次按鈕，則展現相應例句，再次單擊按鈕則例句消失。Unity通過GameObject組件SetActive函數的布爾參數，決定單詞或例句信息是否顯示。

UI控件控制。UI控件實現與用戶可視化交互，可控制例句顯示或隱藏，控制暫停與播放單詞、例句等音頻及場景切換。Unity通過Button組件onClick函數響應用戶點擊事件。

3 實驗結果與分析

3.1 測試環(huán)境

硬件環(huán)境選用Andriod移動設備作為調試平臺，軟件操作系統(tǒng)為Andriod4.0版本。另外，還需要英語單詞卡，本文設計了由綠色背景、黃色前景色英文和動物圖片組成的英語單詞卡，如圖2所示。

3.2 測試流程與結果

打開攝像頭，將攝像頭對準英語單詞卡，平板上會出現呼嚕呼嚕叫的鱷魚，伴隨著鱷魚爬行與吼叫，系統(tǒng)發(fā)出鱷魚叫聲及相應英語發(fā)音，并顯示相應英文單詞，如圖3所示。通過手指操作還可以細致觀察，手指滑動屏幕，鱷魚就會轉過身去，雙指捏放，鱷魚會縮小與放大。如果需要反復聽發(fā)音，則選擇相應“中”或者“英”按鈕。

從結果來看，本系統(tǒng)完成了核心功能，通過下載、加載英語單詞卡對應的動物模型、中英文發(fā)音、文本，以AR效果顯示出來，然后可對其進行縮放、旋轉等交互操作，控制朗讀聲音的播放等。測試過程中，系統(tǒng)仍存在一些問題，需要繼續(xù)優(yōu)化：①個別英語單詞識別速度慢，原因可能是識別圖精準度偏低;②可能由于網絡原因，資源下載速度較慢;③模型動畫需更豐富。

4 結語

增強現實技術具有融合虛擬與現實的特點，能夠立體化呈現知識內容，將其應用于英語教學，對提高兒童學習興趣，理解、記憶英語能力和英語聽力等方面有所幫助。本文設計的基于增強現實的兒童英語單詞卡系統(tǒng)，把抽象的英文單詞轉為具有視聽效果的AR場景，符合兒童認知特點，有助于兒童英語學習。盡管增強現實技術相對于其它教學媒體在感官體驗上有較大優(yōu)勢，但如何有效應用到教學中仍是信息技術與課程深度融合過程中需進一步探索的問題[22]。

參考文獻：

[1] 朱淼良，姚遠，蔣云良. 增強現實綜述[J]. 中國圖象圖形學報，2004（7）：3-10.

[2] 鐘毅. 增強現實（AR）技術的教育應用略談[J]. 電子世界，2018（12）：61-62.

[3] 蔡蘇，薛曉茹，張晗. 增強現實（AR）在K-12教育的應用實踐[J]. 中小學信息技術教育，2017（11）：71-75.

[4] 蔡新元，陸晴漪. 增強現實技術在傳統(tǒng)兒童書籍中的應用研究[J]. 湖北大學學報，2013（4）：100-103.

[5] BILLINGHURST M，KATO H. Collaborative augmented reality[J]. IEEE Communications of The ACM，2002（7）：64-70.

[6] KAUFMANN H，SCHMALSTIEG D.Mathematics and geometry education with collaborative augmented reality[J]. Computers & Graphics，2003（3）：339-345.

[7] DUNSER A，HORNECKER E. An observational study of children interacting with an augmented story book[C]. Technologies For E-Learning and Digital Entertainment. Berlin Heidelberg：Springer，2007：305-315.

[8] JUAN M. Tangible cubes used as the user interface in an augmented reality game for edutainment[C]. 10th IEEE International Conference on Advanced Learning Technologies，2010：599-603.

[9] 黃凌，李穎. 增強現實與Unity結合的初探[J]. 藝術教育，2017（7）：77-78.

[10] 真田博文. 拡張現実を利用した初等英語向け學習教材の開発[J]. 教育システム情報學會誌，2016（4）：176-180.

[11] 蔡蘇. 增強現實（AR）在教學中的應用案例評述[J]. 中國電化教育，2017（3）：1-9.

[12] 曾丹. 增強現實技術的漢語教學研究[J]. 語文學刊，2017（5）：163-166.

[13] 李丹. 增強現實英語教學應用設計研究[J]. 中國教育信息化，2017（15）：68-73.

[14] 李文霞. 淺談增強現實技術[J]. 電腦知識與技術，2013（28）：6411-6414.

[15] 王昕. 基于兒童心理、認知特點的教育類APP設計研究[D]. 呼和浩特：內蒙古師范大學，2016.

[16] 李華. 幼兒英語教學存在的問題及對策[J]. 中國教育技術裝備，2018（2）：111-115.

[17] 王萍. 基于增強現實技術的移動學習研究初探[J]. 現代教育技術，2013（5）：5-9.

[18] 顧云玉. 玩中學，學中玩——幼兒園課程游戲化的思考[J]. 讀與寫：教育教學刊，2016（4）：238-238.

[19] 溫洪念，劉洋，韓朵朵. 移動增強現實關鍵技術綜述[J]. 石家莊鐵路職業(yè)技術學院學報，2017，16（1）：71-74.

[20] 王旭. 網絡數據庫的訪問模式的分析與研究[J]. 計算機光盤軟件與應用，2014（17）：41-41.

[21] 譚明. 基于Unity3D的數據中心可視化系統(tǒng)構建的關鍵技術研究[D]. 秦皇島：燕山大學，2016.

[22] 張燕翔，朱赟，董東. 從“經驗之塔”理論看增強現實教學媒體優(yōu)勢研究[J]. 現代教育技術，2012（5）：22-25.

（責任編輯：江 艷）