基于Unity3D的初中英語單詞AR應(yīng)用設(shè)計與實現(xiàn)

潘光洋

（廣東培正學(xué)院數(shù)據(jù)科學(xué)與計算機學(xué)院 廣東 廣州 510830）

0 引言

增強現(xiàn)實技術(shù)能夠?qū)⑻摂M事物與真實事物融合在一起，已應(yīng)用到多個領(lǐng)域，如娛樂、產(chǎn)品銷售、房地產(chǎn)、文化傳承、教育等。用戶戴上增強現(xiàn)實頭盔設(shè)備或具有攝像頭的手持設(shè)備，能夠沉浸體驗虛實結(jié)合的場景和事物。各行業(yè)領(lǐng)頭企業(yè)紛紛進入增強現(xiàn)實領(lǐng)域，促進了增強現(xiàn)實設(shè)備的快速發(fā)展。增強現(xiàn)實設(shè)備包括頭戴式和手持式設(shè)備。其中頭戴式主要包括微軟的Hololens、Magic leap的Magic Leap One混合現(xiàn)實眼鏡、愛普生的BT-35E增強現(xiàn)實AR智能眼鏡等。手持式設(shè)備主要是各種帶攝像頭的設(shè)備，如手機、平板、觸摸屏等。開發(fā)AR的SDK和插件快速地迭代，從底層的開發(fā)語言WebGL、ARCore、Vuforia，到集成地開發(fā)插件ARFoundation、EasyAR，使AR應(yīng)用的開發(fā)更加簡便而有效。為了探索在手機設(shè)備上能夠有效地開發(fā)AR應(yīng)用，提出高效開發(fā)流程方案，拓寬手機AR應(yīng)用領(lǐng)域，本文以農(nóng)村初中英語教育為例，以Unity3D游戲引擎為開發(fā)平臺，以EasyAR為插件，描述了《英語單詞AR應(yīng)用》的開發(fā)流程和關(guān)鍵技術(shù)，提出了AR識別圖制作的注意事項。本研究開發(fā)AR應(yīng)用制作了符合友好體驗的識別圖畫冊，通過手機能夠快速識別卡片，實現(xiàn)了單詞相對應(yīng)三維場景的展示，單詞與例句的發(fā)音，三維場景的移動、縮放、旋轉(zhuǎn)，信息數(shù)據(jù)的顯示與隱藏。

1 研究背景

AR技術(shù)已相對成熟，并在教育領(lǐng)域中有所應(yīng)用。蔡蘇[1]所帶領(lǐng)的團隊經(jīng)過一系列嘗試，撰寫了一本基于增強現(xiàn)實技術(shù)用于教學(xué)演繹的書。周海洋[2]利用Unity3D和Vuforia的AR技術(shù)實現(xiàn)相關(guān)化學(xué)知識的AR立體展示。顧鳳梅等[3]使用Unity3D軟件及Easy AR作為AR引擎，以“英語單詞AR學(xué)習(xí)資源”為例進行設(shè)計開發(fā)，生成移動設(shè)備應(yīng)用程序，在移動設(shè)備上安裝運行，掃描單詞識別圖，產(chǎn)生對應(yīng)含義的三維模型，模型可以被觸摸放大，給出中英文語音及其解釋，提供流暢的學(xué)習(xí)體驗。但是他們設(shè)計的識別卡片比較單調(diào)，只有文字卡片。

2 系統(tǒng)開發(fā)流程

從需求分析到發(fā)布APK的AR應(yīng)用開發(fā)流程如圖1所示。

圖1 系統(tǒng)開發(fā)流程

在需求分析階段，完成開發(fā)環(huán)境搭建、系統(tǒng)用戶功能需求分析、初中英語詞匯的收集和整理、例句的選擇、單詞與三維模型對應(yīng)關(guān)系分析等任務(wù)。在單詞識別圖設(shè)計階段，完成識別圖畫冊封面和界面布局的設(shè)計，制定色彩搭配圖和界面布局圖。在設(shè)計系統(tǒng)UI界面階段，完成手機端系統(tǒng)交互界面的設(shè)計，繪制界面圖標(biāo)，制訂元素布局規(guī)范。在創(chuàng)建3D模型階段，根據(jù)需求分析所得到的模型對應(yīng)關(guān)系，使用3Ds Max制作三維模型或場景，優(yōu)化面數(shù)，導(dǎo)出為FBX格式文件。在Unity3D開發(fā)軟件階段，將所有的識別圖、三維模型、音頻等素材導(dǎo)入Unity3D開發(fā)平臺，添加AR識別圖組件，添加交互代碼，實現(xiàn)系統(tǒng)交互功能。在軟件功能測試階段，應(yīng)用用戶友好體驗測試的方法，檢驗功能可用性和界面的友好性。最終，從Unity3D導(dǎo)出APK格式的AR應(yīng)用。

3 系統(tǒng)設(shè)計

系統(tǒng)選用了上海牛津版本的七年級、八年級和九年級的英語教材作為單詞來源教材，按教材單元劃分學(xué)習(xí)單元，將單詞分為具象和抽象。對于具象的單詞，采用具體事物模型表示；對于抽象的單詞，采用場景或者動畫表達。系統(tǒng)設(shè)計包括功能設(shè)計、識別圖設(shè)計和操作界面設(shè)計。

3.1 功能設(shè)計

根據(jù)對初中師生的問卷調(diào)查分析結(jié)果，系統(tǒng)功能包括：系統(tǒng)能夠展示單詞對應(yīng)的模型，讓學(xué)生能夠快速背誦和記憶，能夠發(fā)出單詞的讀音；方便用戶查看3D模型；在沒有卡片時也能夠通過菜單進入單詞三維展示界面。系統(tǒng)整體功能如圖 2所示。

圖2 系統(tǒng)功能結(jié)構(gòu)圖

3.2 識別圖設(shè)計

單詞卡片設(shè)計時需要考慮如何利用視覺元素有效地向讀者傳達內(nèi)容和信息。制作時考慮每個元素的視覺屬性和色彩構(gòu)成，仔細(xì)衡量每個細(xì)節(jié)，追求在有效傳遞信息的同時又能給使用者帶來舒適愉悅的感覺[4]。識別圖是卡片類AR的重點。良好的識別圖，能夠提供友好的用戶體驗。識別圖卡片制作需考慮識別圖中盡可能多的特征點。特征點的特點就是鋒利、尖、輪廓分明的細(xì)節(jié)圖像[5]。色彩搭配有助于實現(xiàn)更好的視覺效果，識別圖卡片的顏色搭配如圖3所示。

圖3 卡片識別圖顏色搭配圖

識別圖卡片采用偏動畫的手繪效果，卡片中包括單詞平面圖、英語單詞、例句、翻譯、另外添加一些勵志小圖標(biāo)，整個畫面豐富，布局合理，提高識別度。以racing英文單詞的識別圖設(shè)計為例，設(shè)計圖布局詳細(xì)說明如圖4所示。

圖4 識別圖布局詳細(xì)說明

將所有卡片識別圖通過左上角的圓孔進行裝訂形成畫冊，畫冊封面如圖5左邊所示，所有卡片的效果如圖5右邊所示。畫冊需要印刷為彩色的卡片，從而讓AR效果更加友好。

圖5 畫冊封面（左邊）和卡片識別圖效果（右邊）

在識別圖卡片的制作時需要注意以下幾點：（1）單詞平面圖片的格式建議為jpg。單詞卡片應(yīng)當(dāng)擁有合適的紋理。意味著紋理應(yīng)當(dāng)具有豐富的細(xì)節(jié)，且不是遵循某種重復(fù)性的模式。紋理細(xì)節(jié)缺乏或反復(fù)重復(fù)的物體不利于檢測和跟蹤。（2）卡片上的物體內(nèi)容本身應(yīng)當(dāng)盡可能地充滿整個畫面，有利于掃描檢測。（3）卡片圖片不能過于狹長，其短邊的長度至少應(yīng)該達到長邊長度的20%，長度過長掃描不全，自動生成Target數(shù)據(jù)時計算時間增多且容易導(dǎo)致因文件過大而帶來操作卡頓、閃退的麻煩。長度過短不能夠保證能有足夠多的特征點并且細(xì)節(jié)過于模糊，影響檢測結(jié)果。（4）單詞卡片圖像的尺寸大小合適。（5）盡量不要使用透明通道，卡片圖像如果帶有透明通道，系統(tǒng)會默認(rèn)按照白色背景的方式進行處理，會造成圖像細(xì)節(jié)的隱藏或是混淆，如非本意，盡量避免。（6）實物卡片大小應(yīng)該合適，手掌大小最為合適。

3.3 操作界面設(shè)計

操作界面設(shè)計與識別圖設(shè)計不同，操作界面設(shè)計是系統(tǒng)在手機端上的界面設(shè)計，主要是用于操作手機觀看的效果和交互的界面。根據(jù)用戶需求調(diào)查分析結(jié)果顯示系統(tǒng)89%的用戶更喜歡系統(tǒng)UI界面風(fēng)格可愛、現(xiàn)代。為了能夠滿足脫卡，設(shè)置了APP的首頁界面和操作界面，如圖6所示。

圖6 首頁界面（左邊）和操作界面（右邊）

在操作界面上，用戶只需要將手機攝像頭對準(zhǔn)識別圖即可加載三維模型，并展示相應(yīng)的單詞內(nèi)容。用戶點擊“語音播放按鈕”即可播放一次單詞和例句的發(fā)音。

4 系統(tǒng)實現(xiàn)

Unity3D游戲引擎擁有良好的跨平臺性，實現(xiàn)Windows、Android、MAC等多個平臺的交互，具有低成本、高效率、易上手等優(yōu)點[6]。EasyAR插件支持多種硬件平臺，官方提供了各種API接口的應(yīng)用案例，并提供了不同開發(fā)環(huán)境下的SDK包，如基于Unity3D平臺的SDK包。與Vuforia和ARTool Kit相比，EasyAR具有高效、易用、簡單的優(yōu)點，使普通用戶更容易上手[7]。Unity3D發(fā)布APK需要Android SDK的支持，采用Android Studio進行Android SDK管理。

4.1 系統(tǒng)開發(fā)環(huán)境配置

系統(tǒng)開發(fā)主要使用兩個開發(fā)包：（1）Android SDK軟件開發(fā)工具包，為開發(fā)者提供Android庫文件以及其他開發(fā)所用到的工具。（2）Java開發(fā)工具包（JDK)，為系統(tǒng)開發(fā)提供Java工具和創(chuàng)建Java開發(fā)環(huán)境。安裝Android Studio集成開發(fā)環(huán)境管理Android SDK，安裝Java SE完成JDK環(huán)境的配置。

系統(tǒng)使用EasyAR SDK開發(fā)AR應(yīng)用，需要配置EasyAR SDK。進入EasyAR的官網(wǎng)easyar.cn下載對應(yīng)的Unity插件包。EasyAR從版本4開始，過去被大家熟知的EasyAR SDK將被賦予一個新的名字：EasyAR Sense。EasyAR Sense是一個獨立的SDK，提供感知真實世界的能力。EasyAR Sense Unity Plugin提供EasyAR Sense功能在Unity中的封裝。EasyAR SDK的配置需要完成如下兩個步驟：（1）在官網(wǎng)中注冊賬號，在“sense授權(quán)管理”中新建應(yīng)用授權(quán)，并填寫“應(yīng)用名稱”和“Package Name”。（2）在Unity3D的項目中導(dǎo)入所下載的EasyAR Sense Unity Plugin，選擇“EasyAR”|“change license Key”菜單，在“Setting”面板上粘貼第一步申請的授權(quán)碼。“Package Name”的命名規(guī)則是“com.”+“公司名稱”+“應(yīng)用名稱”，如“com.yl.easyEnglish”，所有名稱都需要使用英文字符描述。

4.2 三維模型的制作

三維模型的制作使用3Ds Max完成。三維模型制作過程是：單詞類型劃分，三維模型的粗模制作；UV貼圖展開并烘焙；優(yōu)化三維模型，降低面數(shù)；最后，導(dǎo)出FBX格式的三維模型文件。三維模型導(dǎo)出的FBX格式的文件名設(shè)置為“單詞+_model”，如gift_model.fbx。

4.3 交互功能模塊實現(xiàn)

在AR應(yīng)用中，用戶使用觸摸屏和攝像頭與系統(tǒng)交互，交互操作包括攝像頭掃描、點擊、縮放和旋轉(zhuǎn)手勢。攝像頭掃描使用EasyAR SDK的自帶功能，用戶讓手機對著識別圖即可。用戶可以用手指點擊屏幕，通過不同的手勢來控制三維模型，與模型進行交互[8]?？s放：通過改變兩個手指在屏幕上的距離實現(xiàn)模型的縮小放大效果，兩個手指之間距離變大，則放大模型；反之則縮小模型。旋轉(zhuǎn)：通過一個手指在手機屏幕上朝不同方向滑動，模型可以360°旋轉(zhuǎn)。當(dāng)手指向某一方向滑動，模型也會隨之旋轉(zhuǎn)。

4.4 發(fā)音模塊實現(xiàn)

Unity 3D支持多種音頻格式，主要包括 aiff、wav、mp3、ogg四種。其中，aiff、wav 格式比較適合聲音較長的文件存儲，而mp3、ogg格式比較適合聲音較短的文件存儲。英語單詞和例句的語音屬于比較長的錄音。本系統(tǒng)的單詞和例句發(fā)音采用文字轉(zhuǎn)化為語音的技術(shù)，導(dǎo)出為wav格式。音頻文件的名稱規(guī)范為：“單詞名稱_audio”，如gift_audio.wav。wav格式編碼簡單以及無損耗存儲，單詞、例句聲音的清晰程度不會受到影響。

發(fā)音模塊的實現(xiàn)使用Unity3D中默認(rèn)的UI按鈕觸發(fā)Audio Source組件的Play函數(shù)完成。在UI按鈕的“On Click()”事件中選擇“AudioSource.Play”和含有對應(yīng)音頻的Audio Source組件即可。

4.5 文本信息顯示與隱藏

用戶掃描識別圖之后，系統(tǒng)界面會顯示單詞、例句文本和發(fā)音按鈕。為了能夠更好地查看三維模型，加深對單詞與三維模型的關(guān)聯(lián)，用戶可以切換文本信息的顯示和隱藏。利用Unity3D中的UI按鈕組件的onClick 函數(shù)響應(yīng)用戶點擊事件以及SetActive 函數(shù)的布爾參數(shù)控制系統(tǒng)文本信息的顯示或隱藏。在C#的代碼里設(shè)置一個isClick布爾類型的變量，用于存儲信息顯示與否的狀態(tài)。功能實現(xiàn)邏輯：當(dāng)用戶點擊一次按鈕，則顯示三維模型相應(yīng)單詞和例句，再次點擊按鈕則單詞和例句消失。

4.6 系統(tǒng)測試和發(fā)布

系統(tǒng)采用功能測試，直接在Unity3D開發(fā)平臺上進行功能測試。識別圖ImageTarget、三維模型內(nèi)容和音頻等內(nèi)容整合后，在帶有攝像機的電腦上進行開發(fā)測試。Android Studio開發(fā)環(huán)境將手機模擬器內(nèi)嵌到開發(fā)平臺中，所以能夠直接通過Android Studio創(chuàng)建虛擬終端完成系統(tǒng)調(diào)試。

在Unity3D開發(fā)環(huán)境下，選擇“build settings” |“player settings”菜單，在Player setting對話框中設(shè)置軟件包安裝的屬性。此處的Package Name必須與EasyAR的授權(quán)碼中的“Package Name”保持一致。發(fā)布APK之后，將APK上傳到草料二維碼網(wǎng)站，使用手機掃碼能夠快速地下載AR應(yīng)用。最終AR應(yīng)用界面如圖7所示。

圖7 系統(tǒng)運行效果界面

5 總結(jié)

EasyEnglish AR應(yīng)用嚴(yán)格按照需求分析、系統(tǒng)設(shè)計、系統(tǒng)實現(xiàn)和測試的開發(fā)流程執(zhí)行，制作了識別度高、界面美觀的識別圖畫冊，設(shè)計了系統(tǒng)的UI交互界面，系統(tǒng)操作和交互流暢，單詞語音發(fā)音標(biāo)準(zhǔn)，系統(tǒng)使用體驗友好。本研究應(yīng)用EasyAR插件快速地開發(fā)了EasyEnglish AR應(yīng)用，提出了制作識別度高的識別圖注意事項，為AR應(yīng)用領(lǐng)域提供實現(xiàn)的有效方案，促進AR應(yīng)用開發(fā)的發(fā)展。