基于AR混合體驗的吳文化教育系統(tǒng)一體化設(shè)計

張量 金益 牛麗 劉尚尚

摘? ?要：本文闡述了一種基于增強現(xiàn)實AR技術(shù)的一體化設(shè)計方案及其在吳文化教育與傳承中的開發(fā)與應(yīng)用。該方案結(jié)合了Vuforia物體識別追蹤技術(shù)、Unity3D跨平臺交互技術(shù)的優(yōu)勢，將內(nèi)容素材一致連貫地發(fā)布到多個展示設(shè)備（如頭盔、眼鏡、全息投影設(shè)備等）。該方案能有效避免重復(fù)開發(fā)并縮短項目周期，其良好的跨平臺特性也使設(shè)計部署更加靈活。該方案所開發(fā)的內(nèi)容素材可在多個設(shè)備間共用并無縫對接，在不同平臺和設(shè)備上為用戶提供了一致化的流暢體驗。

關(guān)鍵詞：增強現(xiàn)實;一體化;Vuforia;Unity3D;吳文化

中圖分類號：TP391.9 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2019）01-0090-03

一、引言

隨著計算機(jī)數(shù)字化展示技術(shù)的進(jìn)步與發(fā)展，增強現(xiàn)實技術(shù)（Augmented Reality，簡稱AR）因其能夠?qū)⒄鎸嵤澜缗c虛擬信息無縫融合，在各行各業(yè)中的價值愈發(fā)突顯，也受到越來越多國內(nèi)外學(xué)者的關(guān)注。Google、Microsoft、Apple等巨頭競相布局，構(gòu)建自己的AR生態(tài)系統(tǒng)。蘋果和Google公司推出的ARKit[1]和ARCore[2]增強現(xiàn)實平臺分別支持iOS和Android操作系統(tǒng)，大幅推動了增強現(xiàn)實在移動智能設(shè)備上的應(yīng)用和發(fā)展。與此同時，谷歌Google glass、微軟HoloLens以及基于Kinect開發(fā)的Room Alive[3]投影系統(tǒng)等硬件設(shè)備也層出不窮。然而，它們在給用戶帶來多樣化體驗的同時，也導(dǎo)致了用戶體驗不一致、不連貫的問題，不同廠商、不同設(shè)備間內(nèi)容素材不兼容也導(dǎo)致了資源的浪費。

針對以上問題，本文闡述了一種基于AR技術(shù)的一體化設(shè)計與開發(fā)方案。它可以根據(jù)展示需求，從視覺、聽覺、觸覺等多個維度，綜合利用并發(fā)揮不同設(shè)備的特點與優(yōu)勢，將內(nèi)容素材在VR、AR、全息投影等設(shè)備上進(jìn)行統(tǒng)一部署與展示，在獲得豐富展示方式的同時保證各設(shè)備之間體驗的一致性和流暢度。所開發(fā)的素材在各設(shè)備間可相互兼容、無縫對接、靈活部署，從而大幅縮短開發(fā)時間，降低開發(fā)成本。本文還通過“千年平江”系列AR明信片、陶瓷工藝品活化展示、平江古城時空望遠(yuǎn)鏡等產(chǎn)品與應(yīng)用，引導(dǎo)用戶體味并學(xué)習(xí)吳地文化，通過嶄新的體驗方式改變傳統(tǒng)文化的傳播方式，使傳統(tǒng)文化煥發(fā)生機(jī)。

二、研究現(xiàn)狀

在國外，普遍認(rèn)為AR可以溯源至1968年由圖靈獎獲得者、哈佛大學(xué)Lvan sutherland教授領(lǐng)導(dǎo)研發(fā)的The Sword of Damocles（達(dá)摩克斯之劍）項目。[4-6]2001年由希臘多家研究機(jī)構(gòu)和政府部門聯(lián)合開發(fā)的Archeoguide系統(tǒng)可以看成是當(dāng)前AR應(yīng)用形態(tài)的標(biāo)志性項目，它能將虛擬影像疊加到神廟建筑遺址上，向參觀者呈現(xiàn)復(fù)原后的歷史遺跡。[7]2010年，D.Marimon等人設(shè)計的Mobi AR，使用戶可以在個人手機(jī)上獲得西班牙城市巴倫西亞和圣塞巴斯蒂安虛擬現(xiàn)實形式的古跡導(dǎo)覽。[8]類似的增強現(xiàn)實應(yīng)用Lecce AR讓用戶能夠通過手機(jī)屏幕在廢墟上看到復(fù)原的法國萊切古羅馬圓形劇場原貌。[9]2014年，谷歌發(fā)起了Project Tango項目，該項目能讓智能手機(jī)對環(huán)境的識別更為深入，并且可以獲得更準(zhǔn)確的姿態(tài)控制與3D渲染，讓人看到智能手機(jī)在增強現(xiàn)實運用中的廣闊前景。[10]

而在國內(nèi)，由于AR技術(shù)研究起步較晚，應(yīng)用與研究主要集中于一些著名高校和實驗室。近兩年，雖然中國的AR研究呈現(xiàn)井噴式的發(fā)展，許多公司也紛紛開始轉(zhuǎn)向研究AR應(yīng)用，但是在文化領(lǐng)域取得的成果也屈指可數(shù)。北京理工大學(xué)王涌天教授在2006年完成的基于增強現(xiàn)實技術(shù)的圓明園現(xiàn)場數(shù)字重建項目是國內(nèi)最早的AR在文化遺址展示中的運用。[11]之后西南交大李江等人利用增強現(xiàn)實技術(shù)開發(fā)了一個恐龍博物館。[12]胡穎群等人基于增強現(xiàn)實技術(shù)研究實現(xiàn)三維虛擬商品展示系統(tǒng)。[13]2017年，百度AR實驗室實施了一個公益科技計劃，用戶打開手機(jī)百度App對準(zhǔn)北京正陽門，可以進(jìn)行實景觸發(fā)，呈現(xiàn)出古人進(jìn)出城門的生活場景。[14]

以上應(yīng)用和研究都僅限于在單一設(shè)備上進(jìn)行視覺融合與展示。近年來也有人對混合展示方式進(jìn)行了嘗試。如湯曉穎等人將AR與明信片結(jié)合起來，實現(xiàn)了基于AR的紙上博物館。[15]2016年，李婷婷等人基于AR-VR混合技術(shù)展開了博物館展覽互動應(yīng)用的相關(guān)研究。[16]但是在給用戶帶來多樣化體驗的同時，也導(dǎo)致了用戶體驗不一致、不連貫的問題，不同廠商、不同設(shè)備間內(nèi)容素材不兼容也導(dǎo)致了資源的浪費。

三、系統(tǒng)設(shè)計與方案

本文在Vuforia+Unity 3D開發(fā)框架下提出了一種一體化設(shè)計方案。它性能穩(wěn)定、識別與跟蹤效果好，同時對素材和發(fā)布設(shè)備具有良好的兼容性。該方案解決了由于設(shè)備和素材不統(tǒng)一導(dǎo)致的用戶體驗不一致、不連貫的問題，并能有效避免重復(fù)開發(fā)，縮短項目周期。下面從開發(fā)框架、目標(biāo)識別及融合交互三方面進(jìn)行敘述。

（1）開發(fā)框架

目前主流的AR SDK有Arkit、Arcore、Vuforia、AR Studio、Windows Mixed Reality、ARToolKit、Wikitude、MaxST、Kudan、Xzimg以及國產(chǎn)的太虛、百度AR、網(wǎng)易洞見AR、視+EasyAR、亮風(fēng)臺HiAR、天眼AR、幻視AR等。

本文選擇的Vuforia SDK+Unity 3D開發(fā)框架在穩(wěn)定性、易用性、兼容性上有如下優(yōu)勢：

①基于Vuforia發(fā)布的應(yīng)用程序可以兼容大多數(shù)設(shè)備，其中包括iOS、Android以及Windows10設(shè)備。同時，Vuforia Fusion還將為ARCore和ARKit設(shè)備帶來更先進(jìn)的Vuforia功能。

②Vuforia Fusion能夠感知底層設(shè)備的性能，使開發(fā)人員能夠僅依靠單個Vuforia API就可以在多種設(shè)備上實現(xiàn)最佳的AR體驗。

③Vuforia 7可以通過Unity游戲引擎進(jìn)行訪問，所以開發(fā)者可以輕松地將其集成到開發(fā)流程中。

Vuforia解決了AR啟用技術(shù)的分裂問題，包括攝像機(jī)、傳感器、芯片組和軟件框架（如ARKit和ARCore），同時還使開發(fā)變更加容易。

（2）目標(biāo)識別追蹤

在增強現(xiàn)實應(yīng)用中，目標(biāo)識別與追蹤技術(shù)（即跟蹤注冊技術(shù)）主要分為兩類：基于標(biāo)識點的注冊定位技術(shù)和基于2D圖片、3D Object的識別跟蹤技術(shù)。前者的典型代表是ARToolkit黑白框標(biāo)識碼，后者代表是Vuforia。本文采用基于Vuforia SDK的方案能夠無需任何附加標(biāo)記，直接識別三維空間中的物體并對其進(jìn)行追蹤，具有更好的用戶體驗。具體開發(fā)大致分為以下四步：

Step1：在Unity2017.2或更高版本中配置、激活Vuforia對象并添加一個ARCamera。

Step2：激活目標(biāo)（識別圖）數(shù)據(jù)庫。將待識別圖片上傳到Vuforia進(jìn)行在線訓(xùn)練。Vuforia會對其進(jìn)行灰度處理并提取特征點。

Step3： 將訓(xùn)練后生成的目標(biāo)識別package導(dǎo)入Unity工程。從GameObject>Vuforia菜單中將Vuforia目標(biāo)（識別圖）添加到場景中。

Step4：添加數(shù)據(jù)資源，編譯并發(fā)布成適應(yīng)相應(yīng)設(shè)備的App。下面談如何添加數(shù)據(jù)資源并進(jìn)行虛實結(jié)合的方法。

（3）虛實融合與交互

依靠前面所述的目標(biāo)注冊跟蹤技術(shù)，可以在真實世界所設(shè)定的目標(biāo)上精準(zhǔn)疊加三維虛擬物體、場景、動畫以及特效效果。同時，使用Uinty中高效的程序編輯器（支持C#語法）、編譯器和調(diào)試工具可以快速地開發(fā)人機(jī)交互功能并將其無縫地發(fā)布到所需的平臺和設(shè)備上。開發(fā)大致可分為以下四步：

Step1：本文一體化設(shè)計方案可以支持3ds Max、Maya等主流平臺所開發(fā)的任何資源，只需將其導(dǎo)出成FBX即可在平臺中使用。

Step2：將設(shè)計好的資源導(dǎo)入Unity場景，使其成為target（識別圖）的子物體，并在DefaultTrackableEventHandler.cs中設(shè)置、添加資源的渲染及物理特性。

Step3：在Control_pan.cs中進(jìn)行多點觸控交互的開發(fā)，如移動、縮放、旋轉(zhuǎn)、手勢等。

Step4：掛載粒子系統(tǒng)添加聲音、粒子等特效效果。

四、系統(tǒng)實現(xiàn)與應(yīng)用

本文所述的開發(fā)框架和一體化設(shè)計方案下，我們創(chuàng)作開發(fā)了瓷器工藝品活化展示、虛擬時空望遠(yuǎn)鏡、AR明信片等應(yīng)用，對吳地文明和相應(yīng)的非物質(zhì)文化遺產(chǎn)進(jìn)行輔助教育與展示。

五、實驗結(jié)果與分析

我們在一臺具有高通驍龍820（MSM8996）CPU和安卓5.1.1操作系統(tǒng)的手機(jī)和一臺配備了A9處理器和iOS 11操作系統(tǒng)的iPhone 6S上對應(yīng)用程序的目標(biāo)識別能力進(jìn)行了測試，每個項目（傾斜角度、遮擋率）重復(fù)測試10次并記錄結(jié)果，如表1、表2所示。結(jié)果表明本文方案在兩個設(shè)備上的識別率差別不大，在30度的小傾角依然能夠正確識別并跟蹤目標(biāo)物體，識別率達(dá)到100%;在60%遮擋的情況下仍然能保證穩(wěn)定的目標(biāo)識別與追蹤。

綜上所述，本文方案具有如下優(yōu)勢：第一，素材兼容性好。能夠直接使用3ds Max、Maya等主流平臺上的素材進(jìn)行創(chuàng)作與開發(fā)，節(jié)約了成本。第二，平臺適配度高。能夠直接發(fā)布到主流平臺（包括Android、iOS、MAC OS、Win 10等）。同時，Vuforia Fusion能夠感知底層設(shè)備的性能，以保證在多種設(shè)備上實現(xiàn)最佳的AR體驗。第三，性能表現(xiàn)穩(wěn)定。實驗證明本文方案開發(fā)的應(yīng)用程序達(dá)到了較高的識別與跟蹤性能，在不同設(shè)備以及遮擋等應(yīng)用場景下均有較為穩(wěn)定的性能表現(xiàn)。從而保證了在多設(shè)備混合展示的應(yīng)用場景下，快速開發(fā)部署增強現(xiàn)實應(yīng)用，并實現(xiàn)一致、流暢用戶體驗的需求。

參考文獻(xiàn)：

[1]ARKit[EB/OL].https：//developer.apple.com/arkit/.

[2]ARCore[EB/OL].https：//developers.google.cn/ar/.

[3]Room Alive：把你的房間變成游戲空間[DB/OL].http：//www.ifanr.com/457658.

[4]Singh N， Singh S. Virtual reality：A brief survey[C].International Conference on Information Communication and Embedded Systems.IEEE，2017：1-6.

[5]顧君忠.VR、AR和MR-挑戰(zhàn)與機(jī)遇[J].計算機(jī)應(yīng)用與軟件，2018（3）：1-7.

[6]李婷婷，王相海.基于AR-VR混合技術(shù)的博物館展覽互動應(yīng)用研究[J].計算機(jī)工程與應(yīng)用，2017（22）：185-189.

[7]Vlahakis V，Ioannidis N， Karigiannis J，et al.Archeoguide： An Augmented Reality Guide for Archaeological Sites[J].Computer Graphics & Applications IEEE，2002，22（5）：52-60.

[8]Marimon D，Sarasua C，Carrasco P，et al.MobiAR： Tourist Experiences through Mobile Augmented Reality[J].Proc Nem Summit，2013.

[9]Banterle F，Malomo L.LecceAR： An Augmented Reality App for Cultural Heritage[C].Digital Heritage International Congress.2013：347-354.

[10]余日季，唐存琛，胡書山.基于AR技術(shù)的文化旅游商品創(chuàng)新設(shè)計與開發(fā)研究[J].藝術(shù)百家， 2013（4）：181-185.

[11]王涌天，鄭偉，劉越等.基于增強現(xiàn)實技術(shù)的圓明園現(xiàn)場數(shù)字重建[J].科技導(dǎo)報，2006（3）：36-40.

[12]李江.基于ARToolKit的增強現(xiàn)實技術(shù)在恐龍博物館中的應(yīng)用研究[D].西南交通大學(xué)，2010.

[13]胡穎群，尹長青.基于ARToolKit的三維虛擬商品展示系統(tǒng)設(shè)計與實現(xiàn)[J].計算機(jī)應(yīng)用與軟件， 2012（8）：259-261.

[14]康麗娟.增強現(xiàn)實在文化遺址展示中的運用研究[J].裝飾，2018（3）：97-99.

[15]湯曉穎，區(qū)雪蘭，謝丹妮.基于AR技術(shù)的廣府家具“紙上博物館”設(shè)計應(yīng)用與研究[J].包裝工程， 2018（4）.

[16]李婷婷，王相海.基于AR-VR混合技術(shù)的博物館展覽互動應(yīng)用研究[J].計算機(jī)工程與應(yīng)用，2017（22）：185-189.

（編輯：王天鵬）