基于AR混合體驗的吳文化教育系統(tǒng)一體化設(shè)計*

張 量，金 益，牛 麗，劉尚尚

（蘇州市職業(yè)大學(xué) 計算機工程學(xué)院，江蘇 蘇州215104）

一、引言

隨著計算機數(shù)字化展示技術(shù)的進步與發(fā)展，增強現(xiàn)實技術(shù)（Augmented Reality，簡稱AR）因其能夠?qū)⒄鎸嵤澜缗c虛擬信息無縫融合，在各行各業(yè)中的價值愈發(fā)突顯，也受到越來越多國內(nèi)外學(xué)者的關(guān)注。Google、Microsoft、Apple等巨頭競相布局，構(gòu)建自己的AR生態(tài)系統(tǒng)。蘋果和Google公司推出的ARKit[1]和ARCore[2]增強現(xiàn)實平臺分別支持iOS和Android操作系統(tǒng)，大幅推動了增強現(xiàn)實在移動智能設(shè)備上的應(yīng)用和發(fā)展。與此同時，谷歌Google glass、微軟HoloLens以及基于 Kinect開發(fā)的Room Alive[3]投影系統(tǒng)等硬件設(shè)備也層出不窮。然而，它們在給用戶帶來多樣化體驗的同時，也導(dǎo)致了用戶體驗不一致、不連貫的問題，不同廠商、不同設(shè)備間內(nèi)容素材不兼容也導(dǎo)致了資源的浪費。

針對以上問題，本文闡述了一種基于AR技術(shù)的一體化設(shè)計與開發(fā)方案。它可以根據(jù)展示需求，從視覺、聽覺、觸覺等多個維度，綜合利用并發(fā)揮不同設(shè)備的特點與優(yōu)勢，將內(nèi)容素材在VR、AR、全息投影等設(shè)備上進行統(tǒng)一部署與展示，在獲得豐富展示方式的同時保證各設(shè)備之間體驗的一致性和流暢度。所開發(fā)的素材在各設(shè)備間可相互兼容、無縫對接、靈活部署，從而大幅縮短開發(fā)時間，降低開發(fā)成本。本文還通過“千年平江”系列AR明信片、陶瓷工藝品活化展示、平江古城時空望遠鏡等產(chǎn)品與應(yīng)用，引導(dǎo)用戶體味并學(xué)習(xí)吳地文化，通過嶄新的體驗方式改變傳統(tǒng)文化的傳播方式，使傳統(tǒng)文化煥發(fā)生機。

二、研究現(xiàn)狀

在國外，普遍認為AR可以溯源至1968年由圖靈獎獲得者、哈佛大學(xué)Lvan sutherland教授領(lǐng)導(dǎo)研發(fā)的The Sword of Damocles（達摩克斯之劍）項目。[4-6]2001年由希臘多家研究機構(gòu)和政府部門聯(lián)合開發(fā)的Archeoguide系統(tǒng)可以看成是當前AR應(yīng)用形態(tài)的標志性項目，它能將虛擬影像疊加到神廟建筑遺址上，向參觀者呈現(xiàn)復(fù)原后的歷史遺跡。[7]2010年，D.Marimon等人設(shè)計的Mobi AR，使用戶可以在個人手機上獲得西班牙城市巴倫西亞和圣塞巴斯蒂安虛擬現(xiàn)實形式的古跡導(dǎo)覽。[8]類似的增強現(xiàn)實應(yīng)用Lecce AR讓用戶能夠通過手機屏幕在廢墟上看到復(fù)原的法國萊切古羅馬圓形劇場原貌。[9]2014年，谷歌發(fā)起了Project Tango項目，該項目能讓智能手機對環(huán)境的識別更為深入，并且可以獲得更準確的姿態(tài)控制與3D渲染，讓人看到智能手機在增強現(xiàn)實運用中的廣闊前景。[10]

而在國內(nèi)，由于AR技術(shù)研究起步較晚，應(yīng)用與研究主要集中于一些著名高校和實驗室。近兩年，雖然中國的AR研究呈現(xiàn)井噴式的發(fā)展，許多公司也紛紛開始轉(zhuǎn)向研究AR應(yīng)用，但是在文化領(lǐng)域取得的成果也屈指可數(shù)。北京理工大學(xué)王涌天教授在2006年完成的基于增強現(xiàn)實技術(shù)的圓明園現(xiàn)場數(shù)字重建項目是國內(nèi)最早的AR在文化遺址展示中的運用。[11]之后西南交大李江等人利用增強現(xiàn)實技術(shù)開發(fā)了一個恐龍博物館。[12]胡穎群等人基于增強現(xiàn)實技術(shù)研究實現(xiàn)三維虛擬商品展示系統(tǒng)。[13]2017年，百度AR實驗室實施了一個公益科技計劃，用戶打開手機百度App對準北京正陽門，可以進行實景觸發(fā)，呈現(xiàn)出古人進出城門的生活場景。[14]

以上應(yīng)用和研究都僅限于在單一設(shè)備上進行視覺融合與展示。近年來也有人對混合展示方式進行了嘗試。如湯曉穎等人將AR與明信片結(jié)合起來，實現(xiàn)了基于AR的紙上博物館。[15]2016年，李婷婷等人基于AR-VR混合技術(shù)展開了博物館展覽互動應(yīng)用的相關(guān)研究。[16]但是在給用戶帶來多樣化體驗的同時，也導(dǎo)致了用戶體驗不一致、不連貫的問題，不同廠商、不同設(shè)備間內(nèi)容素材不兼容也導(dǎo)致了資源的浪費。

三、系統(tǒng)設(shè)計與方案

本文在Vuforia＋Unity 3D開發(fā)框架下提出了一種一體化設(shè)計方案，如圖1所示。它性能穩(wěn)定、識別與跟蹤效果好，同時對素材和發(fā)布設(shè)備具有良好的兼容性。該方案解決了由于設(shè)備和素材不統(tǒng)一導(dǎo)致的用戶體驗不一致、不連貫的問題，并能有效避免重復(fù)開發(fā)，縮短項目周期。下面從開發(fā)框架、目標識別及融合交互三方面進行敘述。

圖1 基于增強現(xiàn)實一體化系統(tǒng)設(shè)計方案

（1）開發(fā)框架

目前主流的ARSDK有Arkit、Arcore、Vuforia、AR Studio、Windows Mixed Reality、ARToolKit、Wikitude、MaxST、Kudan、Xzimg以及國產(chǎn)的太虛、百度 AR、網(wǎng)易洞見AR、視＋EasyAR、亮風(fēng)臺HiAR、天眼AR、幻視AR等。

本文選擇的Vuforia SDK＋Unity 3D開發(fā)框架在穩(wěn)定性、易用性、兼容性上有如下優(yōu)勢：

①基于Vuforia發(fā)布的應(yīng)用程序可以兼容大多數(shù)設(shè)備，其中包括iOS、Android以及Windows10設(shè)備。同時，Vuforia Fusion還將為ARCore和ARKit設(shè)備帶來更先進的Vuforia功能。

②Vuforia Fusion能夠感知底層設(shè)備的性能，使開發(fā)人員能夠僅依靠單個Vuforia API就可以在多種設(shè)備上實現(xiàn)最佳的AR體驗。

③Vuforia 7可以通過Unity游戲引擎進行訪問，所以開發(fā)者可以輕松地將其集成到開發(fā)流程中。

Vuforia解決了AR啟用技術(shù)的分裂問題，包括攝像機、傳感器、芯片組和軟件框架（如ARKit和ARCore），同時還使開發(fā)變更加容易。

（2）目標識別追蹤

在增強現(xiàn)實應(yīng)用中，目標識別與追蹤技術(shù)（即跟蹤注冊技術(shù)）主要分為兩類：基于標識點的注冊定位技術(shù)和基于2D圖片、3D Object的識別跟蹤技術(shù)。前者的典型代表是ARToolkit黑白框標識碼，后者代表是Vuforia。本文采用基于Vuforia SDK的方案能夠無需任何附加標記，直接識別三維空間中的物體并對其進行追蹤，具有更好的用戶體驗。具體開發(fā)大致分為以下四步：

Step1：在Unity2017.2或更高版本中配置、激活Vuforia對象并添加一個ARCamera。

Step2：激活目標（識別圖）數(shù)據(jù)庫。將待識別圖片上傳到Vuforia進行在線訓(xùn)練。Vuforia會對其進行灰度處理并提取特征點。

Step3：將訓(xùn)練后生成的目標識別package導(dǎo)入U-nity工程。從GameObject＞Vuforia菜單中將Vuforia目標（識別圖）添加到場景中。

Step4：添加數(shù)據(jù)資源，編譯并發(fā)布成適應(yīng)相應(yīng)設(shè)備的App。下面談如何添加數(shù)據(jù)資源并進行虛實結(jié)合的方法。

（3）虛實融合與交互

依靠前面所述的目標注冊跟蹤技術(shù)，可以在真實世界所設(shè)定的目標上精準疊加三維虛擬物體、場景、動畫以及特效效果。（見圖2）同時，使用Uinty中高效的程序編輯器（支持C#語法）、編譯器和調(diào)試工具可以快速地開發(fā)人機交互功能并將其無縫地發(fā)布到所需的平臺和設(shè)備上。開發(fā)大致可分為以下四步：

Step1：本文一體化設(shè)計方案可以支持3ds Max、Maya等主流平臺所開發(fā)的任何資源，只需將其導(dǎo)出成FBX即可在平臺中使用。

Step2：將設(shè)計好的資源導(dǎo)入Unity場景，使其成為target（識別圖）的子物體，并在 DefaultTrackableEventHandler.cs中設(shè)置、添加資源的渲染及物理特性。

Step3：在Control_pan.cs中進行多點觸控交互的開發(fā)，如移動、縮放、旋轉(zhuǎn)、手勢等。

Step4：掛載粒子系統(tǒng)添加聲音、粒子等特效效果。

圖2 在古平江圖石碑上疊加虛擬的平江古城三維模型

四、系統(tǒng)實現(xiàn)與應(yīng)用

本文所述的開發(fā)框架和一體化設(shè)計方案下，我們創(chuàng)作開發(fā)了瓷器工藝品活化展示、虛擬時空望遠鏡、AR明信片等應(yīng)用，對吳地文明和相應(yīng)的非物質(zhì)文化遺產(chǎn)進行輔助教育與展示。

五、實驗結(jié)果與分析

我們在一臺具有高通驍龍820（MSM8996）CPU和安卓5.1.1操作系統(tǒng)的手機和一臺配備了A9處理器和iOS 11操作系統(tǒng)的iPhone 6S上對應(yīng)用程序的目標識別能力進行了測試，每個項目（傾斜角度、遮擋率）重復(fù)測試10次并記錄結(jié)果，如表1、表2所示。結(jié)果表明本文方案在兩個設(shè)備上的識別率差別不大，在30度的小傾角依然能夠正確識別并跟蹤目標物體，識別率達到100%；在60%遮擋的情況下仍然能保證穩(wěn)定的目標識別與追蹤。

表1 攝像頭角度對目標識別的影響

表2 遮擋率與對目標識別的影響

綜上所述，本文方案具有如下優(yōu)勢：第一，素材兼容性好。能夠直接使用3ds Max、Maya等主流平臺上的素材進行創(chuàng)作與開發(fā)，節(jié)約了成本。第二，平臺適配度高。能夠直接發(fā)布到主流平臺（包括Android、iOS、MAC OS、Win 10等）。同時，Vuforia Fusion能夠感知底層設(shè)備的性能，以保證在多種設(shè)備上實現(xiàn)最佳的AR體驗。第三，性能表現(xiàn)穩(wěn)定。實驗證明本文方案開發(fā)的應(yīng)用程序達到了較高的識別與跟蹤性能，在不同設(shè)備以及遮擋等應(yīng)用場景下均有較為穩(wěn)定的性能表現(xiàn)。從而保證了在多設(shè)備混合展示的應(yīng)用場景下，快速開發(fā)部署增強現(xiàn)實應(yīng)用，并實現(xiàn)一致、流暢用戶體驗的需求。