基于移動(dòng)端平臺(tái)古生物博物館增強(qiáng)現(xiàn)實(shí)系統(tǒng)的設(shè)計(jì)與應(yīng)用

張浩華, 吳艷敏, 程立英, 張 宜, 張文芮

(1. 沈陽(yáng)師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院, 沈陽(yáng) 110034;2. 沈陽(yáng)師范大學(xué) 古生物學(xué)院, 沈陽(yáng) 110034)

0 引 言

針對(duì)傳統(tǒng)博物館“櫥窗式傳播”的單一展現(xiàn)形式和無(wú)交互的靜態(tài)參觀體驗(yàn)所帶來的乏味感,將二維平面變換到三維空間、將靜態(tài)信息轉(zhuǎn)換為動(dòng)態(tài)模型的“增強(qiáng)現(xiàn)實(shí)”技術(shù)逐漸被引入到智能博物館建設(shè)中[1]。

增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡(jiǎn)稱AR)又被稱為擴(kuò)增現(xiàn)實(shí),是計(jì)算機(jī)視覺、電子和網(wǎng)絡(luò)等領(lǐng)域結(jié)合產(chǎn)生的一項(xiàng)突破性技術(shù),能實(shí)現(xiàn)3D模型、視頻音頻和文字圖像等虛擬場(chǎng)景與攝像頭捕捉的真實(shí)場(chǎng)景疊加在同一空間的效果,疊加的前提是視野中檢測(cè)到的現(xiàn)實(shí)標(biāo)記與計(jì)算機(jī)存儲(chǔ)的目標(biāo)標(biāo)記相吻合。

基于博物館的增強(qiáng)現(xiàn)實(shí)系統(tǒng)通過對(duì)博物館宣傳圖冊(cè)、展示海報(bào)、展品卡片和編號(hào)等信息的識(shí)別,疊加更多豐富的多維內(nèi)容。作為一種全新的博物館參觀模式,極大地加強(qiáng)了游覽的多樣性、趣味性和互動(dòng)性,近年來逐漸成為國(guó)內(nèi)外研究和關(guān)注的熱點(diǎn)。

由于早期傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)受運(yùn)算能力和呈現(xiàn)方式等限制,多采用臺(tái)式計(jì)算機(jī)、大型工作站或者笨重的頭盔式裝備,大大限制了用戶的活動(dòng)范圍、使用方式和交互體驗(yàn)。隨著智能電子技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展,為AR技術(shù)提供了新的助燃劑,基于移動(dòng)端平臺(tái)的移動(dòng)增強(qiáng)現(xiàn)實(shí)(Mobile Augmented Reality,簡(jiǎn)稱MAR)技術(shù)成為了當(dāng)下研究的熱點(diǎn)。在國(guó)外,2008年,Miyashita等人[2]在Ultra Mobile PC上使用無(wú)標(biāo)識(shí)、復(fù)合跟蹤的方法,設(shè)計(jì)了博物館增強(qiáng)現(xiàn)實(shí)導(dǎo)覽系統(tǒng)并解決了文物特征點(diǎn)過少的難題。2014年P(guān)eter Sommerauer[3]在某國(guó)家博物館的數(shù)字展覽期間進(jìn)行大量的實(shí)地試驗(yàn),對(duì)AR技術(shù)在非正式學(xué)習(xí)環(huán)境下的學(xué)習(xí)效果進(jìn)行了研究。2016年Bayu Prakoso Dirgantoro[4]通過研究印度尼西亞多個(gè)博物館中信息技術(shù)應(yīng)用程度情況發(fā)現(xiàn)博物館游覽過程中缺乏交互性,開發(fā)了一款應(yīng)用國(guó)立博物館中與文物進(jìn)行游戲互動(dòng)的移動(dòng)應(yīng)用程序。

在國(guó)內(nèi),北京理工大學(xué)作為國(guó)內(nèi)AR領(lǐng)域的先行者,2006年王涌天教授團(tuán)隊(duì)[5]從古跡修復(fù)的角度探討了圓明園數(shù)字重建的問題。2011年,同樣是北京理工大學(xué),鐘志鵬等人[6]從展品的特征識(shí)別和跟蹤注冊(cè)的技術(shù)角度用基于自然特征的方法開發(fā)了博物館移動(dòng)增強(qiáng)現(xiàn)實(shí)導(dǎo)覽應(yīng)用的研究。2014年,臺(tái)灣 Chang等人[7]采用實(shí)驗(yàn)測(cè)試法,驗(yàn)證了在博物館AR向?qū)У沫h(huán)境下對(duì)參觀者藝術(shù)鑒賞能力的影響。2017年天津大學(xué)韓冬團(tuán)隊(duì)[8]對(duì)馬王堆漢墓的3D結(jié)構(gòu)識(shí)別疊加更多豐富的資源信息。

國(guó)內(nèi)外研究均表明增強(qiáng)現(xiàn)實(shí)在博物館的應(yīng)用不僅能豐富展現(xiàn)形式而且對(duì)參觀者的體驗(yàn)和學(xué)習(xí)都有很大的影響。針對(duì)傳統(tǒng)博物館的弊端和國(guó)內(nèi)外研究者通常只在技術(shù)層面對(duì)增強(qiáng)現(xiàn)實(shí)博物館進(jìn)行可行性分析的問題,本文從技術(shù)和應(yīng)用、展覽形式和展覽內(nèi)容、適用人群和適用環(huán)境等多角度,以MAR為應(yīng)用點(diǎn),在研究其理論技術(shù)的基礎(chǔ)上,通過Unity3D開發(fā)工具加以實(shí)現(xiàn),設(shè)計(jì)了一個(gè)適用于遼寧古生物博物館,能滿足正常參觀需求的移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用。

1 關(guān)鍵技術(shù)研究與實(shí)現(xiàn)

1.1 增強(qiáng)現(xiàn)實(shí)開發(fā)平臺(tái)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)需要有前期圖像處理、場(chǎng)景搭建、環(huán)境配置等離線處理過程和系統(tǒng)在使用時(shí)的對(duì)象識(shí)別、虛實(shí)疊加、人機(jī)交互等在線處理過程[9]。前者可以借助開發(fā)工具Unity3D來完成,后者可通過增強(qiáng)現(xiàn)實(shí)的SDK來實(shí)現(xiàn)。

Unity3D是一個(gè)綜合型游戲開發(fā)工具,提供了人性化的操作介面、可視化編輯,詳細(xì)的屬性編輯器和動(dòng)態(tài)的畫面預(yù)覽功能,內(nèi)置了地形編輯器、PhysX物理引擎和粒子系統(tǒng),利于編輯與場(chǎng)景的搭建,可與市場(chǎng)主流增強(qiáng)現(xiàn)實(shí)SDK協(xié)助開發(fā)出跨平臺(tái)的應(yīng)用軟件,是增強(qiáng)現(xiàn)實(shí)開發(fā)的主流平臺(tái)。

在開發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用時(shí),利用Metaio、Vuforia、Wikitude、ARKit、ARCore、HiAR等國(guó)內(nèi)外SDK提供的穩(wěn)定成熟的庫(kù)和接口實(shí)現(xiàn)快速開發(fā),降低了開發(fā)成本和開發(fā)難度。

Metaio SDK是國(guó)際市場(chǎng)上功能強(qiáng)大的AR/VR開發(fā)工具包,支持2D圖像、3D對(duì)象、人臉跟蹤、位置跟蹤、手勢(shì)檢測(cè)和SLAM等功能。其系統(tǒng)構(gòu)建過程如圖1a,其中AREL是Metaio獨(dú)立設(shè)計(jì)的增強(qiáng)現(xiàn)實(shí)體驗(yàn)語(yǔ)言,可以一次編寫出工程跨平臺(tái)發(fā)布。

Vuforia SDK通過計(jì)算機(jī)視覺技術(shù)實(shí)時(shí)地識(shí)別和跟蹤平面圖像或簡(jiǎn)單的3D物體,其系統(tǒng)實(shí)現(xiàn)過程如圖1b,以Unity引擎和Vuforia SDK為底層,利用ARCamera的QCARBehaviour組件跟蹤處理和渲染跟蹤器中掃描的各實(shí)體,并在照相機(jī)取景器中放置3D虛擬對(duì)象并調(diào)整與其真實(shí)物體之間的相對(duì)位置,實(shí)現(xiàn)虛實(shí)疊加。

Wikitude SDK專注于智能手機(jī)、眼鏡等移動(dòng)設(shè)備的開發(fā),具有基于地理位置識(shí)別和SLAM 3D識(shí)別等核心技術(shù),其框架如圖1c,在相機(jī)、IMU等硬件完成掃描和位姿矯正的基礎(chǔ)上,通過JavaScript API提供計(jì)算機(jī)視覺引擎,定位服務(wù),和專用渲染功能的訪問,再經(jīng)Native API為Android和iOS平臺(tái)提供對(duì)Wikitude計(jì)算機(jī)視覺引擎的訪問。

圖1 SDK框架與系統(tǒng)構(gòu)建Fig.1 SDK framework and system construction

除以上傳統(tǒng)AR SDK之外,2017年蘋果ARKit的發(fā)布掀起了一個(gè)新的高潮,其采用視覺和傳感器結(jié)合的方式通過視覺慣性里程計(jì)提高三維注冊(cè)的效果,但其只支持iOS平臺(tái)。同樣ARCore采用的也是視覺慣性里程計(jì)的思想,其應(yīng)用平臺(tái)為Android系統(tǒng),但對(duì)手機(jī)型號(hào)有具體的限制。在國(guó)內(nèi)的AR市場(chǎng)及領(lǐng)域,先后推出了HiAR、Easy AR、太虛AR等AR開發(fā)工具包。表1對(duì)主流的增強(qiáng)現(xiàn)實(shí)SDK的功能和性能等方面做了綜合的比較。

本系統(tǒng)在開發(fā)之前測(cè)試過前面提到的大部分SDK,從系統(tǒng)識(shí)別跟蹤的角度對(duì)比發(fā)現(xiàn)Vuforia的表現(xiàn)更佳,同時(shí)考慮到本文研究的具體需求,重點(diǎn)是對(duì)圖像和文字進(jìn)行識(shí)別,交互方式多利用手勢(shì)和虛擬按鈕,Vuforia能很好地滿足本文的需求,因此最終本文采用Vuforia SDK平臺(tái)進(jìn)行技術(shù)研究和實(shí)驗(yàn)分析。

1.2 三維注冊(cè)與虛實(shí)結(jié)合

三維注冊(cè)實(shí)現(xiàn)的是通過檢測(cè)攝像頭與現(xiàn)實(shí)場(chǎng)景中目標(biāo)的相對(duì)空間位置以及姿態(tài),來確定所需要呈現(xiàn)的信息融合在現(xiàn)實(shí)場(chǎng)景中的位置,并鎖定目標(biāo),實(shí)現(xiàn)實(shí)時(shí)跟蹤。其實(shí)時(shí)性(要求能夠及時(shí)地?zé)o延時(shí)地根據(jù)目標(biāo)的改變調(diào)整位姿)、穩(wěn)定性(精度準(zhǔn)確且能適應(yīng)抖動(dòng)影響)和魯棒性(克服外界干擾如遮擋、光線影響的能力)是AR研究的重點(diǎn)和難點(diǎn)[10]。

在三維注冊(cè)技術(shù)中采用的主流方法一般有4種: 基于傳感器硬件技術(shù)、基于無(wú)線網(wǎng)絡(luò)技術(shù)、基于計(jì)算機(jī)視覺技術(shù)和綜合以上的混合技術(shù)。 目前用于移動(dòng)設(shè)備的AR系統(tǒng)多基于計(jì)算機(jī)視覺技術(shù), 其又分為基于自然特征(無(wú)標(biāo)記跟蹤)和基于人工標(biāo)記(有標(biāo)記跟蹤)技術(shù)。 有標(biāo)記跟蹤需要在場(chǎng)景中放入標(biāo)志物, 通過計(jì)算機(jī)識(shí)別標(biāo)志完成對(duì)物體的跟蹤, 使用場(chǎng)景的局限性較大。 而無(wú)標(biāo)記的自然跟蹤通過提取物體本身能反應(yīng)其形狀位置的特征點(diǎn)來判斷相機(jī)的位姿實(shí)現(xiàn)三維注冊(cè), 不依賴特定的標(biāo)志板,識(shí)別方便。

如圖2是本文通過采用基于自然特征點(diǎn)注冊(cè)算法的Vuforia處理提取的圖像特征點(diǎn)。可以看出,特征點(diǎn)多位于為物體的邊角輪廓等有“代表性”的位置。當(dāng)系統(tǒng)運(yùn)行時(shí),通過攝像機(jī)的掃描,將當(dāng)前環(huán)境中的圖像與Vuforia提取的特征點(diǎn)進(jìn)行比較確定目標(biāo)的位置,并進(jìn)行實(shí)時(shí)跟蹤。由于特征點(diǎn)的提取已在目標(biāo)上傳過程中由服務(wù)器完成,移動(dòng)終端僅進(jìn)行特征點(diǎn)的比較,且對(duì)手機(jī)性能的要求不高,具有很高的實(shí)用性,而其穩(wěn)定性和魯棒性與特征點(diǎn)提取的多少有關(guān),特征點(diǎn)越多穩(wěn)定性與魯棒性越強(qiáng)。

圖2 目標(biāo)圖片特征點(diǎn)提取Fig.2 Feature extraction of the target image

圖3 Unity工程Fig.3 Unity project

(1)

其中,

(2)

假設(shè)UV坐標(biāo)系是我們看到的二維顯示坐標(biāo)系,則現(xiàn)實(shí)物體特征點(diǎn)Ai在UO'V面的投影為ai(xi,yi),利用透視投影原理可求得現(xiàn)實(shí)物體特征點(diǎn)投影與虛擬物體之間的關(guān)系:

(3)

其中,f為相機(jī)的焦距,參數(shù)已知。

由式(1)和式(3)可由實(shí)體的某個(gè)標(biāo)記點(diǎn)A(X,Y,Z)得到2個(gè)方程:

虛實(shí)結(jié)合分為2個(gè)過程,首先需要由計(jì)算機(jī)對(duì)識(shí)別對(duì)象和顯示的信息進(jìn)行匹配,再通過顯示設(shè)備呈現(xiàn)出來。Vuforia對(duì)目標(biāo)物體進(jìn)行處理提取特征點(diǎn)之后,將導(dǎo)出的目標(biāo)數(shù)據(jù)庫(kù)導(dǎo)入到Unity工程中,人工對(duì)其進(jìn)行后臺(tái)離線匹配,一個(gè)現(xiàn)實(shí)場(chǎng)景目標(biāo)對(duì)應(yīng)一個(gè)或多個(gè)虛擬物體,并調(diào)整其融合之后的位置和大小狀態(tài),當(dāng)系統(tǒng)運(yùn)行時(shí),在通過標(biāo)記實(shí)現(xiàn)了三維注冊(cè)確定精確位置的同時(shí)系統(tǒng)識(shí)別出了目標(biāo)對(duì)象,從數(shù)據(jù)庫(kù)中調(diào)取相應(yīng)的虛擬物體進(jìn)行融合。圖4是目標(biāo)跟蹤和虛實(shí)結(jié)合的過程。在顯示設(shè)備方面,本系統(tǒng)以安卓手機(jī)為載體,同時(shí)Vuforia支持對(duì)Microsoft HoloLens、Google Cardboard等智能眼鏡的軟件開發(fā)。

圖4 三維注冊(cè)和虛實(shí)結(jié)合的過程Fig.4 The process of 3D registration and amalgamation

1.3 實(shí)時(shí)交互

交互技術(shù)是指用戶通過硬件操作、軟件接觸以及語(yǔ)音圖像等模式識(shí)別的方式對(duì)系統(tǒng)發(fā)出指令,并由計(jì)算機(jī)對(duì)指令進(jìn)行解讀,響應(yīng)相應(yīng)的結(jié)果[12]。交互技術(shù)是當(dāng)前AR乃至其他智能產(chǎn)品研究的重要方向,也是用戶與系統(tǒng)溝通的橋梁。在本實(shí)驗(yàn)系統(tǒng)中將以基于圖像特征點(diǎn)的虛擬按鈕和基于屏幕操控的手勢(shì)控制的方式實(shí)現(xiàn)交互功能。

虛擬按鈕交互是指按鈕放置的位置和人為觸摸的位置都是在需要被識(shí)別的目標(biāo)圖像上(而不是在設(shè)備屏幕上)。如圖5a是目標(biāo)圖像,上面放置了3個(gè)虛擬按鈕,圖5b是提取的圖像特征點(diǎn)?？梢园l(fā)現(xiàn)虛擬按鈕部分的特征點(diǎn)豐富且集中,信息量大。當(dāng)按鈕部分被遮擋之后,該區(qū)域的特征點(diǎn)丟失或改變,導(dǎo)致匹配不準(zhǔn)確,從而系統(tǒng)通過算法計(jì)算出哪個(gè)位置的按鈕被觸發(fā),調(diào)用相應(yīng)指令。

圖5 虛擬按鈕目標(biāo)圖像及其特征點(diǎn)Fig.5 Virtual button and the feature

圖6 虛擬按鈕坐標(biāo)系轉(zhuǎn)換Fig.6 Conversion virtual button coordinate system

計(jì)算按鈕的位置是虛擬按鈕交互的關(guān)鍵點(diǎn)[13]。如圖6所示,目標(biāo)圖像像素為1 800*1 200,3個(gè)按鈕的尺寸為350*300和450*300,設(shè)圖中左上角為原R(0,0),點(diǎn)A～F分別為按鈕矩形框左上角和右下角的坐標(biāo)。但由于在Unity場(chǎng)景搭建中,其三維坐標(biāo)系的原點(diǎn)Image Targetde的中心,即T(0,0),在圖中坐標(biāo)為(1 500,800)。經(jīng)單位轉(zhuǎn)換算出點(diǎn)g、h的三維坐標(biāo),利用相似性公式:

(6)

可求出各個(gè)點(diǎn)的三維坐標(biāo),如圖6中點(diǎn)a～f。

基于手勢(shì)控制的交互主要是通過檢測(cè)手指與屏幕接觸點(diǎn)的個(gè)數(shù)和運(yùn)動(dòng)方向來調(diào)取相應(yīng)的函數(shù)。本實(shí)驗(yàn)系統(tǒng)交互功能在算法上實(shí)現(xiàn)過程如圖7。主要能通過手勢(shì)控制來調(diào)節(jié)虛擬目標(biāo)的大小、位置,并能實(shí)現(xiàn)模型切換、按鈕觸發(fā)等功能。

圖7 虛擬按鈕和手勢(shì)控制實(shí)現(xiàn)流程圖Fig.7 Procedure of virtual buttons and gesture control

2 古生物博物館AR系統(tǒng)構(gòu)建

基于對(duì)以上理論的研究,本文以遼寧古生物博物館為載體設(shè)計(jì)了一個(gè)應(yīng)用系統(tǒng)對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)加以實(shí)現(xiàn),并通過實(shí)驗(yàn)進(jìn)行分析。本系統(tǒng)利用3Dmax等建模工具建立的3D模型在Unity3D中進(jìn)行場(chǎng)景搭建,由Vuforia引擎對(duì)識(shí)別目標(biāo)的檢測(cè)實(shí)現(xiàn)跟蹤與融合,在現(xiàn)實(shí)環(huán)境中對(duì)不同目標(biāo)的掃描呈現(xiàn)視頻、音頻、動(dòng)畫、3D模型、文字提示等虛擬物體,并利用C#編寫的腳本通過手勢(shì)控制和虛擬按鈕操作進(jìn)行交互[14]。以下是系統(tǒng)搭建過程:

1) 獲取經(jīng)Vuforia處理之后的目標(biāo)數(shù)據(jù)庫(kù):在Vuforia官網(wǎng)上注冊(cè)之后轉(zhuǎn)到開發(fā)者工作區(qū),創(chuàng)建應(yīng)用獲取許可密鑰,再進(jìn)行數(shù)據(jù)庫(kù)管理,上傳需要識(shí)別的現(xiàn)實(shí)目標(biāo),經(jīng)Vuforia服務(wù)器處理之后導(dǎo)出目標(biāo)數(shù)據(jù)庫(kù)。本系統(tǒng)添加的部分目標(biāo)見表2。識(shí)別度是目標(biāo)經(jīng)Vuforia處理之后提取特征點(diǎn)的數(shù)量和質(zhì)量評(píng)判出的識(shí)別程度,其中文字識(shí)別功能不需要經(jīng)過Vuforia服務(wù)器處理,可直接在Unity3D中通過vuforia SDK實(shí)現(xiàn)匹配[14]。

2) 通過Unity3D進(jìn)行場(chǎng)景搭建:將Vuforia SDK、官網(wǎng)服務(wù)器處理的數(shù)據(jù)庫(kù)和虛擬物體數(shù)據(jù)包一同導(dǎo)入U(xiǎn)nity工程中,對(duì)虛實(shí)物體進(jìn)行加載、匹配和位姿調(diào)整。操作見圖8。

3) 添加內(nèi)容交互效果:編寫控制腳本,本例編寫的手勢(shì)控制、虛擬按鈕操作交互腳本的原理已上一節(jié)中已做了簡(jiǎn)單講解。此外與虛擬按鈕不同的是,屏幕按鈕操作需要先建立畫布在其上放置按鈕,調(diào)整空間位置,再為按鈕添加相應(yīng)的腳本,實(shí)現(xiàn)相應(yīng)的UI隱藏、資源切換[15]。

4) 調(diào)試運(yùn)行:在調(diào)試過程中可以直接利用電腦攝像頭進(jìn)行模擬測(cè)試,但在手勢(shì)控制和視頻播放方面會(huì)受到一定的限制。最后導(dǎo)出為Android工程發(fā)布應(yīng)用程序進(jìn)行測(cè)試。

在滿足基本功能之后,結(jié)合游覽者實(shí)際使用的場(chǎng)景和需求對(duì)系統(tǒng)進(jìn)行了如下改進(jìn):

1) 三維注冊(cè)方面:識(shí)別度為0或者識(shí)別度較低的目標(biāo)(如表2中的“副櫛龍”圖像)無(wú)法加載內(nèi)容的解決方法。Vforia SDK提供的FrameMaker預(yù)制件可以通過識(shí)別標(biāo)記幀來標(biāo)記圖片,只需要將要識(shí)別的目標(biāo)圖片通過繪圖軟件與官方提供的FrameMaker合成即可,其原理是識(shí)別幀識(shí)別圖,與底層圖片無(wú)關(guān),可達(dá)到等同于特征點(diǎn)的豐富圖像的識(shí)別效果。

表2 部分識(shí)別目標(biāo)形式與疊加內(nèi)容Tab.2 Part of the targets andit’s content

圖8 模型加載匹配與調(diào)整Fig.8 Load,mate and adjust of the models

2) 虛實(shí)結(jié)合方面:當(dāng)目標(biāo)移除場(chǎng)景后,對(duì)應(yīng)的模型也隨之消失的優(yōu)化問題?？墒褂妹摽üδ?當(dāng)場(chǎng)景中出現(xiàn)識(shí)別圖的時(shí)候,調(diào)用targetFound函數(shù)實(shí)時(shí)跟蹤識(shí)別圖的位置信息,當(dāng)識(shí)別圖從視野中消失后,調(diào)用targetLost函數(shù),將位置和旋轉(zhuǎn)均歸零,也即此時(shí)將相機(jī)作為子物體固定在屏幕中央,識(shí)別圖也隨之被固定。

3) 系統(tǒng)設(shè)計(jì)方面:由于移動(dòng)終端存儲(chǔ)容量有限,如何較少工程大小的問題。Vuforia有云識(shí)別功能,可以將目標(biāo)圖片存放在服務(wù)器數(shù)據(jù)庫(kù)中,使用時(shí)將當(dāng)前環(huán)境通過網(wǎng)絡(luò)與云數(shù)據(jù)庫(kù)進(jìn)行比較;而對(duì)于視頻資源可以通過網(wǎng)絡(luò)數(shù)據(jù)訪問;另可通過Unity引擎使用Prefab將模型和場(chǎng)景打包成.assetbundle二進(jìn)制格式進(jìn)行封裝,放到SD卡中,程序執(zhí)行時(shí)通過調(diào)用本地文件運(yùn)行系統(tǒng),在一定程度上減少了系統(tǒng)的大小。

3 實(shí)驗(yàn)測(cè)試

最終設(shè)計(jì)的安卓應(yīng)用中,在博物館介紹方面對(duì)2個(gè)標(biāo)志圖像疊加了對(duì)應(yīng)的宣傳視頻,分別訪問本地視頻和在線視頻;在館藏展品方面分別對(duì)18種恐龍、鳥類等圖像疊加了對(duì)應(yīng)的三維模型;對(duì)20種化石疊加了音頻講解、文字說明和網(wǎng)頁(yè)鏈接;對(duì)部分國(guó)外展品通過英文文字識(shí)別疊加了在線視頻和音頻講解。

在安卓手機(jī)上安裝此應(yīng)用之后,通過掃描場(chǎng)景目標(biāo)測(cè)試了系統(tǒng)效果,部分結(jié)果見圖9。

圖9 部分實(shí)驗(yàn)現(xiàn)象Fig.9 Part of the phenomena

圖9a識(shí)別遼寧古生物博物館照片播放了宣傳片,可任意對(duì)視頻進(jìn)行縮放、移動(dòng)和旋轉(zhuǎn)等手勢(shì)控制;圖9b識(shí)別甲龍照片呈現(xiàn)甲龍的動(dòng)態(tài)3D模型,可進(jìn)行手勢(shì)控制和觸發(fā)文字識(shí)別;圖9c掃描識(shí)別度為0星的副櫛龍照片,沒出現(xiàn)實(shí)驗(yàn)現(xiàn)象,說明識(shí)別度太低;圖9d掃描經(jīng)Vforia SDK提供的FrameMaker預(yù)制件處理的副櫛龍照片,解決了識(shí)別度低的問題,識(shí)別效果明顯;圖9e通過文字識(shí)別疊加對(duì)應(yīng)的3D模型,并可通過屏幕按鈕觸發(fā)播放音頻講解;圖9f識(shí)別多組文字出現(xiàn)對(duì)應(yīng)的虛擬物體,同樣也能識(shí)別多組圖片,識(shí)別效果較好,實(shí)時(shí)性和穩(wěn)定性較高。

由于識(shí)別目標(biāo)、交互方式和疊加內(nèi)容的多樣,增強(qiáng)現(xiàn)實(shí)技術(shù)在博物館中的應(yīng)用極大地提高了博物館的吸引力和游客的參與感,有很強(qiáng)的應(yīng)用前景。

4 結(jié) 語(yǔ)

在增強(qiáng)現(xiàn)實(shí)技術(shù)的大潮流下,智能移動(dòng)設(shè)備被瞄準(zhǔn)為其重要平臺(tái),移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)也成為研究與應(yīng)用的熱點(diǎn)。本文即以實(shí)踐應(yīng)用為切入點(diǎn),在對(duì)增強(qiáng)現(xiàn)實(shí)所涉及到的關(guān)鍵技術(shù)進(jìn)行了探討與研究之后,利用Vuforia SDK加以實(shí)現(xiàn),并對(duì)其實(shí)現(xiàn)路徑進(jìn)行了詳細(xì)的講解,通過對(duì)實(shí)驗(yàn)現(xiàn)象的分析對(duì)存在的問題提出了優(yōu)化措施,經(jīng)改進(jìn)取得了良好的實(shí)驗(yàn)效果,并能夠應(yīng)用到實(shí)際的參觀展覽中。

2017年以來,隨著蘋果ARKit、谷歌ARCore和其他國(guó)內(nèi)外增強(qiáng)現(xiàn)實(shí)開發(fā)工具的涌現(xiàn),預(yù)示著增強(qiáng)現(xiàn)實(shí)的下一個(gè)風(fēng)口將是與SLAM[16](Simultaneous Localization and Mapping,同時(shí)定位與地圖構(gòu)建)技術(shù)的融合,其在移動(dòng)端的實(shí)現(xiàn)依靠的是視覺與IMU等硬件傳感器,這對(duì)于信息處理能力較弱的移動(dòng)設(shè)備來說是最高效的解決方案。本文的后續(xù)研究也將在傳統(tǒng)AR的基礎(chǔ)上加入SLAM技術(shù),使得系統(tǒng)在實(shí)際應(yīng)用中能呈現(xiàn)更好的效果。

參考文獻(xiàn):

[1]李婷婷,王相海. 基于AR-VR混合技術(shù)的博物館展覽互動(dòng)應(yīng)用研究[J/OL]. 計(jì)算機(jī)工程與應(yīng)用, 2016:1-6.(2016-11-21).

[2]MIYASHITA T,MEIER P,TACHIKAWA T,et al. An augmented reality museum guide[C] ∥ISMAR, 2008:103-106.

[3]SOMMERAUER P,MüLLER O. Augmented realityininformal learning environments: A field experimentin a mathematics exhibition[J]. COMPUT EDUC, 2014,79:59-68.

[4]DIRGANTORO B,MARTINEZ J. Extending information on museum artefacts through augmented reality: Indonesian national museumcase[J]. JGGAG, 2017,1(1):13.

[5]王涌天,林驚,劉越,等. 亦真亦幻的戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)----圓明園的數(shù)字重建[J]. 中國(guó)科學(xué)基金, 2006,20(2):76-80.

[6]鐘志鵬. 移動(dòng)增強(qiáng)現(xiàn)實(shí)博物館導(dǎo)覽應(yīng)用研究[D]. 北京: 北京理工大學(xué), 2011.

[7]CHANG K E,CHANG C T,HOU H T,et al. Developmentandbehavioralpatternanalysisofa mobileguidesystem withaugmentedrealityfor paintingappreciationinstructionin an art museum[J]. COMPUT EDUC, 2014,71:185-197.

[8]HAN D,LI X,ZHAO T. Theapplicationofaugmentedrealitytechnologyon museumexhibition-A museumdisplay projectin mawangdui han dynastytombs[C]∥VAMR, 2017:394-403.

[9]羅永東,張淑軍. 一種基于 Unity3D 的移動(dòng)增強(qiáng)現(xiàn)實(shí)自動(dòng)導(dǎo)覽方法[J]. 計(jì)算機(jī)與數(shù)字工程, 2015:2024-2028,2051.

[10]王巍,王志強(qiáng),趙繼軍,等. 基于移動(dòng)平臺(tái)的增強(qiáng)現(xiàn)實(shí)研究[J]. 計(jì)算機(jī)科學(xué), 2015(增刊2):510-519,549.

[11]范利君,童小念. 移動(dòng)增強(qiáng)現(xiàn)實(shí)中視覺三維注冊(cè)方法的實(shí)現(xiàn)[J]. 計(jì)算機(jī)與數(shù)字工程, 2011,39(12):138-141.

[12]宋燕燕,曹效業(yè),周靈. 移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)在互動(dòng)展示中的應(yīng)用研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2016,26(9):83-86.

[13]KIM H,WIDJOJO E A,HWANG J I. Dynamic hierarchical virtual button-based handinteractionfor wearable AR[C]∥VR , 2015:207-208.

[14]徐敏,童強(qiáng). 一種基于Unity3D+Vuforia的增強(qiáng)現(xiàn)實(shí)交互APP的開發(fā)[J]. 現(xiàn)代計(jì)算機(jī): 上下旬, 2016(8):71-75.

[15]齊健. Vuforia產(chǎn)品升級(jí),加速“虛實(shí)”融合[J]. 智能制造, 2016(10):8-10.

[16]MUR-ARTAL R,TARDS J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE T ROBOT, 2017,33(5):1255-1262.