基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)設(shè)計(jì)

石路云

【摘 要】隨著現(xiàn)代旅游的發(fā)展，以增強(qiáng)現(xiàn)實(shí)為基礎(chǔ)的虛擬旅游得到了廣泛應(yīng)用，促使文化旅游產(chǎn)品得到推廣和應(yīng)用。針對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)在文化旅游資源方面的應(yīng)用，沉浸式數(shù)字旅游系統(tǒng)以旅游特色明信片為基礎(chǔ)，結(jié)合基于SIFT自然特征的增強(qiáng)現(xiàn)實(shí)技術(shù)，在真實(shí)的明信片上疊加虛擬場(chǎng)景以達(dá)到虛實(shí)融合的效果。同時(shí)，利用Unity3D處理在移動(dòng)設(shè)備上的觸控操作，實(shí)現(xiàn)單指旋轉(zhuǎn)、雙指縮放等交互操作，最后達(dá)到能夠在真實(shí)場(chǎng)景中對(duì)數(shù)字文化內(nèi)容進(jìn)行智能交互的效果。

【關(guān)鍵詞】增強(qiáng)現(xiàn)實(shí)；尺度不變特征變換；數(shù)字旅游

中圖分類號(hào)： TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2018）11-0011-004

DOI：10.19694/j.cnki.issn2095-2457.2018.11.004

【Abstract】With the development of modern tourism，virtual tourism based on augmented reality has been widely applied，which has promoted the promotion and application of cultural tourism products.In view of the application of augmented reality technology in cultural tourism resources， immersive digital tourism system is based on the postcard with the characteristic of tourism，combined with augmented reality technology based on SIFT natural features，adding virtual scenes to real postcards，to achieve integration of virtual and real.At the same time，using Unity3D to handle the touch operation on the mobile device，realize the interactive operation of single finger rotation and double finger zoom， and finally achieve the effect of intelligent interaction of digital culture content in real scene.

【Key words】Augmented reality；Scale invariant feature transform （SIFT）；Digital tourism

0 引言

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR）是一種基于虛擬現(xiàn)實(shí)發(fā)展的新技術(shù)，是透過(guò)攝影機(jī)影像的位置及角度精算并加上圖像分析技術(shù)，在屏幕上把虛擬世界套在現(xiàn)實(shí)世界中的技術(shù)，這種虛實(shí)結(jié)合的技術(shù)可以支持對(duì)各種信息的可視化解釋和表現(xiàn)，并能實(shí)現(xiàn)用戶與其之間的交互。增強(qiáng)現(xiàn)實(shí)技術(shù)因?yàn)槠涮摂M和真實(shí)相結(jié)合的特點(diǎn)，具有廣闊的應(yīng)用前景，并在工業(yè)設(shè)計(jì)、醫(yī)療技術(shù)、軍事訓(xùn)練等領(lǐng)域得到了廣泛的應(yīng)用[1]。

隨著現(xiàn)代旅游業(yè)的發(fā)展，以增強(qiáng)現(xiàn)實(shí)為基礎(chǔ)的虛擬旅游得到了廣泛應(yīng)用。在國(guó)內(nèi)，主要有利用增強(qiáng)現(xiàn)實(shí)技術(shù)重建圓明園景觀，基于增強(qiáng)現(xiàn)實(shí)技術(shù)的虛擬雕塑實(shí)景顯示，非物質(zhì)文化遺產(chǎn)內(nèi)容的博物館數(shù)字化展示等方面的應(yīng)用；在國(guó)外，有德國(guó)Metaio機(jī)構(gòu)開發(fā)的基于文化旅游資源的AR互動(dòng)雜志，日本公司結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)開發(fā)的旅游景點(diǎn)紀(jì)念讀本，東京大學(xué)的“虛擬飛鳥京”等等應(yīng)用[2]。旅游文化是現(xiàn)代旅游不可或缺的組成部分，同時(shí)也是旅游發(fā)展趨勢(shì)的主導(dǎo)，因此基于增強(qiáng)現(xiàn)實(shí)技術(shù)的文化旅游資源開發(fā)，能夠促使文化旅游產(chǎn)品得到推廣和應(yīng)用[3]，具有非常廣闊的發(fā)展前景。

使用增強(qiáng)現(xiàn)實(shí)技術(shù)將虛擬場(chǎng)景實(shí)時(shí)疊加在相關(guān)的文化旅游商品、手工藝品和其他現(xiàn)實(shí)環(huán)境中是一種新的開發(fā)思路和技術(shù)應(yīng)用方法。AR文化旅游商品能夠?qū)⒕皡^(qū)的特色文化以可交互模型、視頻等形式傳遞給用戶，使得用戶能夠直接參與互動(dòng)，更直觀地感受景區(qū)文化內(nèi)涵。因此本文運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計(jì)介紹旅游景點(diǎn)、歷史文化的旅游特色明信片，以移動(dòng)智能終端為載體，游客們通過(guò)下載APP，再通過(guò)APP掃描明信片便能在智能終端上再現(xiàn)旅游景點(diǎn)的3D模型[3]，并能在智能終端上展示其歷史文化的宣傳片，同時(shí)游客們也能與3D模型進(jìn)行交互，達(dá)到了能夠在真實(shí)場(chǎng)景中對(duì)數(shù)字文化內(nèi)容進(jìn)行智能交互的效果。

1 基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)設(shè)計(jì)

系統(tǒng)是在明信片的基礎(chǔ)上，以綿陽(yáng)本地特色景區(qū)越王樓為例，將明信片作為目標(biāo)圖像，結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)與Unity3D平臺(tái)開發(fā)，將虛擬的越王樓主樓模型及宣傳視頻疊加到真實(shí)的明信片上，實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。

該系統(tǒng)以移動(dòng)智能終端為載體，用戶進(jìn)入系統(tǒng)后，系統(tǒng)會(huì)自動(dòng)打開攝像頭，當(dāng)識(shí)別到目標(biāo)圖像（即具越王樓特色的明信片）后，系統(tǒng)會(huì)在目標(biāo)圖像中心渲染出一個(gè)越王樓主樓的模型，同時(shí)在目標(biāo)圖像下方會(huì)渲染出一個(gè)播放視頻的按鈕，表明系統(tǒng)已經(jīng)識(shí)別到目標(biāo)圖像。在交互方面，用戶用手指觸摸屏幕，手指向左右移動(dòng)，越王樓主樓模型也會(huì)對(duì)應(yīng)向左右旋轉(zhuǎn)；用戶用兩根手指觸摸屏幕，聚攏兩根手指則是縮小模型，散開兩根手指則是放大模型；另外，點(diǎn)擊目標(biāo)圖像下方的視頻播放按鈕則會(huì)播放越王樓宣傳視頻。

該系統(tǒng)首先對(duì)越王樓景區(qū)進(jìn)行實(shí)地考察，利用3D Studio Max建立越王樓主樓模型，然后以Unity3D作為開發(fā)平臺(tái)，結(jié)合增強(qiáng)現(xiàn)實(shí)開發(fā)技術(shù)，將虛擬的越王樓模型疊加到真實(shí)的明信片上，最后利用Unity單指與雙指Touch事件捕獲實(shí)現(xiàn)與模型的交互。系統(tǒng)整體框架如圖1。

2 增強(qiáng)現(xiàn)實(shí)技術(shù)基本架構(gòu)

該數(shù)字旅游系統(tǒng)是基于視覺跟蹤，在增強(qiáng)現(xiàn)實(shí)識(shí)別與展示方面必須保證高準(zhǔn)確率、高效率以及高穩(wěn)定性，以保證系統(tǒng)的可靠性。

增強(qiáng)現(xiàn)實(shí)，簡(jiǎn)單地來(lái)說(shuō)，就是在真實(shí)的場(chǎng)景的基礎(chǔ)上覆蓋虛擬的影像。本文研究的增強(qiáng)現(xiàn)實(shí)系統(tǒng)是基于視覺的跟蹤注冊(cè)技術(shù)，通過(guò)普通的攝像頭就能夠?qū)崿F(xiàn)對(duì)真實(shí)場(chǎng)景中關(guān)鍵幀的跟蹤和定位[4]。系統(tǒng)主要通過(guò)SIFT算子進(jìn)行特征提取與匹配，主要由以下環(huán)節(jié)組成[5]：（1）獲得真實(shí)場(chǎng)景圖像；（2）特征提取與描述；（3）特征匹配；（4）計(jì)算變換矩陣；（5）虛實(shí)場(chǎng)景融合。

系統(tǒng)首先對(duì)目標(biāo)圖像進(jìn)行SIFT關(guān)鍵點(diǎn)檢測(cè)，并生成特征描述向量，再通過(guò)攝像頭獲取真實(shí)的場(chǎng)景圖像進(jìn)行特征點(diǎn)提取并描述，然后和目標(biāo)圖像的關(guān)鍵特征向量進(jìn)行匹配，估計(jì)目標(biāo)圖像和真實(shí)的場(chǎng)景圖像之間的單應(yīng)性變換[5]，計(jì)算變換矩陣，從而更新真實(shí)場(chǎng)景的位置和姿態(tài)估計(jì)。最后，在此基礎(chǔ)上將虛擬場(chǎng)景疊加到真實(shí)場(chǎng)景上，實(shí)現(xiàn)虛實(shí)融合，達(dá)到對(duì)現(xiàn)實(shí)增強(qiáng)的效果。所以在實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的整個(gè)流程中，最關(guān)鍵的技術(shù)在于目標(biāo)的識(shí)別與跟蹤，即SIFT目標(biāo)檢測(cè)和跟蹤算法，其實(shí)現(xiàn)過(guò)程可用圖2表示。

SIFT（Scale-invariant feature transform）算法是由David G.Lowe提出的一種從圖像中提取獨(dú)特不變特征的方法[6]。該算法提取的特征對(duì)于圖像尺度和旋轉(zhuǎn)具有不變性，并在光照變化和三維相機(jī)視點(diǎn)變化的情況下具有部分的不變性。主要分為以下步驟：

2.1 特征提取

SIFT算法是通過(guò)在圖像的多尺度空間查找其特征關(guān)鍵點(diǎn)，首先需要建立高斯尺度空間，由于LOG算子（Laplacian of Gaussian，高斯拉普拉斯函數(shù)）具有真正的尺度不變性，同時(shí)DOG（Difference of Gaussian，高斯差分函數(shù)）與LOG近似，所以可以利用DOG算子來(lái)構(gòu)建圖像的尺度空間，也能達(dá)到降低計(jì)算量的效果。尺度空間是利用尺度可變的高斯函數(shù)與輸入圖像卷積得到：

不同尺度空間相減即可得到DOG尺度空間，達(dá)到了降低計(jì)算量的效果。在構(gòu)建DOG尺度空間之后，利用DOG尺度空間計(jì)算極值點(diǎn)，同時(shí)通過(guò)對(duì)DOG尺度空間函數(shù)進(jìn)行曲線擬合以精確關(guān)鍵點(diǎn)的尺度和位置，進(jìn)而提高匹配的穩(wěn)定性。然后基于圖像局部的梯度方向，分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或多個(gè)方向，最后就確定了每個(gè)關(guān)鍵點(diǎn)的位置、尺度和方向。后面對(duì)圖像的操作會(huì)相對(duì)于關(guān)鍵點(diǎn)的位置、尺度和方向進(jìn)行變換（平移、縮放和旋轉(zhuǎn)），因此確定了每個(gè)關(guān)鍵點(diǎn)的位置、尺度和方向就為這些變換提供了不變性。

2.2 生成特征描述子

在通過(guò)特征提取尋找好特征關(guān)鍵點(diǎn)后，需要利用特征關(guān)鍵點(diǎn)處鄰域內(nèi)的像素信息來(lái)對(duì)特征關(guān)鍵點(diǎn)進(jìn)行描述，即生成特征向量，以提高匹配的高效性和穩(wěn)定性。首先需要確定特征點(diǎn)主方向，采用梯度直方圖統(tǒng)計(jì)法對(duì)特征關(guān)鍵點(diǎn)處鄰域采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，由梯度直方圖峰值表示的方向就是特征處鄰域梯度的主方向，即特征點(diǎn)主方向。之后，為了確保特征向量具有旋轉(zhuǎn)不變性，需要將坐標(biāo)移至特征點(diǎn)主方向，并且計(jì)算特征點(diǎn)鄰域內(nèi)（以特征點(diǎn)為中心取16×16像素點(diǎn)的鄰域作為采樣窗口）各個(gè)像素點(diǎn)的梯度大小和方向。

完成以上步驟后，接下來(lái)就是生成特征描述子?？捎脠D3表示生成特征描述子的過(guò)程，圖左部分的中央的圓點(diǎn)為當(dāng)前特征點(diǎn)位置，每個(gè)小格代表特征點(diǎn)處鄰域內(nèi)的一個(gè)像素點(diǎn)，箭頭長(zhǎng)度用于表示像素點(diǎn)梯度大小，箭頭方向用于表示像素點(diǎn)梯度方向，再進(jìn)行高斯加權(quán)。然后計(jì)算每個(gè)4×4的像素小塊上8個(gè)方向的梯度方向直方圖，計(jì)算每個(gè)梯度方向的值的總和，即形成一個(gè)種子點(diǎn)，每個(gè)種子點(diǎn)都有8個(gè)方向的向量，一共16個(gè)種子點(diǎn)，如圖右部分，即特征描述子采用4×4×8=128維向量表示[7]。最后，將128維向量規(guī)范化，SIFT特征向量生成。

2.3 特征匹配

目標(biāo)圖像和通過(guò)攝像頭獲取的關(guān)鍵幀圖像的SIFT特征向量集合生成后，則需要完成兩者之間的特征匹配。此處利用特征點(diǎn)的特征向量的歐式距離來(lái)度量目標(biāo)圖像和關(guān)鍵幀圖像中特征點(diǎn)的相似性。最后，利用基于特征點(diǎn)最近鄰和次近鄰距離比的BBF搜索算法搜索SIFT特征點(diǎn)的最近鄰點(diǎn)[8]。

3 模型交互方案

為了使用戶能夠與虛擬景象進(jìn)行交互，本文中利用Unity3D處理在移動(dòng)設(shè)備上的觸控操作?；趇OS和Android設(shè)備能夠支持多點(diǎn)觸控，在Unity3D中可以通過(guò)Input類中的touch實(shí)現(xiàn)與模型的交互，即通過(guò)對(duì)單指和雙指touch事件的捕獲來(lái)對(duì)模型做出相應(yīng)的角度或者大小的調(diào)整。

移動(dòng)智能設(shè)備可以追蹤許多與觸摸屏上的觸摸有關(guān)的不同數(shù)據(jù)，包括觸摸所處的階段（例如，觸摸開始、觸摸中或者是觸摸結(jié)束）、觸摸的位置以及觸摸是單點(diǎn)觸摸或者是多點(diǎn)觸摸。相應(yīng)地，在Unity3D中，可以通過(guò)Input.touches屬性集合訪問在最近一幀中在屏幕上觸摸的每一根手指的狀態(tài)數(shù)據(jù)。表1中列出了該系統(tǒng)中用到的與觸摸相關(guān)的API（Application Programming Interface，應(yīng)用程序編程接口）。

表1 與觸摸相關(guān)的API

在本文中，主要定義了兩種交互操作。一種是單指滑動(dòng)模型的操作，另一種是雙指觸控縮放模型的操作。具體邏輯如下流程圖。

4 系統(tǒng)結(jié)果與分析

根據(jù)本文的思路，以Unity3D作為開發(fā)平臺(tái)，結(jié)合增強(qiáng)現(xiàn)實(shí)開發(fā)技術(shù)，完成了基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)。該系統(tǒng)以APP的形式搭載在智能移動(dòng)設(shè)備上，如圖5，將該系統(tǒng)搭載在手機(jī)上的運(yùn)行結(jié)果。

該系統(tǒng)能夠以增強(qiáng)現(xiàn)實(shí)技術(shù)展現(xiàn)較為真實(shí)的越王樓主樓，并支持觸摸點(diǎn)擊、單指旋轉(zhuǎn)、雙指縮放等交互。系統(tǒng)適用于安裝有Android 4.0以上或iOS 8.0以上系統(tǒng)的智能移動(dòng)設(shè)備，系統(tǒng)的識(shí)別距離、識(shí)別速度以及識(shí)別的穩(wěn)定性都能夠滿足需求，同時(shí)也支持對(duì)目標(biāo)圖像的局部識(shí)別。除此之外，該系統(tǒng)在測(cè)試設(shè)備上的運(yùn)行平均幀率大于60 FPS，滿足手機(jī)應(yīng)用流暢性標(biāo)準(zhǔn)。

5 結(jié)束語(yǔ)

針對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)在文化旅游資源方面的應(yīng)用，本文以明信片為基礎(chǔ)，結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)與Unity3D平臺(tái)構(gòu)建基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)，將虛擬場(chǎng)景疊加到真實(shí)的明信片上，將本地文化特色以數(shù)字化的形式傳遞給受眾，實(shí)現(xiàn)了增強(qiáng)現(xiàn)實(shí)與文化旅游的良好結(jié)合；此外，友好的交互設(shè)計(jì)也使得用戶能夠參與互動(dòng)，直觀地感受景區(qū)文化內(nèi)涵，讓用戶感受到一種在文化消費(fèi)過(guò)程中的快樂。隨著增強(qiáng)現(xiàn)實(shí)技術(shù)的加入，結(jié)合明信片，通過(guò)動(dòng)畫、視頻等數(shù)字化的形式增加了用戶的交互式體驗(yàn)，帶給消費(fèi)者嶄新的視覺體驗(yàn)，同時(shí)也呈現(xiàn)出了更多的創(chuàng)新。

【參考文獻(xiàn)】

[1]王涌天，鄭偉，劉越，等.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的圓明園現(xiàn)場(chǎng)數(shù)字重建[J].科技導(dǎo)報(bào)，2006，24（3）：36-40.

[2]余日季，唐存琛，胡書山.基于AR技術(shù)的文化旅游商品創(chuàng)新設(shè)計(jì)與開發(fā)研究[J].藝術(shù)百家，2013（4）：181-185.

[3]魏三強(qiáng)，王兵.AR技術(shù)在非物質(zhì)文化遺產(chǎn)及文化旅游業(yè)中的應(yīng)用[J].江漢大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2016，44（4）：364-368.

[4]肖慧，陸奎.基于SIFT自然特征的AR系統(tǒng)研究和實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2014（5）：244-246.

[5]邵文堅(jiān).面向增強(qiáng)現(xiàn)實(shí)的目標(biāo)檢測(cè)和跟蹤算法研究[D]. 西安電子科技大學(xué)，2014.

[6]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]松子茶.尺度不變特征變換（SIFT）特征提取分析[EB/OL].https：//blog.csdn.net/songzitea/article/details/13627823， 2013-11-25.

[8]Friedman J H，Bentley J L，F(xiàn)inkel R A.An Algorithm for Finding Best Matches in Logarithmic Time[J].Acm Transactions on Mathematical Software，1977，3（3）：209-226.