基于圖像系列的三維導(dǎo)航快速實(shí)現(xiàn)技術(shù)

孟卉

摘要：基于圖像繪制的虛擬環(huán)境構(gòu)造是近年來虛擬現(xiàn)實(shí)技術(shù)研究的熱點(diǎn)。通過分析三維導(dǎo)航的原理和虛擬現(xiàn)實(shí)建模語言的插值算法，本文提出一個(gè)基于圖像系列的三維導(dǎo)航系統(tǒng)快速實(shí)現(xiàn)的方法。首先對(duì)三維導(dǎo)航的路徑進(jìn)行分析來定義關(guān)鍵幀節(jié)點(diǎn)，利用數(shù)碼相機(jī)依照關(guān)鍵幀節(jié)點(diǎn)依次采集到一系列的圖像，并結(jié)合VRML編程語言的插值節(jié)點(diǎn)，定義多種漫游行走方式的程序原型，對(duì)圖像系列進(jìn)行插值，生成漫游的三維導(dǎo)航視頻，從而簡(jiǎn)單快速地實(shí)現(xiàn)室內(nèi)外的三維導(dǎo)航，實(shí)踐證明該方法成本低，制作簡(jiǎn)便，效果好。

關(guān)鍵詞：虛擬現(xiàn)實(shí) 基于圖像繪制 三維導(dǎo)航 虛擬現(xiàn)實(shí)建模言 插值 原型

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）06-0000-00

Abstract： The reconstruction of Virtual Reality Scene based on image has become the hot topic in last ten years. By analysising the process of 3D navigation and the interpolation method of Virtual Reality Model Language， a novel method about the implement of 3D Navigation based on series image set is presented in this paper. Firstly， the definition of key frame point is presented through the analysis of 3D navigation route， and the images are obtained by digital camera in accordance with the key frames. Secondly， all kinds of roaming prototype are defined by the interpolation node of VRML program. Lastly， the navigation animation by the interpolation of the series image is generated， which efficiently implement the 3D navigation of indoor and outdoor. The experiment show that technique is cheaper and simpler， also has good performance.

Key words：Virtual Reality； Image Based Rendering；3D Navigation；Virtual Reality Model Language；Interpolation；Prototype

1 概述

隨著計(jì)算機(jī)軟件與硬件技術(shù)的高速發(fā)展，虛擬現(xiàn)實(shí)（Virtual Reality， VR）技術(shù)的應(yīng)用越來越廣泛，基于圖像的繪制技術(shù)（Image Based Rendering，IBR）是近年來VR技術(shù)研究的熱點(diǎn)，它以簡(jiǎn)單的圖像合成代替基于三維幾何的建模和渲染，加快了畫面的顯示速度，是建立特定三維場(chǎng)景的一種高效率方法。IBR將計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺與圖像處理結(jié)合在一起，直接由參考圖像生成新視點(diǎn)的圖像，具有繪制速度與場(chǎng)景復(fù)雜度無關(guān)、對(duì)計(jì)算機(jī)硬件的要求不高、生成圖像的真實(shí)感強(qiáng)、既可用于合成場(chǎng)景又可用于真實(shí)場(chǎng)景等優(yōu)點(diǎn)?；谝陨蟽?yōu)點(diǎn)，IBR技術(shù)自從上世紀(jì)90年代被提出以來，已經(jīng)在虛擬現(xiàn)實(shí)、航空航天、建筑、娛樂、網(wǎng)上旅游等領(lǐng)域中得到了應(yīng)用，尤其由于真實(shí)感強(qiáng)，在三維導(dǎo)航方面具有廣泛的應(yīng)用。[1]

VR技術(shù)具有I3 （沉浸、交互、想象）特征，其中虛擬現(xiàn)實(shí)建模語言 （Virtual Reality Modeling Language，VRML）是基于網(wǎng)絡(luò)的三維語言，是Web3D的代表，它是用于建構(gòu)多人的交互式虛擬實(shí)境語言。虛擬漫游是虛擬現(xiàn)實(shí)系統(tǒng)中必不可少的功能，尤其是三維室內(nèi)外導(dǎo)航系統(tǒng)是三維虛擬漫游系統(tǒng)的重要組成部分，國(guó)內(nèi)外許多高校都進(jìn)行了研究，成為一個(gè)熱點(diǎn)研究領(lǐng)域[2-10]。

本文先仔細(xì)剖析基于圖像系列的繪制技術(shù)，結(jié)合VRML語言，在Web3D平臺(tái)上提出了基于圖像系列的三維導(dǎo)航漫游系統(tǒng)的快速實(shí)現(xiàn)算法，并實(shí)現(xiàn)了相應(yīng)的自助導(dǎo)航功能，讓用戶身臨其境地感受真實(shí)三維場(chǎng)景。

2 導(dǎo)航路徑的關(guān)鍵節(jié)點(diǎn)

虛擬漫游的實(shí)質(zhì)是首先在漫游路線的關(guān)鍵點(diǎn)（幀）位置設(shè)置了一系列的視點(diǎn)viewPoint（或稱相機(jī)），同時(shí)計(jì)算好路線上每一段所需的時(shí)間，目的是為了行走的勻速；然后通過時(shí)間傳感器，設(shè)置好時(shí)間間隔，結(jié)合相應(yīng)的插值器，生成每?jī)蓚€(gè)關(guān)鍵幀相機(jī)之間的運(yùn)動(dòng)位置，從而生成一系列的動(dòng)畫，實(shí)現(xiàn)用戶的漫游過程，因而虛擬漫游的關(guān)鍵是如何生成兩個(gè)關(guān)鍵幀之間的動(dòng)畫。[11，12]

如圖1是一個(gè)典型的小區(qū)漫游路線，這條多義線分別由多條直線和弧線組合而成，包含16個(gè)端點(diǎn)（P1，P2，……，P16），共15段線段，每一段線（弧線）的端點(diǎn)都是關(guān)鍵幀的位置即Pi。假設(shè)用戶行走時(shí)（或相機(jī)在沿路線移動(dòng)時(shí)），方向始終指向下一關(guān)鍵幀，或者說方向與路線重合。

3 關(guān)鍵動(dòng)畫的生成

結(jié)合前面的分析，實(shí)際虛擬漫游的關(guān)鍵是如何生成從Pi到Pi+1的動(dòng)畫。

首先讓用戶手持相機(jī)，在關(guān)鍵點(diǎn)Pi、Pi+1的位置上沿著行走的方向拍攝照片Imagei和Imagei+1，詳見圖3（a）和（b）；顯然Imagei+1可以在Imagei中找到相似的內(nèi)容，可以進(jìn)行對(duì)準(zhǔn)，結(jié)果見圖3（c）。假設(shè)圖像的分辨率為width*height，則圖Imagei+1在Imagei中的位置坐標(biāo)為[左下角（leftX，downY），右上角（rightX，topY）]，顯然如果在Pi、Pi+1點(diǎn)保持相同的拍攝角度，則Imagei+1在Imagei的正中央，詳見圖3（d）。

截取后進(jìn)行歸一化，統(tǒng)一生成同樣大小的圖片，即進(jìn)行圖像的縮放操作Imresize（Ij， width，height）。

最后把這n張圖片可以形成一段動(dòng)畫，在實(shí)際應(yīng)用中，Pi至Pi+1一般可能有20m，按人的行走速度4.8km/h，則需要12秒，取幀速率為10fps，則將有120張圖片，不管從生成的角度還是從內(nèi)存開銷的角度，都需要不少的代價(jià)。

為了快速實(shí)現(xiàn)上述動(dòng)畫的再生過程，我們結(jié)合VRML語言的面集節(jié)點(diǎn)紋理映射坐標(biāo)系統(tǒng)和坐標(biāo)插值器，通過Web3D的渲染引擎，以最低的代價(jià)和最快的速度，完美地實(shí)現(xiàn)了上述的動(dòng)畫過程。

4 基于VRML的動(dòng)畫生成

VRML語言的面集IndexdetFaceSet節(jié)點(diǎn)是幾何體geometry的主要組成部分。面集節(jié)點(diǎn)用于在三維空間中創(chuàng)建各種平面組合而成的不規(guī)則的立體幾何造型，主要由三維坐標(biāo)點(diǎn)集（coord）、面的多邊形點(diǎn)集（coordIndex）、平面紋理貼圖（texCoord和texCoordIndex）等部分組成。結(jié)合前面的工程分析，首先我們通過coord、coordIndex建立一個(gè)4：3的四邊形，模擬前邊描述的照片，并在正前方創(chuàng)建一個(gè)相機(jī)，后通過texCoord、texCoordIndex給指定圖片建立紋理映射。

如圖6所示，建立一個(gè)四個(gè)頂點(diǎn)的四邊形面，坐標(biāo)點(diǎn)分別為（1，-0.75，0）、（1，0.75，0）、（-1，0.75，0）、（-1，-0.75，0），生成一個(gè)2*1.5（4：3）的四邊形面。同時(shí)通過紋理映射，把圖片的一部分映射至四邊形面上，如圖6中左圖的四個(gè)UV映射坐標(biāo)（u2，v1）、（u2，v2）、（u1，v2）、（u1，v1）分別分別對(duì)應(yīng)到四邊形的四個(gè)頂點(diǎn)。

另一方面，VRML具有六種插補(bǔ)器節(jié)點(diǎn)和八種傳感器節(jié)點(diǎn)，通過路由在各個(gè)造型節(jié)點(diǎn)和場(chǎng)景節(jié)點(diǎn)之間傳遞事件，為瀏覽者創(chuàng)建一個(gè)身臨其境、動(dòng)態(tài)、逼真、可以交互溝通的虛擬環(huán)境。其中坐標(biāo)插補(bǔ)器（CoordinateInterpolater）節(jié)點(diǎn)用于產(chǎn)生基于坐標(biāo)點(diǎn)的復(fù)雜造型（線集IndexedLineSet、面集IndexedFaceSet）的變形動(dòng)畫。它包含key域、keyValue域、set_fraction入事件、value_changed出事件，其中key域用于設(shè)置一組時(shí)間關(guān)鍵點(diǎn)的列表，keyValue域用于設(shè)定一組關(guān)鍵坐標(biāo)點(diǎn)的列表，set_fraction入事件用于接收來自時(shí)間傳感器點(diǎn)發(fā)出的時(shí)刻比例數(shù)值，value_changed出事件用于輸出計(jì)算后新的坐標(biāo)子列表。

由于沒有二維坐標(biāo)點(diǎn)的坐標(biāo)插補(bǔ)器，只有三維坐標(biāo)點(diǎn)的坐標(biāo)插補(bǔ)器，因而不能直接產(chǎn)生UV貼圖坐標(biāo)的（u1，v1，u2，v2）的系列坐標(biāo)插補(bǔ)值。因此，我們可以反過來針對(duì)四邊形面的四點(diǎn)三維坐標(biāo)進(jìn)行插補(bǔ)，當(dāng)然在視圖像機(jī)中只能觀察到由（1，-0.75，0）、（1，0.75，0）、（-1，0.75，0）、（-1，-0.75，0）構(gòu)成的4：3四邊形部分，從而達(dá)到對(duì)UV進(jìn)行插補(bǔ)的目的，具體見圖7。

5 基于VRML原型的程序?qū)崿F(xiàn)

在VRML編程語言結(jié)構(gòu)中，PROTO原型語句實(shí)現(xiàn)了用戶自定義對(duì)象，在原型中包括普通域、暴露域、出事件和入事件四部分參數(shù)，并可以包含相應(yīng)的路由器，具備了面向?qū)ο蠓椒ǖ姆忾]性特征，對(duì)數(shù)據(jù)具有不同的訪問權(quán)限。根據(jù)前面的討論和VRML語言的特點(diǎn)，結(jié)合工程的需要我們給用戶往前走的原型定義為goAhead：

其中startTime、endTime表示本次動(dòng)畫的開始時(shí)間和結(jié)束時(shí)間，startTime作為入事件來激發(fā)動(dòng)畫，endTime作為出事件結(jié)束本次動(dòng)畫，同時(shí)通過路由傳給后續(xù)動(dòng)畫的入事件startTime去激發(fā)后續(xù)動(dòng)畫，從而形成完整的一個(gè)事件鏈。

三維坐標(biāo)點(diǎn)stPoint、endPoint表示實(shí)際環(huán)境中的出發(fā)、結(jié)束位置的三維坐標(biāo)，因而可以求出它們的距離，并結(jié)合指定的行走速度speed，從而求出行走的時(shí)間walkTime，并作為時(shí)間插值器time TimeSensor的時(shí)間周期cycleInterval。

字符串word將作為動(dòng)畫的字幕顯示在動(dòng)畫的底部中央；

聲音文件voice則作為動(dòng)畫播放期間的配音，可以是背景音樂，也可以相關(guān)場(chǎng)景的解說詞。

很顯然，直走包括了漫游路徑第一類：直線往前走，和第二類：往前左拐彎、往前右拐彎等情況。而第三類情況屬于弧形拐彎，可以看作是一個(gè)原地轉(zhuǎn)彎的類型，相當(dāng)于相機(jī)在原地轉(zhuǎn)彎拍攝，可以直接生成一段全景圖，見圖8（a），當(dāng)前幾乎所有的數(shù)碼相機(jī)都支持這種全景拍攝功能。顯然動(dòng)畫地生成相當(dāng)于模擬畫面的旋轉(zhuǎn)，如圖8（b）表示在生成動(dòng)畫系列時(shí)，從全景圖中從右往左依次分割等大小的圖像系列，從VRML實(shí)現(xiàn)角度就是四邊形面的四個(gè)頂點(diǎn)依次從圖8（a）中的右邊框逐步向圖8（a）中的左邊框進(jìn)行插值，從而產(chǎn)生相應(yīng)的一系列三維坐標(biāo)系列，并生成相應(yīng)的插值動(dòng)畫。同理可以如同直走goAhead原型一樣定義原地轉(zhuǎn)彎originalWheel原型。

結(jié)合HTML語言，可以建立基于web頁面的相關(guān)界面，從而形成一個(gè)完整的基于圖像系列的虛擬漫游系統(tǒng)，再結(jié)合線性的三維路徑圖，可以把相關(guān)的路徑數(shù)據(jù)和圖像系列通過AJAX存儲(chǔ)在服務(wù)器，從而可以進(jìn)行快速地輔助導(dǎo)航。

6 結(jié)語

本文通過VRML原型的定義，結(jié)合面集節(jié)點(diǎn)紋理映射坐標(biāo)系統(tǒng)和坐標(biāo)插值器， 選用少量的實(shí)景圖片系列，由Web3D的渲染引擎完美地實(shí)現(xiàn)漫游中的動(dòng)畫視頻，從而快速地實(shí)現(xiàn)了室內(nèi)外虛擬漫游導(dǎo)航。顯然本技術(shù)避免了傳統(tǒng)虛擬現(xiàn)實(shí)中繁瑣的三維建模，節(jié)省了大量的時(shí)間，雖然在視頻生成的轉(zhuǎn)換過程中有一定的跳躍，但在很多要求不是特別高的工程應(yīng)用中具有很強(qiáng)的實(shí)踐價(jià)值。如何更進(jìn)一步實(shí)現(xiàn)基于圖片系列的全景漫游是繼續(xù)研究的方向。

參考文獻(xiàn)：

[1]莊怡，汪劍春，胡新榮.IBR技術(shù)與應(yīng)用綜述[J].武漢科技學(xué)院學(xué)報(bào)，2010（3）：49-52.

[2]劉爽.基于VRML的虛擬現(xiàn)實(shí)場(chǎng)景漫游技術(shù)的研究與實(shí)現(xiàn)[D].吉林：吉林大學(xué)，2007.

[3]馬秀榮.基于VRML的建筑模型場(chǎng)景設(shè)計(jì)與演示實(shí)現(xiàn)及應(yīng)用[D].長(zhǎng)春：吉林大學(xué)， 2009.

[4]白坤.基于VRML的大雁塔建筑群虛擬漫游系統(tǒng)的研究與實(shí)現(xiàn)[D].西安：西北大學(xué)，2012.

[5]殷鵬蓮，余學(xué)祥.VRML和Java支持下的三維虛擬校園構(gòu)建[J].測(cè)繪與空間地理信息，2015（4）：165-171.

[6]宋慧齡，鄧洪.基于VRML 的地學(xué)虛擬博物館漫游系統(tǒng)的實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2006，32（17）：239-241.

[7]楊安祺，喬海超，張杜娟等.基于VRML的虛擬秦漢博物館的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2011，32（2）：628-632.

[8]蔣文燕，欒汝朋，朱曉華.基于VRML_ArcGIS的虛擬旅游景觀設(shè)計(jì)與實(shí)現(xiàn)[J].地理研究，2010（9）：1715-1719.

[9]陸穎雋.虛擬現(xiàn)實(shí)技術(shù)在數(shù)字圖書館的應(yīng)用研究[D].武漢：武漢大學(xué)，2013.

[10]卞敏捷，高玨，高洪皓等.Web3D可視化技術(shù)的研究與應(yīng)用，計(jì)算機(jī)技術(shù)與發(fā)展[J]，2015（6）：141-144.

[11]饒金通，董槐林，姜青山.基于特征的參數(shù)化高效建模技術(shù)[J].廈門大學(xué)學(xué)報(bào)（自然科學(xué)版），2006，45（2）：191-195.

[12]Jintong Rao， Jianbing Xiahou， Yuan Li， et al. The Implement of Interior 3D Navigation based on VRML. Applied Mathematics & Information Sciences， 2014（1L）：193-199.