一種基于多邊形柱面全景圖的虛擬漫游新方法

王海潁， 秦開懷

（1. 中國電子信息產(chǎn)業(yè)發(fā)展研究院，北京 100048；2. 清華大學計算機系，北京 100084）

一種基于多邊形柱面全景圖的虛擬漫游新方法

王海潁1， 秦開懷2

（1. 中國電子信息產(chǎn)業(yè)發(fā)展研究院，北京 100048；2. 清華大學計算機系，北京 100084）

提出了一種基于圖像繪制的多邊形柱面全景圖的虛擬漫游方法。利用普通的手持相機在一個多邊形區(qū)域內(nèi)沿某一路徑拍攝并拼接多幅全景圖，通過基于SIFT的特征點檢測來計算深度，用狹縫圖像插值來實現(xiàn)整個區(qū)域內(nèi)的平滑漫游。該方法具有采樣簡單、虛擬場景真實感強，支持連續(xù)大范圍漫游的特點。

虛擬漫游；基于圖像的繪制；全景圖；狹縫圖像

隨著三維圖形圖像的繪制(Image-Based Rendering, IBR)技術的發(fā)展，虛擬現(xiàn)實(Virtual Reality, VR)技術已經(jīng)被越來越廣泛地應用，它可以用于虛擬旅游和娛樂，例如著名旅游景點和博物館的虛擬游覽；也可以用于虛擬訓練，例如飛機和車輛駕駛，以及虛擬戰(zhàn)場仿真等；另外還可以用于醫(yī)療領域和虛擬建筑漫游，等等?；趫D像的繪制是指利用一組預先得到的真實圖像進行適當?shù)奶幚砘蚪M合，完成復雜三維場景的真實再現(xiàn)[1]。由于基于圖像的虛擬現(xiàn)實系統(tǒng)具有場景逼真、交互方便、無需特殊硬件等優(yōu)點，因此具有廣闊的應用前景。

目前，隨著基于圖像的虛擬現(xiàn)實技術研究的不斷深入，已經(jīng)出現(xiàn)了一些相關的軟件系統(tǒng)，其中最有代表性的是Apple公司的QuickTime VR系統(tǒng)[2]，它采用環(huán)幕電影映像和全景圖完成攝像機的旋轉(zhuǎn)，并實現(xiàn)了一個全景開發(fā)環(huán)境，但是漫游顯示只限于繞固定位置（視點）的俯、仰和水平旋轉(zhuǎn)。同心拼圖[3]通過以同心圓切線方向的數(shù)據(jù)組織將無遮擋同心圓區(qū)域的光流場簡化為3D。全光拼圖[4]可以看做是同心拼圖的推廣，它在一個沒有障礙物的空間用全方位攝像機沿著構(gòu)成規(guī)則網(wǎng)格的路徑進行圖像捕獲，然后通過網(wǎng)絡上前、后兩個攝像機捕獲到的參考圖像來生成網(wǎng)格內(nèi)新視點下的圖像，這些方法都需要比較復雜的設備條件并有一定的場景限制。

本文提出一種新的多邊形柱面全景圖漫游方法，使用普通的手持相機沿著一個路徑或區(qū)域拍攝并拼接多幅全景圖，利用 SIFT特征點計算相對深度并使用一種簡單有效的方法渲染出新視點下的視野圖，實現(xiàn)在采集路徑和區(qū)域內(nèi)的平滑漫游。本文各節(jié)內(nèi)容組織如下：第1節(jié)介紹多邊形柱面全景圖的采集方法，第 2節(jié)介紹利用SIFT算子進行特征點檢測從而得到狹縫深度圖的方法，第3節(jié)介紹多基于多邊形柱面全景圖的渲染方法，包括視平面上各像素的計算和利用狹縫圖像進行的插值處理，最后是實驗結(jié)果和討論。

1 圖像采集和配準

在場景的虛擬漫游過程中，為了讓用戶能夠在水平方向上任意移動，我們在一個多邊形區(qū)域上的多個視點采集全景圖，按照一定的規(guī)則排列并儲存，我們稱之為“多邊形柱面全景圖”。對于一條馬路，我們可以用圖1中(a)的采集方法來獲取路兩旁的圖像數(shù)據(jù)，圖中圓圈中心為采集點，以此中心旋轉(zhuǎn)360o拍攝一定數(shù)量的帶有重合區(qū)域的圖像；對一個更大區(qū)域（比如大型廣場）進行采樣，可以沿著如圖1(b)所示的一個多邊形路徑拍攝/采集多個全景圖像，實際上，對于這種路徑的采集，在每一點上可以只采集區(qū)域外側(cè)的180o或者 270o全景圖，便可滿足觀察視點在這一方形區(qū)域內(nèi)漫游的要求。

圖像采集工作完成以后，我們采用一種基于全局優(yōu)化調(diào)整的方法[5]對每一點采集的圖像進行配準和融合，生成在這個視點下的首尾無縫連接的360o柱面全景圖，然后對每一個采集點的圖像都進行同樣的處理并存儲，我們就得到了這一區(qū)域的多邊形柱面全景圖。在漫游時，我們需要找出任一條光線對應于多邊形柱面全景圖中的哪一個（或哪幾個）全景圖，以及這條光線在對應全景圖上的位置，這也就是下面要討論的具體渲染算法。

圖1 多邊形柱面全景圖采集位置示意圖

2 狹縫全景圖像的構(gòu)造

狹縫圖像是一種寬度只有一個像素的一列圖像。由于模擬人的運動時，視點主要在一個二維平面上運動，圖像在水平方向上的變化速度要快于垂直方向上的變化速度，此外人眼對水平方向的圖像變化也遠遠要比垂直方向變化敏感，所以作為一種簡化，把垂直方向的一列像素結(jié)合在一起考慮，這就是狹縫圖像(slit images)。狹縫圖像在許多IBR系統(tǒng)如同心拼圖[3]、多投影中心圖像(MCOP)[6]中得到應用。

如果將全景圖中的一列或幾列像素視為狹縫圖像，并加上統(tǒng)一的深度信息，這樣的全景圖就稱為深度狹縫圖像全景拼圖。與沒有深度概念的傳統(tǒng)全景圖不同，由于深度狹縫圖像本身是對場景的一種近似表示，對深度的精度要求并不太高，因此我們可以將某些特征點的深度擴充為整個狹縫區(qū)域的深度，并將相鄰區(qū)域間的深度進行線性插值，這樣就將全景拼圖中的每一條狹縫圖像都賦予一個整體深度，使整個拼圖由一組深度不等的“顏色柱”組成，如圖2所示。

圖2 深度狹縫圖像全景拼圖（下方的灰度條表示對應狹縫圖像的深度）

2.1 圖像深度提取

由于多邊形柱面全景圖的引入，使得深度提取成為可能。對于同一個物體，在不同的兩張全景圖上，它們的位置應該是不同的。根據(jù)這個位置關系，就能夠確定出物體的相對深度。圖3表示了這樣的情況，圖中點P代表一個物體，它同時位于C1處和C2處所采集的全景圖中。假設我們可以在兩張全景圖C1和C2上找到該點的對應位置，我們就能夠計算出它們對應的角度1θ和2θ。設P點深度為H，則有

其中，是拍攝這兩處全景圖位置之間的距離。由上式，根據(jù)P點在全景圖C1和C2上的對應位置就可以計算出P點的深度H。

2.2 基于SIFT的特征提取

計算相應圖像位置的深度時，需要先找到兩幅圖像的對應點，這里我們采用SIFT算法來提取特征點[7]。圖 4顯示了SIFT的特征提取步驟。由SIFT方法提取的兩幅圖像中對應的特征點，我們可以通過上節(jié)的計算方法算出相應點的相對深度。為簡化起見，我們再按照特征點的分布，將全景圖分割成相應寬度的狹縫圖像，各條狹縫圖像的整體深度就是所含特征點的深度，并把這個深度信息存儲下來以供今后的計算使用。至此，圖像預處理工作就結(jié)束了，我們得到了帶有場景深度的多邊形柱面全景圖數(shù)據(jù)。圖5給出了兩個不同視點圖像下SIFT特征提取和對應點匹配的例子。

圖3 根據(jù)對應點位置計算場景中物體深度

圖4 SIFT特征提取步驟

3 實時漫游的渲染

在傳統(tǒng)基于圖像的漫游中，為了克服只能在固定視點觀察的缺陷，常使用多個柱面全景圖進行場景瀏覽[8]。但是這種情況下全景圖之間沒有過渡關系，觀察者只能從一個視點“跳”到另一個視點進行瀏覽。因此，我們基于在固定視點采集拼接的全景圖像，通過深度計算和狹縫圖像插值的方法來合成漫游區(qū)域內(nèi)任意視點的視野圖像，從而支持一定范圍內(nèi)的場景平滑漫游。

3.1 任意視點漫游的計算

當漫游視點在如圖6(a)所示的位置時，可以由相鄰的兩幅全景圖上相應的點得到視平面上每一像素的顏色值。通過上一節(jié)介紹的多邊形柱面全景圖深度狹縫圖像的計算，已經(jīng)得到了全景圖上任意一點的深度值Z，因此我們可以通過如圖6(b)所示的幾何關系求出新視點下視平面上每一點的像素顏色值，具體的計算步驟如下：

圖5 不同全景圖上對應點的匹配

圖6 任意點像素深度計算示意圖

1） 把視平面坐標轉(zhuǎn)換成世界坐標系(XYZ)下的坐標值：假設最終生成的視平面圖像（圖6中藍色直線是該平面在xy平面上的投影）大小為W×H，對于視平面上的任意一點，設其坐標為(w,h)。注意，這個坐標是相對于視平面的，我們需要把它轉(zhuǎn)化為圖中的XYZ坐標系下的坐標。我們首先求出視平面在XY平面上的投影中點的坐標(Xf,Yf,Zf)

其中，f為焦距，即視點到視平面的距離，θ為視線與水平方向的夾角。

則視平面上坐標為(w,h)的點（如圖6中粉紅色點）在XYZ坐標系下的坐標為

2） 找出視平面上該點在物體平面的對應位置：由上節(jié)深度狹縫圖像的獲取原理可知，各個物體的深度可以看作一個分段函數(shù)（如圖6(b)中藍灰色分段平面）。因此，我們從視點向視平面上的這個點發(fā)出一條射線，可以計算出這個射線與分段平面的交點。

至此，我們就從視平面上的一點，找到了全景圖上對應的一個像素。對視平面上的每一個點重復這個過程，就完成了一個視平面圖像的繪制。

3.2 狹縫圖像的插值計算

上面的算法對于視野圖的每一個像素進行計算，因此最終結(jié)果應是精確的，但由于處理的像素點會很多，而對每一個像素點都要涉及到求交運算，導致最終渲染速度不能達到實時漫游的要求。我們在前面第1節(jié)已經(jīng)介紹過柱面全景圖在垂直方向是沒有形變的，因此我們采用下面的狹縫圖像方法，避免垂直方向的計算從而提高計算速度，具體方法如下：

1） 按照上節(jié)介紹的方法計算視線與平面Xh的交點(Xh,Yh)，設為點P。注意，這里沒有計算Zh的值。

2） 按照上面介紹的方法找出對應的全景圖編號，設該全景圖坐標為(Xi,Yi)。

3） 根據(jù)Xh和Yh的值可以得到對應全景圖上的狹縫位置。

4） 將該狹縫圖像按照一定比例進行縮放，該比例值為

縮放以后即可作為當前視野圖的一個狹縫圖像。這樣，計算量就大大降低了。

通過上面介紹的方法，我們就可以渲染出采集范圍內(nèi)任意視方向下的視野圖像。為了進一步簡化和加快渲染速度，我們引入插值算法，來解決跨越兩幅全景圖時明顯分界的問題。對于某一條光線（看作一條從視點發(fā)出的射線），首先求出射線與y軸的交點H，然后在該軸上的所有全景圖中，找出離交點最近的那一個作為其對應的全景圖。

圖7 對狹縫圖像進行線性插值

4 系統(tǒng)實現(xiàn)與實驗結(jié)果

多邊形柱面全景圖漫游系統(tǒng)的實現(xiàn)分為3個步驟，首先是在場景中采樣，然后對圖像樣本進行預處理，最后是進行實時繪制。

首先是拍攝圖片，我們沿著指定路徑每隔固定距離拍攝一組照片。在采集和生成全景圖的時候，每一個采集點的全景圖都是360°的，但實際上并沒有必要保留 360°的全景圖來生成最終的視野圖像，實際上只需要道路兩側(cè)向外的部分即可，因此實際上只需要180°的全景圖。下一步是給每個全景圖的狹縫圖像確定深度，利用第2節(jié)介紹的算法求出相鄰全景圖的對應點匹配和這些特征點所在的狹縫圖像的深度值。由于狹縫圖像本身是對場景的一種近似表示，對深度的精度要求不是很高，我們可以將求得離散點的深度進行線性插值，得到整個全景圖的連續(xù)深度信息并存儲起來，這樣我們就獲得了完整的狹縫深度全景圖像。最后是對預處理過的多邊形柱面全景圖進行虛擬漫游的繪制，利用第3節(jié)描述的幾何對應關系和狹縫插值方法，我們可以完成新視點下視野圖像的繪制，從而在采集路徑或區(qū)域內(nèi)實現(xiàn)平滑的虛擬場景漫游。

我們以清華大學東門到主樓的沿線區(qū)域作為實驗場景，轉(zhuǎn)彎的區(qū)域和路線如圖8所示，每隔固定距離拍攝一組圖片，并利用這些圖片生成具有深度信息的多邊形柱面全景圖，實驗環(huán)境為2.6GHz CPU，2G內(nèi)存，在Windows XP操作系統(tǒng)下采用Visual Studio2008 作為編程平臺，實現(xiàn)了漫游演示系統(tǒng)。圖9為沿著清華主樓左轉(zhuǎn)后前進的一段場景，顯示了在這一漫游路徑下系統(tǒng)合成的一組視野圖像。

圖8 轉(zhuǎn)彎區(qū)域采集和漫游路線

5 結(jié) 論

提出了一種基于多邊形柱面全景圖進行虛擬漫游的新技術，通過帶深度的狹縫圖像組成的全景拼圖可以支持傳統(tǒng)全景圖技術所不具備的實時漫游功能，進而實現(xiàn)各個全景圖之間的平滑過渡，擴大漫游范圍。本文方法介紹的圖像采集也比較容易，不需要復雜和大規(guī)模的設備，只要一個普通手持相機便可以實現(xiàn)較大范圍的自由漫游功能，具有比較大的應用價值。

在這里我們使用統(tǒng)一的深度來表示狹縫圖像中各點的深度，這樣的簡化是對場景一種近似的表達，要求實際場景中大部分像素在一個垂直方向上深度相近，因此該方法和傳統(tǒng)全景圖一樣，更適合應用在寬敞開闊的室外大場景中。

[1]Shum H Y, Kang S B. A review of image-based rendering techniques [C]//Proceedings of IEEE/SPIE Visual Communications and Image Processing (VCIP)2000：2-13.

[2]Shen C, Eric C. Quick time VR——an imaged-based approach to virtual environment navigation [C]//Computer Graphics Proceedings, Annual Conference Series, 1995：29-38.

[3]Shum H Y, He L W. Rendering with concentric mosaics [C]//Proceedings of the SIGGRAPH’99, New York：ACM Press, 1999：299-306.

[4]Aliaga D G, Garlborn I. Plenoptic stitching：a scalable method for reconstructing 3D interactive walkthroughs [C]//Proceedings of SIGGRAPH 2001,New York：ACM Press, 2001：443-450.

[5]Wang Haiying, Qin Kaihuai. A global optimization approach for construction of panoramic mosaics [C]//Automatic Target Recognition and Image Analysis：6th International Conference on Multispectral Image Processing and Pattern Recognition, 2009：78-83.

[6]Rademacher P, Bishop G. Multiple center of projection images [C]//Proceedings of SIGGRAPH’99, New York：ACM Press, 1998：199-206.

[7] Lowe D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2)：91-110.

[8]Darius B. Recent methods for image-based modeling and rendering [C]//Proceedings of IEEE Virtual Reality, 2003：41-49.

A novel method for virtual walkthrough using polygonal panoramic mosaics

Wang Haiying1, Qin Kaihuai2
( 1. China Center of Information Industry Development, Beijing 100048, China;2. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China )

A new method of virtual walkthrough using image-based rendering with polygonal panoramic mosaics is presented. First, we take pictures and get multiple panoramas with ordinary handhold camera along a route or in a square region. Second, we use SIFT feather points detection to get slim images with depth which can be used in interpolation for the rendering of new view point. The algorithm proposed in this method is very efficient for virtual walkthrough in the large outdoor scene. The construction and rendering process with multiple panoramas is easy to implement and the data capturing is simple without expensive equipments.

virtual walkthrough; image-based rending; panoramic mosaic; slim image

TP 391.4

A

1003-0158(2012)01-0056-07

2011-03-20

王海潁（1977-），男，遼寧大連人，博士，主要研究方向為虛擬現(xiàn)實。

圖9 基于多邊形柱面全景圖系統(tǒng)繪制的面向清華主樓向左拐彎的漫游區(qū)域