IBR技術(shù)與應(yīng)用綜述

莊 怡，汪劍春，胡新榮

（武漢紡織大學(xué) 計算機科學(xué)學(xué)院，湖北 武漢 430073）

IBR技術(shù)與應(yīng)用綜述

莊 怡，汪劍春，胡新榮*

（武漢紡織大學(xué) 計算機科學(xué)學(xué)院，湖北 武漢 430073）

IBR技術(shù)是一種全新的用于產(chǎn)生真實感圖像的技術(shù)，主要應(yīng)用于虛擬實景空間建立，虛擬實景空間漫游和虛擬對象展示。與傳統(tǒng)的技術(shù)相比，IBR技術(shù)的優(yōu)勢主要在于圖像的真實性，實時性和與用戶的交互性。本文主要介紹了幾種常用的IBR技術(shù)，以及IBR技術(shù)的主流應(yīng)用，并進行一定的分析比較，總結(jié)了IBR技術(shù)發(fā)展的基礎(chǔ)和關(guān)鍵問題。

IBR技術(shù)；全景圖技術(shù)；視圖差值；全光模型；光流場

IBR技術(shù)，作為現(xiàn)代圖像處理的一種新型技術(shù)，從提出到發(fā)展是一個迅速的過程。從最開始的地形繪測技術(shù)，一直到現(xiàn)在，空間漫游，三維建模等應(yīng)用領(lǐng)域都或多或少的添加了IBR技術(shù)。該技術(shù)現(xiàn)在已經(jīng)成為平面圖像，三維圖像技術(shù)發(fā)展的一個必不可少的因素。IBR技術(shù)可以根據(jù)是否需要幾何信息大致分為兩種方法[1]。一種方法是：根據(jù)已有的幾何信息建立一個粗略的三維模型的場景。另外一種方法則是不需要任何幾何場景，但是需要大量的圖像數(shù)據(jù)。

IBR技術(shù)主要應(yīng)用于虛擬實景空間建立，虛擬實景空間漫游和虛擬對象展示。其優(yōu)勢在于計算的繪制量是與像素成正比，而不是與幾何模型的定點數(shù)相關(guān)。這樣，對復(fù)雜場景很有效；在繪制復(fù)雜場景的同時，也提高了圖像質(zhì)量。同時，該技術(shù)可有效平衡場景真實度和交互實時性之間的矛盾。但是，這種方法也存在一定問題。對于某些環(huán)境而言，不僅要刻畫出逼真的復(fù)雜環(huán)境，同樣得考慮光影效果和視覺角度。在一定的數(shù)據(jù)量的前提下，如何優(yōu)化場景的光影效果和優(yōu)化視角等成為IBR技術(shù)的關(guān)鍵問題。

針對這些問題，本文對基于IBR技術(shù)的虛擬現(xiàn)實技術(shù)做了一些初步的探討。通過對各種IBR技術(shù)優(yōu)勢和劣勢的分析，提出目前IBR技術(shù)的不足，以及該技術(shù)發(fā)展的一些關(guān)鍵問題。并給出一些技術(shù)性意見，從而緩和實時性和真實性的矛盾，提高IBR技術(shù)的應(yīng)用效率。

1 IBR技術(shù)

由于建模技術(shù)存在的問題被人們不斷提出和改進，例如不同視角之間的圖像變形問題，復(fù)雜場景的逼真效果等。人們開始引進新的方法來拍攝，重繪圖像，以達到逼真的視覺效果以及加快圖像重繪的時間。

下面主要介紹了幾種目前常用的IBR技術(shù)。

1.1 全景圖技術(shù)

能放映全局場景的圖像被稱為全景圖像[2]。全景圖技術(shù)源于80年代提出的環(huán)境映照技術(shù)，環(huán)境映照以景物中心為固定視點，觀察整個場景，并將周圍場景的圖像記錄在以該點為中心的環(huán)境映照球面或立方體表面上，實際上以全景圖像的方式提供了其中心視點出的場景描述。

圖1 拍攝場景

圖2 柱面全景圖映射

該算法首先繞一固定點旋轉(zhuǎn)拍攝場景，如圖1所示，得到具有部分重疊區(qū)域的圖像序列，將這個圖像序列無縫的拼接成一幅更大的畫面，投影到所選擇的簡單形體的表面，如圖2所示。具有同一視點，但視線方向不同的兩幅部分重疊畫面間的投影變化函數(shù)可簡單的表示成一個3*3矩陣。在計算機視覺中，有多種優(yōu)化迭代方法來決定該矩陣；將拼接后的整幅圖像變形投影到一個簡單形體的表面上，即構(gòu)成一幅全景圖像。對全景圖像重采樣就可得到新的畫面[3]。常用的形體一般有立方體，球，圓柱等。

然而，上述算法仍然存在很大的局限性，它可以適用于以攝像機為中心，旋轉(zhuǎn)拍攝全景圖，從而產(chǎn)生中間畫面。但不適用于攝像機位置移動的情形。

1.2 視圖插值法

當(dāng)視點連續(xù)移動時，相鄰視點所看到的圖像大部分是重疊的，只是在位置，形狀上稍有不同，于是便產(chǎn)生通過相鄰圖像之間的插值來生成中間視點的新圖像。視圖插值法[4]根據(jù)從給定互相之間密集光溜的兩幅輸入圖像來重建任意視點的圖像。它能在相鄰采樣點圖像之間建立光滑自然的過度，從而真實再現(xiàn)了各相鄰采樣點間場景透視變化的變化。

圖3 原始圖像

圖4 視圖插值結(jié)果圖

上圖中[5]，圖3是通過相機拍攝的同一對象不同角度的兩幅圖像。對于相互之間已經(jīng)建立了對應(yīng)關(guān)系的兩幅圖像，存在一種光流的關(guān)系，即隨著視點的移動，像素點在對應(yīng)點之間存在的移動關(guān)系[6]。視圖插值技術(shù)采用線性插值來模擬這種移動。圖4則是根據(jù)原始圖像圖3，基于視角的不同通過視圖插值算法所輸出結(jié)果。為了加速新圖像的生成速度考慮到像素點移動時，相鄰像素常常是一起移動的，因此可以將相鄰像素點組織成像素塊，進行成塊移動，這樣可以大大提高繪制速度。

視圖插值技術(shù)也存在一定的問題，首先真實圖像之間的對應(yīng)關(guān)系一般很難尋找，所以視圖插值技術(shù)大多用于合成場景。其次，當(dāng)視點不平行于視平面時，視圖插值的結(jié)果會和真實的結(jié)果有所偏差。

1.3 全光模型

全光建模系統(tǒng)的大致實現(xiàn)流程如下：首先在選定的離散視點處進行圖像采樣，使用迭代技術(shù)和優(yōu)化方法計算出原始圖像到圓柱映射的投影變換矩陣，將原始圖像拼接成柱面的環(huán)境映射；然后選取不同柱面圖像上的對應(yīng)點，利用匹配算法，確定圓柱的極線約束，最后利用已知的柱面全景參考圖和各圓柱之間的幾何約束，將參考圖像投影到任意的圓柱或者平面圖像中去[6]。全光建模系統(tǒng)忽略了時間和波長參數(shù)，原始的七維全光線函數(shù)退化為五維。全光建模系統(tǒng)是采用柱面的全景圖，其關(guān)鍵問題是如何從離散的采樣恢復(fù)連接的五維全光線函數(shù)。

圖5 全光建模中的全景拼圖

圖6 全光建模中的極線約束全景拼圖

圖5是通過全光建模的全景圖拼接，圖6在全光建模中加入了極線約束[6]。

全光建模系統(tǒng)對經(jīng)典的全光線函數(shù)在理論和時間方面做出了突破性的貢獻，可以說它是第一個真正意義上的基于全光線函數(shù)的IBR系統(tǒng)。它的突出優(yōu)點是用戶可以在三維空間中自有的漫游，可以觀察任意角度的場景，同時也具有一般IBR系統(tǒng)的真實性和實時性的特點。但全光建模系統(tǒng)基于5維全光線函數(shù)，數(shù)據(jù)量非常龐大，特別是一些復(fù)雜場景等。非常稠密的采樣，導(dǎo)致數(shù)據(jù)海量，導(dǎo)致全光建模一直停留在實驗室階段。

1.4 光流場技術(shù)

光流場技術(shù)是在全景函數(shù)重建基礎(chǔ)上發(fā)展起來的一種新的IBR技術(shù)。輸入圖像解釋為一個四維函數(shù)的二維切片，它的關(guān)鍵技術(shù)是將所輸入的二維圖像作為四維公式-光場的一個切片存儲起來，在瀏覽時從所獲得的光線提取出來重新采樣出一個切片[7]。這個函數(shù)完全刻畫了在固定光照條件下通過這個靜態(tài)場景無遮擋空間的光流。所獲得圖像可能是由來自所輸入的不同的圖像的光線組成，所以它可能與實際所獲得圖像中的實際一幅都不相似。

圖7 光場工作視圖

光場中的光線是由光線所在直線與兩個平面相交點在各自面上的坐標來表示的。如圖7中光場中的光線由光線與兩個平面相交的坐標(u, v)，(t, s)來表示。這樣可以方便的計算得到各幅圖像上個像素u，v，s，t的坐標,通過這些值計算得到新視圖中各像素的顏色值。

光場技術(shù)需要大量的圖像素材，在真實生活中，大量的圖像是很難得到的。即使是對于較小的對象也需要較大的數(shù)據(jù)存儲容量，而且在所存放的大量數(shù)據(jù)中，存在著大量的冗余信息，還需要對其進行數(shù)據(jù)壓縮。

1.5 混合式IBR技術(shù)

混合式IBR技術(shù)是指同時采用幾何及圖像作為基本元素來繪制畫面的技術(shù)。該技術(shù)根據(jù)一定的標準，將部分場景簡化為映射到簡單幾何表面的紋理圖像。當(dāng)簡化引起的誤差小于給定閾值時，混合式IBR技術(shù)直接利用紋理圖像取代原場景幾何來繪制畫面，由于簡單幾何面置于被簡化景物的中心，而簡化誤差被嚴格的控制在給定的閾值內(nèi)，因而這種繪制技術(shù)仍保持正確的前后排序，所生成的圖形質(zhì)量亦非常高[8]。

混合式IBR技術(shù)最顯著的應(yīng)用是采用環(huán)境映射來表示遠距離景物，而采用傳統(tǒng)的幾何繪制模式表示近距離景物。但由于對視點的不同把握，對整個場景均取同一的映射，使得所生成的圖像存在著較大的誤差。

1.6 其他IBR技術(shù)

除了上述的幾種基本的典型的IBR技術(shù)，還有視圖變形技術(shù)；基于3D重構(gòu)的IBR技術(shù)；基于分層深度圖像技術(shù)等。同樣在拍攝的基礎(chǔ)上，也可以優(yōu)化了IBR技術(shù)。

2 IBR技術(shù)應(yīng)用

IBR技術(shù)，主要應(yīng)用于真實場景的描述。同樣，在虛擬實景空間建立，虛擬實景空間漫游，虛擬對象展示方面發(fā)揮了不可缺少的作用。

Chun-Fa Chang 介紹了一種基于IBR技術(shù)的移動設(shè)備上的3D圖像顯示技術(shù)[9]。基于IBR技術(shù)的方法非常適合移動設(shè)備，其基于圖像的渲染時間取決于屏幕分辨率，而不依賴輸入模式的復(fù)雜性。

在視頻技術(shù)中，利用IBR技術(shù)將現(xiàn)有的2D視頻材料轉(zhuǎn)換為三維顯示輸出。Sebastian Knorr 提出了一個基于單筒視頻序列，現(xiàn)實立體視圖展示的新方法[10]。

同樣，IBR技術(shù)在空間漫游系統(tǒng)中也被非常普遍的使用。該技術(shù)使三維場景的建立變得容易,使復(fù)雜的虛擬現(xiàn)實系統(tǒng)能在普通硬件平臺上推廣應(yīng)用。錢芬[11]其論文中，基于IBR技術(shù)實現(xiàn)了一個數(shù)字化校園系統(tǒng)。

除此之外，還有IBR技術(shù)在天空[12]地理顯示，三維游戲場景展示等方面的應(yīng)用。目前IBR技術(shù)已成為當(dāng)前計算機圖形學(xué)研究中的一個熱點，尤其是在虛擬環(huán)境的構(gòu)造上有著很好的前景。

3 結(jié)論

IBR技術(shù)的最終目標是趕上虛擬現(xiàn)實等圖形學(xué)應(yīng)用對真實感的高要求，通過計算機平臺就能對復(fù)雜景物進行實時真實感繪制的方法。同時，由于其技術(shù)發(fā)展本身的一些限制，讓其的應(yīng)用前景也受到限制。

根據(jù)IBR技術(shù)的基本特性，如下幾個關(guān)鍵問題影響并制約了IBR技術(shù)的發(fā)展。

（1）數(shù)據(jù)量與實時性之間的沖突：由于IBR技術(shù)的逼真效果，則它所需的數(shù)據(jù)量是非常巨大的，其大量數(shù)據(jù)傳輸速度和重繪的速度影響了IBR技術(shù)的實時性，同時也產(chǎn)生了大量的冗余；

（2）光線技術(shù)的處理，必須解決困難的特征比配問題；

（3）IBR技術(shù)的渲染技術(shù)，怎樣能根據(jù)不同的IBR技術(shù)來提高其繪制能力，增加輸出圖像的逼真度；

（4）IBR技術(shù)不必局限于單獨的算法優(yōu)化，可以在特定的場景中，針對不同對象的展示，對IBR技術(shù)進行融合。

本論文介紹了IBR技術(shù)的幾種典型的方法，同時基于各種方法的特點，簡要描述了幾種常用的IBR技術(shù)的應(yīng)用。最后，針對IBR技術(shù)發(fā)展的關(guān)鍵問題上提出幾點觀點。使得IBR技術(shù)能夠快速發(fā)展，擴大其應(yīng)用領(lǐng)域。

[1] Hynek BAKSTEIN, Tomas PAJDLA, Omnidirectional Image-based Rendering’[J]. Computer Vision Winter Workshop, 2006(2): 6-8.

[2] Green N. Environment Mapping and Other Application of World Projections [M]. Computer Graphics and Application, 1986.

[3] 鄭新,基于圖像的快速繪制技術(shù)的研究[D].北京：中國科學(xué)軟件研究所，2001.

[4] Chen S, William S L. View Interpolation for Image Synthesis Computer Graphics. (GIGGRA PH’93)[C],1993.

[5] Chen S.E. and Williams.L, View interpolation for image synthesis [J].Computer Graphics(SIGGRAPH’93), 1993(8): 279-188.

[6] 鐘云德,IBR中的插值與對應(yīng)點問題研究[M]. 北京：中國科學(xué)院自動化研究所, 2002.

[7] 吳躍冰. 基于圖形和圖像的虛擬場景繪制技術(shù)研究[D]. 大連：大連理工大學(xué),2005.

[8] 阮宗才. 基于圖像的快速繪制技術(shù)研究[M]. 安徽：安徽大學(xué),2002.

[9] Chun-Fa CHANG and Shyh-haur GER, Enhancing 3D Graphics on Mobile Devices by Image-based Rendering: LNCS[C]. 1105-1111, 2002.

[10] Sebastian KNORR, Thomas SIKORA, An Image-based Rendering Approach For Realistic Stereo View Synthesis of TV Broadcast Based On Structure From Motion: IEEE International Conference on Image Processing [C]. 2007.

[11] 錢芬，虛擬現(xiàn)實技術(shù)在數(shù)字化校園中的應(yīng)用研究[M].成都：電子科技大學(xué),2008.

[12] Mehlika Inanici, Applications Of Image Based Rendering In Lighting Simulation: Development And Evaluation Of Image Based Sky Models[J]. Building Simulation, 2009(7): 27-30.

[13] 鄒瓊兵，基于圖像的虛擬場景漫游技術(shù)研究：國防科學(xué)技術(shù)大學(xué)[M].哈爾濱：國防科學(xué)技術(shù)大學(xué).2004.

[14] H.-Y.Shum and S.B.Kang, A review of image based rendering techniques [J]. In IEEE/SPIE Visual Communications and Image Processing (CVIP), 2000(6): 2-13.

[15] T,Jebara, A. Azarbayejani and A. Pentland, 3D Structure from 2D Motion[J]. IEEE Signal Processing Magazine, 1999,16(3): 64-84.

[16] L. MacMillan, An Image based Approach to Three-dimensional Computer Graphics[M]. Carolina: University of North Carolina, 1997.

Survey on IBR Technology and Its Application

ZHUANG Yi, WANG Jian-chun, HU Xin-rong

(College of Computer Science, Wuhan Textile University, Wuhan Hubei 430073, China)

The IBR technology is a brand new technology utilized to produce realistic images, which is mainly used in the establishment of virtual space, virtual space tour as well as virtual objects display. Compared with traditional technologies, the advantage of IBR mainly lies in its authenticity of images, real-time property and the interaction of the users. The paper mainly introduces a number of commonly used IBR technologies and current application of IBR technology. Besides, it also makes an analytical comparison to summarize the basic and key issues of IBR technology.

IBR technology; panorama technology; view interpolation method; all-optical model; optical flow field

TP37

A

1009－5160(2010)03－0049－04

*通訊作者：胡新榮 (1973-)，女，副教授，研究方向：圖像處理與虛擬現(xiàn)實.

湖北省重大項目（C2010036).