基于IBR的三維重建新方法

樊諭涵,丁 瑩,韓 冬

（北京航空航天大學(xué) 自動化與電氣工程學(xué)院,北京100191）

基于圖像的渲染IBR(Image-Based Rendering)是計(jì)算機(jī)視覺領(lǐng)域一直備受關(guān)注的課題之一。其目的是從普通的平面圖像中提取出必要的信息，通過一些方式得到具有照片真實(shí)感的立體渲染效果。目前，虛擬場景或者商品的建造主要使用基于幾何建模的方法、基于圖像繪制的方法和將兩者結(jié)合應(yīng)用的方法[1]。

基于幾何建模的方法目前應(yīng)用比較廣泛，有很多比較成熟的建模軟件工具。這種傳統(tǒng)的方法制造的虛擬場景具有良好的交互性，選取的視點(diǎn)自由，但是也有一些明顯的缺陷，主要是針對于大規(guī)模的場景重建計(jì)算量太大，而且真實(shí)感并不如圖像繪制得到的效果那么好[2]。而基于圖像的繪制一般使用一些實(shí)景照片，根據(jù)所拍的視角方向來確定最終繪制的效果。這種方法由于使用了真實(shí)場景的照片，因此具有比較好的沉浸感。此外，由于重建的工作大部分由計(jì)算機(jī)自動完成，因此可以大大減少傳統(tǒng)手工建模的工作量，從而為大型場景的重建提供了一種比較高效的繪制方式[3]。

現(xiàn)在的基于IBR的圖像渲染技術(shù)一般分為基于單幅圖像的渲染和基于多幅圖像的渲染。針對多幅圖像的渲染方法都有一個(gè)很難回避的問題，即特征點(diǎn)的匹配，至今沒有特別有效的解決方法[4]。

本文提出一種方法，繞過平常的二維到三維的轉(zhuǎn)換算法，在直觀的規(guī)則幾何體上進(jìn)行圖像的繪制和紋理的映射，從而減少了計(jì)算量，實(shí)現(xiàn)了簡便快捷的模型渲染。該方法對于相機(jī)內(nèi)部參數(shù)沒有要求，只需要拍攝的角度在一定的范圍內(nèi)，就可以得到真實(shí)感很強(qiáng)的渲染效果。

1 相機(jī)標(biāo)定

傳統(tǒng)意義的渲染過程首先要做的就是相機(jī)的標(biāo)定。一般拍照得到的相片都是實(shí)物在相機(jī)成像平面上的透視投影，照片上的點(diǎn)的位置和渲染的空間模型表面上的點(diǎn)有對應(yīng)的幾何關(guān)系。這是一種二維圖像上的對應(yīng)點(diǎn)與三維圖像特征點(diǎn)之間的非線性關(guān)系，而這種關(guān)系就是由相機(jī)自身的成像幾何模型決定的，拍照時(shí)的幾何參數(shù)即為相機(jī)參數(shù)，這些參數(shù)可以由實(shí)驗(yàn)或者計(jì)算得到，這個(gè)過程就是平時(shí)所說的相機(jī)標(biāo)定[5]。

傳統(tǒng)的相機(jī)標(biāo)定方法是找一個(gè)高精度的標(biāo)定基準(zhǔn)體，用其本身的精確數(shù)據(jù)和所獲得的圖像數(shù)據(jù)進(jìn)行匹配，進(jìn)而求出相機(jī)的內(nèi)部參數(shù)。這個(gè)過程主要有兩方面的問題，首先，標(biāo)定基準(zhǔn)體不好找；其次，匹配過程太復(fù)雜，不容易實(shí)時(shí)掌控[6-7]。

而在某些項(xiàng)目要求中，并不一定需要對這個(gè)過程進(jìn)行嚴(yán)格的標(biāo)定。在本方法中，只需適當(dāng)考慮相機(jī)的定位就可以了，主要指相機(jī)拍攝的角度以及離目標(biāo)商品的距離。項(xiàng)目的目的是得到規(guī)則商品的渲染模型，那么很多因素 (諸如物體擺放的實(shí)際位置以及大小)就可以忽略不計(jì)了。

2 物品取景以及特征點(diǎn)標(biāo)定

圖片的取景應(yīng)盡量做到一次能夠拍到物品的3個(gè)面，即前、側(cè)、上3個(gè)面或者后、側(cè)、下 3個(gè)面，如圖 1(a)以及圖1(b)所示。

由于此商品的邊沿都是直線，因此其特征點(diǎn)很好把握，通過一個(gè)指定的MFC程序找到這些特征點(diǎn)的具體坐標(biāo)位置。如圖2(a)所示，在一張照片里面拍攝取景得到了前、側(cè)、上3個(gè)面，這3個(gè)面上一共有7個(gè)特征點(diǎn)。給這7個(gè)特征點(diǎn)分別編號，按照擬定的順序進(jìn)行人工標(biāo)定，然后將標(biāo)定的坐標(biāo)數(shù)據(jù)存儲在一個(gè)特定位置，以方便下一步工作進(jìn)行提取。同樣地，把這個(gè)盒子的后3個(gè)面拍在另外一張照片上面，如圖2（b）所示，把剩余的特征點(diǎn)也提取出來。

擬定的特征點(diǎn)順序如表1所示。根據(jù)表1中的特征點(diǎn)順序,可以把兩幅圖中的物品頂點(diǎn)位置完美對照起來。

表1 特征點(diǎn)順序

3 渲染重建三維模型

利用所得的特征點(diǎn)定義普通照片中的一些面片，然后計(jì)算紋理映射。由于這里應(yīng)用的物品基本是形狀規(guī)則的長方體，故得到的面片應(yīng)該是四邊形，本文的目標(biāo)是把這種非規(guī)則的四邊形映射成原來的矩形紋理貼圖。可以采用線性插值的方法來解決這個(gè)問題。但是如果特征點(diǎn)的連線沿某個(gè)方向變形的比例很大，那么就需要使用一個(gè)濾波器來改變其原有的比例，變換完成以后再變換回去得到比較合理的紋理映射。如果面片是非規(guī)則的形狀，也可以采用將其變形為矩形區(qū)域的方法進(jìn)行處理，然后再用相應(yīng)的圖像處理軟件將一些區(qū)域透明化，這樣就得到原來物品的真實(shí)效果。

實(shí)驗(yàn)得到的渲染效果真實(shí)感和原物體幾乎完全相符，效果如圖3所示。

其中圖3(a)是前、側(cè)、上 3個(gè)面的渲染效果，圖 3(b)顯示的是后、另一側(cè)、上3個(gè)面的渲染效果。將重建的三維渲染模型與圖1中的真實(shí)物品作比較，可以看出本文方法的優(yōu)越性。

本文主要描述了從普通照片生成三維立體模型的一種新方法，基于圖像渲染（IBR）提出了一種建立立體模型的新方式,能對普通的平面單幅圖像進(jìn)行特征點(diǎn)提取，從而半自動地生成所需要的立體效果。本方法的特點(diǎn)在于無需傳統(tǒng)的相機(jī)標(biāo)定，無需大量傳統(tǒng)意義上的幾何建模，可以直接從圖像中提取信息，渲染出具有照片真實(shí)感的模型，大大縮短了建模的時(shí)間。目前實(shí)驗(yàn)主要對形狀規(guī)則的物品渲染效果比較好，而對于非規(guī)則的物品則考慮通過圖像變形和曲線擬合的方式進(jìn)行變換，有待進(jìn)一步深入研討。

[1]POLLEFEYS M.3D modeling from images.In conjunction with ECCV 2000,Dublin,Ireland,2000.

[2]BOUGUET J Y,PERONA P.3D photography on your desk[C].Proceedings of International Conference on Computer Vision,Bombay,India,1998.

[3]周驥.基于圖像建模方法的研究[D].杭州：浙江大學(xué)，2003.

[4]CIPOLLA R,DRUMMOND T,ROBERTSON D P.Camera calibration from vanishing points in images of architectural scenes[C].BMVC,1999.

[5]DEBEVEC P,TAYLOR C,MALIK J.Modeling and rendering architecture from photographs:A Hybrid Geometryand Image-Based.

[6]邵振峰，李德仁.基于航空立體影像對的人工目標(biāo)三維提取與重建[D].武漢：武漢大學(xué)，2004.

[7]邱茂林,馬頌德,李毅.計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述[J].自動化學(xué)報(bào)，2000，26（1）：43-55.