基于IBR的三維重建新方法

樊諭涵,丁 瑩,韓 冬

（北京航空航天大學(xué) 自動化與電氣工程學(xué)院,北京100191）

基于圖像的渲染IBR(Image-Based Rendering)是計算機視覺領(lǐng)域一直備受關(guān)注的課題之一。其目的是從普通的平面圖像中提取出必要的信息，通過一些方式得到具有照片真實感的立體渲染效果。目前，虛擬場景或者商品的建造主要使用基于幾何建模的方法、基于圖像繪制的方法和將兩者結(jié)合應(yīng)用的方法[1]。

基于幾何建模的方法目前應(yīng)用比較廣泛，有很多比較成熟的建模軟件工具。這種傳統(tǒng)的方法制造的虛擬場景具有良好的交互性，選取的視點自由，但是也有一些明顯的缺陷，主要是針對于大規(guī)模的場景重建計算量太大，而且真實感并不如圖像繪制得到的效果那么好[2]。而基于圖像的繪制一般使用一些實景照片，根據(jù)所拍的視角方向來確定最終繪制的效果。這種方法由于使用了真實場景的照片，因此具有比較好的沉浸感。此外，由于重建的工作大部分由計算機自動完成，因此可以大大減少傳統(tǒng)手工建模的工作量，從而為大型場景的重建提供了一種比較高效的繪制方式[3]。

現(xiàn)在的基于IBR的圖像渲染技術(shù)一般分為基于單幅圖像的渲染和基于多幅圖像的渲染。針對多幅圖像的渲染方法都有一個很難回避的問題，即特征點的匹配，至今沒有特別有效的解決方法[4]。

本文提出一種方法，繞過平常的二維到三維的轉(zhuǎn)換算法，在直觀的規(guī)則幾何體上進行圖像的繪制和紋理的映射，從而減少了計算量，實現(xiàn)了簡便快捷的模型渲染。該方法對于相機內(nèi)部參數(shù)沒有要求，只需要拍攝的角度在一定的范圍內(nèi)，就可以得到真實感很強的渲染效果。

1 相機標定

傳統(tǒng)意義的渲染過程首先要做的就是相機的標定。一般拍照得到的相片都是實物在相機成像平面上的透視投影，照片上的點的位置和渲染的空間模型表面上的點有對應(yīng)的幾何關(guān)系。這是一種二維圖像上的對應(yīng)點與三維圖像特征點之間的非線性關(guān)系，而這種關(guān)系就是由相機自身的成像幾何模型決定的，拍照時的幾何參數(shù)即為相機參數(shù)，這些參數(shù)可以由實驗或者計算得到，這個過程就是平時所說的相機標定[5]。

傳統(tǒng)的相機標定方法是找一個高精度的標定基準體，用其本身的精確數(shù)據(jù)和所獲得的圖像數(shù)據(jù)進行匹配，進而求出相機的內(nèi)部參數(shù)。這個過程主要有兩方面的問題，首先，標定基準體不好找；其次，匹配過程太復(fù)雜，不容易實時掌控[6-7]。

而在某些項目要求中，并不一定需要對這個過程進行嚴格的標定。在本方法中，只需適當考慮相機的定位就可以了，主要指相機拍攝的角度以及離目標商品的距離。項目的目的是得到規(guī)則商品的渲染模型，那么很多因素 (諸如物體擺放的實際位置以及大小)就可以忽略不計了。

2 物品取景以及特征點標定

圖片的取景應(yīng)盡量做到一次能夠拍到物品的3個面，即前、側(cè)、上3個面或者后、側(cè)、下 3個面，如圖 1(a)以及圖1(b)所示。

由于此商品的邊沿都是直線，因此其特征點很好把握，通過一個指定的MFC程序找到這些特征點的具體坐標位置。如圖2(a)所示，在一張照片里面拍攝取景得到了前、側(cè)、上3個面，這3個面上一共有7個特征點。給這7個特征點分別編號，按照擬定的順序進行人工標定，然后將標定的坐標數(shù)據(jù)存儲在一個特定位置，以方便下一步工作進行提取。同樣地，把這個盒子的后3個面拍在另外一張照片上面，如圖2（b）所示，把剩余的特征點也提取出來。

擬定的特征點順序如表1所示。根據(jù)表1中的特征點順序,可以把兩幅圖中的物品頂點位置完美對照起來。

表1 特征點順序

3 渲染重建三維模型

利用所得的特征點定義普通照片中的一些面片，然后計算紋理映射。由于這里應(yīng)用的物品基本是形狀規(guī)則的長方體，故得到的面片應(yīng)該是四邊形，本文的目標是把這種非規(guī)則的四邊形映射成原來的矩形紋理貼圖?？梢圆捎镁€性插值的方法來解決這個問題。但是如果特征點的連線沿某個方向變形的比例很大，那么就需要使用一個濾波器來改變其原有的比例，變換完成以后再變換回去得到比較合理的紋理映射。如果面片是非規(guī)則的形狀，也可以采用將其變形為矩形區(qū)域的方法進行處理，然后再用相應(yīng)的圖像處理軟件將一些區(qū)域透明化，這樣就得到原來物品的真實效果。

實驗得到的渲染效果真實感和原物體幾乎完全相符，效果如圖3所示。

其中圖3(a)是前、側(cè)、上 3個面的渲染效果，圖 3(b)顯示的是后、另一側(cè)、上3個面的渲染效果。將重建的三維渲染模型與圖1中的真實物品作比較，可以看出本文方法的優(yōu)越性。

本文主要描述了從普通照片生成三維立體模型的一種新方法，基于圖像渲染（IBR）提出了一種建立立體模型的新方式,能對普通的平面單幅圖像進行特征點提取，從而半自動地生成所需要的立體效果。本方法的特點在于無需傳統(tǒng)的相機標定，無需大量傳統(tǒng)意義上的幾何建模，可以直接從圖像中提取信息，渲染出具有照片真實感的模型，大大縮短了建模的時間。目前實驗主要對形狀規(guī)則的物品渲染效果比較好，而對于非規(guī)則的物品則考慮通過圖像變形和曲線擬合的方式進行變換，有待進一步深入研討。

[1]POLLEFEYS M.3D modeling from images.In conjunction with ECCV 2000,Dublin,Ireland,2000.

[2]BOUGUET J Y,PERONA P.3D photography on your desk[C].Proceedings of International Conference on Computer Vision,Bombay,India,1998.

[3]周驥.基于圖像建模方法的研究[D].杭州：浙江大學(xué)，2003.

[4]CIPOLLA R,DRUMMOND T,ROBERTSON D P.Camera calibration from vanishing points in images of architectural scenes[C].BMVC,1999.

[5]DEBEVEC P,TAYLOR C,MALIK J.Modeling and rendering architecture from photographs:A Hybrid Geometryand Image-Based.

[6]邵振峰，李德仁.基于航空立體影像對的人工目標三維提取與重建[D].武漢：武漢大學(xué)，2004.

[7]邱茂林,馬頌德,李毅.計算機視覺中攝像機定標綜述[J].自動化學(xué)報，2000，26（1）：43-55.