基于雙目立體視覺(jué)的三維重建

陳強(qiáng)

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

基于雙目立體視覺(jué)的三維重建

陳強(qiáng)

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

三維重建是圖像處理、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)的一個(gè)重要研究領(lǐng)域。基于雙目立體視覺(jué)的三維重建通過(guò)相機(jī)標(biāo)定搭建一個(gè)對(duì)準(zhǔn)的標(biāo)準(zhǔn)立體實(shí)驗(yàn)平臺(tái)采集圖像，進(jìn)而對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)與匹配找到待重建點(diǎn)，然后通過(guò)雙目視覺(jué)原理計(jì)算三維坐標(biāo)，最后進(jìn)行紋理映射。根據(jù)真實(shí)圖像的實(shí)驗(yàn)結(jié)果表明，具有較好的重建效果。

三維重建；雙目立體視覺(jué)；相機(jī)標(biāo)定；特征點(diǎn)檢測(cè)與匹配；紋理映射

0 引言

雙目立體視覺(jué)是機(jī)器視覺(jué)的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算兩幅圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲得物體三維幾何信息的方法。

雙目立體視覺(jué)測(cè)量方法具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、成本低等優(yōu)點(diǎn)，非常適合于制造現(xiàn)場(chǎng)的在線(xiàn)、非接觸產(chǎn)品檢測(cè)和質(zhì)量控制。對(duì)運(yùn)動(dòng)物體（包括動(dòng)物和人體形體）測(cè)量中，由于圖像獲取是在瞬間完成的，因此立體視覺(jué)方法是一種更有效的測(cè)量方法。雙目立體視覺(jué)系統(tǒng)是計(jì)算機(jī)視覺(jué)的關(guān)鍵技術(shù)之一，獲取空間三維場(chǎng)景的距離信息也是計(jì)算機(jī)視覺(jué)研究中最基礎(chǔ)的內(nèi)容。

1 基于雙目立體視覺(jué)的三維重建流程

基于雙目立體視覺(jué)的三維重建的整體流程如圖1所示，下面分別闡述各部分的原理。

1.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定是整個(gè)基于立體視覺(jué)的三維重建的預(yù)備工作，標(biāo)定結(jié)果的精度影響著最終的重建效果。雙目攝像頭標(biāo)定不僅要得出每個(gè)攝像頭的內(nèi)部參數(shù)，還需要通過(guò)標(biāo)定來(lái)測(cè)量?jī)蓚€(gè)攝像頭之間的相對(duì)位置（即右攝像頭相對(duì)于左攝像頭的三維平移T和旋轉(zhuǎn)R參數(shù)）。Bougue的MATLAB標(biāo)定工具箱可以進(jìn)行立體標(biāo)定，標(biāo)定物采用黑白棋盤(pán)格，如圖2所示。

圖1 三維重建流程圖

圖2 黑白棋盤(pán)格

具體標(biāo)定過(guò)程如下：

（1）把MATLAB標(biāo)定工具箱的文件復(fù)制到對(duì)應(yīng)目錄下，把左右攝像頭獲取的棋盤(pán)格圖片序列也放到.m文件所在的目錄下，然后在MATLAB命令行窗口打入calib_gui，選擇Standard之后出現(xiàn)以下窗口，如圖3所示。

圖3 calib_gui面板

（2）先對(duì)右攝像頭進(jìn)行標(biāo)定。點(diǎn)擊Image names,讀入右攝像頭的棋盤(pán)格圖像系列，然后點(diǎn)擊Extract grid corners,提取每幅圖的角點(diǎn)。提取每幅圖的角點(diǎn)后，點(diǎn)擊Calibration，開(kāi)始攝像頭標(biāo)定，經(jīng)過(guò)多次迭代后，程序最終得到攝像頭的內(nèi)外參數(shù)。

（3）驗(yàn)證標(biāo)定結(jié)果無(wú)誤后，點(diǎn)擊面板上的Save按鈕，保存標(biāo)定結(jié)果。

（4）同理，對(duì)左攝像頭進(jìn)行同樣的操作。

（5）左右攝像頭都標(biāo)定完成之后，就可以開(kāi)始立體標(biāo)定。在MATLAB命令行中鍵入stereo_gui啟動(dòng)立體標(biāo)定面板，如圖4所示。點(diǎn)擊Load left and right calibration選擇上面保存的左右攝像頭標(biāo)定結(jié)果之后就可以開(kāi)始Run stereo calibration。

圖4 stereo_gui面板

1.2 特征點(diǎn)提取與匹配

左右攝像頭獲取的待重建場(chǎng)景圖像通過(guò)相機(jī)標(biāo)定得到的旋轉(zhuǎn)R和平移T參數(shù)進(jìn)行校正，使得兩幅圖像的對(duì)級(jí)線(xiàn)恰好在同一水平線(xiàn)上，即兩幅圖像是行對(duì)齊的。

由雙目立體視覺(jué)進(jìn)行三維重建的第一步是尋找兩幅圖像中的對(duì)應(yīng)點(diǎn)，目前有很多二維圖像配準(zhǔn)算法，例如SIFT、SURF等。OpenCV中的features2d庫(kù)中包含了很多常用的算法，其中特征點(diǎn)定位的算法有FAST、SIFT、HARRIS等，特征點(diǎn)描述算法有SIFT、SURF等，還有若干種特征點(diǎn)匹配算法。這三個(gè)步驟的算法可以任意組合，選擇較好的效果組合。

在匹配過(guò)程中需要有一些措施來(lái)過(guò)濾誤匹配，一種比較常用的方法是比較第一匹配結(jié)果和第二匹配結(jié)果的得分差距是否足夠大，這種方法可以過(guò)濾掉一些由于相似造成的誤匹配。另一種可行的方法是利用已經(jīng)找到的匹配點(diǎn)，使用RANSAC算法求得兩幅視圖之間的單應(yīng)矩陣，然后將左視圖中的坐標(biāo)用單應(yīng)矩陣映射到右視圖，觀(guān)察與匹配結(jié)果的歐氏距離是否限定在規(guī)定的閾值內(nèi)。

1.3 計(jì)算三維坐標(biāo)

圖5 標(biāo)準(zhǔn)雙目立體視覺(jué)實(shí)驗(yàn)平臺(tái)

假設(shè)物理世界中的點(diǎn)P在行對(duì)齊的左右圖像上的成像點(diǎn)為pl和pr，相應(yīng)的橫坐標(biāo)分別為xl和xr，這使得深度與視差成反比關(guān)系，定義視差d=xl-xr。利用相似三角形很容易推導(dǎo)出Z值。由圖5可知：

所以，假設(shè)目標(biāo)點(diǎn)在左視圖中的坐標(biāo)為（x，y），在左右視圖上形成的視差為d，目標(biāo)點(diǎn)在以左攝像頭光心為原點(diǎn)的世界坐標(biāo)系中的坐標(biāo)為（X，Y，Z），則存在變換矩陣Q，如下所示：

焦距f、兩攝像頭中心距Tx和左右攝像頭的坐標(biāo)系與立體坐標(biāo)系中原點(diǎn)的偏移cx和cy可以通過(guò)立體標(biāo)定獲得初始值。使得：

三維坐標(biāo)就是（X/W，Y/W，Z/W），即為三維坐標(biāo)（X，Y，Z）的計(jì)算公式。

1.4 紋理映射

紋理映射是把二維的圖像上的像素值映射到三維實(shí)體模型的對(duì)應(yīng)頂點(diǎn)上，以增強(qiáng)實(shí)體模型的真實(shí)感。本質(zhì)上是一個(gè)二維紋理平面到三維景物表面的一個(gè)映射。

為了處理三維點(diǎn)集的紋理映射，可以先對(duì)點(diǎn)集進(jìn)行三角剖分，形成三角面片。點(diǎn)集的三角剖分對(duì)數(shù)值分析（例如有限元分析）以及圖形學(xué)來(lái)說(shuō)，都是極為重要的一項(xiàng)預(yù)處理技術(shù)。Delaunay三角剖分是個(gè)不錯(cuò)的三角剖分方法，有最大化最小角，“最接近于規(guī)則化的”的三角網(wǎng)和唯一性（任意四點(diǎn)不能共圓）兩個(gè)特點(diǎn)。經(jīng)典的Delaunay剖分算法主要有兩類(lèi)：

（1）增量算法：又稱(chēng)為Delaunay空洞算法或加點(diǎn)法，其思路為從一個(gè)三角形開(kāi)始，每次增加一個(gè)點(diǎn)，保證每一步得到的當(dāng)前三角形是局部?jī)?yōu)化的三角形。

（2）局部變換法：又稱(chēng)為換邊或換面法，其思路為構(gòu)造非優(yōu)化的三角網(wǎng)，然后對(duì)兩個(gè)共邊三角形形成的凸四邊形迭代換邊優(yōu)化。

其基本步驟為：

（1）獲取點(diǎn)集坐標(biāo)數(shù)組。

（2）獲取點(diǎn)集外圍邊界。

（3）根據(jù)邊界及內(nèi)部點(diǎn)生成三角網(wǎng)。

OpenCV中實(shí)現(xiàn)了二維的Delaunay三角剖分，可以直接調(diào)用庫(kù)函數(shù)。經(jīng)過(guò)三角剖分的預(yù)處理后，就可以將平面圖像中的三角面片逐個(gè)貼到計(jì)算出的三維坐標(biāo)上，完成三維點(diǎn)集的紋理映射。

2 三維重建實(shí)驗(yàn)

左右攝像機(jī)采集的真實(shí)圖像三維重建實(shí)驗(yàn)結(jié)果如圖6所示。圖6（a）為經(jīng)過(guò)相機(jī)標(biāo)定參數(shù)校正過(guò)的輸入圖像進(jìn)行特征點(diǎn)匹配的結(jié)果。在紋理映射時(shí)對(duì)左圖像進(jìn)行的Delaunay三角剖分如圖6（b）所示。最終在三維點(diǎn)集上進(jìn)行紋理映射后的顯示效果如圖6（c）所示。實(shí)驗(yàn)結(jié)果表明基于雙目立體視覺(jué)的三維重建具有較好的三維效果。

圖6 真實(shí)圖像的三維重建結(jié)果

3 結(jié)語(yǔ)

本文主要研究了基于雙目立體視覺(jué)的三維重建的流程，并詳細(xì)闡述了各個(gè)流程的實(shí)現(xiàn)步驟，最后對(duì)采集真實(shí)的圖像進(jìn)行了三維重建實(shí)驗(yàn)，驗(yàn)證了基于雙目立體視覺(jué)的三維重建的可行性和正確性，可以有效地應(yīng)用于各種可使用計(jì)算機(jī)視覺(jué)的應(yīng)用中。

參考文獻(xiàn)：

[1] 李先怡．特征點(diǎn)匹配技術(shù)在無(wú)人機(jī)影像匹配中的研究與應(yīng)用[D]．西安：西安科技大學(xué)，2011

[2] 李玲．基于雙目立體視覺(jué)的計(jì)算機(jī)三維重建方法研究[D]．武漢：武漢大學(xué)，2005

[3] 于仕琪,劉瑞禎．學(xué)習(xí)OpenCV（中文版）[M]．北京：清華大學(xué)出版社，2009

[4] 馬頌德,張正友．計(jì)算機(jī)視覺(jué)-計(jì)算理論與算法基礎(chǔ)[M]．北京：科學(xué)出版社，2003

[5] Faugeras O,Robert L,Laveau S.3D Reconstruction of Urban Scenes from Image Sequences[J]．CVGIP,1998,69（3）：292～309

[6] GAO Hong-wei,LI Bin,WU Cheng-dong,et al.An Improved Two-Stage Camera Calibration Method Based on Evolution Calculation [C].Proceedings of the 7th World Congress on Control and Automation,Chongqing,China,2008:8477～8482

3D Reconstruction Based on Binocular Stereovision

CHEN Qiang
（College of Computer Science,Sichuan University，Chengdu 610065）

3D reconstruction is one of the important research fields in image processing,computer vision and computer graphics.3D reconstruction based on binocular stereovision sets up a standard stereo experiment platform to collect images by camera calibration,finds reconstruction of point by feature point detection and matching,and does texture mapping.Experiment results of real images prove that it can achieve better reconstruction effect.

Three-Dimensional Reconstruction;Binocular Stereovision;Camera Calibration;Feature Point Detection and Matching;Texture Mapping

1007-1423（2015）02-0066-04

10.3969/j.issn.1007-1423.2015.02.017

陳強(qiáng)（1990-），男，湖北黃岡人，碩士，研究方向?yàn)閳D像處理

2014-12-09

2014-12-23