基于光束平差法的寬基線雙目三維重建

張家旺

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610065）

基于光束平差法的寬基線雙目三維重建

張家旺

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

傳統(tǒng)的基于圖像矯正的雙目三維重建方法對(duì)于圖像的矯正結(jié)果有很強(qiáng)的依賴性，而寬基線的圖像矯正很難獲得理想的效果。針對(duì)該問題，提出一種無(wú)需矯正的基于光束平差法的寬基線雙目三維重建方法。該方法利用雙目視覺的幾何約束恢復(fù)出相機(jī)姿態(tài)以及三維點(diǎn)云，然后利用光束平差法對(duì)相機(jī)姿態(tài)、相機(jī)內(nèi)部參數(shù)以及三維點(diǎn)云進(jìn)行優(yōu)化，最終得到物體的三維模型。

立體視覺；光束平差；三維重建；寬基線

0　引言

三維重建是計(jì)算機(jī)視覺最主要的研究方向之一，在諸多領(lǐng)域，例如無(wú)人駕駛、機(jī)器人導(dǎo)航、文物數(shù)字化等，一直都是一個(gè)充滿挑戰(zhàn)的難題。三維重建主要通過對(duì)同一物體從不同視角拍攝二維圖像以恢復(fù)出物體的三維模型。根據(jù)所依賴的不同視角的數(shù)量可將三維重建方法分為雙目三維重建和多目三維重建（多視圖三維重建）。本文僅討論雙目三維重建。

雙目三維重建通過模擬人眼成像技術(shù)，利用攝像機(jī)從不同角度拍攝物體并恢復(fù)出物體的三維結(jié)構(gòu)。雙目三維重建方法主要分為兩類：一類是基于圖像矯正的雙目重建；另一類是基于攝像機(jī)姿態(tài)估計(jì)的雙目重建方法[1-2]。前者使用經(jīng)過矯正的圖像進(jìn)行重建，能得到很好的效果。但對(duì)于寬基線的圖像，往往得不到理想的矯正效果，從而無(wú)法對(duì)其進(jìn)行三維重建。后者通過對(duì)圖像進(jìn)行攝像機(jī)姿態(tài)估計(jì)，對(duì)寬基線的情況具有良好的重建效果。

1　攝像機(jī)模型

攝像機(jī)的基本成像模型，通常稱為基本針孔模型，由三維空間到平面的中心投影變換所給出[1]。攝像機(jī)模型抽象為數(shù)學(xué)模型可用投影矩陣P表示,投影矩陣分解為攝像機(jī)內(nèi)參矩陣K，攝像機(jī)外參矩陣M,外參矩陣M可分解為旋轉(zhuǎn)矩陣R和平移矩陣T，因此攝像機(jī)投影矩陣表示為：

攝像機(jī)成像模型可表示為：

x=PX=K[R|T]X

2　攝像機(jī)姿態(tài)估計(jì)

兩幅圖像間的對(duì)級(jí)幾何[3]約束，為攝像機(jī)的姿態(tài)估計(jì)提供了理論基礎(chǔ)。對(duì)級(jí)幾何是兩幅圖像間點(diǎn)、線關(guān)聯(lián)的關(guān)系，這種關(guān)系可用基本矩陣[2，4]來進(jìn)行代數(shù)描述。在計(jì)算機(jī)視覺中，基本矩陣F是一個(gè)3×3的矩陣，表達(dá)了立體像對(duì)的像點(diǎn)之間的對(duì)應(yīng)關(guān)系。在對(duì)級(jí)幾何中，對(duì)于立體像對(duì)中的一對(duì)像點(diǎn)，它們的其次化坐標(biāo)分別表示為x與x'，F(xiàn)x表示一條必定經(jīng)過x'的直線（極線），這意味著立體像對(duì)的所有像點(diǎn)都滿足：

本質(zhì)矩陣E也滿足類似的關(guān)系，但本質(zhì)矩陣并不蘊(yùn)含攝像機(jī)內(nèi)部參數(shù)，本質(zhì)矩陣與基本矩陣之間的關(guān)系可由下式表達(dá)：

圖1　攝像機(jī)模型

其中，K'和K分別為兩個(gè)攝像機(jī)的內(nèi)參矩陣。由一組對(duì)應(yīng)像點(diǎn)，利用正則八點(diǎn)法可得到基本矩陣F，進(jìn)而得到本質(zhì)矩陣E[2]。本質(zhì)矩陣可分解為兩攝像機(jī)的相對(duì)旋轉(zhuǎn)矩陣R和像對(duì)平移矩陣T。假設(shè)一攝像機(jī)為：

則另一攝像機(jī)可表示為：

3　三角原理

在攝像機(jī)矩陣已知的情況下，三維重建的基本方法就是三角原理[2]。已知兩攝像機(jī)矩陣分別為P與P'，x ?x'為兩幅圖像的一組對(duì)應(yīng)點(diǎn)?，F(xiàn)在要恢復(fù)它們的三維空間點(diǎn)X，即滿足：

對(duì)于第一張圖像有：

其中PiT為P的第i行，于是可得到形如AX=0的線性方程組：

通過解AX=0，求得三維空間點(diǎn)坐標(biāo)X。

4　光束平差法

光束平差法[2，5]是目前許多由運(yùn)動(dòng)到結(jié)構(gòu)問題的標(biāo)準(zhǔn)算法，其最終目的歸結(jié)為：減少觀測(cè)像點(diǎn)與預(yù)測(cè)像點(diǎn)之間投影變換的誤差。最小化誤差算法采用最小二乘法，目前使用最為廣泛的是Levenberg-Marquardt[6]，具有易于實(shí)現(xiàn)，收斂速度快的優(yōu)點(diǎn)。

假設(shè)有n個(gè)三維空間點(diǎn)，m個(gè)攝像機(jī)，xij為第i個(gè)三維點(diǎn)在第j個(gè)攝像機(jī)像平面上的投影，光束平差法優(yōu)化攝像機(jī)參數(shù)p和三維空間點(diǎn)坐標(biāo)X，使得投影誤差最小，即：

其中Q（Pj，Xi）表示三維空間點(diǎn)Xi投影到攝像機(jī)Pj的像平面的預(yù)測(cè)像點(diǎn)，d（x，y）表示像點(diǎn)x與y之間的歐氏距離。

攝像機(jī)矩陣P、P'以及通過三角原理獲得的初始三維點(diǎn)X，通過光束平差法進(jìn)行優(yōu)化，最終得到相當(dāng)精確的結(jié)果。

5　實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)環(huán)境為Ubuntu 15.10，Pentium Dual-Core CPU E6600@3.06GHz，4GB RAM。實(shí)驗(yàn)使用了2組公開數(shù)據(jù)集[6]，每組選取兩個(gè)視角的圖片，運(yùn)用本文所提出的方法分別對(duì)其進(jìn)行重建，最終效果如圖2，實(shí)驗(yàn)運(yùn)行時(shí)間見表1。

表1　運(yùn)行時(shí)間

圖2?。ǖ谝恍袨閮山M數(shù)據(jù)集原圖，每組兩張圖片；第二行為兩個(gè)數(shù)據(jù)集對(duì)應(yīng)三維點(diǎn)云）

[1]吳福朝.計(jì)算機(jī)視覺中的數(shù)學(xué)方法[M].科學(xué)出版社,2008.

[2]Hartley R,Zisserman A.Multiple View Geometry in Computer Vision[M].Cambridge University Press,2003.

[3]Zhang Z,Deriche R,Faugeras O,et al.A Robust Technique for Matching Two Uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry[J].Artificial intelligence,1995,78(1):87-119.

[4]Luong Q T,Faugeras O D.The Fundamental Matrix:Theory,Algorithms,and Stability Analysis[J].International Journal of Computer Vision,1996,17(1):43-75.

[5]Triggs B,McLauchlan P F,Hartley R I,et al.Bundle Adjustment-a Modern Synthesis[M].Vision Algorithms:Theory and Practice. Springer Berlin Heidelberg,2000:298-372.

[6]Moré J J.The Levenberg-Marquardt Algorithm:Implementation and Theory[M].Numerical Analysis.Springer Berlin Heidelberg,1978: 105-116.

[7]Furukawa Y,Ponce J.Accurate,Dense,and Robust Multiview Stereopsis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2010,32(8):1362-1376.

Stereo Vision;Bundle Adjustment;3D Reconstruction;Wide-Baseline

Wide-Baseline Stereo Reconstruction Based on Bundle Adjustment

ZHANG Jia-wang

（College of Computer Science，Sichuan University，Chengdu 610065）

The traditional method of stereo reconstruction based on rectified image has a strong dependence on the result of the image rectification, while wide-baseline always resulting in a bad rectification result.To solve this problem,proposes a wide-baseline stereo reconstruction method based on bundle adjustment.An initial point cloud,which can be get from the epipolar geometry constrains of the images,camera pose and internal parameters are optimized with bundle adjustment.

1007-1423（2016）32-0071-03

10.3969/j.issn.1007-1423.2016.32.016

張家旺（1990-），男，河北保定人，碩士，研究方向?yàn)橛?jì)算機(jī)視覺、三維重建

2016-10-13

2016-11-05