基于攝影測量學(xué)和圖像光流的三維重建方法*

黃會明, 郭 進， 段康容

(1．西南財經(jīng)大學(xué) 天府學(xué)院，四川 綿陽 621000； 2．四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

0 引 言

傳統(tǒng)的三維(3D)測量方式在滿足高精度和高質(zhì)量的要求方面，具有一定的局限性，如不便攜帶、需要很多輔助設(shè)備、無法快速方便獲得物體紋理信息等，如Breuckman B等人[1]提出的相位輪廓技術(shù),需要工業(yè)相機和投影設(shè)備輔助進行；His-Yung Fenga等人[2]提出的基于線激光三維重建方法,也需要工業(yè)相機和激光發(fā)射設(shè)備等。上述方法均只能獲取到小范圍物體的三維數(shù)據(jù)，且輔助設(shè)備價格昂貴，需要專門的操作技術(shù)人員。

基于近景攝影測量學(xué)和光流[3]的三維測量方式恰好滿足了上述需求。本文采用這種測量方式，只需用一臺單反相機對物體從不同角度拍攝多幅圖片獲取三維信息。使用一些人工的標(biāo)記點通過自標(biāo)定的方法標(biāo)定相機的內(nèi)參數(shù)；拍攝需要重建的物體圖像，通過物體自身的特征點，如SIFT特征信息[4]，完成相機的外參數(shù)的標(biāo)定；利用光流檢測算法計算出不同角度拍攝的兩幅圖像中每個像素點的光流值；基于兩幅圖像光流場的變化值獲得像素精度的匹配點，根據(jù)匹配點和相機的標(biāo)定數(shù)據(jù)重建出物體的三維信息。

1 相機標(biāo)定

1.1 內(nèi)參數(shù)標(biāo)定

對內(nèi)參數(shù)的標(biāo)定采用自標(biāo)定算法[5]，首先進行射影重建，經(jīng)過仿射變換后可以將射影重建轉(zhuǎn)換到射影空間下，最后用歐氏變換將仿射空間轉(zhuǎn)換到歐氏空間下從而實現(xiàn)歐氏三維重建[6]。

根據(jù)針孔相機模型的成像原理，在理想的情況下拍攝到的圖像點與鏡頭中心和物體三維點具有三點共線性，根據(jù)這個特性，可以使用齊次坐標(biāo)矩陣表示

(1)

式中 (u,v)為圖像的二維坐標(biāo),fu和fv分別為相機在圖像的橫軸和縱軸上的基于像素的焦距,(u0,v0)為圖像的中心點坐標(biāo),R和T分別為相機坐標(biāo)到世界坐標(biāo)的轉(zhuǎn)換關(guān)系，即兩個坐標(biāo)系的旋轉(zhuǎn)和平移向量,(X,Y,Z)為物體在世界坐標(biāo)系下的三維坐標(biāo)。

實際上空間三維點到圖像二維點的成像過程中存在一定的偏差，可以表示為(Δu,Δv)。另外,相機在生產(chǎn)的過程中是存在一定的加工誤差，形成了相機的光學(xué)畸變，可以將這種畸變加入到相機的模型中去，將共線方程改寫為

(2)

(3)

為避免圖像在采集過程中出現(xiàn)誤差，采用了基于光束法平差的方法對相機的內(nèi)參數(shù)、外參數(shù)和空間三維坐標(biāo)捆綁一起進行非線性優(yōu)化[7,8]。根據(jù)最小二乘的原理，將優(yōu)化的目標(biāo)函數(shù)設(shè)置為

(4)

利用目標(biāo)函數(shù)，對式(3)使用泰勒公式進行展開，并取其一階項，結(jié)果中圖像二維坐標(biāo)(u,v)在實際成像過程中會存在一定的誤差，加入一個改正數(shù)(vu,vv)，即

u+vu=(u)+du,v+vv=(v)+dv

(5)

獲得攝影測量中的誤差方程，其矩陣形式為

(6)

式中 矩陣B和矩陣C分別為圖像中的二維點對相機內(nèi)外參數(shù)的偏導(dǎo)數(shù)和圖像二維點對物體三維點的偏導(dǎo)數(shù)；矩陣δp和矩陣δt均為改正數(shù)，即相機內(nèi)外參數(shù)的改正數(shù)和物體三維點的改正數(shù)；矩陣L為圖像觀測值。通過優(yōu)化式(6)就可以計算出相機的內(nèi)參數(shù)矩陣。

1.2 外參數(shù)標(biāo)定

在雙視圖重建中，外參數(shù)的標(biāo)定一般采用基于本質(zhì)矩陣E進行，假設(shè)一對歸一化后的相機矩陣P=[I0]和P′=[R′T]，與歸一化相機矩陣對應(yīng)的基礎(chǔ)矩陣即為本質(zhì)矩陣[10]，包括了兩個相機之間的相對空間位置信息，具體形式為

E=[T]×R

(7)

式中 [T]×為平移向量的反對稱矩陣。E通過奇異值分解(singular value decomposition,SVD)為Udiag(1,1,0)VT，第一個相機投影矩陣為P=[I0]，第二個相機的投影矩陣P′具有如下4種可能選擇

P′=[UWVT|u3];[UWVT|-u3];

[UWTVT|u3];[UWTVT|-u3]

(8)

外參數(shù)的標(biāo)定可以使用5點法[9]進行計算，首先在兩幅圖像上使用SIFT特征提取方法，獲取到兩張圖片大于5個匹配的二維圖像點，使用匹配點可以計算出兩個相機的外參數(shù)。

2 圖像光流計算

依據(jù)三維物體上的一個點在兩幅圖像上具有旋轉(zhuǎn)位移不變性[11,12]，將光流定義為從不同角度拍攝的物體產(chǎn)生的矢量場。設(shè)一個圖像二維點坐標(biāo)為(x,y),可以表示為空間中某一個三維點(X,Y,Z)在圖像上投影的二維坐標(biāo)，并且該圖像點在時刻t對應(yīng)的圖像灰度信息為I(x,y,t)。設(shè)在一個很短的時間內(nèi)即t+Δt時圖像點發(fā)生了一定的位移，即從(x,y)處運動了(u,v)的距離,到達點(x+u,y+v)處,若在很短的時間Δt內(nèi)圖像點從一點運動到另外一點,認(rèn)為圖像點對應(yīng)的圖像灰度值保存不變。

設(shè)I∶Ω?R3→R表示圖像序列，w=(u,v,1)就是時間t,t+1時刻圖像的位移矢量?；叶戎挡蛔兗僭O(shè)有一個決定性的缺點：對自然場景中的亮度的微小變化很敏感。因此，在灰度值上允許一些小的變化，有助于確定一個標(biāo)準(zhǔn)，在這個標(biāo)準(zhǔn)下當(dāng)圖像之間產(chǎn)生了位移矢量也不會引起其值的變化，即圖像梯度

(9)

在計算單個像素的位移矢量時需要考慮到周圍像素的貢獻值,在估計某個像素的光流場時假設(shè)在不同的時刻圖像的平滑度一致，且可以采用多分辨率的方法逐步實現(xiàn)。最后使光流場的函數(shù)在某一局部位置收斂到最小。

從上述2種假設(shè)中可以設(shè)置一個能量函數(shù)E1(u,v)，包含了圖像的灰度信息和梯度信息，即

E1(u,v)=

(10)

式中X=(x,y,t)T,W=(u,v,1)T，λ為假設(shè)兩者之間的權(quán)重。

對于圖像多分辨率的光滑數(shù)學(xué)模型，可以通過定義圖像梯度場能量函數(shù)E2(u,v)來實現(xiàn)，對二維像素坐標(biāo)和時間分別求偏導(dǎo)，即

E2(u,v)=

(11)

對于兩幅圖片求光流矢量(u,v)的應(yīng)用中，總能量函數(shù)是能量函數(shù)E1(u,v)和E2(u,v)的加權(quán)和

E(u,v)=E1(u,v)+δE2(u,v),δ>0

(12)

使能量函數(shù)M達到最小的(u,v)即為所求的兩幅圖像之間的像素點的位移矢量。

3 三維重建

三維重建主要依據(jù)三角測量原理，已知不同位置的兩幅圖像上的一組對應(yīng)點m1,m2，其與各自相機的光心連線o1m1,o2m2必定交于空間一點M，此點即為此組對應(yīng)點的空間物點，如圖1所示。

圖1 三角測量原理

根據(jù)光流計算方法可以很容易地找到兩幅圖片上的匹配點，如第一副圖片上一個像素點為m1=(u1,v1,1)，計算的位移矢量為w=(u,v,1)，則另一幅圖片上的匹配點為

m2=(u2,v2,1)=(u1+u,v1+v,1)

(13)

兩個相機的投影矩陣分別表示為P1=K1[P1T1],P2=K2[R2T2]，根據(jù)透視投影公式可得

(14)

式中λ1，λ2為非零比例因子,消去后，整理為矩陣形式

(15)

依據(jù)最小二乘原理即可求出三維點的坐即

X=(ATA)-1ATb

(16)

4 實驗結(jié)果

實驗過程只需要使用一臺單反相機，焦距35 mm，相機分辨率1 024×1 280。拍攝距離5 m，視場大小4 m×5 m。

圖2 編碼標(biāo)記點

圖3 假山圖像SIFT點匹配

3)光流計算方法計算兩幅圖像上的光流場：根據(jù)光流場來對像素級別的稠密點進行匹配，可以得到兩幅圖像上稠密的二維圖像匹配點。根據(jù)三角測量原理，利用內(nèi)參和外參以及圖像上的匹配點進行三維點的重建，并獲取到每個三維點對應(yīng)的圖像顏色值。重建的效果如圖4和圖5。

圖4 假山三維數(shù)據(jù)

圖5 石壁三維數(shù)據(jù)

5 結(jié) 論

本文創(chuàng)新地在攝影測量原理基礎(chǔ)上使用光流來替代圖像點的匹配，只需采集幾張圖像即可重建出物體的稠密點三維信息。避免了傳統(tǒng)方法使用額外的輔助設(shè)備，此方法可以方便地用于3D打印和虛擬現(xiàn)實的三維數(shù)據(jù)獲取中。