基于幾何法立體圖像校正的研究

王道累， 楊 峰

（上海電力學(xué)院能源與機械工程學(xué)院，上海 200090）

基于幾何法立體圖像校正的研究

王道累， 楊 峰

（上海電力學(xué)院能源與機械工程學(xué)院，上海 200090）

立體視覺圖像校正是加速立體匹配簡單而常用的技術(shù)之一。采用幾何法對使用棱鏡的單鏡頭立體視覺系統(tǒng)圖像進行校正，根據(jù)成像原理，從圖像平面像素點反推到三維實體點的分析運算，利用成像光線幾何關(guān)系求解虛擬相機外部參數(shù)，實現(xiàn)極線的校正，避免了復(fù)雜相機標(biāo)定過程。同時，該算法可以從雙棱鏡應(yīng)用推廣到多面棱鏡的單棱鏡立體視覺系統(tǒng)圖像校正。實驗結(jié)果表明，基于幾何法對使用棱鏡的單鏡頭立體視覺系統(tǒng)圖像校正是有效的。

立體視圖；極線校正；圖像處理；幾何法

立體視覺圖像校正是計算機視覺技術(shù)的關(guān)鍵技術(shù)之一。圖像校正的目的是使兩幅非共面圖像校正成兩幅共面。同時確保兩幅圖像相對應(yīng)極線成為共線并沿著水平掃描線。因此，通過立體圖像對的極線校正，使立體匹配算法的搜索范圍從二維的圖像平面降低到一維的掃描線上，從而大大提高匹配算法的搜索速度和精度[1-3]。

視圖校正是立體視覺的一個典型問題。Al-Shalfan等[4]最早提出基于光學(xué)技術(shù)的校正方法，該方法主要是通過硬件技術(shù)來實現(xiàn)的，因而在實踐應(yīng)用中受到了很大地限制。而Loop和Zhang[5]提出了對立體視圖校正方法分解單應(yīng)性矩陣。Isgro和Trucco[6]提出了一種不需要對極線幾何求解，尤其是基礎(chǔ)矩陣進行精確計算的圖像校正方法，直接利用了校正后的基礎(chǔ)矩陣有一個特定的已知形式來建立水平視差最小化式子，從圖像的對應(yīng)點直接產(chǎn)生校正的單應(yīng)性矩陣。Hartley[7]提出了一種針對視角變化比較大的立體圖像對進行校正的方法。Yu和Wu[8]提出了一種減少校正后圖像幾何畸變的方法，把校正問題和基礎(chǔ)矩陣的估算問題結(jié)合起來，從基礎(chǔ)矩陣的估算中求得校正問題的最小二乘解，通過增加剪切變換使單應(yīng)性矩陣唯一，減少整幅圖像的幾何畸變。該方法在優(yōu)化過程中，優(yōu)解的獲得可能陷入局部最小化。綜上所述的視圖校正算法多存在一定的局限性。因此，設(shè)計一種簡單而實用的立體圖像校正算法是立體視覺的重要研究方向之一。

基于棱鏡的單鏡頭立體視覺系統(tǒng)是本論文研究的對象，該系統(tǒng)利用棱鏡來形成多個虛擬相機。這與傳統(tǒng)立體視覺系統(tǒng)利用兩個或多個相機捕獲兩幅或多幅從不同視角的場景相同。但是該系統(tǒng)簡單而有效地減少了相機標(biāo)定參數(shù)復(fù)雜計算過程。另外，圖像的采集也不存在時間差，同時也節(jié)省系統(tǒng)設(shè)備建設(shè)的費用。

本文運用成像原理，從圖像像素點反推到三維實體點，建議使用幾何分析方法求解虛擬相機的外部參數(shù)等。本文優(yōu)勢及特點有：①幾何分析方法求解虛擬相機參數(shù)，減少了復(fù)雜的相機標(biāo)定過程；②使用基于棱鏡的單鏡頭立體視覺系統(tǒng)，直接利用棱鏡來形成虛擬相機，減少了相機布局誤差；③幾何分析算法可以進行總結(jié)并一般化。

1 相機模型定義及立體圖像校正

1.1 相機模型定義

針孔相機模型是由光心O和圖像平面建立而成的。一個三維空間點P到圖像平面投影點p是直線OP和圖像平面的交點。含O和圖像平面正交的線被稱為光軸，它與圖像平面的交點為(ox, oy)。攝像機光心O到圖像平面的距離，即攝像機的焦距f。

假設(shè)在世界坐標(biāo)系下坐標(biāo)P=[X, Y, Z]T和在圖像平面（像素）坐標(biāo)p=[u, v]T。從三維映射坐標(biāo)二維坐標(biāo)的透視投影，這是由一個線性齊次坐標(biāo)變換表示。和分別為P和p的齊次坐標(biāo)；然后，由P到p投影變換關(guān)系得：

其中s是一個比例因子，ppmP 是相機的投影矩陣。分解投影矩陣：

矩陣intM 是相機內(nèi)部參數(shù)形成的矩陣，具體表示：

f是焦距，sx和sy分別是像素在水平和垂直方向上的有效尺寸(mm)。攝像機的位置和方向（外部參數(shù)），是由3×3旋轉(zhuǎn)矩陣R和平移矢量T組成。圖1所示為立體視圖極線幾何關(guān)系（實線）。

圖1 立體視圖極線幾何(實線)和校正后的極線幾何(虛線)

2 單鏡頭的雙目立體視圖校正

2.1 單鏡雙目頭立體視覺系統(tǒng)

本文以單鏡頭立體視覺系統(tǒng)為研究對象，該系統(tǒng)使用棱鏡來形成兩個或多個虛擬相機。圖 2所示是使用雙棱鏡的單鏡頭立體視覺系統(tǒng)。系統(tǒng)設(shè)計規(guī)則如下：

(1) 將雙棱鏡放置于相機的前面，由棱鏡頂點與相機鏡頭在一條直線上；

(2) 棱鏡后平面與相機的圖像平面平行；

(3) 圖像的中心點與棱鏡頂點的直線為Z軸，并將雙棱鏡分為上下對稱。

通過設(shè)置好雙棱鏡和相機位置，根據(jù)成像原理，真實相機發(fā)出光線通過棱鏡反射及折射作用，可以形成兩個虛擬相機（如圖2所示）。當(dāng)采集圖像時，就可以得到兩幅不同視角的圖像。這種單鏡頭立體視覺系統(tǒng)使用棱鏡來形成多個虛擬系統(tǒng)有幾個優(yōu)點：①相機標(biāo)定變得簡單；②在建設(shè)系統(tǒng)所需的費用減少；③對所產(chǎn)生的誤差相對的減??；④虛擬相機的焦距與真實圖像的焦距一樣；⑤可以同時獲得多個視圖，不存在時間差，對于運動的場景也可以瞬間得到一組視圖。

1.2 立體圖像校正

圖 1顯示了兩視圖的極線幾何關(guān)系。如果兩個相機已經(jīng)被標(biāo)定過，即兩個攝像機投影矩陣是已知的。兩個相機中心連線成為基線。然后，對所有視圖通過校正矩陣變換計算后獲得校正圖像。校正后的圖像極線共線且平行于基準(zhǔn)（圖 1虛線表示部分）。這樣對搜索視圖間匹配點變得簡單有效。對于立體圖像的校正，Yu和 Wu等[8]可知校正矩陣主要由內(nèi)部參數(shù)矩陣和相機的姿態(tài)矩陣組成。而對于本論文研究課題內(nèi)部參數(shù)矩陣，由系統(tǒng)設(shè)備提供。然而，外部參數(shù)將由本文提出的幾何法來解決。

在上節(jié)中也討論過了，立體圖像的校正需要相機的內(nèi)外部參數(shù)。這就需要對相機進行標(biāo)定。而如果直接對相機進行標(biāo)定，整個過程相當(dāng)?shù)膹?fù)雜。所以本文利用圖像成像原理進行幾何法求解相機的外部參數(shù)包括旋轉(zhuǎn)矩陣 R和平移向量 T。至于內(nèi)部參數(shù) Mint可以直接從相機獲得固有參數(shù)。

圖2 使用雙棱鏡的單鏡頭立體視覺系統(tǒng)

2.2 幾何方法分析求解校正矩陣

已知 P (x ,y,- f)點坐標(biāo)，光心 O(0,0,0)及焦距f，折射率n。棱鏡頂點到真實相機光心的距離T0，雙棱鏡大小和角度α等。例如直線PM方程為：

接著，根據(jù)雙棱鏡布局位置，在世界坐標(biāo)系下求得棱鏡左平面方程：

其中， (X0,Y0,Z0)為棱鏡頂點的坐標(biāo)，為平面的法向向量。根據(jù)已知參數(shù)值和棱鏡的幾何位置即可求得法向向量。

直線MN可以通過向量的平行四邊形法則，求得MN的方向向量（如圖4）。然后，點 M (xM,yM,zM)的坐標(biāo)可以從直線PM與雙棱鏡左平面求得：

圖3 雙目視覺的系統(tǒng)視圖校正

圖4 運用平行四邊行法則求直線方向向量

同理可得直線NS的方程。

以此類推，Z軸直線重復(fù)上述的步驟可求得經(jīng)過雙棱鏡后直線 L方程。因此，虛擬左相機光心由兩直線相交，求交點。

從圖 4知，從真實圖像平面到左虛擬圖像平面的平移向量：

通過幾何關(guān)系分析可得，旋轉(zhuǎn)角度β等于直線L與Z軸的夾角。已知兩方程就可得角度β。因此，旋轉(zhuǎn)矩陣為

2.2.2 視圖校正矩陣

定義虛擬相機新坐標(biāo)系姿態(tài)矩陣：

其中， r1作為虛擬相機坐標(biāo)系的 X軸，選擇平行于基準(zhǔn)線：r2作為虛擬相機坐標(biāo)系的Y軸和真實圖像系統(tǒng)的坐標(biāo)系Y軸一致；r3作為虛擬相機坐標(biāo)系的Z軸，右r1和r2叉積得到。

最后，兩個虛擬圖像平面的校正變換矩陣：

通過上面的步驟可以獲得最終的校正后的圖像坐標(biāo)[2]。

3 單鏡頭的多目立體視圖校正

建立單鏡頭的多目立體視覺系統(tǒng)可選用多面的棱鏡。如圖 5所示是利用三棱鏡的單鏡頭視覺系統(tǒng)圖。多目立體圖像校正算法可由雙目立體圖像校正推理得到。同樣進行幾何成像反推求得旋轉(zhuǎn)矩陣R和平移矩陣T。

圖5 三棱鏡的單棱鏡立體視覺系統(tǒng)

通過幾何法分析，在三棱鏡的單鏡頭視覺系統(tǒng)中，從虛擬圖像平面到校正后的虛擬圖像平面旋轉(zhuǎn)角度β及γ（圖6所示），即旋轉(zhuǎn)矩陣：

最后，根據(jù)旋轉(zhuǎn)矩陣R和平移向量T及新坐標(biāo)系統(tǒng)姿態(tài)矩陣求取校正后的3個虛擬圖像平面的校正變換矩陣，然后獲得校正后的圖像平面坐標(biāo)。

圖6 虛擬平面旋轉(zhuǎn)圖

同樣思路推廣與應(yīng)用到四棱鏡、五棱鏡的單鏡頭視覺系統(tǒng)中（如圖7～8所示）。

圖7 四棱鏡的單棱鏡立體視覺系統(tǒng)

圖8 五棱鏡的單棱鏡立體視覺系統(tǒng)

利用棱鏡的單鏡頭視覺系統(tǒng)圖像校正算法歸納與總結(jié)：

(1) 通過幾何分析，運用平行四邊形法則計算虛擬圖像平面的旋轉(zhuǎn)矩陣R和平移向量T，例如：

這里d=0或者1（針對多面棱鏡）；

(2) 建立虛擬相機坐標(biāo)的系統(tǒng)，構(gòu)建新坐標(biāo)姿態(tài)矩陣rectR ，定義各個坐標(biāo)軸；

(3) 通過內(nèi)部參數(shù)矩陣計算校正后的虛擬相機的圖像坐標(biāo)。

4 實驗結(jié)果及討論

本實驗利用棱鏡的單鏡頭視覺系統(tǒng)來采集圖像。三幅圖像分別來自雙棱鏡、三棱鏡和四棱鏡視覺系統(tǒng)采集。它們分別命名為“mechanical stand”、“red rose”和“da”。每幅圖像都有兩、三和四幅相同背景的圖像從不同視角采集得到。這種采集手段相當(dāng)于多個真實的相機從不同角度對一場景的拍攝。如圖9(a)在左視圖任意選取3個點，同時計算并畫出其相對應(yīng)右視圖的極線，圖 9(b)通過幾何方法校正過后的左視圖的 3個點及相對應(yīng)右視圖的極線。圖 10(b)在上左視圖任意選取 3個點，同時計算并畫出其相對應(yīng)下視圖的極線圖10(c)，圖10(d)在上右視圖取得3個點是和上左視圖上是一致的，也畫出其相對應(yīng)下視圖的極線圖10(c)，圖10(e)～(g)通過幾何方法校正過后的上左視圖、上右視圖的 3個點及相對應(yīng)下視圖的極線。圖11(a)上左視圖任意選取3個點，同時計算并畫出其相對應(yīng)上右視圖、下左視圖和下右視圖的極線如圖 11(b)～(d)。經(jīng)過校正過，各視圖上的點極線都發(fā)生了變化，如圖 12(a)～(d)所示。以上各視圖從經(jīng)過建議算法校正后的視圖中的極線變成水平狀態(tài)了。這樣證明了本算法是有效的。

對三棱鏡立體視覺系統(tǒng)進行匹配點測試。在圖10中取8組左右視圖像素點坐標(biāo)，求取在第三幅視圖中的匹配點。第三、四列坐標(biāo)值為左右視圖像素點在第三幅視圖對應(yīng)極線的交點坐標(biāo)。表1顯示使用傳統(tǒng)的校正方法(張氏法)[9]和幾何法的匹配求匹配點結(jié)果。從表 1中得到第三與第四列誤差值的值一直小于第五與第四列誤差值。匹配點由幾何法和傳統(tǒng)標(biāo)定方法得到誤差的平均距離分別為6.017和11.402。由此表明幾何方法校正比傳統(tǒng)的校正方法好。這種改善是由于幾何分析方法比傳統(tǒng)的校正方法可以得到更精確的虛擬攝像機外部參數(shù)。此外，結(jié)果驗證本文的校正算法確實是有效，即使應(yīng)用于單棱鏡的多視圖立體視覺系統(tǒng)。

圖9 利用雙棱鏡視覺系統(tǒng)采集圖“mechanical stand”

圖10 利用三棱鏡視覺系統(tǒng)采集圖“red rose”

圖11 利用四棱鏡視覺系統(tǒng)采集圖“達”

圖12 利用四棱鏡視覺系統(tǒng)校正圖“達”

表1 張氏法和幾何法的求匹配點結(jié)果

5 結(jié) 論

立體圖像校正是計算機視覺中關(guān)鍵技術(shù)之一。通過對視圖進行校正后，對尋找匹配變的更簡單而且更加有效。本文根據(jù)成像原理，采用簡單而且有效的幾何分析方法解決立體圖像校正變換矩陣。運用了平行四邊形法則及成像的反推技術(shù)解出了旋轉(zhuǎn)矩陣和平移向量。通過雙棱鏡的分析并推廣到多面棱鏡的單鏡頭立體視覺系統(tǒng)中，并且歸納總結(jié)視圖校正算法一般步驟。實驗結(jié)果顯示，本文的建議算法是有效的。在未來的研究中，將完善這一方法，并應(yīng)用到微型化的單鏡頭立體視覺系統(tǒng)中去。

[1] Fusiello A, Trucco E, Verri R. A compact algorithm for rectification of stereo pairs [J]. Machine Vision and Applications, 2000, 12: 16-22.

[2] Trucco E, Verri A. Introductory techniques for 3-D computer vision [M]. Prentice Hall, 2006: 156-245.

[3] Chen Zezhi, Wu Chengke, Tsui H T. A new image rectification algorithm [J]. Pattern Recognition Letters, 2003, 24: 251-260.

[4] Al-Shalfan K A, Haigh J G, Ipson S S. Direct algorithm for rectifying pairs of uncalibrated images [J]. Electronics Letters, 2000, 36(5): 419-420.

[5] Loop C, Zhang Zhengyou. Computing rectifying homographies for stereo vision [C]//IEEE Conference on Computer Vision and Patter Recognition, Fort Collins, CO, 1999: 125-131.

[6] Isgro F, Trucco E. Projective rectification without epipolar geometry [C]//IEEE CVPR, 1999: 1094-1099.

[7] Hartley R. Theory and practice of projective rectification [J]. International Journal of Computer Vision, 1999, 35(2): 115-127.

[8] Yu Yuhua, Wu H H, Projective rectification with reduced geometric distortion for stereo vision and stereoscopic video [J]. Journal of Intelligent and Robotic Systems, 2005, 42(1): 71-94.

[9] Zhang Zhengyou. A flexible new technique for camera calibration [C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

Research of Stereo Image Rectification Based on a Geometrical Approach

Wang Daolei, Yang Feng
(College of Energy and Mechanical Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

This paper proposes a geometric approach for rectification on uncalibrated single-lens stereovision using a prism. According to the imaging principle, the points of 3D entity can be estimated from the image plane pixels. In order to rectify epipolar lines, the optical geometry of imaging is utilized to solve virtual camera extrinsic parameters, which avoids the complex camera calibration process. At the same time, the algorithm can be applied torectify images based on single-lens stereovision system using a bi-prism to polyhedral prism. Experimental results are presented to show the effectiveness of the approach.

stereovision; polar correction; image processing; geometrical approach

TP 391

A

2095-302X(2014)06-0883-06

2014-04-17；定稿日期：2014-05-25

王道累(1981-)，男，上海人，講師，博士。主要研究方向為計算機視覺、圖像處理、CAD/CAM。E-mail：alfredwdl@shiep.edu.cn