基于相機(jī)平移矩陣奇異值分解的極線校正

李守業(yè)，胡茂海，李天冉，段哲一

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094）

0 引言

立體視覺技術(shù)已經(jīng)應(yīng)用于生活和生產(chǎn)的各個領(lǐng)域[1-4]。立體匹配是在雙目圖像中尋找同名點的過程，是立體視覺的核心問題。在實際應(yīng)用中，由于相機(jī)結(jié)構(gòu)的誤差，很難保證兩個相機(jī)的主軸完全理想平行，因此直接對圖像進(jìn)行立體匹配非常耗時，而且誤差較大。極線校正可以對雙目圖像進(jìn)行校正投影變換，使圖像投影到公共的平行相機(jī)基線的空間平面，對應(yīng)的極線位于同一水平線上，并且沒有垂直視差，從軟件層面校正了機(jī)械上的偏差。這樣立體匹配問題可以優(yōu)化為一維掃描線上的搜索問題，縮短匹配所需的時間，提高匹配的精度。

目前，國內(nèi)外學(xué)者已提出了各類極線校正算法。Bouguet 等提出了一種先將左右相機(jī)旋轉(zhuǎn)到同一平面再進(jìn)行校正的算法[5]；Andrea Fusiello 等提出了一種立體圖像對的外極線校正方法，該方法通過基于6 個自由度的代價函數(shù)的最小化，強(qiáng)制執(zhí)行由無窮遠(yuǎn)處平面引起的校正變換[6]；Hartley 等提出的校正方法中右視圖的變換是由基本矩陣推導(dǎo)出的，并且接近于圖像中心附近的剛性變換，但左校正圖像通常有較大的仿射失真[7-9]，林國余等對該算法進(jìn)行了改進(jìn)[10]，提高了校正的精度，減小了校正圖像失真；John Mallon 等提出了一種基于估計的基本矩陣從不同的角度對立體圖像進(jìn)行未校準(zhǔn)平面校正的魯棒方法[11]；Wenhuan Wu等提出了一種對具有已知固有參數(shù)的兩種不同相機(jī)拍攝的一對立體圖像進(jìn)行極線校正的方法，利用基于估計的基礎(chǔ)矩陣的向量值，得到了兩個校正變換的封閉解析解[12]。各類算法雖然能夠完成雙目圖像的極線校正，但是在面對左右相機(jī)內(nèi)參、外參相差過大等情況時，仍然存在校正精度低、圖像形變嚴(yán)重、算法運(yùn)行緩慢等缺點。

為了彌補(bǔ)上述算法的不足，本文提出了一種基于相機(jī)平移矩陣奇異值分解的極線校正方法。實驗結(jié)果表明本文算法具有高魯棒性，實現(xiàn)簡單，運(yùn)行速度快，實現(xiàn)了高精度低畸變的雙目圖像極線校正，可以有效完成后續(xù)的立體匹配過程。

1 對極幾何

對極幾何描述了兩幅視圖之間的內(nèi)在映射關(guān)系，在立體視覺中占據(jù)了重要的地位。如圖1所示，物點P在兩幅圖像上所呈的像點分別是P1、P2。點P、P1、P2與相機(jī)光心C1、C2是共面的，這5 個點組成的平面為極平面π。C1與C2的連線是基線。右相機(jī)的光心C2在左相機(jī)的像平面的像點e1稱為左極點，左相機(jī)的光心C1在右相機(jī)的像平面的像點e2稱為右極點。P1與e1的連線是左極線I1，P2與e2的連線是右極線I2。雙目相機(jī)原始圖像中，極線I1和I2存在著垂直視差，不利于立體匹配的搜索過程；經(jīng)過極線校正后，圖像的極線平行，有助于立體匹配的計算。

圖1 對極幾何Fig.1 Epipolar geometry

任意對應(yīng)的像點P1、P2，它們總是滿足一個關(guān)系式：

式中：F是一個3×3 的2 秩矩陣，約束了一對像點的位置關(guān)系，稱作基礎(chǔ)矩陣。假設(shè)Il是左圖像的一條極線，那么F*Il＝Ir是另一圖像對應(yīng)的外極線。極點與基礎(chǔ)矩陣滿足：Fe1＝0＝FTe2。假設(shè)K1、K2分別是左右相機(jī)的內(nèi)參矩陣；R、T分別是雙目相機(jī)間相對的旋轉(zhuǎn)矩陣和平移向量；a是一個任意常數(shù)，代表比例因子，基礎(chǔ)矩陣的表達(dá)式為：

F包含了相機(jī)的內(nèi)參和外參。[T]x是平移向量T的反對稱形式，稱為平移矩陣，[T]x的表達(dá)式為：

令E＝K2TFK1，得到本質(zhì)矩陣E，只包含相機(jī)的外參，表達(dá)式為：

2 極線校正

本文極線校正的流程如圖2所示，第一步：計算一個新的旋轉(zhuǎn)矩陣Rn，校正后的左右相機(jī)旋轉(zhuǎn)矩陣為Rn，圖像極點在無窮遠(yuǎn)處并且極線平行；第二步：確定校正后雙目相機(jī)的新內(nèi)參矩陣Mn；第三步：原像素坐標(biāo)系的像點P1、P2通過內(nèi)參矩陣M1、M2得到歸一化坐標(biāo)表示的圖像點m1＝M1－1P1、m2＝M2－1P2，再通過變換矩陣RL、RR將歸一化坐標(biāo)m1、m2轉(zhuǎn)換到校正后的相機(jī)坐標(biāo)系中，乘以物點在新的相機(jī)坐標(biāo)系的Z向量的倒數(shù)α1、α2，得到新相機(jī)坐標(biāo)系中的歸一化坐標(biāo)m1′＝α1RLm1、m2′＝α2RRm2；第四步：通過新的內(nèi)參矩陣Mn將點m1′、m2′轉(zhuǎn)換到新的像素坐標(biāo)系上，得到校正點P1′＝Mnm1′、P2′＝Mnm2′。左右圖像校正的變換矩陣H1、H2表達(dá)式分別為：

圖2 極線校正流程Fig.2 Epipolar correction process

H1＝α1MnRnR1－1M1－1＝α1MnRLM1－1

H2＝α2MnRnR2－1M2－1＝α2MnRRM2－1

本文在2.1 小節(jié)給出求解Rn的方法，在2.2 小節(jié)給出求解Mn的方法。

2.1 求解Rn 的方法

設(shè)Mn是校正過的內(nèi)參矩陣，Rn是校正過的旋轉(zhuǎn)矩陣，M1、M2、R1、R2分別是左右相機(jī)的內(nèi)參矩陣和旋轉(zhuǎn)矩陣，RL、RR分別是左右相機(jī)的變換矩陣，F(xiàn)0是校正后的基礎(chǔ)矩陣，α1、α2是校正過程中物點在校正的相機(jī)坐標(biāo)系Rn的Z向量的倒數(shù)。像點P1、P2，在經(jīng)過極線校正后有：

極線校正后的理想雙目相機(jī)極線平行，極點e1＝e2＝a[1 0 0]T，a為任意常數(shù)，基礎(chǔ)矩陣F0可以表示為：

結(jié)合基礎(chǔ)矩陣約束關(guān)系(3)，可以得到：H2TF0H1＝F代入H1、H2，得到：

根據(jù)基礎(chǔ)矩陣和本質(zhì)矩陣的轉(zhuǎn)換關(guān)系，式(6)等式右側(cè)可以轉(zhuǎn)換為：

那么E0的表達(dá)式為：

所以式(6)可以轉(zhuǎn)換為：

在實際的奇異值分解中，求得的平移矩陣[T]x奇異值?1，?2并不完全相等。為了減小校正的誤差，本文定義一個奇異值的校正矩陣Q：

因此校正后的旋轉(zhuǎn)矩陣Rn表示為：

另外，對于任意圍繞X軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣Rx，有RxTE0Rx＝E0，這意味著，在校正過程中，有無數(shù)個可以使用的變換H1和H2。為了使圖像在旋轉(zhuǎn)過程中畸變盡量小，要使校正過程中原始左相機(jī)繞X軸的旋轉(zhuǎn)為0。旋轉(zhuǎn)矩陣RL可以分解為圍繞Z、Y、X軸依次旋轉(zhuǎn)的3 個旋轉(zhuǎn)矩陣。如果旋轉(zhuǎn)分別圍繞X、Y和Z軸，歐拉角分別為ω、θ和ψ，則各矩陣如下：

RL是先繞Z軸旋轉(zhuǎn)，然后繞Y軸旋轉(zhuǎn)，最后繞X軸旋轉(zhuǎn)。

對于左相機(jī)ω＝artan(RL(2,3)/RL(3,3))，因此在校正后旋轉(zhuǎn)矩陣Rn的左側(cè)同時乘以RxT，以減小誤差和畸變。因此Rn的表達(dá)式為：

2.2 求解Mn 的方法

為此，本文提出了一個新內(nèi)參矩陣確定標(biāo)準(zhǔn)：假設(shè)一幅M×N的圖像，取原來圖像中的4 個點原點O(0,0,1)、行角點A(M,0,1)、列角點B(0,N,1)、中心點G(M/2,N/2,1)。這4 個點經(jīng)過校正變換H1后分別為：A1、B1、C1、G1。

第一步確定傾斜因子S。假設(shè)點A、B、O經(jīng)過Ht＝α1RnR1－1M1－1變換到校正相機(jī)坐標(biāo)系歸一化坐標(biāo)后坐標(biāo)分別為A′、B′、O′，A′O′＝(x1,y1,0)，B′O′＝(x2,y2,0)。使圖像的偏斜盡可能小，令A(yù)′O′、B′O′經(jīng)Mn變換后垂直：(MnA′O′)T(MnB′O′)＝0，求得：

第三步將校正后的圖像移到視場中心。假設(shè)G1的坐標(biāo)是(p,q,l)，令L＝M/2－p，H＝N/2－q。更改新的內(nèi)參矩陣為：

這樣確立內(nèi)參Mn可以使校正后的圖像在視場中心，且校正產(chǎn)生畸變與偏斜都較小。

3 實驗結(jié)果與分析

本文采用了SYNTIM 數(shù)據(jù)庫的圖像進(jìn)行實驗。該數(shù)據(jù)庫包含了分辨率分別為512×512 和768×576的雙目圖像，同時提供了每對圖像的內(nèi)外參數(shù)。本文從極線校正的誤差、圖像的形變、算法運(yùn)行速度3 個角度來評價極線校正方法。

校正產(chǎn)生的失真用圖像的畸變[14]ESV和圖像的偏斜Esk表示。ESV是圖像校正前后的面積比，ESV的表達(dá)式是：

Esk是圖像校正前后內(nèi)角的變化，Esk的表示式是：

選取SYNTIM 數(shù)據(jù)庫中Rubik、Sport 等20 對圖像，分別計算它們通過文獻(xiàn)[5]Bouguet 法、文獻(xiàn)[6]Fusiello 法、文獻(xiàn)[9]Hartley 法、文獻(xiàn)[11]Mallon 法、文獻(xiàn)[12]Wu 法和本文方法進(jìn)行校正的誤差、畸變、偏斜、運(yùn)行時間，如圖3所示。可以發(fā)現(xiàn)使用本文方法校正的圖像校正的誤差較?。恍Ｕ龓缀醪划a(chǎn)生畸變；校正的偏斜也比較小，且沒有出現(xiàn)過8°以上的大偏斜。

圖3 20 對圖像使用不同方法的誤差(a)、畸變(b)、偏斜(c)、運(yùn)行時間(d)Fig.3 Rectification error(a),scale variance(b),skewness(c)and runtime(d)of different methods for 20 images

圖像的誤差、畸變、偏斜、運(yùn)行時間的平均值如表1所示（其中最優(yōu)的數(shù)據(jù)以粗體標(biāo)出）。本文方法所校正的圖像平均校正誤差0.5940 像素、圖像平均校正畸變1.0062，是表格方法中最優(yōu)的，平均圖像偏斜2.3941°僅此于Bouguet 方法。在表1 顯示的結(jié)果中，Bouguet 校正的偏斜量與本文相當(dāng)，但本文校正結(jié)果仍然更加精確。本文算法平均用時0.2302 s，與Bouguet、Fusiello、Wu 校正算法用時相近。Hartley校正方法需要對圖像進(jìn)行特征點識別，運(yùn)行速度較慢，平均用時為0.8473 s；Mallon 校正方法需要使用最小二乘法求解右圖像的校正矩陣，并求解最優(yōu)化過程，平均用時為1.305 s，運(yùn)行速度是表格方法中最慢的。相對于Hartley 校正方法和Mallon 校正方法，本文算法用時更少。

表1 平均誤差、畸變、偏斜、運(yùn)行時間Table 1 Average error,scale,variance,skewness and runtime

同時，本文也利用極線的斜率來評估了校正的誤差。圖4 是SYNTIM 數(shù)據(jù)庫中Rubik 圖像，以及通過各個方法校正后的Rubik 圖像。畫出它們的極線，并計算極線的斜率絕對值的平均值，其中：圖4(a)是未校正前的圖像，圖像中的極線并不平行，平均斜率為1.23×10－2；圖4(b)～圖4(f)分別是使用Bouguet、Fusiello、Hartley、Mallon、Wu 校正方法校正后的Rubik 圖像。圖4(g)是使用本文方法校正的Rubik 圖像，極線的斜率為平均2.39×10－7，是幾幅圖像中斜率最小的，說明圖像的極線最為平行。同時經(jīng)過本文方法校正的Rubik 圖像幾乎沒有畸變，偏斜大約為2.11°，符合極線校正的要求。

圖4 畫出極線的Rubik 圖像及極線斜率(a)原始圖像（斜率=1.23×10-2）(b)Bouguet 方法（斜率=3.82×10-7）(c)Fusiello 方法（斜率=2.71×10-7）(d)Hartley 方法（斜率=3.95×10-5）(e)Mallon 方法（斜率=3.19×10-7）(f)Wu 方法（斜率=1.48×10-6）(g)本文推薦方法（斜率=2.39×10-7）Fig.4 Rubik image with polar line drawn and polar line slope(a)Original image(Slope=1.23×10-2);(b)Bouguet’s method(Slope=3.82×10-7);(c)Fusiello’s method(Slope=2.71×10-7);(d)Hartley’s method(Slope=3.95×10-5);(e)Mallon’s method(Slope=3.19×10-7);(f)Wu’s method(Slope=1.48×10-6);(g)Proposed rectification method(Slope=2.39×10-7)

4 結(jié)語

本文提出了一種雙目圖像極線校正的方法，首先利用基于RANSAC 框架的魯棒性估計算法對原始匹配點進(jìn)行篩選，剔除錯誤匹配點，將篩選出的正確匹配點作為有效點集進(jìn)行計算；然后通過對平移向量的反對稱矩陣求奇異值分解，得到校正后的旋轉(zhuǎn)矩陣，并根據(jù)校正前后的圖像位置關(guān)系，重新確立新的內(nèi)參矩陣，使圖像的失真性最小。實驗結(jié)果表明本文算法平均校正誤差在0.6 像素內(nèi)、圖像的畸變接近于1、平均偏斜在2.4°左右、平均運(yùn)行時間為0.2302 s；相比于參考文獻(xiàn)中的極線校正方法，本文算法在校正精度、圖像形變、運(yùn)行速度方面具有一定優(yōu)勢，滿足了極線校正的需求，優(yōu)化了立體匹配算法。未來的研究工作將會圍繞如何進(jìn)一步提高極線校正的精度從而提高立體視覺匹配的精度來進(jìn)行。