總體最小二乘法在相機(jī)標(biāo)定中的應(yīng)用

陸　玨

(上海市房地產(chǎn)科學(xué)研究院,上海 200031)

?

總體最小二乘法在相機(jī)標(biāo)定中的應(yīng)用

陸玨

(上海市房地產(chǎn)科學(xué)研究院,上海 200031)

摘要：對(duì)比總體最小二乘方法與最小二乘方法在相機(jī)標(biāo)定中的適用性及優(yōu)越性。在相機(jī)標(biāo)定中，由于像點(diǎn)坐標(biāo)和對(duì)應(yīng)的地面點(diǎn)坐標(biāo)均存在誤差，因此采用總體最小二乘方法對(duì)誤差方程中的系數(shù)矩陣及觀測(cè)向量同時(shí)改正，能夠建立更加合理的計(jì)算模型。文中以相機(jī)標(biāo)定兩步法為例，通過(guò)實(shí)例解算，證明利用總體最小二乘法能夠得到精度更高的相機(jī)標(biāo)定參數(shù)解。

關(guān)鍵詞：相機(jī)標(biāo)定；最小二乘；總體最小二乘；兩步法；像差模型

非量測(cè)型相機(jī)不能提供準(zhǔn)確的內(nèi)方位元素和鏡頭畸變參數(shù)。為建立像點(diǎn)和對(duì)應(yīng)物點(diǎn)的精確位置關(guān)系，需要進(jìn)行相機(jī)標(biāo)定[1]。當(dāng)有多余觀測(cè)存在時(shí)，為得到參數(shù)的最佳估值，通常采用最小二乘(Least Squares,LS)方法進(jìn)行求解。LS方法假設(shè)系數(shù)矩陣A沒(méi)有誤差，隨機(jī)誤差僅存在于觀測(cè)向量b中[2]。在多數(shù)相機(jī)標(biāo)定的觀測(cè)方程中，b和A均包含了觀測(cè)值，即像點(diǎn)坐標(biāo)和地面點(diǎn)坐標(biāo)，這些點(diǎn)坐標(biāo)均存在誤差。為了同時(shí)考慮觀測(cè)向量和系數(shù)矩陣的誤差，采用總體最小二乘(Total Least Squares,TLS)方法。TLS方法于1980年引入[2]，用于解決變量中的誤差(Error-In-Variables，EIV)模型的估計(jì)問(wèn)題。近年來(lái)，Schaffrin對(duì)加權(quán)TLS進(jìn)行研究[3]；陳義等研究穩(wěn)健TLS的解法[4]；袁豹等討論總體最小二乘方法在線性回歸模型中的改正能力和優(yōu)越性[5]，以及基于總體最小二乘的改進(jìn)GM(1,1)模型在建筑物沉降中的應(yīng)用[6]。

Tsai“兩步法”計(jì)算量適中、精度較高，因此在相機(jī)標(biāo)定中最為常用。兩步法先用徑向排列約束得到部分外部參數(shù)的精確解，然后再將其余外部參數(shù)與徑向畸變系數(shù)進(jìn)行迭代求解[7]。經(jīng)典的兩步法對(duì)相機(jī)模型進(jìn)行簡(jiǎn)化，不能直接求出相機(jī)的像主點(diǎn)坐標(biāo)[8-12]，且在建立像差模型時(shí)僅考慮鏡頭的徑向畸變。為了提高相機(jī)標(biāo)定的精度，本文在兩步法解算中采用更為嚴(yán)密的相機(jī)成像模型。

本文以兩步法為例，將TLS方法引入相機(jī)標(biāo)定解算中。通過(guò)實(shí)例的演算和比較，證明相對(duì)于LS方法，利用TLS方法能夠得到精度更高的相機(jī)標(biāo)定參數(shù)。

1兩步法相機(jī)標(biāo)定

兩步法的相機(jī)模型是一階徑向畸變的針孔模型。標(biāo)定過(guò)程分兩步實(shí)現(xiàn)[7]：

第一步，求解三維物方坐標(biāo)系到相應(yīng)像平面坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移矩陣T中的Tx、Ty分量，以及圖像尺度因子Sx：

(1)

式中：(xw,yw,zw)為標(biāo)定點(diǎn)在物方坐標(biāo)系下的坐標(biāo)；(Xd,Yd)為對(duì)應(yīng)的像點(diǎn)坐標(biāo)；f為有效焦距，r1~r9為旋轉(zhuǎn)矩陣R中的9個(gè)元素；Tx，Ty，Tz為平移矩陣T沿三維物方坐標(biāo)系X，Y，Z3個(gè)軸的分量。若假定像主點(diǎn)與像平面中心重合，則內(nèi)方位元素(x0,y0)為零。根據(jù)徑向約束條件，式(1)可以寫為

(2)

移項(xiàng)整理，并加入圖像的尺度因子Sx，可得觀測(cè)方程A1ξ1=b1：

(3)

參數(shù)m1=7，當(dāng)每張像片上有n1≥7個(gè)對(duì)應(yīng)點(diǎn)，即可解算出ξ1。根據(jù)R的正交性以及參數(shù)間的關(guān)系，可求出R和T中的Tx、Ty分量，以及圖像尺度因子Sx。

第二步，求解有效焦距f，平移矩陣T的Tz分量和透鏡的徑向畸變系數(shù)k。首先，不考慮畸變，建

立以f和Tz為未知參數(shù)的觀測(cè)方程A2ξ2=b2：

(4)

參數(shù)個(gè)數(shù)m2=2，當(dāng)每張像片上有n2≥2個(gè)對(duì)應(yīng)點(diǎn)，即可解出f和Tz的初值。接著，通過(guò)優(yōu)化搜索計(jì)算f,Tz和k的精確值[7]。

經(jīng)典兩步法追求解算的效率以及穩(wěn)定性，同時(shí)考慮到計(jì)算機(jī)視覺(jué)中對(duì)相機(jī)標(biāo)定的精度相對(duì)于攝影測(cè)量中要求較低而對(duì)嚴(yán)密相機(jī)模型進(jìn)行簡(jiǎn)化，不能直接求出相機(jī)的像主點(diǎn)坐標(biāo)。為提高精度，本文對(duì)像主點(diǎn)坐標(biāo)(x0,y0)進(jìn)行標(biāo)定，此時(shí)像點(diǎn)坐標(biāo)記：x=Xd-x0，y=Yd-y0。同時(shí)，建立更為全面的像差修正模型。令徑向畸變系數(shù)為k1，偏心畸變徑向分量的畸變系數(shù)為p1，p2，薄棱鏡畸變徑向分量的畸變系數(shù)為s1，s2，則總像差模型為[13]

(5)

(6)

其中，g1=s1+p1，g2=s2+p2，g3=2p1，g4=2p2。包含像差和像主點(diǎn)坐標(biāo)的非線性方程組：

(7)

(8)

R的9個(gè)元素中僅有3個(gè)獨(dú)立參數(shù)，因此需要利用R的正交性(RRT=RTR=I)建立6個(gè)條件方程：

(9)

對(duì)式(9)建立的條件方程賦予適當(dāng)權(quán)值，聯(lián)合式(8)，采用加權(quán)平差方法進(jìn)行解算。獨(dú)立參數(shù)個(gè)數(shù)m3=20-6=14，因此每張像片上需要有n3≥7個(gè)對(duì)應(yīng)點(diǎn)。首先利用A1ξ1=b1和A2ξ2=b2計(jì)算部分參數(shù)的初值，再帶入A3ξ3=b3中計(jì)算所有未知參數(shù)的平差值。

2TLS在兩步法相機(jī)標(biāo)定中的應(yīng)用

在相機(jī)標(biāo)定的觀測(cè)方程Aiξi=bi(i=1,2,3)中，bi和Ai均存在誤差。此時(shí)，采用TLS方法更為合理。TLS方法建立的變量中的誤差(EIV)模型中，觀測(cè)方程被定義為[2]

(10)

b∈Rn×1，ξ∈Rm×1，A∈Rn×m，且n>m=rank(A)。eb和EA分別代表了存在于觀測(cè)向量b和系數(shù)矩陣A中的隨機(jī)誤差(在LS中EA≡0)，eb和EA符合：

(11)

(12)

Q0∈Rm×m，QE∈Rn×n，?代表的是矩陣之間的直積：M?N:=[mij·N]，M=[mij]。目標(biāo)函數(shù)為：

(13)

根據(jù)拉格朗日極值條件，建立方程：

(14)

λ為拉格朗日乘算子，(ξT?In)·eA=EA·ξ。在拉格朗日條件方程的基礎(chǔ)上，對(duì)方程中每個(gè)參數(shù)求導(dǎo)解算，解算過(guò)程為[3]：

第一步，解算初值：

(15)

第二步，迭代解算：

(16)

(17)

(18)

(19)

式(19)計(jì)算的單位權(quán)方差有偏，偏差可通過(guò)數(shù)值計(jì)算的方法得到[14]。由于偏差較小，對(duì)本文的結(jié)果沒(méi)有影響。在計(jì)算中若出現(xiàn)法方程病態(tài)的情況，則采用Tikhonov正則化方法解算。

相機(jī)標(biāo)定結(jié)果的精度可以采用畸變圖像誤差進(jìn)行評(píng)定[8-12]，也可利用多張像片空間前方交會(huì)計(jì)算特征點(diǎn)的世界坐標(biāo)，與已知的物方點(diǎn)三維坐標(biāo)進(jìn)行比較。

3實(shí)例分析

本例通過(guò)兩步法對(duì)相機(jī)進(jìn)行標(biāo)定。標(biāo)定點(diǎn)共38個(gè)，分布在建筑的兩面墻及三級(jí)臺(tái)階上。標(biāo)定點(diǎn)的物方坐標(biāo)用測(cè)角精度1″，測(cè)距精度0.6 mm+2 ppm的索佳NET1200全站儀測(cè)定，測(cè)量距離在100 m以內(nèi)，每個(gè)點(diǎn)測(cè)量4次，因此控制點(diǎn)的精度mm。

相機(jī)為Nikon D200，像幅23.6 mm×15.8 mm (3 872×2 592像素)，焦距初值8 500像素。實(shí)驗(yàn)共進(jìn)行3次，每相鄰兩次拍攝的時(shí)間間隔為一周，每次拍攝共設(shè)8個(gè)攝站，每站拍攝1張像片，每次檢校都利用當(dāng)次所拍攝的8張像片進(jìn)行聯(lián)合解算，如圖1所示，攝影距離為15~20 m。

利用更為嚴(yán)密的兩步法對(duì)相機(jī)進(jìn)行標(biāo)定。在平差中，分別用LS方法和TLS方法進(jìn)行計(jì)算。結(jié)果如表1和表2所示。

表1　兩步法相機(jī)標(biāo)定結(jié)果

圖1　第一次相機(jī)標(biāo)定像片

次數(shù)計(jì)算方法畸變圖像誤差多片前交結(jié)果與已知值之差的中誤差中誤差/像素最大值/像素最小值/像素X方向/mmY方向/mmZ方向/mm點(diǎn)位中誤差/mm1LS0.12694.14940.02191.40741.20090.36601.8860TLS0.07751.05940.02020.77270.38170.15320.87532LS0.05921.37140.03681.70870.67850.24341.8545TLS0.05501.32520.03120.67470.39110.10240.78653LS0.14702.63140.10481.06870.56330.26031.2358TLS0.11672.53380.09180.64710.41890.23140.8048

由表1的結(jié)果可以看到，無(wú)論是利用LS方法還是TLS方法，標(biāo)定的相機(jī)內(nèi)參數(shù)結(jié)果均比較穩(wěn)定。在表2中，TLS方法計(jì)算的畸變圖像誤差小于LS的計(jì)算結(jié)果；且利用TLS計(jì)算的兩步法點(diǎn)位偏差中誤差均在1 mm之內(nèi)，而LS的計(jì)算結(jié)果則大于1 mm。因此，TLS方法計(jì)算得到的結(jié)果精度高于LS方法。

4結(jié)論

本文將TLS方法引入相機(jī)標(biāo)定解算中，并以兩步法為例，對(duì)算法進(jìn)行驗(yàn)證，得到結(jié)論：

1)在相機(jī)標(biāo)定的誤差方程中，系數(shù)矩陣和觀測(cè)向量均包含觀測(cè)值。由于TLS方法建立的EIV模型對(duì)所有變量中的誤差都進(jìn)行最小化的約束，與系數(shù)矩陣完全準(zhǔn)確的LS方法相比，TLS方法更適用于相機(jī)標(biāo)定的解算。

2)利用TLS方法計(jì)算的兩步法相機(jī)標(biāo)定結(jié)果，無(wú)論是畸變圖像誤差還是多片前交結(jié)果與已知值之差，均小于LS方法的計(jì)算結(jié)果，即TLS計(jì)算的相機(jī)標(biāo)定參數(shù)精度高于LS的標(biāo)定結(jié)果。

3)采用更加嚴(yán)密的兩步法進(jìn)行相機(jī)標(biāo)定，在未知相機(jī)像面中心預(yù)標(biāo)定值的情況下，通過(guò)計(jì)算可以直接得到相機(jī)像主點(diǎn)坐標(biāo)，并且像差模型也更加完整。

參考文獻(xiàn)：

[1]張廣軍.視覺(jué)測(cè)量[M].北京：科學(xué)出版社,2008:102-110.

[2]GOLUB H G,VAN LOAN F C.An Analysis of the Total Least Squares Problem[J].SIAM Journal on Numerical Analysis,1980,17(6)：883-893.

[3]SCHAFFRIN B,WIESER A.On Weighted Total Least-Squares Adjustment for Linear Regression[J].J Geodesy,2008,82:415-421.

[4]陳義,陸玨.以三維坐標(biāo)轉(zhuǎn)換為例解算穩(wěn)健總體最小二乘方法[J].測(cè)繪學(xué)報(bào),2012,41(5)：715-722.

[5]袁豹,岳東杰.關(guān)于總體最小二乘方法適應(yīng)性實(shí)驗(yàn)研究[J].測(cè)繪工程,2012,21(6)：22-26.

[6]袁豹,岳東杰,李成仁.基于總體最小二乘的改進(jìn)GM(1,1)模型及其在建筑物沉降預(yù)測(cè)中的應(yīng)用[J].測(cè)繪工程,2013,22(3)：52-55.

[7]ROGER Y,TSAI.A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Camera and Lenses[J].IEEE Journal of Robotics and Automation,1987,RA-3(4)：323-344.

[8]張學(xué)民,宋述穩(wěn).兩步法攝像機(jī)標(biāo)定的改進(jìn)[J].自動(dòng)測(cè)量與控制,2006,25(9)：73-75.

[9]曹良中，楊遼，闞培濤，等.地面檢校場(chǎng)的非量測(cè)型數(shù)碼相機(jī)檢校[J].測(cè)繪科學(xué)，2015，40(2)：132-137.

[10] 張陽(yáng)陽(yáng)，門林杰，周桂初，等.數(shù)字相機(jī)在類似棋盤檢校場(chǎng)中的檢校方法研究[J].測(cè)繪工程，2015,24(2)：55-59.

[11] 張春森，馮鵬飛.相機(jī)檢?？刂茍?chǎng)像點(diǎn)坐標(biāo)自動(dòng)定位與高精度量測(cè)[J].測(cè)繪科學(xué)，2015，40(3)：76-79.

[12] 趙海強(qiáng)，李浩，錢海明，等.多相機(jī)數(shù)碼影像光束法解算及精度分析[J].測(cè)繪工程，2015,24(4)：28-32.

[13] WENG J,COHEN P,HERNIOU M.Camera Calibration with Distortion Models and Accuracy Evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(10)：965-980.

[14] SHEN Y Z,LI B F,CHEN Y.An Iterative Solution of Weighted Total Least-Squares Adjustment[J].J.Geod.,2011,85：229-238.

[責(zé)任編輯：李銘娜]

On total least squares for camera calibration

LU Jue

(Shanghai Real Estate Science Research Institute,Shanghai 200031,China)

Abstract：The applicability and superiority of Total Least Squares (TLS) and Least Squares (LS) in camera calibration have been studied in this paper.Because the coordinates of the ground point and the image point all exist errors,the total least squares solution is preferably used here,for that the errors exist both in the observation vector and the coefficient matrix.The example of two-step camera calibration is carried out to demonstrate the performance of the TLS method.The result shows that camera calibration parameters calculated through the TLS method is more accurate.

Key words：camera calibration；least squares；total least squares；two-step method；distortion model

中圖分類號(hào)：P231

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-7949(2016)03-0006-05

作者簡(jiǎn)介：陸玨(1985-)，女，博士，工程師.

基金項(xiàng)目：上海市住房保障和房屋管理局基金資助項(xiàng)目(2014-03)

收稿日期：2014-06-13