基于固定位姿約束的雙目相機標(biāo)定研究

張輝,楊育,陳瑤,齊小龍

(江蘇科技大學(xué)機械工程學(xué)院，江蘇鎮(zhèn)江 212003)

0 前言

雙目視覺系統(tǒng)具有廣泛應(yīng)用，如三維測量和重建[1-3]、機器人導(dǎo)航[4-5]、航空航天工程[6-7]等。目前，用于相機標(biāo)定的方法有多種。特別是ZHAO等[8]提出的利用標(biāo)定板進行標(biāo)定的方法，近年來得到廣泛研究。許多研究集中于特征點的精確提取和參數(shù)優(yōu)化模型上。ZHU等[9]提出了一種基于最優(yōu)極化信息的方法來解決標(biāo)定板圖像中高亮區(qū)域的影響。謝佳奇等[10]提出一種基于改進風(fēng)驅(qū)動算法的攝像機標(biāo)定優(yōu)化方法，該方法與張正友標(biāo)定法相比具有更快的收斂速度和更好的穩(wěn)定性。陳文藝等[11]針對平面目標(biāo)的單目視覺標(biāo)定過程復(fù)雜、標(biāo)定精度不高的問題, 采用均方誤差和最小原理對光心的位置坐標(biāo)進行估計，并建立虛擬攝像機模型實現(xiàn)原圖像的畸變校正。

在雙目視覺系統(tǒng)中，2個相機間的相對關(guān)系在立體校正中起著重要的作用。雙目視覺系統(tǒng)中僅僅對2個相機分別進行標(biāo)定，無法保證在不同視角下相機之間的約束關(guān)系固定。鄭順義等[12]利用相機之間固定的相對位姿關(guān)系建立約束方程，并加入平差誤差方程。楊偉姣等[13]考慮到觀測點坐標(biāo)提取誤差，利用數(shù)字圖像相關(guān)性對控制點坐標(biāo)進行精確提取，并考慮相機之間關(guān)系建立約束方程，但優(yōu)化模型的構(gòu)建較為復(fù)雜，需從多方面考慮約束條件。

為獲得高精度的標(biāo)定結(jié)果，本文作者提出一種基于圓型圖案標(biāo)定板的雙目相機標(biāo)定新方法。采用數(shù)字圖像相關(guān)法[14]，從圓形圖案的整體特征中提取特征點坐標(biāo)。根據(jù)相機成像模型，建立涉及相機間固定約束關(guān)系的簡化優(yōu)化方程。該方法只需對其中一個相機的外部參數(shù)進行優(yōu)化，就可保證2個相機在剛性位置關(guān)系的前提下獲得更高的優(yōu)化精度。

1 雙目相機模型

相機成像模型通常用針孔模型[15]來描述。如圖1所示，相機成像過程中涉及到的坐標(biāo)系共有4個，分別是世界坐標(biāo)系(WCS)、相機坐標(biāo)系(CCS)、圖像坐標(biāo)系(ICS)和像素坐標(biāo)系(PCS)。WCS中的一個點與PCS中的對應(yīng)點之間的映射關(guān)系可以用數(shù)學(xué)方法描述為

(1)

其中:s是比例因子；A是相機的內(nèi)參矩陣；R和T分別表示從WCS到CCS的旋轉(zhuǎn)矩陣和平移向量，也被稱為相機的外部參數(shù)。

圖1 針孔模型中的相機坐標(biāo)系統(tǒng)Fig.1 Camera coordinate system in pinhole model

為了獲得高精度的校準(zhǔn)結(jié)果，需要考慮各種畸變引起的誤差。造成誤差的主要原因是徑向畸變和切向畸變。因此系統(tǒng)的非線性失真模型定義如下:

(2)

其中:(x,y)為CCS中畸變點p的坐標(biāo);(xcorrect,ycorrect)為CCS中校正后點p的坐標(biāo);k1、k2、k3是描述徑向畸變的系數(shù);p1、p2是描述切向畸變的系數(shù)。另外，在雙目相機系統(tǒng)中，2個相機之間的相對位置有如下變換關(guān)系:

Xl=Rl2rXr+tl2r

(3)

其中：Rl2r和tl2r分別是旋轉(zhuǎn)矩陣和從右CCS到左CCS的平移向量；Xl和Xr分別表示左側(cè)CCS和右側(cè)CCS中的點的坐標(biāo)。

2 標(biāo)定方法

2.1 初始參數(shù)值估計

圓形目標(biāo)的特征點是圓的中心點。傳統(tǒng)的方法是利用圓形圖案的邊緣特征來擬合特征點的位置[16]。邊緣檢測用于獲取圓形圖案的邊緣信息，然后通過橢圓擬合的方法計算像素點pj(u,v)的位置。給定控制點Pj(X,Y,Z)，通過優(yōu)化以下目標(biāo)函數(shù)得到相機參數(shù)的初值A(chǔ)0:

(4)

其中：M為控制點從WCS到PCS的投影；m為從標(biāo)定板圖像中計算出的控制點個數(shù)。

2.2 特征點的精度提高

雖然橢圓擬合法可以檢測原始圖像中特征點的位置，但受到鏡頭和透視畸變的影響，圓形圖案的中心坐標(biāo)會偏離原來的位置。龔思宇[17]提出以Shi-Tomasi角點提取算法得到的特征點作為初始值，然后結(jié)合二次多項式逼近法的原理對特征點進行優(yōu)化的方法，具有良好的抗噪聲性能和魯棒性。為了獲得高精度的特征點像素坐標(biāo)，文中提出了當(dāng)標(biāo)定板平面平行于相機成像平面的特定姿態(tài)的標(biāo)定板前視圖像。前視圖像與標(biāo)定圖像的關(guān)系如圖2所示。利用數(shù)字圖像相關(guān)技術(shù)(DIC)將標(biāo)準(zhǔn)模板圖像(由計算機生成的無畸變無噪聲圖像，且尺寸大小在圖像坐標(biāo)系下與真實圖像一致)與前視圖像進行匹配，得到兩者之間的位移關(guān)系。

圖2 前視圖像與標(biāo)定圖像的關(guān)系

由于標(biāo)準(zhǔn)模板圖像中特征點的像素坐標(biāo)已知，在得到位移關(guān)系后可以準(zhǔn)確地得到前視圖像中特征點的坐標(biāo)。相關(guān)形狀函數(shù)為

(5)

?C(s)=?C(s0)+??C(s0)(s-s0)=0

(6)

將上式改寫為:??C(s0)(s-s0)=-?C(s0)，其中s0為初值，s為迭代后的近似值，(s-s0)為單次迭代后的增量。??C(s0)是相關(guān)函數(shù)的二階偏導(dǎo)數(shù)，通?？蓸?gòu)造為Hessian矩陣[19]。使用Newton-Raphson算法時涉及到亞像素位置的像素值。因此，有必要對前視圖像的非整數(shù)位置進行插值。雙三次插值具有良好的像素值平滑性和灰度梯度性，其插補形式如公式(7)所示：

G(x*,y*)=a00+a01y′+a02(y′)2+a03(y′)3+

a10x′+a11(x′)(y′)+a12(x′)(y′)2+a13(x′)(y′)3+

a20(x′)2+a21(x′)2(y′)+a22(x′)2(y′)2+a23(x′)2(y′)3+

a30(x′)3+a31(x′)3(y′)+a32(x′)3(y′)2+a33(x′)3(y′)3

(7)

其中：G(x*,y*)為插值點的灰度級；a00為像素(x,y)的灰度級；其余系數(shù)可通過在節(jié)點位置的一階導(dǎo)數(shù)和交叉導(dǎo)數(shù)在相鄰曲面之間連續(xù)的條件求得。插值點處的像素值為該像素在4像素×4像素的周邊場中的權(quán)值。該插值方法考慮了4個相鄰點對灰度的影響以及相鄰點灰度變化率的影響。(x*,y*)是一個非整數(shù)像素點，x*在i和i+1之間，y*在j和j+1之間。

2.3 參數(shù)優(yōu)化

優(yōu)化上一節(jié)計算的特征點的新像素坐標(biāo)，對左右相機重新標(biāo)定。此時，只得到了單相機的內(nèi)部和外部參數(shù)，尚未得到用于描述相機之間固定位姿關(guān)系的參數(shù)。此外，采用通用的單目相機優(yōu)化方法對左右相機的參數(shù)進行獨立優(yōu)化時，由于沒有考慮固定位置關(guān)系的因素，左右相機的固定位置關(guān)系參數(shù)仍然會有較大的誤差。

因此，文中提出了一種基于固定約束關(guān)系的雙目相機參數(shù)優(yōu)化方法。根據(jù)兩相機之間的位置關(guān)系，建立雙目相機的重投影目標(biāo)函數(shù)如下:

(8)

3 實驗

3.1 仿真實驗

通過仿真實驗和實際實驗對文中提出的標(biāo)定方法進行了驗證分析。通過計算機合成圖像的大小為1 280像素×1 024像素，并加入了不同密度的高斯噪聲。為了表明該方法的優(yōu)越性，將該方法與傳統(tǒng)的橢圓擬合方法進行了比較。采用橢圓擬合技術(shù)的方法稱為method I，文中提出的方法稱為method II。雙目相機的內(nèi)部參數(shù)和相對位置參數(shù)設(shè)置如下:

畸變參數(shù)被人為設(shè)置為0。為了保證標(biāo)定結(jié)果的收斂性和準(zhǔn)確性，使用10幅標(biāo)定板圖像來模擬雙目相機在各個視角下所捕捉到的圖像。

通過透視變換得到相應(yīng)的標(biāo)定板圖像。將平均值為0、標(biāo)準(zhǔn)偏差σ從0到8每次間隔1像素的高斯噪聲分別添加到這些圖像中。在每個高斯噪聲水平下，實驗重復(fù)進行20次。采取2種方法，分別對左右相機進行標(biāo)定，相對位置參數(shù)為各視角下計算的平均值。2種比較方法通過公式(8)優(yōu)化相機參數(shù)，得到的相關(guān)內(nèi)外參數(shù)校準(zhǔn)結(jié)果如表1和表2所示，得到的平均重投影誤差如圖3所示。

表1 不同噪聲水平下的雙目相機內(nèi)部參數(shù) 單位：像素

表2 不同噪聲水平下雙目相機的相對位姿參數(shù)Tab.2 Relative pose parameters of binocular cameras under different noise levels

圖3 雙目相機平均重投影誤差Fig.3 Average re-projection error of binocular camera

在固定約束條件下，2種方法的平均重投影誤差分別為0.08像素與0.015像素左右。值得注意的是，當(dāng)高斯噪聲水平從0上升到8時，橢圓擬合方法和文中提出的方法得到的平均重投影誤差都有所增大，其波動范圍也有所增大。相比之下，在不同的噪聲密度下，應(yīng)用數(shù)字圖像相關(guān)可以顯著降低重投影誤差。

3.2 實際實驗

在實際實驗中，使用2臺工業(yè)相機OKIO-B-400組成的視覺系統(tǒng)進行雙目標(biāo)定。每個攝像頭的分辨率為1 280像素×1 024像素。99個圓形圖案(9×11)均勻分布的標(biāo)定板，相鄰的圓形圖案的中心在水平和垂直方向上的距離均為30 mm(如圖4所示)。

圖4 帶有99個圓形圖案的校準(zhǔn)板Fig.4 Calibration plate with 99 dot patterns

使用雙目相機在不同視角下采集10對標(biāo)定板圖像，分別對左右攝像頭進行標(biāo)定，相對位置參數(shù)為各視角下計算的平均值。分別通過橢圓擬合法和數(shù)字圖像相關(guān)法校正，再用公式(8)優(yōu)化相機參數(shù)，校準(zhǔn)結(jié)果見表3，得到的平均重投影誤差如圖5所示。

表3 真實實驗的內(nèi)外參數(shù)Tab.3 Internal and external parameters of real experiment

圖5 優(yōu)化后各視角的平均重投影誤差

從圖5可以看出：通過與使用橢圓擬合法獲取特征點像素坐標(biāo)的方法比較，利用文中提出的方法在降低重投影誤差方面表現(xiàn)出了很好的效果。但是，由于相機制造精度、畸變因素、周圍光照的影響以及相機參數(shù)初始設(shè)定不完整等原因，實際實驗的精度無法達(dá)到仿真精度的水平。

4 結(jié)束語

(1)文中提出了一種基于固定位姿約束的高精度雙目相機標(biāo)定方法，并對校正后的相機相關(guān)參數(shù)進行了評價，仿真和實際實驗驗證了該方法的有效性。

(2)仿真結(jié)果表明：隨著圖像中的高斯噪聲水平提高，使用橢圓擬合方法和文中提出的方法得到的平均重投影誤差都有所增大，其波動范圍也有所增大。相比之下，在不同的噪聲密度下，應(yīng)用文中提出的方法可以顯著降低重投影誤差。

(3)實際實驗結(jié)果表明：該方法的平均重投影水平相比采用橢圓擬合法降低了25%左右，證明了該方法有效，并且可以推廣到更多的相機上。