魚眼成像系統(tǒng)標(biāo)定技術(shù)研究

王云鵬,劉力雙,劉 洋

(北京信息科技大學(xué) 儀器科學(xué)與光電工程學(xué)院,北京 100192,中國(guó))

0 引 言

魚眼鏡頭是一種特殊的廣角鏡頭,具有較廣闊的視野范圍和較短的焦距[1-3]。大視角的特點(diǎn)使魚眼鏡頭在紅外地球敏感器和廣角偵查系統(tǒng)等眾多領(lǐng)域得到廣泛的應(yīng)用。然而,魚眼鏡頭自身工藝制作的缺點(diǎn)以及鏡頭在組合裝配中的誤差使其不可避免地引起了圖像畸變[4-5],圖形畸變的產(chǎn)生會(huì)在提取目標(biāo)方位信息時(shí)造成偏差。方位信息的偏差在紅外地球敏感器中,會(huì)造成地平圓圓心目標(biāo)的定位不精確,無(wú)法準(zhǔn)確計(jì)算衛(wèi)星的姿態(tài)信息;在廣角偵查系統(tǒng)中,同樣會(huì)導(dǎo)致系統(tǒng)在對(duì)目標(biāo)定位時(shí)出現(xiàn)偏移,使目標(biāo)定位精度下降。如何通過(guò)畸變圖像在大視場(chǎng)魚眼成像系統(tǒng)中確定目標(biāo)的方位,成為了近年來(lái)國(guó)內(nèi)外眾多學(xué)者深入研究的重點(diǎn)問(wèn)題。

根據(jù)魚眼圖像精確提取目標(biāo)方位的本質(zhì)是建立2維圖像和3維空間的映射關(guān)系[6]。TSAI的兩步法[7]和ZHANG的棋盤標(biāo)定法[8]雖然具有較高的標(biāo)定精度,但需要尺寸與大視場(chǎng)成像系統(tǒng)拍攝范圍相匹配的標(biāo)定板,制作成本較高,實(shí)驗(yàn)難度較大。ZHU等人[9]建立球面投影模型,基于畸變參數(shù)分離的思想標(biāo)定魚眼成像系統(tǒng),但該模型中要確定的畸變參數(shù)過(guò)多,導(dǎo)致計(jì)算量過(guò)大。XIAO等人[10]采用兩步法模型,分別對(duì)靠近光學(xué)中心的區(qū)域建立線性畸變模型和遠(yuǎn)離光學(xué)中心的區(qū)域建立非線性畸變模型,實(shí)現(xiàn)對(duì)目標(biāo)轉(zhuǎn)臺(tái)姿態(tài)角的精定位,但經(jīng)實(shí)驗(yàn)驗(yàn)證,其所提出的坐標(biāo)輪轉(zhuǎn)方法不能精確定位光學(xué)中心,影響轉(zhuǎn)臺(tái)姿態(tài)角的擬合精度。

為提升在大視場(chǎng)魚眼成像系統(tǒng)中目標(biāo)定位精度,本文作者采用了基于相機(jī)移動(dòng)的研究方法構(gòu)建魚眼成像系統(tǒng)的標(biāo)定模型?？刂聘呔?維旋轉(zhuǎn)位移臺(tái)的角度位置,移動(dòng)魚眼成像系統(tǒng)拍攝固定位置的點(diǎn)光源,根據(jù)點(diǎn)光源在魚眼成像系統(tǒng)中的方位角度和光點(diǎn)在圖像中的像素位置,構(gòu)建兩者之間的數(shù)學(xué)模型。為提高模型標(biāo)定精度,減小系統(tǒng)標(biāo)定誤差,采用圖像有效區(qū)域的邊緣擬合圓計(jì)算出光學(xué)中心,并采用分區(qū)域標(biāo)定的方式計(jì)算出畸變參數(shù)。再根據(jù)像素位置擬合標(biāo)定物方位角度,驗(yàn)證模型精度。

1 標(biāo)定原理

1.1 魚眼成像系統(tǒng)成像模型

如圖1所示,在魚眼成像系統(tǒng)中,成像的過(guò)程就是3維世界坐標(biāo)系下點(diǎn)Pw經(jīng)一系列坐標(biāo)變化映射成為2維圖像坐標(biāo)系下點(diǎn)Pd的過(guò)程[11]。具體過(guò)程為:世界坐標(biāo)系(xw,yw,zw)下的點(diǎn)經(jīng)過(guò)光線映射到攝像機(jī)坐標(biāo)系(xc,yc,zc)中,再投影到代表傳感器的成像平面坐標(biāo)系(x,y)上,最終經(jīng)過(guò)數(shù)模變換映射為圖像坐標(biāo)系(u,v)中的像素點(diǎn)[12]。

圖1 魚眼鏡頭成像模型Fig.1 Fisheye lens imaging model

在攝像機(jī)坐標(biāo)系下,將魚眼鏡頭視作半徑為R的半球面。經(jīng)世界坐標(biāo)系中任一點(diǎn)Pw的光線沿光學(xué)中心的方向進(jìn)入攝像機(jī)坐標(biāo)系,交點(diǎn)為Pc(xc,yc,zc),入射角為θ,在xcyc平面上的投影與xc軸正方向的偏移角為φ,Pc點(diǎn)可以由θ和φ確定:

(1)

根據(jù)小孔成像原理,Pc在圖像平面的理想投影為點(diǎn)P(u,v),兩者之間的坐標(biāo)映射關(guān)系為:

(2)

式中:(u0,v0)為光學(xué)中心Oc在圖像平面上投影O的像素坐標(biāo);f為魚眼鏡頭焦距;d×d為單個(gè)像元尺寸。

魚眼成像系統(tǒng)的結(jié)構(gòu)不同于一般成像系統(tǒng),主要受非線性畸變影響,成像多為非相似成像。Pc在圖像平面的實(shí)際投影為點(diǎn)Pd(ud,vd),P點(diǎn)與Pd點(diǎn)間的畸變關(guān)系將在下一節(jié)中進(jìn)行討論。

根據(jù)式(1)和式(2),得到在魚眼鏡頭坐標(biāo)系下入射角θ與圖像平面下點(diǎn)P到光學(xué)中心距離r之間的關(guān)系:

tanθ=A×r

(3)

同理,也得到偏移角φ與P點(diǎn)像素坐標(biāo)之間的關(guān)系:

(4)

1.2 目標(biāo)方位角與像素間的標(biāo)定模型

在魚眼成像系統(tǒng)中,點(diǎn)Pc本該于理想成像點(diǎn)P處成像,但因?yàn)槌上襁^(guò)程受到非線性畸變的影響,實(shí)際成像位置偏移到了點(diǎn)Pd處,如圖2所示。這種成像點(diǎn)的位置偏移是無(wú)法精確提取目標(biāo)方位的主要原因,受到徑向畸變、切向畸變和薄棱鏡畸變?nèi)叩挠绊?其中薄棱鏡畸變的影響過(guò)小可將其忽略[13-14],主要考慮前兩者的影響。徑向畸變是造成圖像畸變的主要原因,表現(xiàn)為成像點(diǎn)在半徑方向上發(fā)生位置偏移,產(chǎn)生原因是生產(chǎn)工藝造成魚眼鏡頭表面出現(xiàn)不規(guī)則的形狀[15]。徑向畸變模型為:

圖2 非線性畸變成像點(diǎn)偏差Fig.2 Nonlinear distortion imaging point deviation

r=k1×rd+k2×rd3+k3×rd5

(5)

切向畸變改變了成像點(diǎn)到光學(xué)中心矢量的角度,使成像點(diǎn)發(fā)生角度偏轉(zhuǎn)。產(chǎn)生原因是構(gòu)成魚眼鏡頭透鏡的光心與幾何中心不重合[16],畸變模型為:

(6)

式中:pj(j=1,2)為切向畸變參數(shù)。

將式(5)代入式(3)可得:

tanθ=K1×rd+K2×rd3+K3×rd5

(7)

式中:入射角畸變參數(shù)Ki=A×ki,i=1,2,3。

將式(6)代入式(4)可得:

(8)

式中:偏移角畸變參數(shù)Pj=pj,j=1,2。

將標(biāo)定點(diǎn)的入射角θ集合與距光學(xué)中心的距離rd集合代入式(7)中,即可求得入射角畸變參數(shù)Ki(i=1,2,3)。同理將標(biāo)定點(diǎn)的偏移角φ的集合與像素坐標(biāo)Pd(ud,vd)集合同時(shí)代入式(8)中,即可求得偏移角畸變參數(shù)Pj(j=1,2)。

1.3 光學(xué)中心計(jì)算

1.3.1 圖像有效區(qū)域邊緣擬合光學(xué)中心 魚眼成像系統(tǒng)的畸變圍繞光學(xué)中心對(duì)稱,畸變程度與成像點(diǎn)離光學(xué)中心的距離為正相關(guān)[17]。理想情況下光學(xué)中心的成像位置應(yīng)該與圖像中心相重合,但由于魚眼鏡頭的裝配誤差,使得兩者不能完全重合,需要對(duì)其單獨(dú)標(biāo)定[18-19]。因?yàn)榇笠暯堑奶攸c(diǎn),魚眼圖像成像有效區(qū)域邊緣為圓形。為計(jì)算出光學(xué)中心,選擇采用最小二乘法擬合魚眼圖像的有效區(qū)域邊沿圓,擬合得到的圓心就是光學(xué)中心的實(shí)際像素位置。設(shè)理想圓的標(biāo)準(zhǔn)方程為:

(xs-a)2+(ys-b)2=r2

(9)

式中:(xs,ys)為圓上的任意一點(diǎn);(a,b)為圓心坐標(biāo);r為圓的半徑。

最小二乘法要求殘差值最小:

(10)

當(dāng)殘差值S最小時(shí),則有:

(11)

(12)

(13)

根據(jù)以上3式,可以求出圓心(a,b)和半徑r。

1.3.2 亞像素邊緣檢測(cè) 在進(jìn)行最小二乘法擬合前,采用了亞像素邊緣檢測(cè)算法中的灰度矩邊緣定位法定位圖像有效區(qū)域輪廓,提升光學(xué)中心的擬合精度從而減小系統(tǒng)的標(biāo)定誤差?；驹硎羌僭O(shè)圖像的實(shí)際邊緣分布與階躍式變化的理想邊緣的灰度矩一致[20],利用圖像實(shí)際邊緣的前3階灰度矩求取圖像的亞像素邊緣點(diǎn)。

設(shè)魚眼圖像實(shí)際邊緣的灰度值為hl(l=1,2,3,…,n);n為圖像實(shí)際邊緣包含的像素點(diǎn)總數(shù),計(jì)算圖像的圖像實(shí)際邊緣的前3階灰度矩:

(14)

得到前3階灰度矩后,精確計(jì)算圖像的亞像素邊緣點(diǎn)的位置:

(15)

式中:λ=(m3+2m13-3m1m2)/(m2-m12)2/3。

通過(guò)傳統(tǒng)邊緣檢測(cè)算法粗定位圖像邊緣的像素坐標(biāo)(xe,ye),根據(jù)周圍像素點(diǎn)的灰度值判斷邊緣方向:當(dāng)Gx>Gy(Gx和Gy分別表示邊緣在x方向和y方向的梯度算子),邊緣方向?yàn)樗?反之,邊緣方向?yàn)榇怪薄?/p>

(16)

式中:g(xe,ye)為點(diǎn)(xe,ye)的灰度值。

得到邊緣方向后,以(xe,ye)為中心,延灰度方向分別向兩側(cè)拓展6個(gè)像素,根據(jù)式(15)求得亞像素邊緣點(diǎn)。

1.4 分區(qū)域標(biāo)定法

魚眼鏡頭產(chǎn)生的畸變是非線性的畸變,圖像中不同位置的像點(diǎn)受到的畸變影響程度不同,用同一組畸變參數(shù)對(duì)整幅圖像校正,對(duì)校正精度和穩(wěn)定性會(huì)產(chǎn)生影響[21]。為了能提高標(biāo)定精度,對(duì)魚眼圖像采取了一種分區(qū)域標(biāo)定的方法,對(duì)不同區(qū)域求取不同的畸變參數(shù),提升標(biāo)定的精度。

在魚眼成像系統(tǒng)中,成像點(diǎn)到光學(xué)中心的距離主要受標(biāo)定物入射角θ影響。魚眼圖像的畸變關(guān)于光學(xué)中心對(duì)稱,且隨著成像點(diǎn)距光學(xué)中心距離的增大而增加,在以光學(xué)中心為圓心的圓上畸變大致相同[22]。如圖3所示,在標(biāo)定過(guò)程中,根據(jù)標(biāo)定物入射角θ的大小將魚眼圖像劃分為以光學(xué)中心為圓心的同心圓區(qū)域,對(duì)每個(gè)區(qū)域進(jìn)行標(biāo)定。

圖3 標(biāo)定區(qū)域劃分示意圖Fig.3 Marking area division diagram

2 實(shí)驗(yàn)及結(jié)果分析

2.1 搭建實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)系統(tǒng)由圖像采集和方向控制兩部分組成。圖像采集部分由中聯(lián)科創(chuàng)魚眼鏡頭VM0420MP5、大恒工業(yè)相機(jī)DH-HV1351UM和標(biāo)定物做成,標(biāo)定物是單個(gè)點(diǎn)光源,相機(jī)分辨率為1280 pixel×1024 pixel。方向控制部分是由高精度2維旋轉(zhuǎn)位移臺(tái)、光學(xué)平臺(tái)和上位機(jī)組成,上位機(jī)可以對(duì)轉(zhuǎn)臺(tái)實(shí)現(xiàn)精確控制,角度變化精度為0.004°。圖4為實(shí)驗(yàn)系統(tǒng)搭建的示意圖,圖5為實(shí)驗(yàn)系統(tǒng)實(shí)物圖。

圖4 實(shí)驗(yàn)系統(tǒng)搭建Fig.4 Experimental system construction

圖5 高精度2維轉(zhuǎn)臺(tái)及魚眼成像系統(tǒng)實(shí)物圖Fig.5 Physical view of high precision 2-D turntable and fisheye imaging system

2.2 計(jì)算光學(xué)中心

控制魚眼成像系統(tǒng)拍攝多幅白紙的圖像。根據(jù)前面提出的灰度矩邊緣定位法提取圖像有效區(qū)域的邊緣,對(duì)提取到的邊緣使用最小二乘法擬合,得到魚眼圖像光學(xué)中心的坐標(biāo)(a,b)和半徑r。圖6所示為亞像素邊緣檢測(cè)結(jié)果。

圖6 亞像素邊緣檢測(cè)Fig.6 Sub-pixel edge detection

拍攝8組圖像進(jìn)行擬合,如表1所示,為對(duì)8組數(shù)據(jù)的擬合結(jié)果。取結(jié)果的平均值(651.51 pixel,525.57 pixel)作為光學(xué)中心和619.36 pixel作為有效區(qū)域半徑。

表1 光學(xué)中心及圖像有效區(qū)域半徑擬合結(jié)果/pixelTable 1 Optical center and image effective area radius fitting results/pixel

2.3 實(shí)驗(yàn)數(shù)據(jù)采集

標(biāo)定物單個(gè)點(diǎn)光源由紅色平板光源和帶孔的不銹鋼板組合構(gòu)成,將不銹鋼板覆蓋于平板光源表面。孔洞為直徑10 mm的圓孔,鋼板厚度為0.1 mm,在鋼板外側(cè)表面覆蓋遮擋物,只留下作為點(diǎn)光源的孔洞,這樣得到的點(diǎn)光源較為均勻,光源邊緣成像效果更為清晰。標(biāo)定物在魚眼成像系統(tǒng)中的成像近似為圓形,面積約為116 pixel,在對(duì)圖像進(jìn)行均值濾波后,通過(guò)灰度質(zhì)心法提取標(biāo)定物中心作為標(biāo)定點(diǎn)。圖7為標(biāo)定物在初始位置的圖像。

圖7 標(biāo)定物在初始位置成像Fig.7 Imaging of the calibrator at the initial position

控制高精度2維旋轉(zhuǎn)位移臺(tái),調(diào)整角度位置,使標(biāo)定點(diǎn)與魚眼成像系統(tǒng)的光學(xué)中心相重合,此位置為魚眼成像系統(tǒng)的初始位置。然后移動(dòng)魚眼成像系統(tǒng),在不同角度下拍攝標(biāo)定物,記錄標(biāo)定點(diǎn)在圖像中的像素坐標(biāo)(u,v)和標(biāo)定物在魚眼成像系統(tǒng)的方位角度(θ,φ)。共拍攝圖像184幅,使標(biāo)定點(diǎn)盡可能充滿整個(gè)圖像。將采集到標(biāo)定物的方位角度和圖像點(diǎn)的像素坐標(biāo)作為數(shù)據(jù)集代入式(7)、式(8),計(jì)算出畸變模型。

圖8為標(biāo)定物在不同方位的成像。為了驗(yàn)證標(biāo)定精度通過(guò)轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)魚眼成像系統(tǒng)到任意角度,拍攝10幅圖像。計(jì)算出每幅圖像中標(biāo)定點(diǎn)的像素坐標(biāo)及到光學(xué)中心的距離,將這些數(shù)據(jù)作為測(cè)試集代入畸變模型中,擬合每幅圖像中標(biāo)定物的方位角度,與實(shí)際方位角度θ和φ對(duì)比,檢測(cè)系統(tǒng)標(biāo)定精度。

圖8 不同方位標(biāo)定物成像Fig.8 Imaging of calibrators in different orientations

2.4 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中采取分區(qū)域標(biāo)定的方式以降低系統(tǒng)的標(biāo)定誤差,根據(jù)入射角度θ劃分區(qū)域。為了降低標(biāo)定系統(tǒng)的復(fù)雜性,采用三區(qū)域劃分法。在劃分區(qū)域時(shí),要保證各區(qū)域的標(biāo)定誤差盡可能的小,且每個(gè)區(qū)域的數(shù)據(jù)集點(diǎn)不能過(guò)少,影響畸變參數(shù)的求取,所以采取角度遍歷的方式分別對(duì)兩個(gè)分界角度進(jìn)行求取,先根據(jù)各區(qū)域數(shù)據(jù)集求取畸變模型,再將測(cè)試集代入畸變模型,計(jì)算標(biāo)定精度。

經(jīng)過(guò)測(cè)試,入射角θ的最大值為90°。先求取區(qū)域1、2的分界角度,在區(qū)間[30°,80°]中,采用步進(jìn)為1°進(jìn)行遍歷,找到能使區(qū)域1中標(biāo)定誤差最小的角度,角度為42°;再根據(jù)求取的第1個(gè)分界角度,重新劃分區(qū)間[50°,80°],求取區(qū)域2、3的分界角度71°,使二區(qū)域的標(biāo)定誤差最小。

根據(jù)求得角度進(jìn)行區(qū)域劃分,驗(yàn)證理論。單區(qū)域?yàn)閳D像的整個(gè)視場(chǎng);二區(qū)域以42°為界線劃分區(qū)域1(0°～42°)、區(qū)域2(42°以上);三區(qū)域劃分為區(qū)域1(0°～42°)、區(qū)域2(42°～71°)、區(qū)域3(71°以上)。根據(jù)采集數(shù)據(jù)分別計(jì)算各區(qū)域的畸變參數(shù)和標(biāo)定誤差,如表2和表3所示。

表2 分區(qū)域畸變參數(shù)Table 2 Sub-regional distortion parameters

表3 實(shí)驗(yàn)結(jié)果Table 3 Experimental result

根據(jù)實(shí)驗(yàn)結(jié)果可知,擬合標(biāo)定物方位角度的誤差值隨著標(biāo)定區(qū)域的增加而減小。在將整個(gè)魚眼圖像劃分為3個(gè)區(qū)域時(shí),區(qū)域1的平均誤差為0.06°,區(qū)域2的平均誤差為0.26°,區(qū)域3的平均誤差為0.45°。可以看出,靠近光學(xué)中心的主要成像區(qū)域誤差較小,遠(yuǎn)離光學(xué)中心的邊緣成像區(qū)域誤差較大,對(duì)魚眼圖像劃分區(qū)域標(biāo)定可以有效降低系統(tǒng)的標(biāo)定誤差,提升了整個(gè)魚眼成像系統(tǒng)的標(biāo)定精度。

3 結(jié) 論

為了提升大視場(chǎng)魚眼成像系統(tǒng)中目標(biāo)定位精度,采用基于相機(jī)移動(dòng)的研究方法構(gòu)建魚眼成像系統(tǒng)的標(biāo)定模型。先計(jì)算光學(xué)中心坐標(biāo),再對(duì)魚眼圖像進(jìn)行分區(qū)域標(biāo)定,依據(jù)標(biāo)定點(diǎn)像素位置擬合其在大視場(chǎng)中的方位。相較于其它標(biāo)定算法需要先校正圖像再求取目標(biāo)方位,本文中所提出的方法通過(guò)模型直接將像素點(diǎn)與空間坐標(biāo)建立了對(duì)應(yīng)關(guān)系,同時(shí)對(duì)其它參數(shù)如焦距等不做關(guān)心,降低了標(biāo)定的復(fù)雜程度。另外,采用點(diǎn)光源加相機(jī)轉(zhuǎn)臺(tái)的方法,也避免了制造高精度大尺寸標(biāo)定板,降低了系統(tǒng)的復(fù)雜性和成本。

從實(shí)驗(yàn)結(jié)果來(lái)看,分區(qū)標(biāo)定方法避免了一套畸變系數(shù)造成的部分區(qū)域誤差過(guò)大的問(wèn)題,既保證了圖像中心區(qū)域的精度,又提高了容易造成大誤差的大視角區(qū)域的精度。在劃分為三區(qū)域標(biāo)定時(shí),可以將靠近光學(xué)中心的主要成像區(qū)域的平均誤差降低到0.06°,相比于前文提到的其它算法,擁有更高的標(biāo)定精度。這一標(biāo)定方法可以應(yīng)用到紅外地球敏感器、廣角偵查系統(tǒng)等領(lǐng)域的大視角應(yīng)用場(chǎng)景中對(duì)魚眼成像系統(tǒng)進(jìn)行的標(biāo)定。