基于Matlab的相機(jī)內(nèi)參和畸變參數(shù)優(yōu)化方法

李 超，張世超

(廈門(mén)大學(xué) 航空航天學(xué)院，福建 廈門(mén) 361000)

基于Matlab的相機(jī)內(nèi)參和畸變參數(shù)優(yōu)化方法

李 超，張世超

(廈門(mén)大學(xué) 航空航天學(xué)院，福建 廈門(mén) 361000)

為了提高相機(jī)標(biāo)定結(jié)果的準(zhǔn)確度，文中就相機(jī)內(nèi)參和畸變參數(shù)的優(yōu)化方法進(jìn)行了研究。在建立準(zhǔn)確的相機(jī)成像及標(biāo)定模型基礎(chǔ)上，根據(jù)模型參數(shù)估計(jì)的具體推導(dǎo)步驟，利用最大似然估計(jì)法對(duì)得到的參數(shù)進(jìn)行結(jié)果優(yōu)化，然后通過(guò)修改鏡頭畸變模型重新計(jì)算參數(shù)得到最終結(jié)果。實(shí)驗(yàn)證明，應(yīng)用文中提出的流程求解相機(jī)內(nèi)參和畸變參數(shù)，簡(jiǎn)單快速、準(zhǔn)確度高且實(shí)用性強(qiáng)。

相機(jī)標(biāo)定；內(nèi)參；畸變參數(shù)；優(yōu)化

相機(jī)標(biāo)定一直是計(jì)算機(jī)視覺(jué)和圖像測(cè)量的重要組成部分。標(biāo)定技術(shù)包括兩大塊內(nèi)容：攝像機(jī)幾何成像模型和標(biāo)定方法[1-2]。幾何模型決定了某點(diǎn)在三維空間里的位置與其在二維圖像中對(duì)應(yīng)像素點(diǎn)的相互關(guān)系，因而相機(jī)標(biāo)定的第一步也是關(guān)鍵的一步就是對(duì)相機(jī)幾何建模，建立一個(gè)能反應(yīng)相機(jī)獲取圖像的幾何模型[3-4]。建立好一個(gè)合適的幾何模型后，再通過(guò)幾何模型建立相應(yīng)的方程組和約束條件進(jìn)行參數(shù)求解，反過(guò)來(lái)便可通過(guò)建立的幾何模型對(duì)圖像信息進(jìn)行三維重建，這就是相機(jī)的標(biāo)定[5]。

常使用的成像模型為針孔模型，其原理是將物體的投影簡(jiǎn)化為小孔成像，該方法簡(jiǎn)單易懂、使用方便。攝像機(jī)標(biāo)定方法主要分為3大類：傳統(tǒng)標(biāo)定法、自標(biāo)定方法和主動(dòng)視覺(jué)標(biāo)定法[6-7]。3類方法各有優(yōu)缺點(diǎn)，傳統(tǒng)方法依賴標(biāo)定板，精度高，適用于各種攝相機(jī)成像模型，但計(jì)算較復(fù)雜，且標(biāo)定板價(jià)格昂貴；自標(biāo)定方法無(wú)需標(biāo)定板，只需匹配圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系，一般是基于絕對(duì)二次曲線或曲面來(lái)求解，因此魯棒性不高，精度較低；基于主動(dòng)視覺(jué)的標(biāo)定法要求攝像機(jī)可以按照特定要求運(yùn)動(dòng)，通常可以線性求解，魯棒性較強(qiáng)[8-10]。張正友標(biāo)定法[11]是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法，其求解相機(jī)參數(shù)的初值時(shí)采用相機(jī)成像的線性模型，然后給出考慮了非線性模型中的非線性畸變因素的目標(biāo)函數(shù)，通過(guò)非線性最優(yōu)化的方法可求得相機(jī)參數(shù)的最優(yōu)解。這種標(biāo)定方法具有較好的魯棒性、實(shí)用性和較高的精度。

本文在已有的張正友標(biāo)定法的基礎(chǔ)上，利用Matlab中的Camera Calibration Toolbox工具箱對(duì)相機(jī)進(jìn)行標(biāo)定操作，給出具體的操作步驟，并對(duì)所得到的內(nèi)參及畸變參數(shù)進(jìn)行優(yōu)化，使其盡可能的符合相機(jī)的線性模型，提高后續(xù)三維重建工作的準(zhǔn)確度。

總體而言，此方法簡(jiǎn)單實(shí)用且快速，可獲得理想的準(zhǔn)確度和效果。

1 標(biāo)定原理及過(guò)程

1.1 相機(jī)成像模型及畸變模型

相機(jī)的幾何成像模型是用來(lái)聯(lián)系相機(jī)成像平面的像素點(diǎn)坐標(biāo)與三維坐標(biāo)系的點(diǎn)坐標(biāo)的數(shù)學(xué)關(guān)系，通常采用的是針孔模型。相機(jī)成像過(guò)程可用4個(gè)坐標(biāo)系來(lái)描述：圖像坐標(biāo)系、成像平面坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系。圖像坐標(biāo)系是以像素為單位的，原點(diǎn)為圖像左上角，坐標(biāo)值表示像素在數(shù)組中的列數(shù)和行數(shù)；成像平面坐標(biāo)系是以毫米為單位的，原點(diǎn)定義在相機(jī)光軸和圖像平面的交點(diǎn)處，稱之為主點(diǎn)；相機(jī)坐標(biāo)系原點(diǎn)定義為相機(jī)光心，Xc、Yc軸方向與成像平面坐標(biāo)系一致，Zc為相機(jī)的光軸，與成像平面垂直；世界坐標(biāo)系可選定為環(huán)境中任意一個(gè)參考坐標(biāo)系[12]。張正友標(biāo)定法中將世界坐標(biāo)系建立在平面模板上，即ZW=0。理想相機(jī)標(biāo)定模型如圖1所示。

圖1 理想相機(jī)標(biāo)定模型

O-uv為圖像坐標(biāo)系，O1-XY為成像平面坐標(biāo)系，Oc-XcYcZc為相機(jī)坐標(biāo)系，Ow-XwYwZw為世界坐標(biāo)系，記O1在圖像坐標(biāo)系中坐標(biāo)為(u0,v0)。三維空間中一點(diǎn)M經(jīng)成像后落在圖像平面mu處，設(shè)其在圖像坐標(biāo)系下坐標(biāo)為(u,v)，在成像平面坐標(biāo)為(x,y)，相機(jī)焦距為f，則有：u=x/dx+u0，v=y/dy+v0，f/zc=x/xc=y/yc，用矩陣及齊次坐標(biāo)表示為

(1)

(2)

dx和dy為像素在X、Y軸上的物理尺寸。(xc,yc,zc)為M在相機(jī)坐標(biāo)系下的坐標(biāo)，(xw,yw,zw)為M在世界坐標(biāo)系下的坐標(biāo)，其關(guān)系可表示為

(3)

其中，R為攝像機(jī)坐標(biāo)軸在世界坐標(biāo)系中的方向矢量，是3×3正交單位矩陣。t為從世界坐標(biāo)系的原點(diǎn)到光心的平移矢量，是3維列向量。綜合式(1)、式(2)和式(3)，可得到圖像坐標(biāo)系和世界坐標(biāo)系之間的描述關(guān)系。

(4)

實(shí)際的攝像機(jī)鏡頭由于加工、制造誤差會(huì)存在某些程度的畸變，導(dǎo)致在成像過(guò)程中產(chǎn)生一定的偏移誤差。文中通過(guò)徑向畸變、離心畸變和薄棱鏡畸變等非線性參數(shù)描述成像過(guò)程中產(chǎn)生的畸變。由于引入過(guò)多的非線性參數(shù)不但不能提高標(biāo)定精度，反而造成算法不穩(wěn)定[13]。因此，在標(biāo)定過(guò)程中只考慮徑向畸變和離心畸變。假設(shè)mu(xu,yu)為理想情況下投影點(diǎn)在成像平面坐標(biāo)系下的物理坐標(biāo)，md(xd,yd)為加入畸變情況下投影點(diǎn)在成像平面坐標(biāo)系下的物理坐標(biāo)。則有

(5)

式中，r2=x2+y2，k1、k2攝像機(jī)的徑向畸變系數(shù)；p1、p2為攝像機(jī)的離心畸變系數(shù)[14]。

可以將相機(jī)標(biāo)定的過(guò)程簡(jiǎn)單理解為：在世界坐標(biāo)系給出足夠數(shù)量的高精度坐標(biāo)點(diǎn)與其在像素坐標(biāo)系中對(duì)應(yīng)點(diǎn)的像素坐標(biāo)后，求解相機(jī)內(nèi)部參數(shù)矩陣A和外部參數(shù)矩陣R、t的最佳估計(jì)值。

1.2 內(nèi)參估計(jì)

對(duì)于標(biāo)定板上一點(diǎn)M，在世界坐標(biāo)系中的齊次坐標(biāo)為M=[XWYWZW1]T。在攝像機(jī)幾何模型中，M點(diǎn)在圖像坐標(biāo)系中的對(duì)應(yīng)成像點(diǎn)M1齊次坐標(biāo)為m。M點(diǎn)到M1點(diǎn)的映射關(guān)系用齊次坐標(biāo)可表示為

(6)

式(6)中，s為不等于零的尺度因子；R為旋轉(zhuǎn)矩陣；T為平移向量；A為攝像機(jī)內(nèi)部參數(shù)，設(shè)A點(diǎn)到A1點(diǎn)的變換矩陣為H，則

(7)

設(shè)H=[h1h2h3]，假設(shè)旋轉(zhuǎn)矩陣R的第i列表示為γi，則可得到

(8)

(9)

為了求解攝像機(jī)標(biāo)定矩陣，令

(10)

B是一個(gè)對(duì)稱矩陣，可用一個(gè)六維向量表示，設(shè)H中第i列向量表示為hi=[hi1hi2hi3]T，則有

(11)

則式(9)兩個(gè)基本約束方程寫(xiě)為

(12)

獲取n幅標(biāo)定圖像，則會(huì)產(chǎn)生n個(gè)如上式的方程，則將這些方程疊加，得到

Vb=0

(13)

式(13)中，V是一個(gè)2n×6矩陣，若n≥3，則可以在尺度因子未知情況下確定唯一的b，求得b后，則可得到攝像機(jī)內(nèi)參數(shù)分別為

(14)

1.3 畸變參數(shù)估計(jì)及優(yōu)化

求解出內(nèi)參后，先考慮徑向畸變，利用最小二乘法求解出徑向畸變參數(shù)，再通過(guò)最大似然估計(jì)，優(yōu)化得到所有參數(shù)值。因?yàn)橄戎豢紤]徑向畸變，式(5)變形為

xd=xu+xu[k1(x2+y2)+k2(x2+y2)2]yd=yu+yu[k1(x2+y2)+k2(x2+y2)2]

(15)

將式(15)轉(zhuǎn)換為圖像坐標(biāo)系的描述為

ud=uu+(uu-u0)[k1(x2+y2)+k2(x2+y2)2]vd=vu+(vu-v0)[k1(x2+y2)+k2(x2+y2)2]

(16)

經(jīng)過(guò)變換為

取多組(uv,vu)、(ud,vd)可得到

可簡(jiǎn)化為Dk=d，然后可通過(guò)線性最小二乘法求解出徑向畸變參數(shù)

k=(DTD)-1DTd

(17)

所有參數(shù)均利用最大似然估計(jì)進(jìn)行優(yōu)化，轉(zhuǎn)動(dòng)標(biāo)定板，從不同位置拍攝棋盤(pán)標(biāo)定板，拍攝n幅，每幅標(biāo)定板圖像均擁有m個(gè)標(biāo)定點(diǎn)，并假設(shè)每個(gè)標(biāo)定點(diǎn)的坐標(biāo)都有獨(dú)立同分布的噪聲，因?yàn)槌跏紖?shù)已求解，所以將每幅圖像的點(diǎn)根據(jù)已求解的參數(shù)重投影回三維空間，最小化與真實(shí)值的差異，其實(shí)就是建立非線性最小化模型，公式如下

(18)

式中，mij為第j個(gè)點(diǎn)在第i幅圖像中的像點(diǎn)；Ri,ti為第i幅圖像的旋轉(zhuǎn)矩陣和平移向量；Mj為第j個(gè)點(diǎn)的空間坐標(biāo)，在視覺(jué)領(lǐng)域通常使用Levenberg-Marquarat算法來(lái)求解上式[15]。

所有參數(shù)經(jīng)過(guò)最大似然估計(jì)后，得到優(yōu)化解，為進(jìn)一步減小畸變參數(shù)，將Camera Calibration Toolbox中的二值化變量est_dist設(shè)為[0 0 0 0 0]，即剔除Matlab中的畸變模型，重新進(jìn)行內(nèi)參和畸變參數(shù)的計(jì)算并用最大似然估計(jì)再次優(yōu)化。最后，得到的內(nèi)參和畸變數(shù)據(jù)都較為準(zhǔn)確和理想。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文剔除的方法流程的有效性和準(zhǔn)確性，選用Point Grey工業(yè)相機(jī)GRAS-20S4M/C進(jìn)行標(biāo)定實(shí)驗(yàn)，該相機(jī)最大分辨率為1 624×1 224，體積小，便于安裝，使用IEEE-1394接口；IEEE-1394接口標(biāo)準(zhǔn)具有連接簡(jiǎn)單，低成本，無(wú)需相機(jī)文件，支持大范圍幀率和圖像尺寸等優(yōu)點(diǎn)。

2.1 相機(jī)標(biāo)定參數(shù)

實(shí)驗(yàn)所用標(biāo)定模板為黑白相間的棋盤(pán)格，共9×7個(gè)方格，每個(gè)方格尺寸為30 mm×30 mm。標(biāo)定過(guò)程主要基于Matlab編程平臺(tái)。主操作界面如圖2所示。

圖2 標(biāo)定操作界面

點(diǎn)擊Image names讀入用來(lái)標(biāo)定的6幅圖片，如圖3所示。

圖3 標(biāo)定圖片

下一步是提取7幅圖片中的所有角點(diǎn)，利用Extract grid corners實(shí)現(xiàn)，提取角點(diǎn)后如圖4所示。

圖4 角點(diǎn)提取

完成上訴操作后，點(diǎn)擊Calibration按鈕，進(jìn)行一個(gè)封閉的參數(shù)計(jì)算過(guò)程和參數(shù)優(yōu)化，可得參數(shù)初始值和優(yōu)化后的值，初始值如表1所示，初步優(yōu)化后可得到畸變參數(shù)[k1；k2；p1；p2；k3]，值如表2所示。

在Matlab界面中輸入est_dist=[0;0;0;0;0]，回車(chē)后輸入clear fc cc kc，重新點(diǎn)擊Calibration按鈕，進(jìn)行優(yōu)化，最后得到的優(yōu)化參數(shù)如表3所示。

由表中數(shù)據(jù)可看出，初步優(yōu)化后得到的畸變參數(shù)較大，內(nèi)參也不是理想值，經(jīng)過(guò)本文中提出的一個(gè)新流程后，對(duì)初次標(biāo)定的結(jié)果通過(guò)修正的畸變參數(shù)模型優(yōu)化后再次標(biāo)定，可得到更為理想的內(nèi)參數(shù)據(jù)和畸變參數(shù)，可用來(lái)精確地進(jìn)行三維重建工作。

表1 標(biāo)定參數(shù)初始值

表2 初步優(yōu)化

表3 最終優(yōu)化

2.2 多組實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的準(zhǔn)確性，本文對(duì)上述標(biāo)定方法進(jìn)行多組實(shí)驗(yàn)，在相同的實(shí)驗(yàn)環(huán)境下從不同角度采集20幅不同的圖片。從此20幅圖像的特征提取點(diǎn)中依據(jù)不同組數(shù)分別按照傳統(tǒng)標(biāo)定方法與本文提出的優(yōu)化方法進(jìn)行相機(jī)的內(nèi)部參數(shù)標(biāo)定，得到有效焦距，主點(diǎn)坐標(biāo)隨圖像數(shù)量變化的趨勢(shì)，如圖5所示。

圖5 焦距變化曲線

從上述兩幅圖中的對(duì)比可看出，經(jīng)過(guò)初步優(yōu)化和最終優(yōu)化后的標(biāo)定內(nèi)參隨標(biāo)定用圖像數(shù)量增加均趨于穩(wěn)定，且兩者標(biāo)定結(jié)果相近。但通過(guò)本文方法優(yōu)化的內(nèi)參結(jié)果相對(duì)更加穩(wěn)定，振幅相對(duì)較小。

為了驗(yàn)證本文方法的魯棒性，在上述實(shí)驗(yàn)中的20幅圖像中選取10幅加入期望為0、均方差不同的高斯噪聲，依次按照傳統(tǒng)標(biāo)定方法與本文提出的優(yōu)化方法進(jìn)行相機(jī)的內(nèi)外部參數(shù)標(biāo)定，以重投影誤差值作為衡量算法魯棒性的標(biāo)準(zhǔn)，噪聲均方差水平與重投影誤差值的關(guān)系如圖6所示。重投影誤差和噪聲均方差之間呈明顯正相關(guān)關(guān)系，在不加入噪聲或者加入的噪聲很小時(shí)，兩種優(yōu)化方法的平均投影誤差均可達(dá)0.5個(gè)像素以下；當(dāng)噪聲均方差>1時(shí)，兩種方法平均投影誤差均明顯增大并成近似線性關(guān)系。噪聲均方差<0.5時(shí)，兩種方法的重投影誤差值極為接近，不過(guò)隨著添加噪聲的均方差增大，本文提出的最終優(yōu)化方法重投影誤差值變化趨勢(shì)相對(duì)于初步優(yōu)化方法較小，魯棒性更好。

圖6 噪聲均方差與重投影誤差關(guān)系曲線

3 結(jié)束語(yǔ)

本文基于Matlab的Camera Calibration Toolbox工具箱提出了一個(gè)標(biāo)定流程，對(duì)內(nèi)參和畸變參數(shù)進(jìn)行了有效的優(yōu)化，并在Point Grey工業(yè)相機(jī)GRAS-20S4M/C的平臺(tái)上進(jìn)行了標(biāo)定實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果標(biāo)定，運(yùn)用該工具箱對(duì)相機(jī)進(jìn)行標(biāo)定，整個(gè)計(jì)算過(guò)程簡(jiǎn)單，且標(biāo)定與校正的實(shí)現(xiàn)速度快，經(jīng)過(guò)最終優(yōu)化后的準(zhǔn)確度較高且魯棒性好，結(jié)果較為理想。

[1] 高文斌,王洪光,姜勇.一種基于指數(shù)積的串聯(lián)機(jī)器人標(biāo)定方法[J].機(jī)器人,2013,35(2): 156-161.

[2] 李光樂(lè),黃文有,劉青松,等.面向水下雙目視覺(jué)的改進(jìn)張氏標(biāo)定方法及實(shí)驗(yàn)[J].光學(xué)學(xué)報(bào),2014,34(12):211-216.

[3] 邱茂林,馬頌德,李毅.計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)綜述[J].自動(dòng)化學(xué)報(bào),2000,26(1):43-55.

[4] 夏仁波,劉偉軍,趙吉賓,等.基于圓形標(biāo)志點(diǎn)的全自動(dòng)相機(jī)標(biāo)定方法[J].儀器儀表學(xué)報(bào),2009,30(2):368-373.

[5] 薛俊鵬,蘇顯渝.基于兩個(gè)正交一維物體的單幅圖像相機(jī)標(biāo)定[J].光學(xué)學(xué)報(bào),2012,32(1):145-151.

[6] 王子辰,戴明,汪永陽(yáng),等.一種基于虛擬立體靶標(biāo)的線陣相機(jī)標(biāo)定方法[J].光電子.激光,2013(5):867-873.

[7] De Ma S.A self-calibration technique for active vision systems[J].IEEE Transactions on Robotics and Automation,1996,12(1): 114-120.

[8] 孟曉橋,胡占義.攝像機(jī)自標(biāo)定方法的研究與進(jìn)展[J].自動(dòng)化學(xué)報(bào),2003, 29(1):110-124.

[9] Song Hongjun,Chen Yangzhou,Gao Yuanyuan. Velocity calculation by automatic camera calibration based on homogenous fog weather condition[J]. International Journal of Automation and Computing,2013,10(2):143-156.

[10] 任延俊,郭霏,姜淑華,等.基于徑向約束的CCD相機(jī)標(biāo)定參數(shù)的整體優(yōu)化[J].長(zhǎng)春理工大學(xué)學(xué)報(bào):自然科學(xué)版,2009,32(2):213-216.

[11] 劉艷,李騰飛.對(duì)張正友相機(jī)標(biāo)定法的改進(jìn)研究[J].光學(xué)技術(shù),2014(6):565-570.

[12] 胡國(guó)元,何平安,王寶龍,等.視覺(jué)測(cè)量中的相機(jī)標(biāo)定問(wèn)題[J].光學(xué)與光電技術(shù),2004(3):9-12.

[13] 田原螈,黃合成.基于CCD攝像機(jī)成像的徑向畸變研究[J].世界科技研究與發(fā)展,2008,30(2):168-170.

[14] 李莉.OpenCV耦合改進(jìn)張正友算法的相機(jī)標(biāo)定算法[J].輕工機(jī)械,2015,33(4):60-63.

[15] 胡志剛,花向紅.Levenberg-Marquarat算法及其在測(cè)量模型參數(shù)估計(jì)中的應(yīng)用[J].測(cè)繪工程,2008,17(4):31-34.

Study on the Optimization of Internal Control and Camera Distortion Parameters Method Based on Matlab

LI Chao，ZHANG Shichao

(School of Aeronautics and Astronautics, Xiamen University, Xiamen 361000, China)

Study on the optimization method of camera internal and distortion parameters is conducted in order to improve the accuracy of the results for camera calibration. On the basis of camera imaging and calibration model, we optimize the parameters by the method of maximum likelihood following the specific steps, and get the final result by recalculating parameters through the lens distortion model. Experiment results show that application of the proposed process to solve the camera internal and distortion parameters, simple and fast, with high accuracy and strong practicability.

camera calibration; internal control; distortion parameters; optimization

2016- 05- 03

李超(1990-)，男，碩士研究生。研究方向：計(jì)算機(jī)視覺(jué)。張世超(1991-)，男，碩士研究生。研究方向：圖像處理。

10.16180/j.cnki.issn1007-7820.2017.04.022

TP391.41;TB811

A

1007-7820(2017)04-087-05