相機(jī)快速立體定標(biāo)方法

李健，朱萬彬，張爽，魯秀娥

（1.長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 應(yīng)用光學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)，北京 100039；3.長(zhǎng)春相干光學(xué)機(jī)電技術(shù)有限公司，長(zhǎng)春 130022）

相機(jī)快速立體定標(biāo)方法

李健1，2，朱萬彬1，張爽1，2，魯秀娥3

（1.長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 應(yīng)用光學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)，北京 100039；3.長(zhǎng)春相干光學(xué)機(jī)電技術(shù)有限公司，長(zhǎng)春 130022）

相機(jī)定標(biāo)是計(jì)算機(jī)視覺中極為重要的環(huán)節(jié)，定標(biāo)的準(zhǔn)確性和實(shí)時(shí)性直接影響其工業(yè)應(yīng)用。為了實(shí)現(xiàn)快速、高精度的相機(jī)定標(biāo)，對(duì)相機(jī)的成像模型及模型參數(shù)求解進(jìn)行了研究，發(fā)現(xiàn)相機(jī)成像平面中心附近區(qū)域的畸變基本可以忽略。針對(duì)這一發(fā)現(xiàn)，提出一種簡(jiǎn)易、快速的相機(jī)立體定標(biāo)方法。首先以成像平面中心附近的點(diǎn)作為特征點(diǎn)，用來求解相機(jī)的內(nèi)外參數(shù)，再將求得的內(nèi)外參數(shù)作為已知帶入畸變模型，以剩余點(diǎn)的三維坐標(biāo)及像素坐標(biāo)作為輸入，用多元線性回歸最小二乘法對(duì)畸變參數(shù)進(jìn)行最優(yōu)化擬合。實(shí)驗(yàn)表明，該方法的定標(biāo)精度高，其平均像素誤差可達(dá)到10-2量級(jí)，同時(shí)算法運(yùn)算時(shí)間明顯縮短，能更好地滿足實(shí)際工業(yè)應(yīng)用的需求。

計(jì)算機(jī)視覺；立體定標(biāo)；鏡頭畸變；優(yōu)化算法

在計(jì)算機(jī)視覺研究中，相機(jī)充當(dāng)著獲取信息這一重要的角色。精確的相機(jī)定標(biāo)是建立一套性能優(yōu)良的立體視覺系統(tǒng)的前提。相機(jī)定標(biāo)［1-3］是利用相機(jī)成像的數(shù)學(xué)模型將三維空間點(diǎn)與其投影的二維圖像點(diǎn)聯(lián)系起來，并求取模型參數(shù)的過程。目前，定標(biāo)的方法大致可以分為三類：傳統(tǒng)的相機(jī)定標(biāo)、基于主動(dòng)視覺的相機(jī)定標(biāo)以及相機(jī)自定標(biāo)［4］。其中傳統(tǒng)相機(jī)定標(biāo)的精度高，且標(biāo)定過程簡(jiǎn)單便捷，廣泛應(yīng)用于工業(yè)建模等逆向工程。作為傳統(tǒng)相機(jī)定標(biāo)的代表，Abdel-Aziz等［5］于1971年建立了相機(jī)成像幾何的線性模型，并首次提出直接線性變換法來求解模型參數(shù)，但該方法并未考慮相機(jī)鏡頭的畸變帶來的誤差，需要進(jìn)行改進(jìn)。針對(duì)這一情況，Tsai［6］在論文中提出“兩步法”，首次引入徑向畸變來矯正鏡頭畸變，但由于求解線性模型時(shí)引入了畸變，使得得到的初值并不理想，解的魯棒性不高。此后，很多學(xué)者對(duì)Tsai兩步法進(jìn)行了研究和改進(jìn)，其中Weng［7］先求得內(nèi)外參數(shù)和畸變系數(shù)初值，再通過畸變參數(shù)和相機(jī)內(nèi)外參數(shù)互相修正，循環(huán)迭代，直至滿足精度要求，該方法克服了Tsai第一步引入誤差的缺點(diǎn)，但算法運(yùn)算時(shí)間較長(zhǎng)。徐杰［8］對(duì)Tsai求解過程進(jìn)行了改進(jìn)，使其適用于多種復(fù)雜的畸變情況，且定標(biāo)過程簡(jiǎn)單。作為傳統(tǒng)定標(biāo)方法的發(fā)展，以張正友為代表的學(xué)者［9-12］提出采用平面定標(biāo)板進(jìn)行定標(biāo)，但這種方法需要從不同角度拍攝多幅圖像，使得定標(biāo)過程較為復(fù)雜。

本文提出先利用畸變基本為零的中心點(diǎn)進(jìn)行第一步的相機(jī)內(nèi)外參數(shù)標(biāo)定，然后將內(nèi)外參數(shù)作為已知參數(shù)帶入畸變模型不斷迭代，求解畸變系數(shù)，這樣即可以保證定標(biāo)的精度，還能有效地提高解的魯棒性，縮短標(biāo)定所需的時(shí)間。

1 本文算法

1.1 定標(biāo)圖案中心點(diǎn)提取

1.1.1 定標(biāo)板的制作

本文采用立體定標(biāo)板，首先用激光打印機(jī)分別打印定標(biāo)板的左、右兩部分，然后將其貼在直角鑄件上，其中小圓點(diǎn)的直徑為4mm，大圓點(diǎn)的直徑為8mm，相鄰兩點(diǎn)距離為32mm，其模型圖如圖1所示。

圖1 定標(biāo)板模型圖

1.1.2 圖像預(yù)處理

1.2 相機(jī)定標(biāo)參數(shù)的求解

1.2.1 相機(jī)線性模型求解

根據(jù)相機(jī)的線性模型［16］通過三步坐標(biāo)變化建立世界坐標(biāo)系中點(diǎn)，與成像后數(shù)字圖像上的點(diǎn)建立一一對(duì)應(yīng)關(guān)系，變換的數(shù)學(xué)表達(dá)可寫成式（1）所示。

式中，(u0,v0)是相機(jī)成像平面的原點(diǎn)坐標(biāo)，dx和dy分別是相機(jī)成像平面橫向和縱向的像素分辨率，z是相機(jī)坐標(biāo)與圖像平面的距離，f是相機(jī)的焦距，rij(i=1,2,3;j=1,2,3)構(gòu)成坐標(biāo)系的旋轉(zhuǎn)矩陣，ti(i=x,y,z)構(gòu)成坐標(biāo)系的平移矩陣。

消去z可得約束條件，如式（2）所示。

由上式可知，對(duì)于每個(gè)點(diǎn)均可得到兩個(gè)約束條件，方程中含有12個(gè)未知數(shù)，因此只需要6個(gè)點(diǎn)即可求解方程。由式（1）可知，M矩陣乘以任何不為零的常數(shù)并不影響 (Xw,Yw,Zw)和 (u,v)的關(guān)系［17］，因此可令m34=1，將圖像中心點(diǎn)附近的6個(gè)特征點(diǎn)坐標(biāo)帶入上式，然后通過奇異值分解求解系數(shù)矩陣的廣義逆矩陣，進(jìn)而求得M矩陣，由M和相機(jī)內(nèi)外參矩陣對(duì)比，用式（3）求得相機(jī)的內(nèi)外參數(shù)

1.2.2 相機(jī)畸變模型求解

由于本文使用的是廣角鏡頭，因此引入徑向、離心和薄棱鏡三種畸變模型來矯正鏡頭的非線性畸變?；兡Ｐ捅磉_(dá)式如式（4）所示：

上述畸變模型中均以理想成像點(diǎn)的橫縱坐標(biāo)作為自變量，然而在實(shí)際的定標(biāo)過程中，上位機(jī)讀取到的二維坐標(biāo)是實(shí)際成像點(diǎn)的二維坐標(biāo)，已經(jīng)包含了畸變部分，因此需要對(duì)上述畸變模型進(jìn)行自變量替換。

整理后可得最終的畸變模型數(shù)學(xué)描述，如式（6）所示：

其中，g1=s1+p1,g2=s2+p2,g3=2p1,g4=2p2

將1.2.1中所求的相機(jī)內(nèi)外參數(shù)和定標(biāo)板上剩余點(diǎn)的三維坐標(biāo)及相應(yīng)的二維像素坐標(biāo)帶入式（6），整理可得所要求解方程的矩陣形式，如式（7）所示。

2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境為64位Windows7系統(tǒng)，處理器為Intel（R）Core（TM）i5-4590 CPU@3.30GHz內(nèi)存為8.00GB，算法采用Microsoft Visual Studio 2010開發(fā)環(huán)境實(shí)現(xiàn)。相機(jī)為M2S系列工業(yè)相機(jī)，其焦距為3.85mm，最大分辨率800x600，像素尺寸為3.75μm，用USB與計(jì)算機(jī)連接。

2.1 定標(biāo)板圓形圖案中心點(diǎn)提取

定標(biāo)板圓形圖案中心提取結(jié)果如表1所示。

2.2 相機(jī)定標(biāo)

由參數(shù)求解可得定標(biāo)結(jié)果，同時(shí)利用Tsai兩步法和Weng迭代法進(jìn)行定標(biāo)，對(duì)比結(jié)果如表2所示。

表1 圓形圖案中心點(diǎn)提取如下表（70個(gè)點(diǎn)）

表2 標(biāo)定結(jié)果對(duì)比

圖2 定標(biāo)算法對(duì)比

由定標(biāo)對(duì)比結(jié)果可以看出，本文算法的定標(biāo)結(jié)果與Tsai兩步法和Weng迭代法基本相同，而且本算法所需時(shí)間為Tsai兩步法時(shí)間的二分之一，是Weng迭代法的三分之一，這是由于相較Tsai兩步法和Weng迭代法來說，本文算法迭代次數(shù)少，收斂較快。

3 結(jié)論

本文提出一種簡(jiǎn)易相機(jī)立體定標(biāo)方法，對(duì)傳統(tǒng)相機(jī)定標(biāo)做了進(jìn)一步發(fā)展與優(yōu)化。經(jīng)實(shí)驗(yàn)證明，該方法的定標(biāo)精度與傳統(tǒng)相機(jī)定標(biāo)方法相當(dāng)，同時(shí)縮短了定標(biāo)所需的時(shí)間，可以更好地滿足實(shí)際工業(yè)應(yīng)用的要求。

［1］江加和，趙玉俠.相機(jī)標(biāo)定中一種約束條件選擇方法［J］.光學(xué)精密工程，2000，8（4）:373-376.

［2］唐陽山，李江，張健，等.現(xiàn)場(chǎng)照相測(cè)量的相機(jī)標(biāo)定研究［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2005，28（3）:64-66.

［3］于秋水，郭輝，段潔，等.足球機(jī)器人視覺中的攝像機(jī)標(biāo)定研究［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，31（3）:31-34.

［4］邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺中相機(jī)定標(biāo)綜述［J］.自動(dòng)化學(xué)報(bào)，2000，26（1）:43-55.

［5］Abdel-aziz，Karara H M.Direct Linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry［J］.Proceedings of the Symposium on Close-Range Photogrammetry，1971（1）：1-18.

［6］Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses［J］.IEEE Trans on Robotics and Automation，1987，3（4）:323-344.

［7］WengJ，CohenP，HerniouM.Cameracalibrate with distortion modelsand accuracy evaution［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1992，14（10）:965-980.

［8］徐杰.機(jī)器視覺中攝像機(jī)標(biāo)定Tsai兩步法的分析與改進(jìn)［J］.計(jì)算機(jī)工程與科學(xué)，2010，32（4）:45-48.

［9］ZHANG Z.A flecible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysisamp;Machine Intelligence，2000，22（11）：1330-1334

［10］文濤，左東廣，李忠科，等.一種魯棒的高精度攝像機(jī)定標(biāo)方法［J］.計(jì)算機(jī)應(yīng)用研究，2015，32（11）：3489-3491

［11］楊曉紅，曾巒，翟優(yōu).一種簡(jiǎn)易標(biāo)定模板的攝像機(jī)標(biāo)定方法［C］.全國(guó)信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議會(huì)刊，2013.

［12］鄒建成，田楠楠.簡(jiǎn)易高精度的平面五點(diǎn)攝像機(jī)標(biāo)定方法［J］.光學(xué)精密工程，2017，25（03）:786-791.

［13］王曉凱.圖像椒鹽噪聲及高斯噪聲去噪方法研究［D］.上海：復(fù)旦大學(xué)，2010.

［14］梁肖，胡貞，呂曉玲，等.基于自適應(yīng)閾值的活體細(xì)胞圖像分割改進(jìn)方法［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2013（3-4）:138-140.

［15］郭延杰，白福忠，張鐵英，等.基于Radon變換與灰度重心法的環(huán)形目標(biāo)直徑測(cè)量方法［J］.激光與光電子學(xué)進(jìn)展，2015，52（08）:215-219.

［16］劉博宇，趙洋，楊進(jìn)華.一種改進(jìn)的相機(jī)線性標(biāo)定優(yōu)化方法［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，39（4）:90-96.

［17］馬頌德.計(jì)算機(jī)視覺—計(jì)算理論與算法基礎(chǔ)［M］.科學(xué)出版社，1998.

A Quick Method of Camera Stereo Calibration

LI Jian1，2，ZHU Wanbin1，ZHANG Shuang1，2，LU Xiu’e3
（1.State Key laboratory of Applied Optics，Changchun Institute of Optics Fine Mechanics and Physics，Changchun 130033；2.Chinese Academy of Sciences，Beijing 100039；3.Changchun Coherent Optics Electromechanical Technology Co.，Ltd，Changchun 130022）

Camera calibration is an important part of computer vision，and the accuracy and real-time performance of calibration directly affect its industrial applications.In order to realize fast and high-precision camera calibration，the imaging model and the solving method of model parameters were studied.During the studied，it is found that the distortion of area near the center of the camera plane can be neglected.In view of this discovery，a simple and fast camera stereo calibration method is proposed.Firstly，the points near the center of the imaging plane were used to be feature point to solve the internal and external parameters of the camera.Then，with these parameters known，the 3D coordinates and pixel coordinates of the remaining points were used as input to fit the distortion parameters through multiple linear regression minimum two multiplication optimization.The experimental results show that the calibration accuracy of this method is high，the average pixel error can reach 10-2orders，and the computing time of the algorithm is shortened obviously，which can better meet the needs of real industrial applications.

computer vision；stereo calibration；optimization algorithm

TP391.41

A

1672-9870（2017）05-0005-04

2017-09-25

吉林省重點(diǎn)科技成果轉(zhuǎn)化項(xiàng)目（20150307036G X,20150307039G X）

李健（1991-），男，碩士研究生，E-mail：459653857@qq.com

朱萬彬（1963-），男，副研究員，碩士生導(dǎo)師，E-mail：wanbinzhu@163.com