雙目攝像機(jī)標(biāo)定及校正算法

侯一民 洪梁杰

（東北電力大學(xué)自動(dòng)化工程學(xué)院，吉林 吉林 132012）

0 引言

近年來，隨著計(jì)算機(jī)性能的不斷提高和圖像處理技術(shù)的不斷突破，計(jì)算機(jī)視覺技術(shù)在健康醫(yī)療、智能監(jiān)控、機(jī)器人以及無人駕駛等諸多領(lǐng)域得到了廣泛的應(yīng)用。在計(jì)算機(jī)視覺研究領(lǐng)域，雙目立體視覺是一項(xiàng)非常重要的研究?jī)?nèi)容，其利用雙目攝像機(jī)模仿人眼，基于視差理論實(shí)現(xiàn)三維測(cè)距與定位。目前，雙目立體視覺得到了世界各國(guó)研究機(jī)構(gòu)的全力投入與支持，在理論以及實(shí)踐應(yīng)用方面取得了不錯(cuò)的成果。例如，微軟公司與美國(guó)華盛頓大學(xué)聯(lián)合研發(fā)了一套基于立體視覺技術(shù)的道路導(dǎo)航探測(cè)系統(tǒng)，該探測(cè)系統(tǒng)成功地應(yīng)用于復(fù)雜火星環(huán)境下的火星探測(cè)車“探測(cè)者號(hào)”的視覺導(dǎo)航。美國(guó)麻省理工學(xué)院將雙目立體視覺與雷達(dá)系統(tǒng)融合，并巧妙地將其應(yīng)用于道路交通領(lǐng)域。浙江大學(xué)開發(fā)出一種番茄采摘機(jī)器人，其使用雙目立體視覺技術(shù)有效地解決對(duì)遮擋番茄以及成簇番茄的識(shí)別和三維定位[1]。哈爾濱工業(yè)大學(xué)提出異構(gòu)雙目視覺系統(tǒng)，并將其成功應(yīng)用到了足球機(jī)器人的導(dǎo)航系統(tǒng)中[2]，這是一種結(jié)合了固定攝像機(jī)和可旋轉(zhuǎn)攝像機(jī)的異構(gòu)雙目模型，實(shí)現(xiàn)了在無傳感器工作的環(huán)境下保持基礎(chǔ)導(dǎo)航的功能。對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定與校正是研究立體視覺的前提，其標(biāo)定方法和立體校正方法對(duì)立體視覺系統(tǒng)的研究有非常重要的作用。

1 雙目攝像機(jī)標(biāo)定及立體校正

雙目視覺的基本原理是借助2個(gè)視點(diǎn)觀察同一景象來獲取在不同視角下的感知圖像，然后利用三角測(cè)量原理計(jì)算圖像像素間的視差，進(jìn)而重建其三維空間信息。該過程類似于人類視覺的立體感知過程。一個(gè)完整的雙目立體視覺系統(tǒng)可以分為數(shù)字圖像采集、相機(jī)標(biāo)定、圖像立體校正、立體匹配以及三維重建等。圖1展示了理想狀態(tài)下雙目平行的立體視覺三維模型。

如圖1所示，在理想狀態(tài)下，光學(xué)參數(shù)完全相同的左、右2臺(tái)攝像機(jī)都滿足線性成像模型，并且處在同一高度，左右光軸相互平行。左攝像機(jī)的坐標(biāo)系為Ol-xlylzl，其對(duì)應(yīng)的物理坐標(biāo)系為Ol-xlyl，其中xl、yl分別與左攝像機(jī)成像平面的豎直、水平方向垂直，Ol為光軸與左攝像機(jī)成像平面的交點(diǎn)；右攝像機(jī)的坐標(biāo)系為Or-xryrzr，其對(duì)應(yīng)的物理坐標(biāo)系為Or-xryr，其中xr、yr分別與右攝像機(jī)成像平面的豎直、水平方向垂直，Or為光軸與右攝像機(jī)成像平面的交點(diǎn)。在空間中任取一點(diǎn)P（X，Y，Z），點(diǎn)P在左右攝像機(jī)上的成像點(diǎn)分別以Pl（xl，yl），Pr（xr，yr）表示，f代表有效焦距，B為左右攝像機(jī)光心Ol、Or之間的距離，也稱作基線距離。在計(jì)算中假設(shè)左目相機(jī)的坐標(biāo)系與世界坐標(biāo)系重合，就能夠通過計(jì)算求得目標(biāo)在三維空間中的坐標(biāo)信息，如公式（1）所示。

圖1 雙目立體視覺系統(tǒng)三維模型

在公式（1）中，xl、xr代表點(diǎn)P在左右攝像機(jī)成像平面上所形成的視差d，即空間中一點(diǎn)在雙目圖像中的位置差異。圖2為雙目立體視覺系統(tǒng)深度計(jì)算的示意圖。

圖2 平行雙目視覺深度信息測(cè)量系統(tǒng)深度計(jì)算示意圖

如圖2所示，Ol、Or分別為光軸與左右攝像機(jī)成像平面的交點(diǎn)，Ol、Or為左右攝像機(jī)的光心，pl、pr為空間內(nèi)任一點(diǎn)P在左右攝像機(jī)上的成像點(diǎn)，Z表示深度。根據(jù)相似三角形的基本原理，可以推導(dǎo)出深度公式，如公式（2）所示。

由公式（2）可以得出深度與視差之間呈反比例，即求得的深度值隨著視差值的減小而增大；反之，得到的視差越大，求出的深度值則越小，如圖3所示。

圖3 深度與視差關(guān)系圖

通常先用單攝像機(jī)的標(biāo)定分別得到2個(gè)攝像機(jī)的內(nèi)、外參數(shù)，進(jìn)而得到物點(diǎn)與像點(diǎn)間的映射關(guān)系。攝像機(jī)標(biāo)定參數(shù)見表1。表1中A為相機(jī)的內(nèi)部參數(shù)矩陣；fx、fy為像平面中的有效焦距[3]，u0、v0為圖像的的中心點(diǎn)，即主點(diǎn)的像素坐標(biāo)，γ為相機(jī)2個(gè)坐標(biāo)軸之間的不垂直因子（理想情況下不垂直因子為0）；k1、k2為徑向畸變系數(shù)，p1、p2為切向畸變系數(shù)，R、T分別為攝像機(jī)位置變化的方向（旋轉(zhuǎn)矩陣）與位置（平移矩陣）關(guān)系。

表1 攝像機(jī)標(biāo)定參數(shù)

雙目立體視覺系統(tǒng)中最重要的一步就是匹配問題，即在右攝像機(jī)成像平面中尋找匹配點(diǎn)pr與左攝像機(jī)成像平面上的某點(diǎn)pl相對(duì)應(yīng)，為了避免在全局進(jìn)行掃描搜索，可以根據(jù)極線幾何理論，確保匹配點(diǎn)一定在待匹配點(diǎn)pl的對(duì)應(yīng)極線上，這樣就可以在極線上搜索并快速找到匹配點(diǎn)，從而實(shí)現(xiàn)高匹配精度和高準(zhǔn)確率的效果。

事實(shí)上，由于相機(jī)內(nèi)部構(gòu)造以及相機(jī)的擺放位置和方式都會(huì)對(duì)實(shí)驗(yàn)造成一些誤差，因此要保證2個(gè)攝像機(jī)的圖像的行對(duì)準(zhǔn)，使立體匹配更可靠、計(jì)算更可行，就還需要對(duì)圖像對(duì)進(jìn)行立體校正，從而確保2張圖像的極線能夠平行，且左右圖像對(duì)應(yīng)的像素在同一條直線上，提高匹配的可靠性和算法的效率。

目前關(guān)于立體校正的算法有Hartley和Bouguet算法，它們分別是針對(duì)未知參數(shù)和已知參數(shù)的校正方法。該文所選用的立體校正算法是Bouguet算法。

2 該文攝像機(jī)的標(biāo)定及校正方法

2.1 攝像機(jī)標(biāo)定結(jié)果與分析

該文采用黑白相間的棋盤作為標(biāo)定板，黑白方格相交的點(diǎn)稱之為角點(diǎn)，角點(diǎn)更有利于像素點(diǎn)的定位與測(cè)量。整個(gè)過程大致可以分為2個(gè)部分：1） 分別對(duì)左、右攝像機(jī)進(jìn)行單目相機(jī)標(biāo)定，得到左攝像機(jī)和右攝像機(jī)的標(biāo)定參數(shù)。2） 進(jìn)一步計(jì)算左右攝像機(jī)之間的旋轉(zhuǎn)矩陣和平移向量，完成立體標(biāo)定。圖4為該文的棋盤格標(biāo)定板，其大小為20 mm×20 mm，格數(shù)為6×11格。

圖4 棋盤格標(biāo)定板

2.1.1 圖像采集

首先固定攝像機(jī)；其次，在不同角度和位置采集棋盤格標(biāo)定板的圖像。為了能夠得到更加精確的標(biāo)定信息以及保證棋盤格在圖像中占有足夠比例，該實(shí)驗(yàn)設(shè)定采集10幅以上的標(biāo)定圖像。

2.1.2 角點(diǎn)提取

在采集待標(biāo)定圖像后，需要對(duì)圖像棋盤格的角點(diǎn)進(jìn)行提取和檢測(cè)。圖5是一幅左目圖像的角點(diǎn)提取結(jié)果，即棋盤方格中小正方形的4個(gè)頂點(diǎn)，圖中黑色方框所涵蓋的范圍是角點(diǎn)所在的區(qū)域，叉號(hào)表示識(shí)別出來的角點(diǎn)，該結(jié)果共提取了66個(gè)角點(diǎn)，選取左上角的第一個(gè)角點(diǎn)作為世界坐標(biāo)系的坐標(biāo)原點(diǎn)，Z軸垂直于模板平面，并且指向模板外，根據(jù)右手規(guī)則確定X、Y軸，創(chuàng)建世界坐標(biāo)系，棋盤格平面就是世界坐標(biāo)系的平面。

圖5 角點(diǎn)提取結(jié)果

2.1.3 算法標(biāo)定

攝像機(jī)標(biāo)定圖像采集，完成角點(diǎn)提取步驟后，再進(jìn)行張正友算法標(biāo)定。該標(biāo)定方法是介于傳統(tǒng)標(biāo)定算法與自標(biāo)定算法之間的一種靈活度與準(zhǔn)確性比較高的方法，其標(biāo)定過程如下：首先，攝像機(jī)采用線性成像模型，在不考慮光學(xué)畸變的情況下通過單應(yīng)性矩陣求出攝像機(jī)的標(biāo)定參數(shù)；其次，引入畸變模型，求解出在線性模型下的相關(guān)參數(shù)；最后，將參數(shù)作為初始值對(duì)其進(jìn)行非線性化優(yōu)化，獲取最終的模型標(biāo)定參數(shù)。因?yàn)閷?shí)驗(yàn)中標(biāo)定圖像大小是1280×720dpi，所以理想主點(diǎn)坐標(biāo)應(yīng)為圖像的中心位置，即（640，360）；而標(biāo)定結(jié)果左右圖像的主點(diǎn)坐標(biāo)分別為（690，368）和（669，377），雖然與理想標(biāo)定結(jié)果有一定的誤差，但是都在合理的誤差范圍內(nèi)。

雙目相機(jī)標(biāo)定參數(shù)中的旋轉(zhuǎn)矩陣R表示雙目相機(jī)的旋轉(zhuǎn)關(guān)系，可以通過Rodrigues算法轉(zhuǎn)換為矩陣形式。平移向量T代表右目相機(jī)相對(duì)于左目相機(jī)的距離（該文以左目相機(jī)為坐標(biāo)軸原點(diǎn)），該文所用的雙目相機(jī)的基線距離為43 mm，與標(biāo)定結(jié)果42.9 mm近似相等，其他2個(gè)方向的距離很小，與實(shí)際情況相符。

2.2 立體校正實(shí)現(xiàn)

該文利用Open CV工具箱對(duì)圖像進(jìn)行圖像剪裁、Bouguet校正以及消除畸變等操作。首先，利用徑向和切向畸變系數(shù)矯正圖像對(duì)；其次，輸入標(biāo)定參數(shù)，并用stereo Rectify函數(shù)與initUndistort-Rectify Map函數(shù)得到平移與旋轉(zhuǎn)參數(shù)；最后，用remap函數(shù)得到校正后的圖像對(duì)。立體校正前、后的圖像對(duì)如圖6和圖7所示。

對(duì)比圖6和圖7可以看出，經(jīng)過校正的圖像實(shí)現(xiàn)了左右2幅圖像的行對(duì)齊，每一行都能夠沿著極線在水平方向上對(duì)齊。

圖6 未經(jīng)校正前的圖像

圖7 立體校正后的圖像

3 結(jié)論

該文首先介紹了雙目立體視覺的基本原理；其次闡述了關(guān)于相機(jī)標(biāo)定和立體校正的相關(guān)內(nèi)容；再次，詳細(xì)介紹了相機(jī)標(biāo)定實(shí)驗(yàn)，并針對(duì)相關(guān)圖像數(shù)據(jù)進(jìn)行分析；最后，通過OpenCV中提供的相關(guān)函數(shù)并結(jié)合標(biāo)定參數(shù)對(duì)雙目圖像進(jìn)行立體校正，實(shí)現(xiàn)了行對(duì)齊。該文完成了雙目立體視覺研究的前期工作，即通過標(biāo)定方法獲取標(biāo)定參數(shù)，利用標(biāo)定參數(shù)完成圖像對(duì)的立體校正，使圖像對(duì)實(shí)現(xiàn)行對(duì)齊。在雙目立體視覺研究的后期，還需要使用立體匹配算法，通過視差值的計(jì)算得到圖像對(duì)的深度圖，進(jìn)而根據(jù)成像原理和雙目測(cè)距原理實(shí)現(xiàn)三維重建。

該文在實(shí)際的標(biāo)定過程中，遇到的實(shí)驗(yàn)條件可能是復(fù)雜多變的，為了獲得更加準(zhǔn)確的成像效果，需要不斷調(diào)整攝像機(jī)的焦距，從而使攝像機(jī)的內(nèi)外參數(shù)發(fā)生了變化。因此，接下來在相機(jī)標(biāo)定方面的研究重點(diǎn)主要在于對(duì)圖像的快速自標(biāo)定方法進(jìn)行研究，進(jìn)而提高標(biāo)定的實(shí)時(shí)性。