攝像機標定的研究

曾令虎，劉 鵬

(武漢工業(yè)學院數(shù)理科學系，武漢430024)

本文根據(jù)標定過程中是否需要標準的標定物來將標定方法分為三大類:傳統(tǒng)的攝像機標定方法、自標定方法和基于主動視覺的標定方法。

傳統(tǒng)的攝像機標定方法需要借助已知的標定物，即知道標定物的形狀和尺寸，通過對標定物進行拍攝，然后對其圖像進行處理后，利用數(shù)學變換和計算方法來建立圖像與實際標定物之間的關(guān)系模型來計算攝像機的內(nèi)外參數(shù)。這些傳統(tǒng)的方法首先來源于攝影測量學中的傳統(tǒng)方法。Faig在文［1］中利用針孔攝像機模型的共面約束條件，對每一幅圖像上的點與對應物點之間用至少17個參數(shù)來描述它們之間的關(guān)系從而建立方程組，通過解方程組來得到相機的參數(shù)。但是這種方法的計算量非常大，經(jīng)常無法得到正確的計算結(jié)果。Abdai－Aziz和 Karara［2］于20世紀70年代初提出了直接線性變換的攝像機標定方法，該方法可以直接通過計算線性方程就能計算出攝像機參數(shù)。但是前面這兩種方法完全都沒有考慮圖像成像過程中的畸變情況，所以誤差比較大。后來的方法都考慮到了攝像機成像過程中的畸變情況，因此非線性攝像機標定方法就應運而生了。文獻［3］提出了一種簡單快速的鏡頭畸變參數(shù)標定方法，該方法考慮一階徑向畸變的情況，只需要空間共線的4個點的圖像坐標和其交比，利用透視投影中的交比不變性質(zhì)，建立一元二次方程即可計算出畸變參數(shù)。為了避免非線性優(yōu)化方法中的不穩(wěn)定性，文獻［4］提出一種先對圖像進行校正然后進行線性標定的方法。非線性標定方法雖然考慮了鏡頭的畸變，但是其計算過程繁雜，經(jīng)常不能得到精確解。于是Tsai［5］于1986年提出了一種實用的兩步定標算法，先不考慮畸變，利用透視變換計算出初始參數(shù)，然后在考慮畸變的情況下利用這些參數(shù)繼續(xù)求解精確解。但是這種方法只考慮了徑向畸變，而且設備精度要求很高，對于簡單標定并不適用。Weng［6］對兩步法做出了重要的改進和發(fā)展，即同時考慮了兩種畸變并給出了相應的算法。2000年，Zhang［7］提出了一種基于平面模板的標定方法，該方法借助一個具有精確定位點陣的標定模板，通過單個以上不同方位的模板圖像與模板進行匹配，利用單應矩陣計算出內(nèi)參數(shù)。該方法簡單易行，而且可求解鏡頭的畸變因子，然而這種方法需要人工地提取每幅圖像的角點進行匹配，不利于標定自動化的實現(xiàn)。在此基礎上，很多學者提出了其它各種基于平面模板的標定方法。比如文獻［8］提出一種利用改進的SUSAN算法能夠自動完成角點坐標的匹配的攝像機模型;全紅艷等［9］提出的方法中的所采用的標定板為正方形及四邊上的中點;文獻［10］提出以圓心作為標定點的2D平面模板;吳福朝、王光輝［11］采用兩個非平行矩形作為模板同樣完成了對攝像機內(nèi)參數(shù)的標定;文獻［12］提出采用平面二維正弦灰度調(diào)制條紋圖作為標定板;胡釗政［134采用的標定模板是圓心和半徑都未知的兩相交的圓;孟曉橋等人［14］采用一種由圓和通過圓心的若干條直線作為標定模板完成了標定工作;文獻［15］在此基礎上提出了一種基于單一矩形的平面標定模板;文獻［16］提出以具有兩個相似圖形的平面模板實現(xiàn)標定的方法等等。這些對于標定方法的改進，進一步促進了攝像機標定工作的發(fā)展。其它的基于平面的標定方法還有雙平面法。Martins等［17］首先提出了雙平面模型;馬頌德和魏國慶［18］在利用雙平面模型標定攝像機參數(shù)方面做了大量的研究工作。同樣，也有很多學者提出了基于一維參照物的標定方法［19-25］。一維參照物只需要由三個或者更多已知相對位置的線性點構(gòu)成，然后通過觀察一維參照物的運動，求解出相機的內(nèi)外參數(shù)。隨著機器視覺理論的完善，后來又有研究者提出并不斷完善了基于圓球的標定方法。在針孔相機模型下，Teramote和Xu［26］利用圓球投影與絕對二次曲線之間的的代數(shù)關(guān)系，提出一種基于絕對二次曲線的非線性優(yōu)化算法來標定攝像機的內(nèi)參，但是不足之處是需要預估初值。Agrawal和 Davis［27］利用二次曲線與圓球投影的對偶之間的關(guān)系，使用半定規(guī)劃標定出攝像機內(nèi)參數(shù)。該方法雖然也涉及部分的非線性算法，但是相比Teramote的算法不需要估計參數(shù)初值。接著Zhang［28］等人在Agrawal等人方法的基礎上提出一種線性算法，利用特征值方法回避半定規(guī)劃。Ying［29］等人則利用 double－ contact定理解釋圓球投影與絕對二次曲線投影的代數(shù)關(guān)系和幾何關(guān)系。

自標定是由 Faugeras，Luong，Maybank 等［30-31］于上世紀末提出的。自標定方法不需要標準的標定物，即在場景未知和攝像機運動的情況下標定也能夠?qū)崿F(xiàn)。Faugeras等從射影幾何的角度證明了任何兩幅圖片之間都存在著兩個二次非線性約束，這兩個約束組成了Kruppa方程組，通過求解該方程組就能得出攝像機內(nèi)參數(shù)。但是由于解這個方程組存在著很大困難，于是又有學者提出了分層逐步標定的方法，代表性的方法有 Triggs的絕對二次曲面法［33］、Hartley 的 QR 分解法［32］、Pollefeys 的模約束法等［34］。在考慮到實際應用中內(nèi)參數(shù)實時可變的情況，人們進一步提出了內(nèi)參數(shù)可變情況下的自標定的概念。Heyden，Ustr9m，Pollefeys等［35］從理論上證明了在內(nèi)參數(shù)滿足一定條件下的攝像機自標定方法的可行性。Pollefeys等［36］提出了一種模約束法的自標定方法，具有較強的實用性。由于所有的自標定方法都只與攝像機內(nèi)部參數(shù)有關(guān)系，與外部環(huán)境與攝像機的運動都無關(guān)，所以自標定方法比其他方法更為靈活。

基于主動視覺的攝像機標定是自標定方法的重要分支，它通過控制攝像機的運動獲得多幅圖像，通過確立這些圖像與攝像機運動軌跡之間的關(guān)系來標定攝像機的內(nèi)外參數(shù)。目前基于主動視覺的標定方法中具有代表性的方法有馬頌德等［37］提出的基于兩組三正交運動的線性方法、楊長江等［38］提出的基于四組平面正交以及五組平面正交運動來標定的方法、于洪川［39］提出的三次不共面的平移運動的標定方法?；谥鲃右曈X的標定方法算法簡單，可以獲得線性解，缺點是該標定方法需要有可以精確控制攝像機運動的儀器，儀器昂貴，花費代價比較高，在一般場合不適用。

1 傳統(tǒng)攝像機標定模型

傳統(tǒng)的攝像機標定是需要借助已知的標定物，即知道標定物的尺寸和形狀，然后通過建立標定物上的點與拍攝其所得圖像上的對應點之間的對應關(guān)系所得的數(shù)學模型來標定攝像機內(nèi)外參數(shù)，主要有以下四種方法。

1.1 直接線性變換

直接線性變換就是用透視投影矩陣的形式來表示出像點與物點之間的幾何關(guān)系:

其中(u，v，1)T即為圖像上的點在圖像坐標系下的坐標，P為從空間到圖像的透視投影矩陣，(Xw，Yw，Zw)T為世界坐標系下的空間點的歐氏坐標，s為未知尺度因子。

上式經(jīng)過化簡消去s可以得到以下方程組:

p11Xw+p12Yw+p13Zw+p14－(p31uXw+p32uYw+p33uZw+p34u)=0.

p21Xw+p22Yw+p23Zw+p24－(p31uXw+p32uYw+p33uZw+p34u)=0.

每一個對應點就會有對應以上一個方程組，則當有N組點時，就可以產(chǎn)生2N組這樣的方程組:A L=0，其中A為2N×12的矩陣，L為透視投影矩陣 P 中的元素組成的向量:［p11，p12，p13，p14，p21，p22，p23，p24，p31，p32，p33，p34］T。標定的目的就是求合適的透視投影矩陣，即L使得方程組‖AL‖最小。其中約束條件為:

其中L＇為L的前11個元素組成的向量，C為A前11列組成的矩陣，B為A第12列組成的向量。

1.2 RAC 定標方法

RAC定標方法是Tsai于1986年提出的基于徑向約束的兩步標定法。首先給出圖像成像過程中的圖像與物點之間的關(guān)系模型。當考慮圖像成像過程中的徑向畸變時，理想圖像坐標到數(shù)字圖像坐標的變換為:

(x－uc)(1+k1(u2+v2))=u－uc.

(y － vc)(1+k1(u2+v2))=v－ vc.(u，v)為一個點的數(shù)字化坐標，(x，y)為理想的數(shù)字化坐標，(uc，vc)為畸變中心。約束條件采用徑向一致約束條件:即在圖像平面上，點 (x，y)，(uc，vc)，(u，v)共線，或者直線 (x，y)(uc，vc)與直線(uc，vc)(u，v)平行或斜率相等，則有:通常把圖像中心取作畸變中心和主點的坐標，則

定標算法分為兩個步驟:先利用徑向一致約束來求解 R，t1，t2和 s，然后再求解有效焦距 f，z方向上的平移t3和畸變參數(shù)k1。

1.3 平面標定法

平面標定法是一種新的適合應用的靈活的新的方法，該方法也是采用針孔模型，但是它與傳統(tǒng)的標定方法不同之處在于該方法假定平面圖板在世界坐標系中的Z方向為0，即只考慮X和Y軸構(gòu)成的平面圖像。該方法的基本模型如下:

因為是平面標定法，所以所采用的實物點是平面上的點，即Z坐標軸取0。在上式中，K為攝像機的內(nèi)參數(shù)矩陣，即我們需要求的參數(shù)矩陣。為所采用的標定板平面上點的齊次坐標，為標定板上的點投影到圖像平面上對應點的齊次坐標，[r1r2r3]和t分別是攝像機坐標系相對于世界坐標系的旋轉(zhuǎn)矩陣和平移向量，當取Z坐標軸為0時變換矩陣變?yōu)镠，則有以下式子:

由于攝像機有5個未知的參數(shù)，所以至少有三幅圖像時就能計算出內(nèi)參數(shù)矩陣K。

1.4 雙平面標定法

雙平面模型不像針孔模型那樣需要所有投射到像平面上的光線必須經(jīng)過光心，它通過成像平面上的任意一點分別計算出兩個定標平面上對應點的位置，然后通過這三個點則可以確定產(chǎn)生成像點的光線，其模型如圖1所示。

圖1 雙平面標定模型

對圖1中的兩個定標平面，可以利用一組定標點建立各自的插值公式。線性近似時，定標平面上相應點坐標可以表示成圖像點坐標的線性組合，計算公式為 pi=Ai× L，i=1，2 。這里 L=(u，v，1)T是圖像齊次坐標;pi=(xi，yi，zi)T是第 i個定標平面上相應點;Ai是一個3×3的回歸參數(shù)矩陣。所以當每個平面至少已知三個點時能夠通過最小二乘法計算出Ai的值，求解公式為:

A=p × LT× (L × LT)－1.

2 自標定算法

2.1 直接求解Kruppa方程的自標定

Faugeras等人利用絕對二次曲線像和極線變換的概念推導出了Kruppa方程，然后提出了通過求解Kruppa方程來求解相機內(nèi)參數(shù)的自標定方法。

由圖2我們可以看出，在光心所對應的兩個平面平面1和平面2上分別存在著兩條極線(l1與)與絕對二次曲線分別在兩個平面上的投影ω，ω＇相切。由射影定理得知，這兩組極線分別對應于無窮遠平面上與絕對二次曲線Ω相切的兩條極線l1μ，l2μ，這種對應關(guān)系被稱作極線變換?，F(xiàn)如果將平面1上的極線l1表示成e×m，而平面2上的對應極線表示為Fm，則根據(jù)極線變換有以下式子成立:

(e× m)KKT(e× m)=mT［e］TKKTm?

FmTKKT(Fm)=mTFTKKTFm，?m.

即得到Kruppa方程:

式中[e]x表示矢量的反對稱矩陣。則由圖2知可以從兩個平面分別得到一個Kruppa方程，所以當給定3幅圖像時，可以聯(lián)立兩個Kruppa方程解出攝像機的全部5個內(nèi)參數(shù)。

圖2 示意圖

由圖2可看到，圖2通過光心C，C＇且與無窮遠平面πμ的絕對二次曲線Ω相切的兩個平面必定同時滿足與Ω的象ω，ω＇相切。

2.2 分層逐步標定法

分層逐步標定法的過程共分為兩步，首先對圖像序列進行射影重建，然后在射影重建了的圖像序列上進行仿射標定和歐式標定。在這里給出一種具有代表性的模型:Hartley方法。

Hartley方法是直接對攝像機投影矩陣進行QR分解的自標定方法。該方法的第一步是做射影重建，經(jīng)過射影對齊后獲得投影矩陣序列。這種自標定的主要目標就是找到合適的射影變換HE，將pi變換到歐式空間下的投影矩陣，即:

將(3)式帶入到(2)式中，只取前三列得到:

Hartley方法的最大特色是利用QR分解方法消去旋轉(zhuǎn)矩陣R。在面對當具有較長輸入序列時，該方法能夠取得較好的效果;但是不足之處是必須預估其初值，而且不能保證其收斂性。

2.3 基于絕對二次曲面的自標定

在提到絕對二次曲線之前，首先引入絕對二次曲線的概念。在擴展歐式坐標系中，絕對二次曲線被定義為無窮遠平面上的一個虛二次曲線，令x=(X，Y，Z)T是它平面上的任一點，則x滿足X2+Y2+Z2=1，t=0 .

絕對二次曲面Ω*是空間中一個特殊的虛二次曲面。從代數(shù)角度考慮，Ω*在擴展歐氏坐標系中的二次型為

絕對二次曲面Ω*對應著圖像上的絕對二次曲線像的對偶ω*，則

對(7)式兩邊矩陣的對應項做叉乘消去λi以避免不同圖像的不同λi對方程的影響:

然后通過聯(lián)立求解(8)式組成的方程組可以計算出攝像機參數(shù)。

該方法在本質(zhì)上與基于Kruppa方程的方法都是利用了絕對二次曲線在歐式變換下的不變性?；贙ruppa方法在輸入更多圖像對時，無法保證無窮遠平面的一致性，而本方法卻保證了無窮遠平面對所有圖像的一致性，所以具有更好的穩(wěn)定性。

3 基于主動視覺標定方法

所謂的主動視覺系統(tǒng)是指控制攝像機在運動中獲得多幅圖像，然后利用它的運動軌跡以及獲得的圖像之間的對應關(guān)系來標定攝像機參數(shù)。在本文筆者僅僅提出其中一種方法:基于平面單應矩陣的正交運動方法。

假定t(1)，t(2)是攝像機一組正交的平移運動，則有以下兩個單應矩陣:

4 結(jié)束語

本文總結(jié)了攝像機標定的發(fā)展現(xiàn)狀，列出了主流的幾種攝像機標定的幾何模型以及解法。正如前面所述，傳統(tǒng)的攝像機標定方法需要一個標準的參照物，通過參照物與其圖像之間的對應關(guān)系來建立攝像機模型從而確定攝像機參數(shù)，考慮到拍攝過程中出現(xiàn)的畸變情況，同時還需確定非線性畸變校正模型的參數(shù)來提高計算精度。當前，對傳統(tǒng)攝像機標定技術(shù)的研究集中在如何提高計算的精度和如何選擇合適的標定物。對于如何提高計算非線性方程組的計算精度，有很多學者提出了多種解非線性方程組的方法，如神經(jīng)網(wǎng)絡、遺傳算法以及神經(jīng)網(wǎng)絡和遺傳算法相結(jié)合的方法等等。這些方法對于解非線性方程的精度都有一定的提高。

自標定技術(shù)不同于傳統(tǒng)的標定技術(shù)，它不需要特定的標定物，只需要利用從多幅圖像中得到的約束關(guān)系來建立標定模型。由于不需要特定標定物，所以使得該方法能夠在線地、實時地校正攝像機參數(shù)。但是該方法的最大缺陷是圖像受周圍環(huán)境的影響很大，帶來標定的結(jié)果的精度不高，魯棒性不好。這個是自標定領(lǐng)域研究中需要解決的問題。

主動視覺標定方法從另外一個方面建立了一種標定模型，它通過將攝像機固定在可以精確控制的控制臺上，通過控制攝像機的移動獲得多幅圖像，根據(jù)攝像機的移動軌跡和獲得的圖像之間的對應關(guān)系建立標定模型。但是這種方法的不足之處是必須精確控制攝像機的運動，否則計算精度很難保證。

通過對幾種主要的攝像機標定方法進行比較綜述之后，筆者發(fā)現(xiàn)攝像機標定方法已經(jīng)從當初的點對點之間的對應關(guān)系來建模標定模型發(fā)展到現(xiàn)在線對線以及圓對圓等各種新的改進的模型，但是所有這些模型都有一個缺陷就是穩(wěn)定性不強，即當一個點或者線有一定的偏差之后，對計算結(jié)果會有很大的影響，所以提出一種穩(wěn)定性強，受圖像匹配效果影響小的標定方法是當前很好的一個研究方向。

［1］Faig W.Calibration of close-range photogrammetric systems:mathematical formulation.Photogrammetric eng［J］.Remote sensing，1975，41(12):1479-1486.

［2］A bdel-Aziz Y I，Karara H M.Direct linear transformation into object space coordinates in close-range photogrammetry［J］.Proc Symposi-um on Close_range Photogrammetry，1971:1-18.

［3］賀俊吉，張廣軍，楊憲銘.基于交比不變性的鏡頭畸變參數(shù)標定方法［J］。儀器儀表學報，2004，25(5):597-599.

［4］鄭榜貴，田炳香，段建民.基于交比不變量的攝像機標定方法［J］.北京工業(yè)大學學報，2008，34(5):476-480.

［5］TsaiR Y.An efficnentand accurate camera calibration technique for 3D machine vision［J］.Proc CV PR＇86:364-374.

［6］伍雪冬，蔣新華，李建興.計算機視覺中傳統(tǒng)攝像機標定方法綜述［J］.福建工程學院學報，2007，5(1):57-61.

［7］Zhang ZY.A flexible new technique for camera calibration［J］.IEEE Transaction on pattern A-nalysis and Machine Intelligence，2000，22(11):1330-1334.

［8］王曉華，傅衛(wèi)平.一種改進的攝像機標定方法［J］.東北林業(yè)大學學報，2007，35(6):51-53.

［9］全紅艷，張?zhí)镂?一種新的利用模板進行攝像機自標定的方法［J］.電子學報，2005，33(11):1941-1945.

［10］劉金頌，原思聰，張慶陽，等.雙目立體視覺中的蛇形跡標定技術(shù)研究［J］.計算機工程與應用，2008，44(6):237-239.

［11］吳朝福，王光輝，胡占義.由矩形確定攝像機內(nèi)參數(shù)與位置的線性方法［J］.軟件學報。2003，14(3):703-712.

［12］劉元坤，蘇顯渝，吳慶陽.基于傅立葉條紋分析的多攝像機標定方法［J］.光子學報，2007，36(9):1734-1737.

［13］胡釗政，談正.利用二次曲線擬合和圓環(huán)點進行攝像機標定［J］.西安交通大學學報，2006，40(10):1065-1068.

［14］Meng X Q，HU Z Y A new easy camera calibration technique based on circular points［J］.Pattern Recognition，2003，36(5):1155-1164.

［15］孫瑾，顧宏斌.矩形模板下攝像機標定和目標定位方法研究［J］.小型微型計算機系統(tǒng)，2008，9(9):1740-1744.

［16］李欣菊，祝海江，吳福朝.基于平面相似圖形的攝像機標定方法［J］.模式識別與人工智能，2004，17(4):457-461.

［17］Martins H A，Birk JR，Kelley R B.Camera models based on data from two calibration planes［J］.Computer Graphics and Imaging Processing，1981，17:173-180.

［18］Wei G Q，Ma SD.Implicit and explicit camera calibration theroy and experiments［J］.IEEE Transcation on Pattern Analysis and Machine Intelligence，1994，16:469-480.

［19］Cao X，F(xiàn)oroosh H Camera calibration without metric information using 1D Objects［J］.International Conference on Image Processing，2004，(2):1349-1352.

［20］Hammarstedt P，Sturm P，Heyden A.Degenerate cases and closed-form solutions for camera calibration with one-dimensional objects［J］.10th IEEE International Conference on Computer Vision，2005，(1):317-324.

［21］He X.Estimation of internal and external parameters for camera calibration using 1D pattern［J］.Proceedings of IEEE International Conference on Video and Signal Based Surveillance(AVSS＇06)，IEEE Computer Society，Los Alamitos，CA，USA，2006:93-93.

［22］Zhang Z.Camera calibration with one-dimensional objects［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.2004，26(7):892–899.

［23］Wu FC，Hu Z Y ，Zhu H J.Camera calibration with moving one-dimensional objects［J］.Pattern Recognition.2005，38(5):755 – 765.

［24］Qi F.Camera calibration with one-dimensional objectsmoving under gravity，Pattern Recognition［J］.2007，40(1):343 – 345.

［25］Qi F.Constraints on generalmotions for camera calibration with one-dimensional objects［J］.Pattern Recognition，2007，40(6):1785 –1792.

［26］Teramote H，Xu Gang.Camera Calibration by a Single Image of Balls:From Conics to the Absolute Conic［J］.ACCV2002.

［27］Agrawal M，Davis L S.Camera Calibration U-sing Sphere:A Semidefinite Programming Approach［J］.Computer Vision Proceeding，2003(2):782-789.

［28］Hui Zhang，Wang K Y K，Zhang Guoqiang.Camera Calibration from Images of Spheres［J］.IEEE Trans on PAMI，2007，3(29):499-503.

［29］Ying XiangHua，Zha Hongbin.Geometric Interpretations of the Relation between the Image of the Absolute Conic and Sphere Images［J］.IEEE Trans on PAMI，2006，12(28):2031-2036.

［30］Faugeras O，Luong Q T，Maybank S.Camera self-calibration:Theory and experiments［Z］.Proceedings of the 2ndEuropean Conference on Computer Vision，Italy，1992:321-334.

［31］Maybank S，F(xiàn)augeras O.A theory of self-calibration of amoving camera［J］.Internation-al Journal of Computer Vision，1992，8(2):123-151.

［32］Hartley R.Euclidean reconstruction and invariants from multiple images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16(10):1036-1041.

［33］Triggs B.Auto-calibration and the absolute quadric［Z］.Proceedings of Computer Vision and Pattern Recognition，San Juan Puerto Rico，1997:609-614.

［34］Pollefeys M，Van Gool L，Oosterlinck A.The modulus constraint:A new constraint for selfcalibration［Z］.Proceedings of International Conference of Pattern Recognition，Vienna，1996:349-353.

［35］Heyden A.Euclidean reconstruction from image sequences with varying and unknown focal length and principal point［Z］.Proceedings of Computer Vision and Pattern Recognition，London，1997:438-443.

［36］PollefysM，Koch R，Van Gool L.Self-calibration and metric reconstruction in spite of varying and unknown internal camera parameters［Z］.Proceedings of the 6thInternational Conference on Computer Vision，India，1998:90-95.

［37］Ma SD.A self-calibration technique for active vision system［Z］.IEEE Trans Robotics and Automation，1996，2.

［38］Yang C J，Wang W，Hu Z Y.An active vision based self-calibration technique［J］.Chinese Journal of Computers，1998，21(5):428-435.

［39］于洪川，吳福明，袁波.基于主動視覺的攝像機自標定方法［J］.機器人，1999，21(1):1-7.