單視圖多約束相機內(nèi)參統(tǒng)一計算方法

王美珍，劉學(xué)軍，劉 丹

（南京師范大學(xué)虛擬地理環(huán)境教育部重點實驗室，江蘇南京 210046）

一、引 言

攝像機標(biāo)定源于20世紀(jì)早期的攝影測量學(xué)，其后分別經(jīng)歷了傳統(tǒng)攝像機標(biāo)定、主動式攝像機標(biāo)定和攝像機自標(biāo)定3個階段，是機器視覺、攝影測量學(xué)、計算機視覺等領(lǐng)域的重要命題。傳統(tǒng)攝像機標(biāo)定依賴精密的標(biāo)定物和三維特征點信息獲取設(shè)備，精度高，但過程復(fù)雜，計算量大；主動式標(biāo)定無需標(biāo)定物，通過控制攝像機作特定運動，由多幅像片獲取多約束方程，從而解算出內(nèi)參，方便快捷，但仍對拍攝過程有限制，不具通適性；攝像機自標(biāo)定則是完全利用像片自身約束進(jìn)行標(biāo)定，對攝像機的位置、運動及場景都沒有要求，缺點則是魯棒性差，精度不高［1-3］。

攝像機自標(biāo)定方法一般是利用多視圖間的幾何約束，在多視圖之間同名點匹配的基礎(chǔ)上，非線性求解攝像機內(nèi)參數(shù)，如基于Kruppa方程方法、基于絕對二次曲線和絕對對偶二次曲面的方法等。Kruppa方程對噪聲異常敏感，不具有魯棒性，若要進(jìn)行非線性優(yōu)化，則難以獲取穩(wěn)定且唯一的解，有時甚至無解。因此需要發(fā)展一種方法，無需圖像之間的匹配，僅僅依靠單幅圖像中提供的幾何信息獲取約束方程，通過單獨解算或聯(lián)立多個方程求解內(nèi)參。針對這一目標(biāo)，本文總結(jié)了不同的變量對相機內(nèi)參的約束，并通過對不同的幾何特征、不同的計算方法進(jìn)行統(tǒng)一的表達(dá)和計算，提出了統(tǒng)一的單視圖圖像相機標(biāo)定的方法。

二、不同變量對相機內(nèi)參的約束

1.攝像機的標(biāo)定矩陣

2.滅點對相機內(nèi)參的約束

根據(jù)拉蓋爾定理:相機的主點是3個互相垂直消影所構(gòu)成三角形的垂心；相機的焦距可由垂心和消影點計算而得。假設(shè)相機的畸變因子為0，縱橫比為1，可得相機的三參數(shù)內(nèi)參矩陣。當(dāng)圖像中只能獲得兩個互相垂直方向的滅點時，通常假設(shè)相機主點位于圖像中心，此時相機為一參數(shù)模型［4-9］。此類方法僅僅需要一幅圖像即可標(biāo)定相機內(nèi)參，通常焦距的標(biāo)定能獲取較好效果，但主點對滅點誤差的敏感度非常高，適用于對相機進(jìn)行弱標(biāo)定。

兩條正交直線的消影點為v1、v2，它們與絕對二次曲線的像ω的關(guān)系如下

因此，兩個互相垂直的滅點能夠提供一組對絕對二次曲線的約束［3］，即當(dāng)有1組互相垂直的滅點時，可完成一參數(shù)相機模型的標(biāo)定。若有3組相互獨立的垂直滅點，則可計算三參數(shù)模型；有5組相互獨立的垂直滅點，則可以計算五參數(shù)模型。因此針對不同的相機模型，給定足夠數(shù)目的約束，ω就可以計算出來。

3.虛圓點對相機內(nèi)參的約束

假設(shè)Im、Jm是兩個虛圓點I、J的像，由于I、J是ω上的點，故Im、Jm應(yīng)落在ω的像上，因此可得兩個約束

在射影變換下，Im、Jm仍然為一對共軛點，故式（2）提供的約束實際上是等同的，但可以使實部虛部分別為零，得到關(guān)于ω的兩個約束

式中，RE（*）、IM（*）分別表示計算結(jié)果的實部和虛部。因此，如果圖像中能夠計算出虛圓點信息，則在一幅圖像中就可提供對絕對二次曲線的兩個約束條件［10-13］。因此若能夠提供3張以上的圖像，則至少可提供6個約束，完成對五參數(shù)相機內(nèi)參的標(biāo)定；若僅能獲取一幅圖像，則僅能提供兩個約束，完成一參數(shù)相機焦距的標(biāo)定。

三、多約束相機內(nèi)參統(tǒng)一計算方法

由上文可知，各個不變量都可通過絕對二次曲線的像對相機內(nèi)參進(jìn)行約束，但每一不變量對絕對二次曲線的約束形式卻存在差異。因此，筆者首先將不同的約束表達(dá)為統(tǒng)一的形式，然后通過多約束優(yōu)化計算相機內(nèi)參。

1.多約束信息統(tǒng)一表達(dá)

不同的幾何特征對相機內(nèi)參提供不同的約束:①N組不相關(guān)的相互垂直的滅點，提供對相機內(nèi)參N個約束；②虛圓點提供對相機內(nèi)參兩個約束。在利用這些信息進(jìn)行標(biāo)定時，需要將系統(tǒng)進(jìn)行統(tǒng)一化表達(dá)，以便進(jìn)行統(tǒng)一處理。

由上文可知，3個互相垂直方向上的滅點可以使用拉蓋爾定理求解三參數(shù)相機模型的內(nèi)參，而按照基于二次曲線的相機標(biāo)定方法，可以用式（1）來表示，3組互相垂直的滅點提供3組約束。本節(jié)將其他不變量約束轉(zhuǎn)化為相互垂直的滅點，對絕對二次曲線進(jìn)行約束。

目前可用于計算虛圓點的幾何特征主要包括:①圓形和滅線，可通過計算無數(shù)組兩條互相垂直的直徑來確定兩個互相垂直的滅點［17］，由于它們之間具有相關(guān)性，可選擇其中兩組參與內(nèi)參的計算；②兩個不互相平行的矩形/正方形，其本身可確定兩組互相垂直的滅點；③某一平面和圖像平面之間對應(yīng)的點/線坐標(biāo)，可通過計算單應(yīng)矩陣來獲得兩組互相垂直的滅點。

2.多約束下絕對二次曲線優(yōu)化計算

當(dāng)圖像中包含多個約束條件時，可將其統(tǒng)一表達(dá)為如下形式

因此，至少需要5組非相關(guān)的互相垂直滅點才可確定五參數(shù)相機模型的內(nèi)參矩陣；當(dāng)包含4組非相關(guān)的互相垂直滅點時，可解算定四參數(shù)相機模型；以此類推，N個非相關(guān)約束，可解算N參數(shù)相機模型的參數(shù)。當(dāng)存在相關(guān)的互相垂直的滅點時，則只能獲得小于N的相機參數(shù)模型。從代數(shù)角度表現(xiàn)為矩陣A的秩，矩陣的秩即為可解算對應(yīng)的相機參數(shù)模型。

3.內(nèi)參矩陣統(tǒng)一計算

一旦絕對二次曲線ω確定，則可通過Cholesky分解求得對應(yīng)的相機參數(shù)，也可通過絕對二次曲線與內(nèi)參之間的關(guān)系，求解對象的相機參數(shù)，公式如下

當(dāng)互相垂直的滅點確定之后，將其形成如式（5）中A的形式，求解A的秩，根據(jù)秩確定對應(yīng)的絕對二次曲線特定形式，在此基礎(chǔ)上，即可計算相機內(nèi)參的值。當(dāng)矩陣的秩等于矩陣的行數(shù)時，有唯一解；當(dāng)矩陣的秩大于矩陣的行數(shù)時，可求解其優(yōu)化解。

四、試驗與分析

1.試驗數(shù)據(jù)與試驗結(jié)果

（1）試驗數(shù)據(jù)

分別選用兩幅室內(nèi)外圖像對本文方法進(jìn)行測試，如圖1所示，其中（a）為室內(nèi)圖像，（b）為室外圖像，圖片的相關(guān)信息見表1。

圖1 測試圖片

（2）標(biāo)定結(jié)果

為了說明本文方法可用于任意相機參數(shù)模型，即可自適應(yīng)根據(jù)幾何特征的數(shù)量求解相應(yīng)的相機參數(shù)，本文分別假定某一幾何特征不存在，根據(jù)求解不同的相機模型，針對室內(nèi)外場景進(jìn)行測試。

為了能夠標(biāo)定更多的相機參數(shù)，并提高標(biāo)定的精度，應(yīng)該盡可能多地應(yīng)用圖像中的幾何特征，又由于圖像中每個平面最多能夠提供對絕對二次曲線的兩個約束，因此在圖像標(biāo)定過程中，既要注重多約束條件的應(yīng)用又要注意多約束條件之間的相關(guān)性。

表1 真實場景試驗數(shù)據(jù)

針對室內(nèi)圖像，首先求解每一組平行線確定的滅點，然后求解3個橢圓（圓形的像）確定的優(yōu)化滅線，結(jié)合滅線及其相對位于圖像中心橢圓，確定平面上兩組互相垂直方向的滅點，結(jié)合垂直于此平面的滅點，一共形成4組互相垂直的滅點。不同的幾何特征組合標(biāo)定的結(jié)果見表2。

表2 室內(nèi)圖像測試結(jié)果

針對室外圖像，首先求解每一組平行線確定的滅點，進(jìn)而計算橢圓所在平面的滅線，然后結(jié)合滅線及其橢圓，確定平面上兩組互相垂直方向的滅點，結(jié)合垂直于此平面的滅點，一共形成4組互相垂直的滅點。不同的幾何特征組合標(biāo)定的結(jié)果見表3。

2.試驗結(jié)果分析

單幅圖像相機自標(biāo)定僅僅依賴圖像中包含的約束信息，通常運用圖像中的平行、垂直、圓形、矩形等幾何特征，這些特征是一般場景中常見的對象所呈現(xiàn)的結(jié)構(gòu)。如包含建筑物的場景，通常包含3個互相垂直方向的平行線組，即可獲得3個相互垂直方向的滅點；室內(nèi)場景，通常包括多個互相平行的平面，平面上存在各種類型的物體，可提供豐富的標(biāo)定信息；道路場景，通常包含交通標(biāo)志線、窨井蓋、交通標(biāo)志牌，其形狀、尺寸亦可為相機標(biāo)定提供約束。這些特征為單幅圖像提供了豐富的約束，使得單幅圖像標(biāo)定成為可能。

表3 室外圖像測試結(jié)果

測試結(jié)果表明，圖像中包含的多種幾何特征都能為相機內(nèi)參的標(biāo)定提供約束。理論上非相關(guān)的幾何特征越多，所能標(biāo)定的內(nèi)參數(shù)量越多、精度越高，兩幅圖像的測試結(jié)果初步證實了這一點。

由于本文方法無需圖像之間的匹配，圖像之間獨立對相機內(nèi)參進(jìn)行約束，因此本文方法也適用于同一相機在不改變內(nèi)參的情況下，拍攝多幅包含一定數(shù)量幾何約束的圖像（圖像刻畫的場景之間無需相關(guān)）的相機標(biāo)定。

五、結(jié)束語

本文提出的基于場景的相機自標(biāo)定方法無需圖像之間的匹配，只需要圖像刻畫場景中對象的約束信息，在約束信息充分的情況下可僅利用單幅圖像進(jìn)行相機標(biāo)定，尤其適合室內(nèi)外場景；方法無需傳統(tǒng)標(biāo)定方法中的標(biāo)定模板，而選用場景中存在的對象，因此方法具有普適性，尤其適合結(jié)構(gòu)化的室內(nèi)外場景；方法無需相機作嚴(yán)格運動，只需要多幅圖像在拍攝過程中相機內(nèi)參不發(fā)生變化，減少了對拍攝過程的限制，因此方法具有方便性。更為重要的是，本文方法將所有的幾何特征約束從形式上都轉(zhuǎn)化為相互垂直的滅點，在幾何過程中將不同參數(shù)模型采用同種方式求解，使得方法具有統(tǒng)一性。

單幅圖像的自標(biāo)定一直是攝像機標(biāo)定的難題之一，目前的標(biāo)定方法主要利用幾何關(guān)系來約束相機參數(shù)，而由圖像中對象的幾何尺寸所提供的約束，由于需要較為相應(yīng)的先驗知識，目前應(yīng)用較少。

通常對場景中可用的標(biāo)定對象的尺寸、大小沒有限制，場景中的正交信息、平行信息，或是多邊形、多面體等都可通過人機交互來識別。而上述方法中有些涉及比例、角度等的先驗信息，則須事先建立先驗知識庫，如足球場、籃球場的長寬比為固定的，在進(jìn)行標(biāo)定時，可作為已知值帶入約束方程。目前已有相關(guān)方面的標(biāo)定方法的研究［18］，隨著對場景先驗知識庫的構(gòu)建和完善，將有更多約束條件用于相機標(biāo)定方法。

［1］ 孟曉橋，胡占義.攝像機自標(biāo)定方法的研究與進(jìn)展［J］.自動化學(xué)報，2003，29（1）:110-124.

［2］ 邱茂林，馬頌德，李毅.計算機視覺中攝像機定標(biāo)綜述［J］.自動化學(xué)報，2000，26（1）:43-55.

［3］ HARTLY R，ZISSERMAN A.Multiple View Geometry in Computer Vision［M］.Cambridge:Cambridge University Press，2002.

［4］ 謝文寒，張祖勛，張劍清.一種新的基于滅點的相機標(biāo)定方法［J］.哈爾濱工業(yè)大學(xué)學(xué)報，2003，35（11）:1384-1387.

［5］ 李立冬，劉教民.單目視圖下相機標(biāo)定和平面測距研究［J］.河北科技大學(xué)學(xué)報，2005，26（1）:47-50.

［6］ 邱衛(wèi)國，昂海松.基于單張平行六面體照片的攝像機標(biāo)定方法［J］.傳感器技術(shù)，2005，24（6）:85-88

［7］ 魏鋒，王小林.采用單幅圓柱體圖像的攝像機標(biāo)定［J］.工程圖學(xué)學(xué)報，2009，30（1）:109-113.

［8］ 楊敏，沈春林.未標(biāo)定單幅結(jié)構(gòu)場景圖像的三維重構(gòu)［J］.中國圖象圖形學(xué)報，2004，9（4）:456-459.

［9］ CRIMINISI A，REID I，ZISSERMAN A.Single View Metrology［C］ ∥ Proceedings ofthe 7th IEEE International Conference on Computer Vision.Kerkyra:［s.n.］，1999:434-441.

［10］ KIM J S，GURDJOS P，KWEON I S.Geometric and Algebraic Constraints of Projected Concentric Circles and Their Applications to Camera Calibration［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2005，27（4）:637-642.

［11］ ZHONG H，MAI F，HUNG Y S.Camera Calibration Using Circle and Right Angles［C］∥18th International Conference on Pattern Recognition.Hong Kong:［s.n.］.2006:646-649.

［12］ 孟曉橋，胡占義.一種新的基于虛圓點的攝像機自標(biāo)定方法［J］.軟件學(xué)報，2002，13（5）:957-965.

［13］ 吳福朝，王光輝，胡占義.基于矩形的確定攝像機內(nèi)參數(shù)與位置的線性方法［J］.軟件學(xué)報，2003，14（3）:703-711.

［14］ 祝海江，陳西，馬昕.基于射影不變性的單幅圖像的測量及相機標(biāo)定［J］.北京化工大學(xué)學(xué)報:自然科學(xué)版，2008（5）:330-334.

［15］ 祝海江，吳福朝，胡占義.基于兩條平行線段的攝像機標(biāo)定［J］.自動化學(xué)報，2005，31（6）:853-864.

［16］ 段福慶，吳福朝，胡占義.基于平行性約束的攝像機標(biāo)定與 3D重構(gòu)［J］.軟件學(xué)報，2007，18（6）:1350-1360.

［17］ CHEN Y S，IP H，HUANG Z J，et al.Full Camera Calibration from a Single View of Planar Scene［C］∥Advances in Visual Computing:4th International Symposium.Las Vegas:［s.n.］，2008.

［18］ MIYAGAWA I，ARAI H，KOIKE H.Simple Camera Calibration from a Single Image Using Five Points on Two Orthogonal 1-D Objects［J］.IEEE Transactions on Image Processing，2010，19（6）:1528-1538.