一種全景相機系統(tǒng)的標定方法研究

崔紅霞，李婷婷，王 寧，陳麗君

(渤海大學 信息科學與技術學院，遼寧 錦州 121000)

0 引 言

全景相機[1-3]是近年來攝影測量學和計算機視覺等領域研究的熱點，多用于虛擬現(xiàn)實、智能交通、文物保護、影視拍攝等領域。一般地，全景相機由多個相機組成，以獲取不同視角影像，是實現(xiàn)三維場景高精度快速重建的手段之一[4-6]。全景相機的標定內容包括確定相機的內方位元素(像主點、主距和畸變參數(shù))以及相機的外方位元素[7]和相機間固定的相對定向關系。傳統(tǒng)的標定方法是在同一參考坐標系下對每臺相機的內外方位元素分別標定，再利用外參數(shù)間接解算相機間的相對約束關系。這一類方法操作簡單方便，但沒有利用到相機之間的相對定向關系。文獻[8-9]以立體相機為研究對象，利用激光掃描技術對相機進行標定并提高三維重建結果的精度，但沒有利用相機間的約束條件；文獻[10-12]以立體相機為研究對象，有約束條件限制，按照附有約束條件的間接平差模型進行自檢校光束法整體平差解算，有效地增加平差系統(tǒng)的多余觀測數(shù)，提高標定的精度和穩(wěn)健性；文獻[13-16]以全景相機為研究對象，利用基于二次曲線、線性矩陣的奇異值、圓形標志點等方法對全景相機的各組成相機進行單機標定，再解算相機間的相對定向關系，實驗結果顯示，標定方法可行、有效，具有較高的標定精度。文中建立了一種附加約束條件的全景相機標定方法,即以共線條件方程為基礎，將相機間內在的幾何約束引入到自檢校光束法平差模型，以實現(xiàn)一種全景相機系統(tǒng)的標定。

1 全景相機系統(tǒng)的標定

文中采用的全景相機由八個處于同一平面的網絡攝像機構成，通過同步曝光的方式進行影像采集。標定場由分布在四個平面的800多塊標志板組成。如圖1(a)所示，固定在八邊形底座支架上，根據均勻分布原則在不同方位安裝攝像機，保證了周圍360°水平空間及至少60°垂直方向的視覺信息獲取無遺漏。圖1(b)為全景相機的俯視圖，分別為1-8號攝像機。

圖1 全景相機

1.1 傳統(tǒng)的相機檢校方法

相機檢校通常使用的方法有單像空間后方交會、自檢校光束法區(qū)域網平差等。其數(shù)學模型為帶有畸變方程的共線方程式，如下：

(1)

其中

其中，s(s=1,2,…,8)為相機編號；(xsi,ysi)為s號相機像點的像平面坐標,其中i=1,2,…,n；xs0、ys0、fs為相機影像的內方位元素；(XSS,YSS,ZSS)為攝站點的物方空間坐標；(XAsi,YAsi,ZAsi)為相機物方點的物方空間坐標；aj、bj、cj(j=1,2,3)為影像的3個外方位角元素組成的9個方向余弦；Δxsi和Δysi分別表示相機影像的x,y方向的畸變誤差；k1s、k2s為影像徑向畸變參數(shù)，p1s、p2s為影像切向畸變參數(shù)，b1s、b2s為影像仿射畸變參數(shù)。

式1中共線方程的觀測值與未知數(shù)之間是非線性函數(shù)，需要對其進行線性化，用一階泰勒級數(shù)公式展開，再求得各相機相應元素改正數(shù)的系數(shù)，得到共線方程線性化公式如下：

c11ΔXSs+c12ΔYSs+c13ΔZSs+c14Δφs+c15Δωs+c16Δκs-c11ΔXsi-c12ΔYsi-c13ΔZsi+c17Δxs0+

c18Δys0+c19Δfs+c31Δk1s+c32Δk2s+c33Δp1s+c34Δp2s+c35Δb1s+c36Δb2s-lxs=0

c21ΔXSs+c22ΔYSs+c23ΔZSs+c24Δφs+c25Δωs+c26Δκs-c21ΔXsi-c22ΔYsi-c23ΔZsi+c27Δxs0+

c28Δys0+c29Δfs+c41Δk1s+c42Δk2s+c43Δp1s+c44Δp2s-lys=0

(2)

其中，c11，c12，…，c44為相應的偏導數(shù)系數(shù)；ΔXSS、ΔYSS、ΔZSS、ΔφS、ΔωS、ΔκS、ΔXsi、ΔYsi、ΔZsi、Δxs0、Δys0、Δfs、Δk1s、Δk2s、Δp1s、Δp2s、Δb1s、Δb2s為每臺相機相應元素改正數(shù)。

1.2 附有約束條件的全景相機檢校方法

在傳統(tǒng)的單相機檢校的自檢校光束法平差模型的基礎上，文中引入相機間約束條件即相對定向關系[17]，建立了附有約束條件的全景相機自檢校光束法平差方法。以相鄰相機m、n(m=1,2,…,7;n=2,3,…,8)為例,相機間的相對定向約束條件如下：

(3)

(4)

其中

考慮到全景相機系統(tǒng)中各個攝像機都是緊固相連的，可以假定相機之間的相對位置姿態(tài)是穩(wěn)定的。利用全景相機在不同時刻拍攝若干組影像，則p時刻和q時刻相鄰相機m和n之間存在如下約束關系：

(5)

(6)

結合式5和式6，考慮到式5中旋轉矩陣的正交性，以主對角線以下的三個元素為例是相互獨立的[11-12]。

具體約束方程為：

(7)

(8)

(9)

(10)

需要對約束方程線性化，按一階泰勒級數(shù)公式將式7展開得到的線性化公式，如式11。

即：

(11)

式8和式9方法相同，再將式10展開，如下：

(12)

文中探討的全景相機標定方法，所采用的全景相機是由8個網絡攝像機組合而成，所涉及到的約束條件有7組，每相鄰兩相機之間的相對定向關系都是不變的。以1.1節(jié)的傳統(tǒng)相機檢校誤差方程與相機間相對定向約束條件的誤差方程[18-20]相結合，構建附有約束條件的全景相機的自檢校光束法誤差方程，其中方程2寫成矩陣形式，如式13所示，式7～式10寫成矩陣的形式，如式14所示。

VS=A1X1+A2X2+A3X3-L1

(13)

CX3-L2=0

(14)

式13、式14組成附有約束條件的間接平差模型。其中，VS為觀測數(shù)的改正值；X1為相機內方位元素改正值；X2為相機自身畸變參數(shù)改正值；X3為相機外方位元素的改正值；L1、L2為誤差方程的常數(shù)項(其中i,j,…,p為每臺相機的像點號)，m、n為相鄰相機(m=1,2,…,7;n=2,3,…,8)；A1、A2、A3、C分別為所對應項的系數(shù)矩陣。根據式13、式14構建其對應的附有約束條件的間接平差法方程，如下：

(15)

(16)

解算過程中，為提高魯棒性，利用驗后定權迭代法進行迭代求解，并且迭代過程剔除殘差大于2倍中誤差的觀測值；最后，利用任意時刻相鄰相機獲取的像對的外方位元素，根據式3、式4計算其相對定向元素，即可反算出任意相鄰相機的位置和姿態(tài)[10-12]。

2 實驗分析

文中所采用的實驗檢校場為三維標定場，由800余個標志板組成，實驗對象為8個網絡攝像頭組成的全景相機，攝像機焦距約為4 mm，獲取的影像大小均為2 048 pixel×1 920 pixel，拍攝距離約為2 600 mm，標志板為70 mm×70 mm的標志物，實驗場中分別對每塊標志板進行數(shù)字編號，并以高精度全站儀測定所有控制點的三維空間坐標。對于第i(1，2，…，8)個子相機的第j幅影像(j=1,2,3,4)，首先人工量測4-6個控制點，使其均勻分布于影像，以直接線性變換計算初始外方位元素，用于控制點反投影計算；利用初始的外方位元素以共線方程計算初始像點坐標以確定橢圓的區(qū)域；從起始點進行8鄰域跟蹤確定橢圓邊界；基于最小二乘橢圓擬合的方法提取橢圓中心點坐標作為控制點精確的像點坐標并對其編碼(如圖2所示，1號相機在同一攝站獲取的不同角度影像的像點提取和編碼)。圖2是以1號相機為例在不同角度拍攝的檢校場的局部圖。

圖2 不同角度拍攝的檢校場的局部圖

將全景相機在不同攝站、不同姿態(tài)獲取的實驗場影像組合成6組影像，前3組影像，采用了三個攝站，每個相機在各攝站僅有四個姿態(tài)的影像；后3組影像，每個攝站8個姿態(tài)的影像；利用各組影像包含的標志點的空間坐標和像點坐標，完成傳統(tǒng)方法和文中方法的檢校實驗。

2.1 檢校結果分析

設方法A是傳統(tǒng)獨立相機的檢校方法，方法B是采用了相機間的固定相對定向關系的檢校方法；以相機1、2、3為例，分別以兩種方法解算相鄰相機的相對定向參數(shù)(位置、姿態(tài))，每相鄰兩相機之間的相對定向參數(shù)如表1和表2所示。

表1 相機1、2的相對定向參數(shù)比較

表2 相機2、3的相對定向參數(shù)比較

由表1、表2可以看出，利用方法A(傳統(tǒng)方法)檢校單個相機再計算相機之間相對定向關系)的前3組相對定向參數(shù)波動很大，其原因在于外方位線元素和角元素之間存在很大的相關性，內外方位元素以及畸變參數(shù)之間存在很大的相關性，其檢校的穩(wěn)健性和精度受影像的姿態(tài)、攝站的布置、控制點的分布和數(shù)量等復雜因素的復合影響較大，因此導致整個檢校結果的波動大[1,11,14,16]；方法B因引入了固定的相對定向約束條件有利于克服參數(shù)之間的相關性，前3組數(shù)據的波動性低于方法A，但還是存在波動。后3組數(shù)據，因增加了每個攝站的影像數(shù)(不同姿態(tài))，方法A的檢校結果也能趨于穩(wěn)定，其8個子相機之間內部兩兩相機的相對定向三個方向的線元素的最大標準差(單位：mm)分別為2.352、2.474、2.619，最小標準差分別為1.230、1.391、1.465；內部各兩兩相機之相對定向角元素的最大標準差分別為0.212、0.134、0.221，最小標準差分別為0.05、0.04、0.01。方法B三個方向線元素的最大標準差分別為1.031、0.513、0.693，最小標準差分別為0.108、0.007、0.026；相對定向角元素的最大標準差分別為0.006、0.028、0.008，最小標準差分別為5.06×10-4、7.43×10-5、8.06×10-5。方法B的內部相對定向關系波動更小、可以忽略不記，更趨于穩(wěn)定。

2.2 檢校精度分析

標定場共有809個均勻分布的標志點，選擇其中分布均勻的112個作為檢查點，其余為控制點。利用方法B的檢校結果，統(tǒng)計檢查點在8個獨立相機影像上的反投影像點中誤差和檢查點在X、Y和Z方向上的坐標中誤差，如表3所示。

表3 相機檢查點誤差統(tǒng)計

從表3可以看出，基于文中檢校方法，7個相機的反投影像點平面中誤差均控制在0.81 μm以內，即小于1/3 pixel(像元尺寸為2.5 μm)，其中4號相機的反投影誤差大于1/3 pixel小于1/2 pixel。檢查點物方空間坐標誤差在X方向和Y方向比Z方向小，X方向的誤差在2 mm以內、Y方向的誤差在1 mm以內、Z方向誤差控制在2.5 mm內；考慮到攝影距離2 600 mm，平面方向的相對精度達到1/1 858，深度方向(Z方向)的相對精度約為1/1 253。但個別檢查點本身誤差較大，測量精度不高，尤其在深度方向的精度較差。

3 結束語

傳統(tǒng)兩個或兩個以上相機組成的系統(tǒng)標定沿用單相機檢校方法，方法簡單，但容易出現(xiàn)相機之間的相對定向計算結果不一致的穩(wěn)健性問題；對于多個相機組成的全景相機，各相機之間的相對定向關系標定的不一致，直接影響全景虛擬拼接成像的精度和穩(wěn)定性，甚至無法全景虛擬成像。文中拓展單相機和立體相機檢校方法，提出了一種附有約束條件的全景相機標定方法。多個網絡攝像頭構建的全景相機系統(tǒng)的標定實驗證明，引入相對定向關系的標定方法能取得穩(wěn)健的標定結果且檢校精度較高，可推廣至其他類似的全景相機系統(tǒng)的標定。為進一步提高測量精度，需要進一步分析控制點的數(shù)量、分布、控制點測量精度對全景相機檢校精度的影響；進一步分析攝站的設置對檢校精度的影響，研究相鄰相機相對定向角元素和線元素約束條件的定權方法以提高檢校精度。