結(jié)合棋盤格與旋轉(zhuǎn)攝影的多鏡頭全景攝像機組合標(biāo)定

黃明益，吳 軍，彭智勇

桂林電子科技大學(xué)電子工程與自動化學(xué)院，廣西 桂林 541004

作為有效的監(jiān)控手段，攝像機早已在社會公共安全、管理調(diào)度及生產(chǎn)控制中發(fā)揮了不可替代的作用。多鏡頭全景攝像機(multi-head panoramic camera,MPC)[1]，由若干不同視角、物理獨立的傳統(tǒng)監(jiān)控攝像機封裝而成并通過實時拼接子畫面獲得180°(或360°)視野范圍且各方向基本一致的高分辨率全景視頻，能夠精確獲得MPC子攝像機內(nèi)、外參數(shù)并將其多路輸出視頻重投影到設(shè)定球面(或柱面)[2-3]，在安防監(jiān)控及虛擬現(xiàn)實、實景地圖生成和低空遙感等眾多領(lǐng)域具有廣闊市場前景[4-8]。

旨在獲取子攝像機內(nèi)外參數(shù)的MPC標(biāo)定過程涉及單相機標(biāo)定、組合標(biāo)定兩部分內(nèi)容。MPC子攝像機一般為傳統(tǒng)針孔攝像機，前者研究開展已較深入[9-10]，困難在于如何通過組合標(biāo)定獲得子攝像機間的相對外參。為節(jié)約硬件成本，MPC通常利用較少數(shù)目的攝像機及低成本光學(xué)鏡頭來獲得180°或360°視角[1,11]，其相鄰子攝像機重疊視角小，難以有效利用影像內(nèi)在約束優(yōu)化求解相機外參，不得不在大型標(biāo)定場內(nèi)完成。文獻[12]需按預(yù)設(shè)參數(shù)在三維標(biāo)定場內(nèi)獲取全景相機不同方向標(biāo)定影像，通過空間后方交會解算得到單影像初始方位元素后再進行區(qū)域網(wǎng)光束法平差以獲取精確的全景相機參數(shù)。為確保標(biāo)定影像上具有可靠控制信息，文獻[3]在室內(nèi)標(biāo)定場四周墻壁、頂部及地面不同景深位置密集布設(shè)多達1000個人工標(biāo)志點，且需不同位置多次攝影以獲得符合重疊度要求的全景相機標(biāo)定影像。為擺脫對高精度三維控制場的依賴，文獻[13]提出一種基于可控旋轉(zhuǎn)的主動視覺標(biāo)定方法，將電子經(jīng)緯儀改造為旋轉(zhuǎn)平臺并對2D參照物進行觀測以獲得三維控制信息，其優(yōu)點在于能將待標(biāo)定相機的等效焦距與其他參數(shù)分離開來，但需控制像機圍繞光心(或光心附近)做旋轉(zhuǎn)運動，使用條件過于苛刻。文獻[14]以照射到室內(nèi)四面墻壁的三維激光點取代三維控制點對線陣CCD旋轉(zhuǎn)全景攝影系統(tǒng)進行高精度標(biāo)定，除依賴于昂貴的三維掃描設(shè)備外，標(biāo)定影像上激光腳點的自動檢測也是個潛在問題。文獻[15]提出了一種基于圓形標(biāo)志點平面靶的全景相機高精度標(biāo)定方法，但需利用全站儀測量靶標(biāo)上特征點相對世界坐標(biāo)系原點的位置，同時要結(jié)合相機視場范圍在平面靶標(biāo)前多距離、多基站、多姿態(tài)、多角度成像。針對具有非重疊圖的攝像機組，文獻[16]提出了一種基于平面反射鏡的組合標(biāo)定技術(shù)，其基本思想是移動、轉(zhuǎn)動平面反射鏡使得所有攝像機能通過該鏡子“看”到一個公共校準(zhǔn)對象，關(guān)鍵在于真實相機與其鏡像相機姿勢間的幾何關(guān)系解算。考慮到以2D棋盤格作為標(biāo)定參照物時，MPC所有攝像機觀測到完整棋盤格極其困難，文獻[17]提出采集大量包含平面圖案的圖像并借助于三角測量對圖像相對信息(平面中的距離和角度)的有效利用來解決控制點不能被同時觀測的局限性。文獻[18]則提出了一種基于連通性和梯度直方圖分析的棋盤格角點檢測技術(shù)以消除非網(wǎng)格特征干擾，從而確保能獲得高精度角點特征用于標(biāo)定目的。顧及全景視頻融合生成的MPC標(biāo)定相關(guān)研究還包括：文獻[1]建立視頻配準(zhǔn)框架對MPC參數(shù)進行整體優(yōu)化，但需交互給出相機初始參數(shù)并要求各子相機攝影中心基本重合；文獻[10]就相機數(shù)目、物理尺寸參數(shù)以及圓投影下的視差變化建立數(shù)學(xué)模型，對獲取3D全景視頻的OMS設(shè)計方案進行仿真解析；文獻[2]假定物方點與虛擬空間中心點距離固定，利用標(biāo)定參數(shù)值將子攝像機視頻像素對應(yīng)的虛擬物方點球面投影到設(shè)定球面以生成全景影像；文獻[8]利用標(biāo)定參數(shù)推斷重疊區(qū)域的景深，并將重疊區(qū)域投影到帶深度信息的3D曲面上以消除視差偽影。

無論是建立大型標(biāo)定場，還是聯(lián)合利用小型空間測量設(shè)備與2D參照物，其目的均在于提供高精度3D控制信息用于MPC子相機絕對空間位置、姿態(tài)解算，進而推導(dǎo)出子相機間的相對外參，這種依賴于3D控制信息的標(biāo)定方式不僅實施成本高且需專業(yè)人員操作，無疑對MPC應(yīng)用開展形成限制。受單相機旋轉(zhuǎn)全景成像[19]啟發(fā)，本文提出一種結(jié)合棋盤格與旋轉(zhuǎn)攝影的MPC組合標(biāo)定方法，將MPC置于普通二維轉(zhuǎn)臺并按固定轉(zhuǎn)角間隔旋轉(zhuǎn)一周對LCD棋盤格進行攝影，即可實現(xiàn)MPC攝像機外參精確估計，其創(chuàng)新之處在于兩方面：一是結(jié)合棋盤格與旋轉(zhuǎn)平臺坐標(biāo)系設(shè)置建立旋轉(zhuǎn)攝影嚴(yán)格方程，以之為基礎(chǔ)給出側(cè)視攝像機外參初值并通過可控的旋轉(zhuǎn)攝影擴大單個2D棋盤格參照物對MPC的標(biāo)定控制范圍，從而實現(xiàn)側(cè)視攝像機及LCD棋盤格影像外部參數(shù)光束法平差優(yōu)化求解；二是將轉(zhuǎn)臺旋轉(zhuǎn)坐標(biāo)系原點平移至側(cè)視攝像機攝影中心幾何重心建立MPC空間坐標(biāo)系，以之為基礎(chǔ)通過旋轉(zhuǎn)攝影增加中心攝像機與側(cè)視攝像機間的連接點作為冗余觀測值，從而利用與側(cè)視攝像機間的多視幾何關(guān)系對中心攝像機外參實施光束法平差優(yōu)化求解。

1 MPC球面全景成像模型

圖1 MPC幾何結(jié)構(gòu)Fig.1 Geometry of MPC

MPC各子攝像機一般為傳統(tǒng)針孔攝像機，通過對各子攝像機視頻進行球面透視重投影而獲得大于(或等于)180°的視場(圖2)。如圖2所示，令Ci(i=0,1,2,3,4)表示MPC子攝像機攝影中心，I為球面全景圖像，O和r分別為投影球面中心、半徑并假定世界坐標(biāo)系XYZ原點與球面投影中心重合，則MPC視野內(nèi)任一空間點PW到球面全景圖像像素p′的空間變換可描述為以下3階段過程：

圖2 MPC球面全景成像模型Fig.2 Panoramic imaging model of MPC

(1) 單攝像機針孔成像,即MPC某一子相機Ci對世界坐標(biāo)系下的空間點PW(X,Y,Z)進行透視成像獲得像點p(x,y)，該幾何成像關(guān)系可由經(jīng)典的攝影測量共線方程[21]描述，有

(1)

式中，(X,Y,Z)為點PW空間坐標(biāo)；(u,v)為PW投影點p的實際像素坐標(biāo)；(XS,YS,ZS)為攝像機攝影中心在世界坐標(biāo)系中的位置；(aj,bj,cj)(j=1,2,3)為攝像機主光軸姿態(tài)角(φ,ω,κ)給出的旋轉(zhuǎn)矩陣元素；(XS,YS,ZS)與(φ,ω,κ)合稱相機外部參數(shù)；(u0,v0)為相機主點坐標(biāo)；f為相機等效焦距；(Δx,Δy)為攝像機鏡頭光學(xué)畸變誤差，可認(rèn)為主要由徑向畸變系數(shù)k1、k2決定，有

Δx=(u-u0)×(k1r2+k2r4)

Δy=(v-v0)×(k1r2+k2r4)

r2=(u-u0)2+(v-v0)2

以上(f,u0,v0,k1,k2)合稱相機內(nèi)部參數(shù)，若對像點p進行光學(xué)畸變修正并以相機主點為坐標(biāo)原點(這里稱理想像點，下同)，式(1)也可表示為以下空間變換

(2a)

或

(2b)

(2) 球面重映射，即將MPC子相機Ci透視成像獲得的理想像點p，逆光線PWCi映射到設(shè)定投影球面獲得空間點PO(XO,YO,ZO)，該空間點應(yīng)同時滿足投影球面方程及其入射光線所在空間直線方程，即有

(3)

(4)

式中，(XO,YO,ZO)為點PW在世界坐標(biāo)系下的球面空間點坐標(biāo)；[VX,VY,VZ]T為點PW入射光線所在空間直線方向矢量，可由理想像點p的像空間坐標(biāo)旋轉(zhuǎn)得到；LP為點PW入射光線所在空間直線參數(shù)方程參數(shù)，這里點PW入射光線所在空間直線定義為以子相機Ci攝影中心為起點、過理想像點p的射線，參數(shù)LP計算公式如下[2]

(5)

(3) 球面全景圖像合成，即將球面空間點PO按選定模型投影至全景圖像所在平面?，F(xiàn)有球面投影模型分為4種[22]：等距投影、等立體角投影、體視投影、正交投影?？紤]到正交投影模型計算簡單且可建立空間點與球面全景圖像點的可逆變換關(guān)系，本文選用該投影模型，如圖2所示，將點PO正投影到一個與Z軸垂直的全景影像平面以獲得像素坐標(biāo)p′(x′,y′)，兩者坐標(biāo)變換關(guān)系如下

(6)

由于難以嚴(yán)格滿足各子攝像機攝影中心與投影球面中心重合這一設(shè)計條件，MPC子攝像機重疊區(qū)域同名像素投影到全景圖像平面將存在位置誤差，該誤差大小與球面投影參數(shù)(中心位置、半徑大小)選取有關(guān)，通常取全部子相機攝影中心的幾何重心為球面投影中心，球面投影半徑為與景深范圍有關(guān)的經(jīng)驗值[2]，本文球面投影參數(shù)采用上述文獻設(shè)置方式。

由以上球面全景成像過程可以看出，采用“1+N”設(shè)計模式的MPC完整參數(shù)標(biāo)定應(yīng)包括兩部分內(nèi)容：5(1+N)個攝像機內(nèi)部參數(shù)IOPs，6(1+N)個攝像機外部參數(shù)EOPs。目前，單個攝像機內(nèi)、外部參數(shù)利用2D棋盤格多視圖可方便進行求解[23]，困難在于如何簡單、快速獲得MPC子攝像機相對外參。其原因在于兩方面：一是普通棋盤格很難被MPC相鄰子攝像機同時“看”到而不能形成有效的標(biāo)定控制；二是MPC各子攝像機重疊視角小而難以提供大量冗余觀測(同名特征)用于外參優(yōu)化求解。針對上述問題，這里假定MPC各子攝像機內(nèi)參已知，將MPC置于二維轉(zhuǎn)臺對單個棋盤格進行旋轉(zhuǎn)攝影來進行組合標(biāo)定，并結(jié)合MPC結(jié)構(gòu)設(shè)計特點及其旋轉(zhuǎn)攝影幾何特性，將MPC組合標(biāo)定分為側(cè)視攝像機旋轉(zhuǎn)序列影像標(biāo)定和中心攝像機多視幾何標(biāo)定兩個階段依次實施。

2 側(cè)視攝像機旋轉(zhuǎn)序列影像標(biāo)定

2.1 旋轉(zhuǎn)攝影與坐標(biāo)系設(shè)置

如圖3(a)所示，將MPC置于電腦控制的水平旋轉(zhuǎn)平臺上，按固定角度間隔β旋轉(zhuǎn)平臺一周并同步拍攝顯示在LCD上的棋盤格圖案，可獲得序列影像

式中，i表示MPC第i個子攝像機Ci；j表示子攝像機Ci在旋轉(zhuǎn)角度為j×β時采集的第j張影像，這里N=360/β。

圖3 MPC旋轉(zhuǎn)攝影Fig.3 MPC rotation photography

如圖3(b)所示，本文首先建立世界坐標(biāo)系OW-XWYWZW與棋盤格對象坐標(biāo)系OP-XPYPZP，定義如下：世界坐標(biāo)系原點OW位于轉(zhuǎn)臺平面旋轉(zhuǎn)中心，ZW軸與轉(zhuǎn)軸重合(垂直于轉(zhuǎn)臺平面、方向向上)，XW軸位于轉(zhuǎn)臺平面并近似平行于中心攝像機影像水平方向，YW軸根據(jù)右手法則給出；棋盤格對象坐標(biāo)系原點OP位于棋盤格左下角，棋盤格平面定義為OP-XPYP平面，XP軸和YP軸分別平行于棋盤格水平、垂直方向，ZP軸根據(jù)右手法則給出。

考慮到實際拍攝條件及參數(shù)初始化，這里安放LCD棋盤格時使其水平方向近似平行于中心攝像機影像水平方向(即XP軸與XW軸近似平行)，則轉(zhuǎn)臺靜止?fàn)顟B(tài)時棋盤格角點(XP,YP)在世界坐標(biāo)系中的空間坐標(biāo)(XW,YW,ZW)可表示為

(7)

式中，(XP,YP,0)為棋盤格角點在OP-XPYPZP中的空間坐標(biāo)；R(Φ,Ω,Κ)和T分別為棋盤格對象坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣與平移矢量T=[X0,Y0,Z0]T。不難理解，轉(zhuǎn)臺轉(zhuǎn)動時MPC拍攝靜止棋盤格與轉(zhuǎn)臺靜止時MPC拍攝繞ZW軸旋轉(zhuǎn)的棋盤格等效(圖4)。若將世界坐標(biāo)系水平面OW-XWYWZW沿ZW軸抬高(或降低)以使棋盤格左下角落在水平面上，則式(7)可改寫為

(8)

(9)

式中，[x,y,-f]T定義同式(2)；Ri為相機Ci在世界坐標(biāo)系中的外方位轉(zhuǎn)角矩陣。聯(lián)合式(8)和式(9)可得

(10)

式(10)即為本文MPC關(guān)于棋盤格參照物的統(tǒng)一旋轉(zhuǎn)攝影方程。MPC靜止條件下，由于視角問題，同一棋盤格難以被MPC相鄰側(cè)視相機同時拍攝，故無法提供控制信息用于側(cè)視相機間的相對姿態(tài)參數(shù)標(biāo)定計算，而式(10)給出的MPC統(tǒng)一旋轉(zhuǎn)攝影方程可視為通過平臺旋轉(zhuǎn)將固定視角下的棋盤格控制信息“擴展”到了360°空間范圍，從而為后續(xù)MPC不同側(cè)視相機外參初始化及其整體優(yōu)化估計奠定了基礎(chǔ)。

圖4 旋轉(zhuǎn)攝影下的MPC攝影中心運動軌跡俯視Fig.4 MPC motion trajectory under rotating photography and top view

2.2 參數(shù)初始化與光束法平差

MPC側(cè)視攝像機在世界坐標(biāo)系下(即轉(zhuǎn)臺靜止時)的外參標(biāo)定通過最小化棋盤格角點重投影誤差及相鄰側(cè)視攝像機重疊區(qū)域同名像素重投影誤差得到，關(guān)鍵在于給出理想的外參初值。為簡化計算與說明，這里規(guī)定側(cè)視攝像機影像像素為理想像點，由攝像機內(nèi)參計算得到。

攝像機內(nèi)參已知條件下，利用直接線性變換DLT[24]及棋盤格角點信息可估計得到該攝像機標(biāo)定影像在棋盤格對象坐標(biāo)系下的外參，該參數(shù)與MPC統(tǒng)一旋轉(zhuǎn)攝影方程相結(jié)合即可給出側(cè)視攝像機在世界坐標(biāo)系下的外參初值。由MPC坐標(biāo)系設(shè)置可知，若棋盤格平面近似垂直于轉(zhuǎn)臺平面，即取(Φ,Ω,Κ)=(0,π/2,0)，式(10)可簡化為

(11)

(12)

(13)

令VF表示棋盤格空間點在序列影像上的重投影誤差，VG表示相鄰側(cè)視相機影像重疊區(qū)域同名像點的重投影誤差，本文對上述側(cè)視相機外參及棋盤格平移矢量初值進行全局優(yōu)化的目標(biāo)方程數(shù)學(xué)表示如下

(14)

3 中心攝像機多視幾何標(biāo)定

由1.1節(jié)給出的旋轉(zhuǎn)攝影過程可知，MPC中心攝像機將無法拍攝到棋盤格；另外，MPC中心攝像機與全部側(cè)視攝像機均存在重疊，故在側(cè)視攝像機內(nèi)外參精確標(biāo)定前提下，可利用全部側(cè)視攝像機與中心攝像機間的多視幾何約束來優(yōu)化求解中心攝像機外參，潛在問題在于兩者重疊區(qū)域偏小而難以提供有效的同名特征(像點)作為冗余觀測，幸運的是，該問題可通過定義新MPC世界坐標(biāo)系及該坐標(biāo)系下的旋轉(zhuǎn)攝影過程得到有效解決。不失一般性，令(x0,y0)和(xi,yi)表示MPC中心攝像機C0與某一側(cè)視攝像機Ci(i=1,2,3,4)在世界坐標(biāo)系下(轉(zhuǎn)臺靜止時)影像重疊區(qū)域內(nèi)的同名(理想)像點，則該同名像點與攝影基線滿足共面條件，應(yīng)有

(15)

式中

進一步地，當(dāng)轉(zhuǎn)臺旋轉(zhuǎn)角度j×β時，C0與Ci的同名(理想)像點同樣滿足共面條件，應(yīng)有

(16)

式中，

整理式(16)可得

(17)

(18)

4 試驗與分析

4.1 模擬成像仿真測試

圖5 某廣場虛擬三維場景下的MPC仿真成像Fig.5 MPC simulation imaging of a virtual 3D scene

首先對MPC側(cè)視攝像機進行標(biāo)定。根據(jù)第1節(jié)，初始化轉(zhuǎn)角βj=j×9并在攝像機內(nèi)參已知條件下，利用棋盤格對象坐標(biāo)系下的側(cè)視攝像機外參給出其在世界坐標(biāo)系下的外參及棋盤格方位參數(shù)初值，見表2，進而以棋盤格角點影像投影坐標(biāo)及相鄰攝像機同名像點坐標(biāo)為觀測值對初始參數(shù)進行優(yōu)化，表3列出了棋盤格角點像點坐標(biāo)引入不同隨機誤差δ下的參數(shù)優(yōu)化(標(biāo)定)結(jié)果。由表3可以看出，當(dāng)服從正態(tài)分布的隨機誤差函數(shù)方差δ增大時，標(biāo)定模型精度隨之下降，但當(dāng)δ小于1.5像素時，模型均方根誤差均小于1個像素且對應(yīng)標(biāo)定參數(shù)與表1中設(shè)定(真)值高度一致(接近)，證明了本文側(cè)視攝像機旋轉(zhuǎn)序列標(biāo)定算法的有效性與可靠性。圖6進一步給出了虛擬MPC側(cè)視攝像機旋轉(zhuǎn)標(biāo)定在不同隨機誤差下的殘差變化曲線，經(jīng)9～10次迭代即可收斂至預(yù)設(shè)條件，表明算法具有較高的計算效率。

側(cè)視攝像機內(nèi)、外參已知的前提下，MPC中心攝像機外參初始化、標(biāo)定計算依據(jù)第2節(jié)過程實施，表4列出了MPC中心攝像機外參初值及其在棋盤格角點像點坐標(biāo)引入不同隨機誤差下的外參標(biāo)定結(jié)果。由表4可以看出，中心攝像機標(biāo)定模型精度隨方差δ增大而下降，但模型均方根誤差均小于1個像素且對應(yīng)標(biāo)定參數(shù)與表1中設(shè)定(真)值高度一致(接近)，證明了本文中心攝像機多視幾何標(biāo)定算法的有效性與可靠性；對于相同方差δ，中心攝像機標(biāo)定精度均高于任一側(cè)視攝像機，體現(xiàn)出MPC全體側(cè)視攝像機與中心攝像機間強烈多視幾何約束在中心攝像機高精度標(biāo)定方面的優(yōu)勢。

表1 用于仿真測試的虛擬MPC外參及棋盤格方位參數(shù)設(shè)置

表2 虛擬MPC側(cè)視攝像機外參及棋盤格方位參數(shù)初值

表3 虛擬MPC側(cè)視攝像機外參及棋盤格方位參數(shù)標(biāo)定結(jié)果

表4 不同隨機誤差下虛擬MPC中心攝像機外參標(biāo)定結(jié)果

圖6 虛擬MPC側(cè)視攝像機旋轉(zhuǎn)標(biāo)定殘差變化Fig.6 Rotation calibration residual variation of virtual MPC side-view camera

4.2 實際全景相機測試

旨在低精度轉(zhuǎn)臺旋轉(zhuǎn)攝影條件下，利用本文算法對實際全景攝像機PanoCam的外參進行標(biāo)定。PanoCam各子攝像機采用同一模組(內(nèi)參大小接近)，影像幅面大小相同(1280×960像素)，算法所需標(biāo)定影像由放置轉(zhuǎn)臺上的PanoCam對LCD棋盤格(格網(wǎng)大小11×11，格網(wǎng)間距20.32 mm)旋轉(zhuǎn)攝影獲取，如圖7所示，其中圖7(a)為拍攝場景示意；圖7(b)為轉(zhuǎn)臺靜止時PanoCam輸出的視頻影像。LCD棋盤格對象坐標(biāo)系及世界坐標(biāo)系均按第1.1節(jié)所述設(shè)置，優(yōu)化計算所需的棋盤格角點影像坐標(biāo)利用OPenCV庫[26]中角點算子檢測得到，標(biāo)定影像重疊區(qū)域同名像點(非棋盤格角點)則利用SIFT算子[27]自動匹配得到并采用RANSANC算法剔除野點。表5列出了由張正有算法給出的PanoCam攝像機內(nèi)參，表6同時列出了各側(cè)視攝像機標(biāo)定影像在棋盤格對象坐標(biāo)系下的外參及該參數(shù)下的棋盤格角點平均重投影誤差RMSE_0。

表5 PanoCam攝像機內(nèi)參統(tǒng)計

表6 棋盤格對象坐標(biāo)系下的PanoCam側(cè)視攝像機標(biāo)定影像外參及角點平均重投影誤差統(tǒng)計

與仿真測試過程類似，PanoCam標(biāo)定首先初始化轉(zhuǎn)角βj=j×9°并結(jié)合表5中側(cè)視攝像機內(nèi)參、表6中棋盤格對象坐標(biāo)系下的標(biāo)定影像外參，給出側(cè)視攝像機在世界坐標(biāo)系下的外參及棋盤格方位參數(shù)初值，見表7。表7同時給出了棋盤格角點在該參數(shù)下的重投影誤差RMSE_0及相鄰側(cè)視攝像機同名像點共面誤差(這里稱相對定向誤差)RMSE_1。由表7可以看出，在轉(zhuǎn)臺精度不高及難以滿足棋盤格對象坐標(biāo)系設(shè)置條件(棋盤格平面垂直于轉(zhuǎn)臺平面、棋盤格對象坐標(biāo)系X軸平行與世界坐標(biāo)系X軸)而引起的旋轉(zhuǎn)矩陣R(Φ,Ω,Κ)初始化誤差影響下，利用式(12)—式(13)給出的側(cè)視攝像機外參及棋盤格方位參數(shù)值無可避免存在誤差，體現(xiàn)為其RMSE_0(約1.7個像素)明顯高于表6中各側(cè)視攝像機標(biāo)定影像棋盤格角點平均重投影誤差，約9個像素的高誤差RMSE_1則從側(cè)面強調(diào)了利用標(biāo)定影像同名像點約束進行攝像機標(biāo)定的必要性。

圖7 PanoCam棋盤格標(biāo)定影像獲取Fig.7 Acquisition of calibration image of checkerboard grid of PanoCam

表7 優(yōu)化前的側(cè)視攝像機外參及棋盤格方位參數(shù)初值及精度統(tǒng)計

以棋盤格角點影像投影坐標(biāo)與相鄰攝像機同名像點坐標(biāo)為觀測值，表8給出了本文算法對表7中初始外參優(yōu)化結(jié)果，可以看出，優(yōu)化參數(shù)下的總體誤差RMSE為0.39，約1/3個像素，已達到高標(biāo)定精度要求，其中：棋盤格角點重投影誤差RMSE_0為0.30，與表6中各側(cè)視攝像機標(biāo)定影像棋盤格角點平均重投影誤差相接近，相鄰側(cè)視攝像機同名像點相對定向誤差RMSE_1大幅下降至1.38個。圖8給出了PanoCam全部側(cè)視攝像機棋盤格影像(共4×5=20張)轉(zhuǎn)角標(biāo)定值與其旋轉(zhuǎn)攝影設(shè)計角度間的誤差，全部影像轉(zhuǎn)角均方根誤差約0.004 rad，最大誤差約0.006 rad(約等于0.35°)，與轉(zhuǎn)臺自身的角度重復(fù)定位精度相符，從側(cè)面驗證了標(biāo)定算法的有效性；圖9進一步給出了PanoCam 側(cè)視攝像機旋轉(zhuǎn)標(biāo)定的殘差變化曲線，與模擬成像仿真測試效率一致，經(jīng)9～10次迭代即可收斂至預(yù)設(shè)條件。

圖8 轉(zhuǎn)臺設(shè)定轉(zhuǎn)角與標(biāo)定值誤差Fig.8 Rotation angle error between setting value and value calibration

圖9 PanoCam側(cè)視攝像機旋轉(zhuǎn)標(biāo)定殘差變化Fig.9 Calibration residual variation of PanoCam side-view camera under rotation

表9分別列出了PanoCam中心攝像機外參初值及其在多視幾何約束下的參數(shù)優(yōu)化結(jié)果，圖10則給出了具體參數(shù)及殘差優(yōu)化計算過程，同樣經(jīng)9～10次迭代即可收斂至預(yù)設(shè)條件，具有良好的計算效率。由表9可以看出，參數(shù)優(yōu)化收斂時的中心攝像機與側(cè)視攝像機影像同名像點間的相對定向誤差RMSE_1小于1個像素，具有較高的標(biāo)定精度并優(yōu)于表8中側(cè)視攝像機旋轉(zhuǎn)標(biāo)定RMSE_1，獲得了與模擬成像仿真測試一致的結(jié)論。

表8 優(yōu)化后的側(cè)視攝像機外參及棋盤格方位參數(shù)及精度統(tǒng)計

表9 PanoCam 's中心攝像機外參初值及優(yōu)化結(jié)果

圖10 PanoCam中心攝像機外參優(yōu)化計算Fig.10 EOPs optimization calculation of PanoCam central camera

PanoCam設(shè)備出廠時其攝像機內(nèi)、外參數(shù)已通過高精度三維標(biāo)定場檢校得到，并以加密文件方式保存于自帶商業(yè)軟件內(nèi)部用于實時輸出全景視頻，因無法直接進行參數(shù)比較，這里對標(biāo)定參數(shù)輸出的全景視頻進行對比分析。本文全景視頻按文獻[2]方式生成且未進行平滑處理[28]，PanoCam自帶軟件輸出全景視頻進行了平滑處理，如圖11所示，其中圖11(a)—(b)分別為PanoCam在兩個不同場景(室內(nèi)、室外)某時刻采集的視頻影像，圖11(c)—(d)為PanoCam商業(yè)軟件輸出結(jié)果，圖11(e)—(f)為本文標(biāo)定參數(shù)輸出結(jié)果，圖11(g)—(h)分別為本文標(biāo)定參數(shù)及PanoCam商業(yè)軟件對圖7(b)中標(biāo)定影像輸出結(jié)果。對比圖11(c)和11(e)、圖11(d)和11(f)可以看出，兩者輸出全景視頻質(zhì)量整體接近，表明本文方法參數(shù)標(biāo)定精度在球面全景視頻輸出質(zhì)量上媲美高精度三維標(biāo)定場；對比圖11(g)和11(h)可看出，本文標(biāo)定參數(shù)輸出全景視頻質(zhì)量更優(yōu)，后者視頻重疊區(qū)域視差偽影[29]更明顯(矩形框標(biāo)記),其原因在于，MPC全景視頻輸出質(zhì)量受攝像機攝影中心不重合、場景深度變化及潛在的攝像機標(biāo)定誤差三方面影響,本文MPC外參優(yōu)化依據(jù)之一就是最小化反映場景深度變化的、相鄰攝像機同名像素重投影誤差，故能有效克服視頻重疊區(qū)域視差偽影，而PanoCam商業(yè)軟件攝像機參數(shù)是在特定場景深度的標(biāo)定環(huán)境下獲得，MPC攝像機攝影中心不重合使得該參數(shù)不能很好適應(yīng)新的場景深度變化，這也從側(cè)面證明了本文標(biāo)定參數(shù)的準(zhǔn)確性。

圖11 不同標(biāo)定參數(shù)下的PanoCam球面全景視頻輸出對比Fig.11 Comparison of spherical panoramic video outputted by PanoCam under different calibration parameters

需要指出的是，本文選用的PanoCam主要用于深度變化有限的室內(nèi)應(yīng)用場景，其子攝像機為短焦(2.8 mm鏡頭)，標(biāo)定計算時僅以普通LCD(24×15 inch)顯示棋盤格作為標(biāo)定參照物且轉(zhuǎn)臺中心距LCD垂直距離不大(約0.37 m)情況下即可獲得令人滿意的精度；但對于存在較大深度變化的室外場景，需增大MPC攝像機焦距長度以保證其輸出視頻的應(yīng)用分辨率，此時為獲得清晰、完整的棋盤格影像用于標(biāo)定計算，可選用更大幅面LCD進行棋盤格繪制并增大LCD與轉(zhuǎn)臺中心距離，相應(yīng)地，參與標(biāo)定計算的棋盤格標(biāo)定影像數(shù)有所增加，但本文方法仍可適用。為避免MPC旋轉(zhuǎn)攝影產(chǎn)生運動模糊，進而影響影像特征提取及后續(xù)標(biāo)定計算精度，本文方法要求MPC按設(shè)定角度間隔旋轉(zhuǎn)后靜止2～3 s再進行攝影，故不受旋轉(zhuǎn)平臺轉(zhuǎn)速影響，但旋轉(zhuǎn)角度間隔需綜合考慮LCD幅面、LCD與轉(zhuǎn)臺中心距離及MPC攝像機焦距大小進行設(shè)計，以確保MPC旋轉(zhuǎn)一周時其同一側(cè)視子攝像機獲取的序列影像相鄰重疊度不小于60%，連續(xù)完整觀測棋盤格的影像數(shù)不少于5張；此外，本文方法要求MPC側(cè)視攝像機與中心攝像機視頻影像重疊度應(yīng)不少于10%，以確保能自動匹配獲得一定數(shù)目的同名像點用于MPC中心攝像機多視幾何標(biāo)定計算。本文研究結(jié)果表明：

(1) 綜合考慮棋盤格對象坐標(biāo)系與轉(zhuǎn)臺世界坐標(biāo)系設(shè)置建立的旋轉(zhuǎn)攝影嚴(yán)格方程是合理的，不僅能擴大單棋盤格標(biāo)定控制范圍還可給出良好的側(cè)視攝像機外參初值，從而確保MPC側(cè)視攝像機外參的穩(wěn)定、可靠求解。

(2) 利用MPC多視幾何關(guān)系求解中心攝像機外參是有效的，同時旋轉(zhuǎn)攝影也解決了中心攝像機與單個側(cè)視攝像機因重疊視野小而無法提供有效同名像點作為觀測值之不足，從而確保MPC中心攝像機外參的穩(wěn)定、高精度求解。

(3) 結(jié)合普通二維轉(zhuǎn)臺與棋盤格標(biāo)定參照物對MPC外參進行組合標(biāo)定是可行的，成功擺脫傳統(tǒng)MPC外參估計依賴于3D標(biāo)定場之應(yīng)用限制，且全景視頻輸出效果媲美高精度三維標(biāo)定場標(biāo)定參數(shù)。

5 總 結(jié)

攝像機參數(shù)的精確獲取是MPC輸出高質(zhì)量全景視頻的前提，但傳統(tǒng)MPC組合標(biāo)定依賴于高精度3D控制信息，實施成本高且需專業(yè)人員操作，對MPC應(yīng)用開展形成限制。據(jù)此本文以LCD棋盤格作為標(biāo)定參照物，提出一種結(jié)合旋轉(zhuǎn)攝影的MPC棋盤格組合標(biāo)定方法，通過可控的旋轉(zhuǎn)攝影擴大單個2D棋盤格參照物對MPC的標(biāo)定控制范圍并增加MPC子攝像機間的連接點作為冗余觀測值，將MPC置于普通二維轉(zhuǎn)臺僅需一周旋轉(zhuǎn)成像即可實現(xiàn)MPC外參嚴(yán)格解算，成本低、精度高、操作簡單、對實施條件依賴小，全景視頻輸出效果媲美高精度三維標(biāo)定場標(biāo)定參數(shù)，是一種較理想的MPC組合標(biāo)定方法。本文標(biāo)定過程中MPC子攝像機內(nèi)參利用張正有標(biāo)定算法給并作為已知值，但通過合理的拍照控制設(shè)計(如增加轉(zhuǎn)臺旋轉(zhuǎn)周數(shù)并改變LCD相對于轉(zhuǎn)臺平面的角度)可獲得滿足張正友標(biāo)定算法要求的多視角棋盤格標(biāo)定影像，從這一角度而言，本文方法可實現(xiàn)MPC攝像機內(nèi)、外參數(shù)的完整標(biāo)定。本文方法并未考慮棋盤格角點提取精度問題，下一步工作將引入更準(zhǔn)確的角點檢測算法并采用不同大小標(biāo)定板進行精度驗證，同時也將結(jié)合更多實際場景對本文方法進行測試并不斷優(yōu)化標(biāo)定方案、流程，以使之實用化。