多影像空三平差輔助下的車載全景相機嚴密標定方法

劉鳳英，陳天恩，王 冬

(山東科技大學測繪科學與工程學院，山東 青島 266590)

?

多影像空三平差輔助下的車載全景相機嚴密標定方法

劉鳳英，陳天恩，王 冬

(山東科技大學測繪科學與工程學院，山東 青島 266590)

針對目前全景相機標定方法的研究現(xiàn)狀，提出了一種多影像光束法空三平差輔助下的全景相機內參數(shù)嚴密標定方法。首先建立全景相機標定場，對組成全景相機的每臺單相機的內參數(shù)進行標定；然后按照預先設計好的攝影參數(shù)，旋轉攝影獲取全景相機在標定場中多個不同攝影方向的影像，利用其中一個攝站的標定影像和物方控制點通過空間后方交會的方法解算單相機之間的初始相對方位元素，即粗標定；最后將所有攝站的標定影像構建區(qū)域網(wǎng)并進行光束法空三平差，獲取精確的全景相機參數(shù)，即嚴密標定。試驗表明，文中提出的全景相機標定方法可以提高標定結果的精度和可靠性，為全景影像的拼接、量測及真彩點云的生成等后續(xù)研究和應用奠定可靠的基礎。

車載移動測量系統(tǒng)；全景相機；旋轉攝影；光束法空三平差；相機標定

常見的單面陣數(shù)碼相機影像存在視場角窄、像幅小等常見問題，而全景影像則具有超大視場角、超強立體感和真實感、旋轉不變性及成像一體化等顯著特點[1-3]，可以使人們更加直觀、快捷、全面地建立對周圍環(huán)境的整體認識。全景影像技術目前已被廣泛應用到街景地圖制作、測繪、旅游、交通、數(shù)字城市建設等多個領域[4-6]，全景影像與激光點云數(shù)據(jù)的融合是目前數(shù)字城市三維信息的重要表達形式之一[6-8]，全景相機逐漸成為車載移動測量系統(tǒng)中必不可少的重要傳感器之一。車載全景相機一般是由多臺單面陣數(shù)碼相機按照一定的幾何結構集成在一起的(如Ladybug系列全景相機)，通過單相機間的同步曝光獲取周圍場景的影像，然后經過影像拼接與融合形成全景影像[2,7-9]。

全景影像的質量主要受單影像質量和影像拼接方法的影響，常用的全景影像拼接方法有基于影像匹配的方法和基于全景相機標定參數(shù)的拼接方法[10]；顧忌影像采集方式、拼接速度、效率、質量和后續(xù)應用等因素的綜合影響，車載全景影像的生成一般采用后一種方法。文獻[11]提出了一種全景相機的嚴格成像模型；文獻[8，12]對多拼全景相機的理想成像模型和嚴格成像模型進行了定位精度比較，得出嚴格成像模型的全景影像定位精度要高于理想成像模型，并推薦采用嚴格成像模型，特別是對自主集成的多拼全景相機。無論是理想成像模型，還是嚴格成像模型均需提供全景相機的標定參數(shù)才能完成全景影像的拼接，標定參數(shù)的精度是影響全景影像拼接效果和幾何量測精度的重要因素之一，因此，全景相機的精確標定是生成車載全景影像必不可少的關鍵步驟之一。

國內外學者對全景相機的標定方法進行了相關研究。如文獻[13]采用不同攝影距離的標定板完成了Ladybug全景相機的標定；文獻[4]提出了一種借助三維激光掃描數(shù)據(jù)提供的特征點作為控制點，然后利用單張影像完成全景相機標定的方法。在沒有理想標定場的情況下，本文提出一種利用物方少量控制點和多個攝影方向的多張影像聯(lián)合進行光束法空三平差完成全景相機嚴密標定的方法，推導了平差的數(shù)學模型，并進行了相關標定試驗驗證。

1 標定場建立

全景相機中相鄰相機間的攝影重疊度一般較小，因此一般需要借助物方足夠數(shù)量的高精度控制點輔助完成全景相機內參數(shù)的幾何標定。由于室內具有穩(wěn)定、不易受天氣影響、易于長期保存和可多次重復利用等優(yōu)勢，本文利用現(xiàn)有資源，將全景相機標定場布設在一個長×寬×高約為52 m×20 m×12 m、采光效果相對較好的實驗室內，如圖1所示。

圖1 全景相機標定場

人工標志點主要選用了鋁合金材質的黑白色“寶馬標”圖案，地面上部分臨時點采用了不干膠材質。由于室內白色墻壁紋理特征匱乏，為保證標定時能夠獲取足夠數(shù)量的影像連接點，以及滿足其他不同目的的應用需求，在室內不同景深位置的四周墻壁、頂部和地面均勻布設了約1000個人工標志點，并采用徠卡TM5100A工業(yè)測量系統(tǒng)進行標志點物方坐標測量，所有標志點坐標統(tǒng)一后最差點位精度不大于0.3 mm。

2 標定原理

標定流程如圖2所示。

圖2 全景相機嚴密標定流程

2.1 坐標系定義

全景相機標定過程中涉及物方和像方兩類坐標系，各坐標系定義如下：

(1) 單相機像平面坐標系o-xy。x軸平行于像片的上下邊，指向像片的右側，y軸垂直于x軸向上，坐標系原點位于像片主點。

(2) 單相機像空間坐標系S-xyz。Sx軸平行于像平面坐標系的x軸，Sz軸平行于像平面坐標系的y軸，Sy軸指向像主點。

(3) 單相機像空間輔助坐標系S-x′y′z′。坐標軸的朝向和全景相機輔助坐標系的朝向一致，坐標系原點位于攝影中心。

(4) 全景相機坐標系S全-X全Y全Z全。坐標原點S全取單相機攝影中心的幾何重心，S全-X全Y全面與單相機攝影中心基本處于同一平面內，根據(jù)全景相機在移動平臺中的安裝方位確定坐標系三軸的朝向。

(5) 物方坐標系O-XYZ。坐標原點和朝向根據(jù)測量時的測站情況而定，Z軸垂直于地面朝上。

除像平面坐標系為二維平面直角坐標系外，其余坐標系均為右手空間直角坐標系。如圖3所示。

2.2 單相機標定

組成全景相機的單相機一般采用非量測型工業(yè)數(shù)碼相機，為保證影像的幾何量測精度，整體標定前其內方位元素和各項畸變參數(shù)必須進行檢校。單相機標定前，首先要根據(jù)全景相機作業(yè)時大概的攝影距離對單相機進行調焦至清晰狀態(tài)并固定焦距，然后對室內高精度三維數(shù)碼相機標定場進行攝影獲取所需標定影像，利用空間后方交會原理進行單相機內參數(shù)的標定[14],詳細標定過程此處不再詳述。

圖3 坐標系示意圖

2.3 全景相機標定

全景相機一般是按照事先設計好的位置和姿態(tài)將所有單相機固定在同一平臺上，通過相機之間的同步曝光控制完成全景影像的采集。但由于機械設計、加工和安裝誤差的存在，以及單相機攝影中心和像片姿態(tài)的不可見性，致使全景相機組裝完成后，單相機之間的精確相對位置關系未知，因此全景相機組裝后必須進行全景相機的精確標定，以便為全景影像的拼接、量測等應用提供準確的參數(shù)。

2.3.1 粗標定

粗標定的目的是獲取單相機之間的粗略相對方位元素，為嚴密標定平差提供初始值。在物方坐標系O-XYZ中，全景相機坐標系原點S全的物方坐標為

(1)

(2)

假設全景相機坐標系的三軸與其中的5號單相機(為方便公式表達，根據(jù)實際需要選擇軸向)的像空間坐標系三軸朝向相同，由式(1)和式(2)聯(lián)合推算待求標定參數(shù)中的線元素為

(3)

(4)

若全景相機的標定只采用單個曝光點位置的標定影像，利用物方和像方相對應的一定數(shù)量的控制點，通過單片后方交會的方法求出每張像片在物方坐標系中的外方位元素后，再利用式(3)和式(4)即可解算出全景相機的標定參數(shù)。但采用此方法進行全景相機標定時，標定結果的精度易受控制點在單片中的數(shù)量、分布等因素的影響，而且現(xiàn)實環(huán)境中建立理想的全景相機標定場存在一定難度，因此采用單攝站單片空間后方交會的方法進行多拼全景相機的標定不能保證標定結果的可靠性和精度，文中將其作為粗標定結果使用。

2.3.2 嚴密標定數(shù)學模型

多個攝影方向獲取的多張影像聯(lián)合平差，可以有效提高攝影測量解算結果的精度和可靠性。文中提出的全景相機嚴密標定方法就是以多方向多影像為前提基礎，參考航測中空中三角測量的思想，利用影像間的重疊區(qū)域建立整體區(qū)域網(wǎng)，通過對多張影像聯(lián)合進行光束法空三平差的方法解算每臺單相機在全景坐標系中的方位元素。相對于單攝站影像的標定方法，多方向多影像的全景相機嚴密標定方法可有效提高標定結果的可靠性和精度，減小對標定場中控制點數(shù)量和布設方案的過多依賴，同時多影像的聯(lián)合平差可以使標定結果更為嚴密。

單相機影像的空間定位方程為

(5)

將全景相機作為一個整體，聯(lián)合式(2)—式(5)推算全景相機的空間定位方程為

(6)

(7)

參數(shù)解算方法一：首先將每臺單相機所獲取的標定影像建立單相機影像航帶網(wǎng)，加入部分控制點進行光束法空三平差，獲得單張標定影像在物方坐標系中的6個外方位元素，再利用式(3)和式(4)解算出每個攝站點全景相機坐標系在物方坐標系中的位置和姿態(tài)；將式(7)進行線性化，其中，單相機影像上的像點坐標為觀測值，物方控制點坐標、全景相機的外方位元素和單相機內參數(shù)為已知值，加入部分控制點將所有影像組成的區(qū)域網(wǎng)進行整體空三平差，解算全景相機的內標定參數(shù)，即每臺單相機相對于全景相機的6個方位元素，以及連接點的地面三維坐標。區(qū)域網(wǎng)空三平差的誤差方程式如下

(8)

參數(shù)解算方法二：無需事先解算每張單相機影像在標定場坐標系中的6個外方位元素，而是將所有單影像根據(jù)攝影位置參數(shù)構建一個整體區(qū)域網(wǎng)，加入控制點后進行整體光束法空三平差。將單影像中像點坐標作為觀測值，控制點物方坐標和單相機內參數(shù)作為已知值，待求量為全景相機在物方的位置和姿態(tài)、單相機與全景相機的相對方位元素及連接點的地面三維坐標，對式(7)進行線性化，建立如下誤差方程式

(9)

方法一中，首先對全景相機中每臺單相機獲取的標定影像構建單影像航帶網(wǎng)并加入控制點進行光束法空三，解算出每張單影像在物方的絕對位置和姿態(tài)，然后將所有單影像構建區(qū)域網(wǎng)，整體平差解算全景相機的標定參數(shù)；方法二中，直接根據(jù)攝影參數(shù)構建區(qū)域網(wǎng)，加入控制點后進行光束法空三。兩種方法相比較，方法一的解算流程相對復雜一些，方法二更直接方便；兩種方法都利用了多攝站的多張標定影像構建整體區(qū)域網(wǎng)進行光束法空三平差，相對于單攝站的標定方法，減少了對控制點的依賴，多方向多影像聯(lián)合平差解算的全景相機參數(shù)更加可靠和嚴密。

3 試驗分析

采用由6臺PointGrey系列工業(yè)相機集成的柱面全景相機進行試驗分析，如圖4所示，相鄰相機影像間的重疊度約20%左右。將全景相機大致水平固定在一個可移動的小型平臺上進行標定影像的采集?？紤]到標定場的攝影條件及影像自動化匹配時的理想交會角大致在5°～10°[15-16]的范圍內，標定影像采集時， 采用多方向旋轉攝影的方式， 每次旋轉的角度保持在10°左右，如圖5所示。

圖4 多拚柱面全景相機

圖5 標定影像攝影方式示意圖

將攝影平臺放置在標定場大致中間的位置，首先在攝站1進行攝影，之后將攝影平臺移向離攝站1的斜前方大約0.5 m左右的位置，同時將全景相機相對于攝站1的方位旋轉大約10°左右，攝站3位于攝站2的另一斜前方大約0.5 m處，全景相機繼續(xù)朝同一旋轉方向再次旋轉10°左右，以此類推，共采集了10個攝站的60張標定影像，如圖6所示。

圖6 同步曝光的單攝站6張標定影像

根據(jù)攝影位置參數(shù)，通過影像自動匹配，構建整體平差區(qū)域網(wǎng)。同一單相機不同攝站的多基線影像組成一個單航帶自由網(wǎng)，6個單相機共有6個單航帶，通過相鄰相機影像之間的重疊區(qū)域將單航帶之間聯(lián)系起來，組成一個大區(qū)域網(wǎng)。按照式(9)對每個同名像點建立誤差方程，加入控制點進行整體光束法空三平差，標定結果見表1。利用此次標定參數(shù)進行了柱面全景影像的拼接，效果如圖7所示?？梢钥闯鋈坝跋窠舆吿幍钠唇诱`差較小，完全可以滿足視覺需求。

表1 全景相機標定結果

圖7 由標定參數(shù)拼接的柱面全景影像

4 結 語

本文參考航空攝影測量中空中三角測量的思想，提出了一種采用具有一定重疊度的多個攝影方向的多張標定影像構建整體區(qū)域網(wǎng)并加入部分物方控制點后聯(lián)合進行光束法空三平差進行全景相機的標定方法，該方法可提高標定結果的可靠性和精度，降低對標定場中控制點布設方案的過多依賴。嚴密標定結果用于全景影像的拼接，拼接效果不僅可以滿足視覺上的需求，還可以提供全景影像與單影像之間的坐標映射關系，為全景影像的量測應用提供詳細具體的參數(shù)，為車載系統(tǒng)多傳感器之間的相互標定提供便利。本文提出的全景相機嚴密標定方法也可為其他組合形式的多拼相機的精確標定提供參考。

[1] 石麗梅,趙紅蕊,李明海，等.車載移動測圖系統(tǒng)外方位元素標定方法[J].測繪學報,2015,44(1):52-58.

[2] 閆利,曹亮,陳長軍，等.車載全景影像與激光點云數(shù)據(jù)配準方法研究[J].測繪通報,2015(3):32-36.

[3] 季順平,史云.車載全景相機的影像匹配和光束法平差[J].測繪學報,2013,42(1):94-100.

[4] 鐘若飛,孫振興,宮輝力.基于三維激光點云的全景相機標定方法：中國，103994779[P].2014-05-27.

[5] 李艷紅,李海亭,龐小平,等.采用投影回歸原理的全景影像測量方法[J].武漢大學學報(信息科學版),2014,39(1):32-36.

[6] ANGUELOV D,DULONG C,FILIP D,et al.Google Street View：Capturing the World at Street Level[J]．Computer,2010,43(6):32-38.

[7] 宋楊,曾凡洋,李長輝,等.基于共線原理的全景影像真彩色點云生成算法[J].測繪工程,2015,24(4):1-5.

[8] 季順平,史云.多鏡頭組合型全景相機兩種成像模型的定位精度比較[J].測繪學報，2014,43(12)：1252-1258.

[9] PARIAN A,GRUEN A.Sensor Modeling,Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners [J].ISPRS Journal of Photogrammetry and Remote Sensing,2010,65:60-70.

[10] 李鄧鄧.全景圖像拼接算法的研究與實現(xiàn)[D].杭州:浙江工業(yè)大學,2012.

[11] SHI Yun,JI Shunping,SHI Zhongchao,et al.GPS-supported Visual SLAM with a Rigorous Sensor Model for a Panoramic Camera in Outdoor Environments [J].Sensors,2013,13(1):119-136.

[12] JI Shunping, SHI Yun, SHI Zhongchao,et al.Comparison of Two Panoramic Sensor Models for Precise 3D Measurements[J].Photogrammetric Engineering and Remote Sensing,2014,80(3)：229-238.

[13] IKEDA S,SATO T,YOKOYA N.A Calibration Method for an Omnidirectional Multi-camera Systen[C]∥Stereoscopic Displays and Virtual Reality Systems X.Ikoma:[s.n.]，2003.

[14] 王冬.基于多片空間后方交會的CCD相機檢校[D].青島:山東科技大學,2003.

[15] 張劍清,胡安文.多基線攝影測量前方交會方法及精度分析[J].武漢大學學報(信息科學版)，2007,32(10):847-851.

[16] 柯濤,張祖勛,張劍清.旋轉多基線數(shù)字近景攝影測量[J].武漢大學學報(信息科學版),2009,34(1):44-51.

The Calibration Method of Vehicle-borne Panoramic Camera Based on the Aerial Triangulation of the Multi-direction Images

LIU Fengying，CHEN Tianen，WANG Dong

(College of Surveying Science and Engineering, Shandong University of Science and Technology, Qingdao 266590, China)

Aiming at the research situation on the calibration method of the panoramic camera, the paper proposed a rigorous method for the calibration of the panoramic camera’s internal parameters, which is based on the bundle adjustment of multiple directions images. First to build the calibration field and calibrate the internal parameters of each single camera.Then, to obtain the different photography direction’s calibration images of the panoramic camera by rotating photography according to the pre designed camera parameters. The initial relative orientation elements between each single camera are obtained by spatial resection using the calibration images of one camera station and some control points, that is rough calibration. Then to construct regional network with calibration images of all camera stations and bundle adjustment, finally we acquire accurate parameters of the panoramic camera, that is rigorous calibration. The experiment proves that this method can improve the accuracy and reliability of the calibration results, which are the reliable foundation of the panoramic image mosaicing, measurement, color generation of point cloud, and the other follow-up research and application.

vehicle-borne mobile measurement system；panoramic camera；rotating photography；bundle adjustment；camera calibration

劉鳳英，陳天恩，王冬.多影像空三平差輔助下的車載全景相機嚴密標定方法[J].測繪通報，2017(7)：23-28.

10.13474/j.cnki.11-2246.2017.0217.

2016-11-30；

2017-03-06

國家自然科學基金(41271451；41371425)；山東省優(yōu)秀中青年科學家科研獎勵基金(BS2012DX033)

劉鳳英(1980—)，女，講師，主要從事攝影測量方面的研究及應用工作。E-mail:wdlfyqc@163.com

P23

A

0494-0911(2017)07-0023-06