全景攝像機的原理與進展

林泉，李磊，方中華，徐建華?

①上海臻恒光電系統(tǒng)有限公司，上海 201800; ②華東師范大學(xué)精密光譜科學(xué)與技術(shù)國家重點實驗室，上海200062

全景攝像機的原理與進展

林泉①，李磊②，方中華①，徐建華?①②

①上海臻恒光電系統(tǒng)有限公司，上海 201800; ②華東師范大學(xué)精密光譜科學(xué)與技術(shù)國家重點實驗室，上海200062

全景攝像機已經(jīng)發(fā)展到高清、網(wǎng)絡(luò)化。目前多見的是如下4種：魚眼全景、多鏡頭拼接全景、反射式全景、雙魚眼全景。四種全景攝像機的發(fā)展與技術(shù)各有特點：魚眼全景，最早出現(xiàn)，技術(shù)最成熟簡單；多鏡頭拼接全景，可以實現(xiàn)超高像數(shù)圖像，但是圖像邊緣融合、整體白平衡等有待改善；反射式全景，采用反射式光學(xué)，彌補了魚眼全景四周圖像解析度不高的缺點；雙魚眼全景，魚眼和多鏡頭技術(shù)的結(jié)合，可實現(xiàn)水平垂直360度圖像拍攝。

全景；魚眼；反射式；720度攝相機；360度攝像機

1956年，美國安培(Ampex)公司發(fā)明了2英寸、4磁頭磁帶錄像機，開創(chuàng)了記錄畫面的方法[1]。1980年1月，日本SONY公司生產(chǎn)出了世界上第一臺CCD攝像機XC-1，內(nèi)置12萬像素的ICX008CCD[2]；1986年5月，SONY公司又率先推出了商品化分量式數(shù)字錄像機[3]。攝像機技術(shù)從此開始了飛速的發(fā)展：圖像分辨率從QCIF發(fā)展到CIF、D1、HD、Full HD，再到現(xiàn)在2K、4K超高清；編碼技術(shù)也經(jīng)過MPEG2、MPEG4、H.264發(fā)展到H.265；鏡頭更是由之前單一角度的定焦鏡頭，發(fā)展到現(xiàn)在規(guī)格齊全，具備變焦、防抖等眾多功能的各種鏡頭。

現(xiàn)代數(shù)字技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，攝像機也從模擬模式走向網(wǎng)絡(luò)化、高清化，由原來“看得見”逐步發(fā)展到“看得清”“看得遠”。高像素的CMOS傳感器和H.265編碼技術(shù)的出現(xiàn)，使全景影像記錄與實時傳輸成為可能。隨著視頻攝像細分市場的發(fā)展，超廣角攝像機的需求逐漸凸顯出來。特別是會議室、辦公室、大廳大堂、商場、倉庫、車間等大面積開闊的區(qū)域，既無法安裝多個攝像頭，又需要大范圍、無死角監(jiān)控，全景攝像機的需求就顯得更為迫切。

傳統(tǒng)的成像設(shè)備采用小孔成像原理，是一種基于中心投影的方法，采用類似于人眼的方式來觀察世界。然而，這種成像方式通常會有一個視場角，也就是說，用上述成像方式往往只能觀察到某一塊區(qū)域。在日常生產(chǎn)生活中，常常需要對360°的視場進行觀察，因此，人們對全景成像技術(shù)的需求是顯而易見的。如果仍然采用中心投影的方式實現(xiàn)360°的全景成像，根據(jù)幾何光學(xué)理論，這需要一個無限大的像平面，顯然這是無法實現(xiàn)的。因此，一系列新的成像方式被提出并應(yīng)用。

全景攝像機作為新產(chǎn)品，每年保持大約20%的固定增長。雖然由于其自身特點的限制，未來可能不會有大規(guī)模爆發(fā)式的增長，但在某些行業(yè)會成為主流的必需品。目前市場上能獨立生產(chǎn)全景攝像機的廠家并不多，但是隨著市場的接受度不斷加大，必將有更多的廠商加入到這塊新興市場的競爭中來。

全景攝像機的發(fā)展必需四大關(guān)鍵技術(shù)：鏡頭、高像素傳感器、處理軟件和虛擬PTZ(Pan/ Tilt/Zoom)。高像素傳感器和虛擬PTZ技術(shù)已經(jīng)較為完善，本文不再贅述；而鏡頭和算法有多種設(shè)計，其技術(shù)路線主要分為單路魚眼攝像機、多路視頻全景攝像機和單路反射式全景攝像機。

1 魚眼全景相機

魚眼全景相機，是最早被公眾所熟悉的全景相機。魚眼鏡頭因其前段如魚眼般鼓起而得名，其實質(zhì)是一種超廣角的特殊鏡頭，焦距極短并且視角達到或能超過180°。1973年，尼康推出的6.3 mm魚眼鏡頭視角達到了220°，長度達到了205 mm，設(shè)計采用12片9組設(shè)計[4]，如圖1所示。

圖1 12片9組220°魚眼全景鏡頭

隨著現(xiàn)代光學(xué)設(shè)計與工藝的進步，目前，魚眼鏡頭的焦距通常小于16 mm，而且成像質(zhì)量也更高(圖2)。這的確解決了全景相機的部分問題，但是，魚眼鏡頭在獲得大視場的同時，必須允許圖像畸變和像素分布不均勻[5]。

圖2 全景相機

圖像畸變是由于光學(xué)鏡頭所帶來的，主要分為徑向失真、非正交失真與中心偏移。徑向失真是由于魚眼鏡頭徑向曲率的不規(guī)則引起的；非正交失真是由于魚眼光軸與傳感器平面不能完全正交所致；中心偏移是由于魚眼鏡頭光軸不可能正好穿過傳感器的中心而產(chǎn)生的。這些原因使得成像畫面除了圖像中心的景物保持不變，其他本應(yīng)水平或垂直的景物沿各個方向從中心向外輻射。失真的圖像不符合人類視覺習(xí)慣，所以校正技術(shù)顯得尤為重要。

在數(shù)碼相機中，圖像校正在設(shè)備內(nèi)就可完成，根據(jù)設(shè)置，可以直接輸出校正后的圖片。但是在視頻攝像的過程中，圖像的記錄數(shù)據(jù)量遠遠大于照相機的照片數(shù)據(jù)。較為常見的處理是，將圖像通過校正算法實時將圓形圖像切割出一個單獨的扇形圖像，然后根據(jù)比例及透視原理等進行變形和校正，展開為正常畫面圖像(圖3和圖4)。

圖3 全景圓形圖像

圖4 扇形展開圖

在魚眼鏡頭圖像畸變校正過程中，可以用圖5說明?；兊男Ｕ惴ㄟ^程就是魚眼鏡頭成像過程的逆過程。魚眼圖像中的任意像素點E，垂直平面投影到球面，與球面的交點為點F，點F與球心點O連接，投射于平面ABCD上的點G，點G即為點E的圖像校正后的投射點。將區(qū)域內(nèi)的每個像素點都如此映射到平面ABCD上，最后ABCD的畫面就是魚眼圖像選定區(qū)域的校正圖像。

圖5 全景校正之映射法

圖6 全景校正之光軸校正

圖7 成像原理

在實際使用中，人們對事故區(qū)域圖像特別感興趣，這就需要進行區(qū)域校正。事故區(qū)域往往離全景相機非常遠，從而導(dǎo)致偏離光學(xué)中心較遠，圖像畸變也非常大。此時，算法需要多點參考，所以在進行校正的時候，習(xí)慣地需要將人類視角加入，同時在視頻中，還需要考慮到三維空間的加速度的校正。所以，在進行圖像校正的時候，需要切取原圖像中感興趣的區(qū)域，并根據(jù)切取的圖像確定新的光學(xué)中心位置，此時光軸也隨之而改變，如圖6所示。

在光學(xué)成像中(圖7)，因為光學(xué)鏡頭里面的透鏡不可能做到中心和邊緣的解析度一致，從而導(dǎo)致圖像中心的像素細節(jié)高于邊緣。最為典型的是四周圖像虛化，以及經(jīng)常在視頻監(jiān)控中遇到的，中心可以達到500萬像素的效果，邊緣僅有200萬像素的效果(圖8)。在魚眼全景中就更為突出。為了擴大鏡頭的可視角度，魚眼鏡頭的邊緣光學(xué)處理導(dǎo)致了圖像的畸變，所以，在圖像校正后，往往給人感覺圖像模糊，越是遠離光軸，圖像像素越不夠。事故發(fā)生點，極少出現(xiàn)在攝像頭光軸下方，所以無法提供用戶大范圍的細節(jié)清楚的視頻圖像。

圖8 全景邊緣補充圖

目前的魚眼全景攝像機系統(tǒng)可歸納為如下兩大類：

(1) 前端集成

此類攝像機將圖像矯正、虛擬PTZ、視頻壓縮等功能通過固件或者硬件芯片集成在攝像機的內(nèi)部。前端集成的方式相比于后臺軟件處理的方式擁有更快的運算速度，同時降低對網(wǎng)絡(luò)帶寬以及后臺服務(wù)器的需求。

不過，由于固件計算力有限，此類攝像機在應(yīng)對超高像素的視頻畫面時就“力不從心”，而單純的芯片又因為其功能的局限性和開發(fā)的復(fù)雜性，為其進一步的應(yīng)用留下了難題。

(2) 后端軟件實現(xiàn)

此類攝像機將全部功能依托于后臺服務(wù)器上的軟件實現(xiàn)，而前端攝像機只是將視頻畫面?zhèn)骰睾笈_。現(xiàn)代計算機技術(shù)的飛速發(fā)展為視頻的處理提供了無數(shù)的可能。此類產(chǎn)品在保留原始視頻畫面的同時也能實現(xiàn)圖像矯正、虛擬PTZ、多頻分割、數(shù)碼縮放等等功能，并為進一步的視頻開發(fā)提供了更多的數(shù)據(jù)。

不過，相比于前端集成的方式，后端處理會占用很多網(wǎng)絡(luò)資源來將前端視頻信號傳回，而且在應(yīng)對大項目時，一般需要大量的服務(wù)器，甚至是大數(shù)據(jù)中心才能滿足視頻處理的需求。

由于圖像畸變難以校正和區(qū)域像素不夠，全景相機目前還是主要采用多攝像頭拼接或者單個超高像素圖像傳感器進行彌補。

2 多鏡頭拼接全景相機

多鏡頭拼接全景相機，顧名思義，采用多個攝像頭同時工作，同時輸出圖像，利用后臺軟件拼接成一個畫面，拼接后的畫面和單魚眼鏡頭的柱狀展開畫面非常類似。多鏡頭拼接可以有效地提高圖像清晰度和減小圖像畸變。

自20世紀90年代開始，國內(nèi)外眾多機構(gòu)對圖像拼接進行了深入研究。1992年，劍橋大學(xué)的L. G. Brown對圖像拼接的核心技術(shù)進行了總結(jié)[6]；1996年微軟研究院的Richard Szeliski提出了基于運動的全景拼接模型[7]；2000年Shmuel Peleg提出了改進方法[8]，根據(jù)相機的運動方式自適應(yīng)選擇拼接模型；2003年M. Brown等發(fā)表了SIFT特征進行圖像拼接的方法[9]，但計算量很大；2007年Seong Jong Ha提出移動相機系統(tǒng)的全景拼接方法[10]，不僅保證效果，而且運算速度也得到提高。

每個攝像機的鏡頭都有水平成像角度和垂直成像角度，采用單一攝像機拍攝的畫面，將是以拍攝者為球心的球面一部分。如圖9所示，采用6個水平角度60°，將可以拼接成一個以拍攝為中心的環(huán)狀全景圖像，而每個攝像機的垂直視角，將限制這個環(huán)球面的寬度。在圖像拼接的處理過程中，攝像機的不一致性、攝像機安裝結(jié)構(gòu)的公差以及安裝過程中的誤差，必然帶來視場角度的不一致、圖像邊緣的重疊、不同攝像機的色彩參數(shù)不一致等。

圖9 多鏡頭全景原理圖

在多攝像機拼接系統(tǒng)中，攝像機的數(shù)量越多，拼接后的圖像清晰度越高，圖像畸變越小，但是后臺的處理難度也越高(圖10)。

圖10 多鏡頭全景相機

在多鏡頭全景系統(tǒng)中，因為同一個拍攝點需要進行逆光和順光拍攝，而且將兩個畫面融合到同一個畫面，勢必造成同一場景下圖像之間亮度的不均勻，所以拼接后，往往出現(xiàn)明暗交替的條紋(圖11)。

3 反射式全景攝像機

單路反射式全景攝像機，主要是利用反射式光學(xué)鏡頭進行設(shè)計的一種全景攝像機。

反射式全景攝像機的光學(xué)設(shè)計，主要是利用光學(xué)的反射和折射原理。光線經(jīng)由鏡頭前面兩組光學(xué)鏡面鏡，反射進入光學(xué)透鏡，再通過光學(xué)透鏡組的折射匯聚到圖像傳感器靶面成像。光學(xué)原理示意如圖12所示。

圖11 多鏡頭拼接圖。(a)～(d) 為四幅不同視角的圖像；(e)為最終拼接得到的柱面全景圖像

圖12 反射式鏡頭光學(xué)原理圖

反射式全景攝像機收集圖像的第一個過程是通過鏡面的反射，因此將大為減少圖像的畸變和圖像細節(jié)的丟失，從而將環(huán)繞360°全景一次成像出來，并且高效地將像素均分在畫面的各個區(qū)域。所出圖像將不會出現(xiàn)多鏡頭拼接縫和拼接條紋，也不會出現(xiàn)離光軸越遠圖像越模糊的情況(圖13)。

反射式全景攝像機可視角度為130°俯仰角和360°環(huán)視角，但是畫面中心有20°～25°的盲區(qū)，主要是因為反射式鏡頭的頂部透鏡遮擋所導(dǎo)致的。在實際使用中，反射式全景攝像機多為吊裝或者頂裝，攝像的盲區(qū)是攝像頭正下方或者正上方，如圖14所示。

圖13 反射式全景攝像機

圖14 反射式全景攝像機可視角度

三種全景攝像機在傳統(tǒng)視頻監(jiān)控上面各有優(yōu)勢。在大范圍視頻監(jiān)控的應(yīng)用上，全景相機看得更廣，角度更大，都有著無可替代的獨特用途。

2016年，虛擬現(xiàn)實(VR)、現(xiàn)實增強(AR)的快速發(fā)展，對全景攝像機提出了更高要求。攝像畫面不再是單一球面部分或者半球面，而是要求以拍攝為中心的整個球面的拍攝，即720°全景。在全景720°的實際設(shè)計中，目前有且僅有的方式是多鏡頭設(shè)計，也主要分為雙魚眼全景攝像機和多鏡頭全景攝像機。

多鏡頭全景720°攝像機是由多鏡頭環(huán)視全景發(fā)展而來，原理兩者一樣。將多個攝像機圍繞攝像機成像的光軸進行排列，每個攝像機獨自拍攝圖像。圖像經(jīng)過相機內(nèi)部嵌入式處理器處理，再進行圖像拼接、邊緣融合、白平衡、寬動態(tài)等調(diào)整后，輸出為一個720°全景圖像；或者每個攝像機獨立將圖像存儲或者傳輸?shù)礁咝阅苡嬎銠C，在PC平臺上進行后期處理，同樣輸出一個球形720°全景圖像。

雙魚眼攝像頭，采用兩顆俯仰角220°和環(huán)視360°的魚眼鏡頭的光學(xué)設(shè)計，雙眼攝像頭可以做到體積非常小，總重量非常輕，僅有150 g。如圖15所示。

圖15 720°攝相機

采用多鏡頭拍攝全景攝像機，圖像像素理論上可以無限增大，圖像質(zhì)量好壞取決于處理能力的強弱。全景圖像在用戶展示設(shè)備上，結(jié)合傳統(tǒng)全景的圖像畸變校正算法、虛擬電子云臺技術(shù)，采用VR頭戴式設(shè)備或者智能終端的控制，可展現(xiàn)出全景視頻效果。特別是VR設(shè)備使圖像觀看者可以沉浸式體驗拍攝時的圖像效果，如同身臨其境。

全景成像設(shè)備的需求量在前幾年一直保持著大約20%的固定增長率。2016年以后，隨著虛擬現(xiàn)實、現(xiàn)實增強的快速發(fā)展，對全景攝像機的需求量勢必會有個飛躍。隨著超高像素CMOS的上市和高效編碼、傳輸技術(shù)的發(fā)展，以及更優(yōu)化的軟硬件處理方式的出現(xiàn)，全景成像設(shè)備的成像質(zhì)量將會更好，視頻圖像的傳輸數(shù)據(jù)量將更大，遠程傳輸方式將更加多樣化，也為后臺圖像信息的進一步開發(fā)提供了更好的保障。同時，隨著我國智慧城市的不斷推廣，全景成像設(shè)備也將會在智慧交通、智慧旅游、智慧校園等領(lǐng)域占據(jù)一席之地。

(2016年9月2日收稿)■

[1] 周淑琴. SMPTE/EBU時碼簡介[J]. 現(xiàn)代電視技術(shù), 1989, 2: 70-73.

[2] 木哥. 塑造數(shù)碼影像業(yè)核心[N]. 計算機世界, 2004-07-12 (A6).

[3] 林百周. 數(shù)字錄像機格式的比較[J].有線電視技術(shù), 2002, 24: 008.

[4] 朱錦輝. 基于全方位視覺系統(tǒng)的移動機器人自主定位與導(dǎo)航技術(shù)研究[D]. 天津: 天津理工大學(xué), 2008.

[5] 肖瀟, 楊國光. 全景成像技術(shù)的現(xiàn)狀和進展[J]. 光學(xué)儀器, 2007, 29 (4): 84-89.

[6] BROWN L G A. Survey of image registration techniques [J]. ACM Computing Surveys, 1992, 24(4): 325-376.

[7] 余宏生, 金偉其. 數(shù)字圖像拼接方法研究進展[J]. 紅外技術(shù), 2009, 31(6): 347-353.

[8] 江鐵, 朱桂斌, 孫奧. 全景圖像拼接技術(shù)研究現(xiàn)狀綜述[J]. 重慶工商大學(xué)學(xué)報, 2012, 29 (12): 60-65.

[9] BROWN M, LOWE D G. Recognising panoramas [C]//Proceedings of the 9th International Conference on Computer Vision ( ICCV03), Nice, October 2003.

[10] HA S J, KOO H I, LEE S H, et al. Panorama mosaic optimization for mobile camera systems [J]. IEEE Transactions on Consumer Electronics, 2007, 53(4): 1217-1225.

(編輯：段艷芳)

Principle and progress of panoramic camera

LIN Quan①, LI Lei②, FANG Zhonghua①, XU Jianhua①②
①Shanghai Zhen Heng Electro-optical Systems Co. Ltd, Shanghai 201800; ②State Key Laboratory of Precision Spectroscopy, East China Normal University, Shanghai 200062

Panoramic camera has been developed to be HD and networking. There are four kinds of commonly used panoramic cameras: fish-eye panorama, multi-camera stitching panorama, reflective panorama, and double-fish-eye panorama. They have different developing histories and characteristic technical traits. As the first panorama camera, the fish-eye is the most technologically simple and mature.The multi-camera stitching can implement ultrahigh pixel imaging, but the image edge fusion and the overall white balance need to be improved. The reflective panorama employs reflective optics to compensate the low image resolution of the fish-eye panoramic camera. A combination of the double-fish-eye, fish-eye, and multi-camera technology enables the 360-degree horizontal and vertical imaging.

Panoramic, fish-eye, reflection, 720 camera, panoramic camera

10.3969/j.issn.0253-9608.2017.02.007

?通信作者，E-mail: jhxu@zheo.net