基于改進(jìn)球面透視投影的魚眼圖像畸變校正方法

王向軍，白皓月，吳凡璐，葉秀玲

?

基于改進(jìn)球面透視投影的魚眼圖像畸變校正方法

王向軍1,2，白皓月1,2，吳凡璐1,2，葉秀玲1

(1. 天津大學(xué)精密測試技術(shù)及儀器國家重點(diǎn)實(shí)驗(yàn)室，天津 300072； 2. 天津大學(xué)微光機(jī)電系統(tǒng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，天津 300072)

針對傳統(tǒng)的球面透視投影計(jì)算量大、校正過程繁瑣的問題，對主視圖投影半徑進(jìn)行改進(jìn)，以提高校正效率。首先采用Hough變換圓檢測法求得魚眼圖像像主點(diǎn)和半徑，并以一條弧線經(jīng)過球面透視正向投影后擬合直線的相關(guān)系數(shù)作為評價指標(biāo)，求得最優(yōu)投影球面半徑后校正魚眼圖像主視圖；在此基礎(chǔ)上提出一種新的2D校正法——扇區(qū)映射法，該方法從主視圖邊界在魚眼圖像中的投影軌跡出發(fā)，在極坐標(biāo)中直接對魚眼圖像進(jìn)行映射，得到校正后的周圍視圖。兩個實(shí)例結(jié)果驗(yàn)證了所提方法的有效性與可行性。

球面透視投影；扇區(qū)映射法；評價指標(biāo)；畸變校正

魚眼相機(jī)獲取的圖像存在較嚴(yán)重的桶形畸變，若要將其轉(zhuǎn)換為符合人眼視覺習(xí)慣的圖像，需要對其進(jìn)行幾何校正處理。目前魚眼圖像幾何校正算法主要分為兩類：基于投影變換模型的校正方法和基于標(biāo)定的校正方法。其中，基于投影變換模型的校正方法[1-9]一般采用球面透視投影模型[1-2]、經(jīng)緯度模型[3]、雙經(jīng)度模型[4-5]、柱面模型[6-7]等。球面透視投影模型需要大量采樣點(diǎn)進(jìn)行多項(xiàng)式擬合得到畸變校正參數(shù)，該方法計(jì)算量大、擬合過程復(fù)雜，且校正圖像非線性拉伸現(xiàn)象[1-2]嚴(yán)重。經(jīng)緯度模型與雙經(jīng)度模型，均通過引入極點(diǎn)來映射，但是，在極點(diǎn)附近拉伸現(xiàn)象嚴(yán)重。柱面模型將魚眼圖像按柱面展開，其缺點(diǎn)是丟失了魚眼圖像中心畫面。基于標(biāo)定的校正方法[10-15]需要借助外部設(shè)備對魚眼鏡頭進(jìn)行標(biāo)定來獲得校正參數(shù)，使校正精度相對較高，其對實(shí)驗(yàn)設(shè)備精度要求高、過程較為復(fù)雜。

本文對球面透視投影法進(jìn)行改進(jìn)，通過少量樣點(diǎn)求得最優(yōu)球面半徑，接著進(jìn)行反向映射，便可以得到校正后的主視圖；并提出了與該方法相互配合的2D校正法——扇區(qū)映射法。扇區(qū)映射法從主視圖邊界在魚眼圖像中的投影軌跡出發(fā)，通過反向映射對魚眼圖像直接處理，得到校正后的周圍視圖。最后將兩種方法得到的校正圖無縫拼接，得到最終圖像。

1 畸變校正模型

對魚眼圖像進(jìn)行畸變校正，首先需要得到魚眼圖像的像主點(diǎn)坐標(biāo)和半徑。畸變校正過程主要分為兩步：①基于改進(jìn)球面透視投影法對主視圖的校正；②基于扇區(qū)映射法對周圍視圖的校正。

1.1 魚眼圖像像主點(diǎn)和半徑的確定

若魚眼圖像為圓形輪廓且前景與背景容易分離，可以使用大津法[16]進(jìn)行二值化后，采用掃描線逼近算法[3,17]測量；若前景與背景不易區(qū)分，可以使用局部自適應(yīng)閾值法進(jìn)行二值化后，采用Hough變換圓檢測法[18-19]等進(jìn)行測量；若魚眼圖像為非圓形輪廓，可以根據(jù)魚眼鏡頭成像幾何性質(zhì)采用橢圓方程擬合法[5,20]或徑向準(zhǔn)交法等進(jìn)行測量。由于Hough變換圓檢測法受曲線不連續(xù)、噪聲的影響較小，計(jì)算速度較快，且opencv中提供了該方法，所以本文不再贅述該方法的原理，直接采用該方法計(jì)算得到魚眼圖像的像主點(diǎn)(0,0)與半徑r。

1.2 球面透視投影法

1.2.1 主視圖坐標(biāo)系轉(zhuǎn)換

如圖1所示，XOY為主視圖像素坐標(biāo)系， xoy為主視圖像面坐標(biāo)系。O為主視圖的左上角點(diǎn)，o為主視圖中心點(diǎn)。假設(shè)主視圖的寬度為w，高度為h，對于XOY上任意點(diǎn)可以在xoy表示為(x,y)，其轉(zhuǎn)換關(guān)系為

(2)

1.2.2 球面透視投影法

以魚眼圖像像主點(diǎn)(0,0)為原點(diǎn)在魚眼圖像上建立右手空間直角坐標(biāo)系-，軸與主視圖平面法線平行且經(jīng)過o，o與球心距離為，XOY為魚眼圖像像素坐標(biāo)系，如圖2所示。若主視圖上有一點(diǎn)(x,y)，與球心距離為d，在球面上投影點(diǎn)是，垂直映射點(diǎn)為，在像素坐標(biāo)系XOY中(X,Y)滿足如下關(guān)系

(6)

1.2.3 球面半徑的求解

在已有的研究中，球面透視投影法、經(jīng)緯度法等均以魚眼圖像的半徑r作為球面半徑，雙經(jīng)度法通過橢圓擬合得到球面半徑，本文將其作為變量來處理。利用魚眼圖像中一條弧線上的多個點(diǎn)經(jīng)過球面透視正向投影后的坐標(biāo)進(jìn)行最小二乘法直線擬合，以相關(guān)系數(shù)r作為球面半徑的評價指標(biāo)。相關(guān)系數(shù)越接近1，說明校正效果越好。該方法與橢圓擬合方法相比，只需要一條弧線，省去復(fù)雜的橢圓擬合過程，更加簡單快捷。

1.3 扇區(qū)映射校正法

如圖3所示，魚眼圖像中加粗虛線是主視圖邊界在魚眼圖像中的投影軌跡，以魚眼圖像像主點(diǎn)為極點(diǎn)，平行于X方向?yàn)闃O軸建立極坐標(biāo)系。假設(shè)球面透視投影主視圖高度為h，寬度為w，與球心的距離為，投影球面半徑為；扇區(qū)映射法的扇區(qū)對稱軸左端點(diǎn)極徑為1，右端點(diǎn)極徑為2，極角為，右視圖高度為h，寬度為w，右視圖上一點(diǎn)(X,Y)映射為魚眼圖像中的點(diǎn)(X,Y)，在魚眼圖像極坐標(biāo)系中記為(,)。

對于右視圖上一點(diǎn)(X,Y)，映射到魚眼圖像中(,)，根據(jù)三角形相似原理與主視圖連接要求，需滿足

圖3 扇區(qū)映射法原理圖

其中，r為魚眼圖像半徑；offset為魚眼圖像極坐標(biāo)系中某點(diǎn)與扇區(qū)對稱軸的夾角，即

step為映射步長，本文采用等距步長，即

其中，左端點(diǎn)極徑1，右端點(diǎn)極徑2分別為

則極坐標(biāo)系中的(,)可以在魚眼圖像像素坐標(biāo)系XOY中表示為(X,Y)，轉(zhuǎn)換關(guān)系為

其中，(0,0)為魚眼圖像像主點(diǎn)坐標(biāo)。

反之，魚眼圖像上點(diǎn)(,)映射到主視圖上點(diǎn)(x,y)，需滿足關(guān)系

扇區(qū)映射法是與改進(jìn)球面透視投影法相互配合的一種方法，因?yàn)槟壳暗奈墨I(xiàn)均是針對180°及以下視場魚眼圖像進(jìn)行的校正，丟失了原魚眼圖像的邊緣信息。而扇區(qū)映射法是與改進(jìn)球面透視投影法相互配合，所以可以很好地解決這個問題。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證方法的可行性，給出2幅不同場景下的魚眼圖像進(jìn)行校正實(shí)驗(yàn)，魚眼圖像視場角均未知。實(shí)驗(yàn)環(huán)境為Windows7 64位操作系統(tǒng)，CPU為2.5 GHz，內(nèi)存12 G，編程環(huán)境VS2012。原始魚眼圖像如圖4所示。

圖4 魚眼圖像

2.1 最優(yōu)r值求解

采用Hough變換圓檢測法得到像主點(diǎn)坐標(biāo)與半徑，通過角點(diǎn)檢測得到圖像上一條弧線上少量樣點(diǎn)，求得最優(yōu)值。圖5為在不同球面半徑下，選取弧線上的點(diǎn)是經(jīng)過正向映射后最小二乘法擬合的相關(guān)系數(shù)。

2.2 與其他方法對比分析

設(shè)置魚眼圖像a和b主視圖寬度和高度均為最優(yōu)值，與球心距離為/2，得到魚眼圖像的校正結(jié)果如圖7~8所示。

對于圖像a，設(shè)置周圍視圖的高度為最優(yōu)球面半徑，寬度為/2，扇區(qū)對稱軸極角分別為=0°、90°、180°、270°，將得到的校正圖拼接，結(jié)果如圖9所示。

圖5 魚眼圖像不同半徑下的相關(guān)系數(shù)

圖7(b)和圖8(b)分別采用文獻(xiàn)[5]雙經(jīng)度模型得到的結(jié)果，從主觀視覺角度可以看到該算法對于魚眼圖像a校正效果較差，對于魚眼圖像b較好，均在極點(diǎn)處拉伸嚴(yán)重；圖7(c)是采用文獻(xiàn)[15]的標(biāo)定方法，通過25幅不同角度的棋盤圖進(jìn)行標(biāo)定得到的校正結(jié)果，可以看到校正效果很好，但是損失周圍視場；圖7(d)和圖8(c)分別采用本文提出的改進(jìn)球面透視投影模型得到的校正結(jié)果，從校正圖可以看出，該方法校正效果很好，并且可通過調(diào)節(jié)主視圖與球心距離得到不同視場的校正圖，適用于180°及以下視場魚眼圖像。該方法與本文提出的扇區(qū)映射法相結(jié)合得到校正結(jié)果如圖9所示，其不損失原魚眼圖像信息且校正效果很好，適用于校正視場大于180°的魚眼圖像。為了進(jìn)一步驗(yàn)證本文方法的實(shí)時性與校正精確度，以圖像a為例通過計(jì)時與最小二乘法直線擬合的方式，求取采用不同校正方法的校正用時以及誤差情況，結(jié)果見表1。

圖7 圖像a校正結(jié)果對比

圖8 圖像b校正結(jié)果對比

圖9 魚眼圖像a拼接效果圖

表1 不同校正方法結(jié)果對比

從表1中可以看出，本文方法建立映射關(guān)系、校正用時均小于文獻(xiàn)[5]和[15]方法，誤差與文獻(xiàn)[15]相當(dāng)，可用于魚眼圖像實(shí)時校正系統(tǒng)中。

3 結(jié) 論

針對傳統(tǒng)的球面透視投影計(jì)算量大、校正過程繁瑣的問題，本文對其進(jìn)行改進(jìn)并提出一種新的2D校正法——扇區(qū)映射法。在魚眼鏡頭視場角與像主點(diǎn)未知并且圖像為圓形的情況下，可以得到校正的魚眼圖像；相比傳統(tǒng)的球面透視投影法與標(biāo)定校正法，本文方法無需大量的采樣點(diǎn)，極大地簡化了魚眼圖像的畸變校正過程，提高了校正效率，并且可以得到較好的校正效果；相比經(jīng)緯度法、雙經(jīng)度法在極點(diǎn)拉伸嚴(yán)重且不適用于校正視場大于180°的魚眼圖像，本文方法分多個視圖進(jìn)行校正，可用于校正更大視場的魚眼圖像。同時本文采用魚眼圖像弧線向空間直線投影，符合校正流程，利于編程實(shí)現(xiàn)，無需魚眼鏡頭參與，只要魚眼圖像中存在明顯的直線元素，就可以完成畸變校正。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)球面透視投影法結(jié)合扇區(qū)映射法，在不損失圖像信息的情況下，可以得到較好的視覺效果，省去了復(fù)雜的標(biāo)定過程，降低了魚眼圖像校正的計(jì)算成本。

[1] 英向華, 胡占義. 一種基于球面透視投影約束的魚眼鏡頭校正方法[J]. 計(jì)算機(jī)學(xué)報, 2003, 26(12): 1702-1708.

[2] 張海彬, 余燁, 李琳, 等. 基于視點(diǎn)糾正的魚眼圖像場景化漫游方法[J]. 圖學(xué)學(xué)報, 2014, 35(3): 435-441.

[3] 楊玲, 成運(yùn). 應(yīng)用經(jīng)緯映射的魚眼圖像校正設(shè)計(jì)方法[J]. 工程圖學(xué)學(xué)報, 2010, 31(6): 19-22.

[4] 斯聞豪, 楊庚. 一種基于經(jīng)線模型的魚眼圖像校正算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2014, 24(10): 38-41, 46.

[5] 魏利勝, 周圣文, 張平改, 等. 基于雙經(jīng)度模型的魚眼圖像畸變矯正方法[J]. 儀器儀表學(xué)報, 2015, 36(2): 377-385.

[6] 周輝, 羅飛, 李慧娟, 等. 基于柱面模型的魚眼影像校正方法的研究[J]. 計(jì)算機(jī)應(yīng)用, 2008, 28(10): 2664-2666.

[7] XU Y, ZHOU Q, GONG L, et al. High-speed simultaneous image distortion correction transformations for a multicamera cylindrical panorama real-time video system using FPGA [J]. IEEE Transactions on, Circuits and Systems for Video Technology, 2014, 24(6): 1061-1069.

[8] ZHANG B, WANG J, LI J, et al. Fisheye lens distortion correction based on an ellipsoidal function model [C]// 2015 International Conference on, Industrial Informatics-Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII). New York: IEEE Press, 2015: 217-221.

[9] 師平. 魚眼圖像徑向畸變校正的一種新方法[J]. 圖學(xué)學(xué)報, 2016, 37(6): 805-809.

[10] 馮為嘉, 張寶峰, 曹作良．基于魚眼鏡頭的全方位視覺參數(shù)標(biāo)定與畸變矯正[J]. 天津大學(xué)學(xué)報, 2011, 44(5): 417-424．

[11] 陸懿, 陳光夢, 程松. 基于神經(jīng)網(wǎng)絡(luò)的數(shù)字圖像幾何畸變矯正方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2007, 28(17): 4290-4292.

[12] WANG X, FENG W, LIU Q, et al. Calibration research on fish-eye lens [C]// 2010 IEEE International Conference on, Information and Automation (ICIA). New York: IEEE Press, 2010: 385-390.

[13] HARTLEY R, KANG S B. Parameter-free radial distortion correction with center of distortion estimation [J]. IEEE Transactions on, Pattern Analysis and Machine Intelligence, 2007, 29(8): 1309-1321.

[14] BI G, ZHANG X, FENG W, et al. Error analysis of fisheye correction curve [C]// 2015 IEEE International Conference on, Mechatronics and Automation (ICMA). New York: IEEE Press, 2015: 1659-1664.

[15] KANNALA J, BRANDT S S. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses [J]. IEEE Transactions on, Pattern Analysis and Machine Intelligence, 2006, 28(8): 1335-1340.

[16] 李牧, 閆繼宏, 朱延河, 等. 一種改進(jìn)的大津法在機(jī)器視覺中的應(yīng)用[J]. 吉林大學(xué)學(xué)報: 工學(xué)版, 2008, 38(4): 913-918.

[17] 常丹華, 趙丹, 楊峰明, 等. 提取魚眼圖像輪廓的算法改進(jìn)及圖像校正[J]. 激光與紅外, 2012, 42(4): 448-451.

[18] 王紅茹, 丁文. 一種改進(jìn)的基于對稱性的Hough變換圓檢測算法[J]. 微電子學(xué)與計(jì)算機(jī), 2014, 31(6): 121-124.

[19] 魏利勝, 張平改, 費(fèi)敏銳. 基于非線性方程的魚眼圖像畸變矯正方法研究[J]. 電子測量與儀器學(xué)報, 2015, 29(11): 1584-1593.

[20] HUANG F, WANG Y, SHEN X, et al. Method for calibrating the fisheye distortion center [J]. Applied Optics, 2012, 51(34): 8169-8176.

Fisheye Lens Distortion Correction Method Based on Improved Spherical Perspective Projection

WANG Xiangjun1,2, BAI Haoyue1,2, WU Fanlu1,2, YE Xiuling1

(1. State Key Laboratory of Precision Measuring Technology and Instruments, Tianjin University, Tianjin 300072, China; 2. MOEMS Education Ministry Key Laboratory, Tianjin University, Tianjin 300072, China)

The method of improving the constraints was proposed to enhance the efficiency of image rectification and reduce the large amount of calculation caused by using the traditional spherical perspective projection and intricacy of calibration. Firstly, identify the principal point of the fish-eye image and its radius by applying Hough transform circle detection to the characteristics of fish-eye image, and set the condition that a straight line comes out from the same arc through spherical perspective positive rejection as a constraint. The main view of fish-eye image could be rectified with the optimal projection sphere radius. Based on this method, a new two-dimension calibration method is put forward as sector mapping. Start from the trajectory projected from the edge of main view. Map the fish-eye image in polar coordinates and obtain the rectified surrounding view. Validate the effectiveness and feasibility of the method by two examples.

spherical perspective projection; sector mapping; evaluation index; distortion

TP 391.41

10.11996/JG.j.2095-302X.2018010043

A

2095-302X(2018)01-0043-07

2017-05-31；

2017-07-23

天津大學(xué)自主創(chuàng)新基金項(xiàng)目(1706)

王向軍(1955–)，男，黑龍江哈爾濱人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)榫軠y試技術(shù)與儀器、光電探測與傳感技術(shù)、影像與視覺測量等。E-mail：xdocuxjw@vip.163.com