基于極曲線幾何和支持鄰域的魚眼圖像立體匹配

宋　濤，熊文莉，侯培國，李海濱*，陳　琛

(1．燕山大學(xué) 工業(yè)計(jì)算機(jī)控制工程河北省重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004;

2．秦皇島視聽機(jī)械研究所，河北 秦皇島 066000)

?

基于極曲線幾何和支持鄰域的魚眼圖像立體匹配

宋濤1,2，熊文莉1，侯培國1，李海濱1*，陳琛1,2

(1．燕山大學(xué) 工業(yè)計(jì)算機(jī)控制工程河北省重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004;

2．秦皇島視聽機(jī)械研究所，河北 秦皇島 066000)

提出了一種基于極曲線幾何和變支持鄰域的立體匹配算法來解決魚眼立體視覺中圖像變形導(dǎo)致的極曲線求取和匹配代價(jià)計(jì)算問題。首先，對(duì)魚眼相機(jī)進(jìn)行標(biāo)定并獲取相機(jī)的相關(guān)參數(shù)；針對(duì)魚眼鏡頭的畸變問題，根據(jù)魚眼鏡頭的優(yōu)化投影模型推導(dǎo)出系統(tǒng)的極曲線方程，并利用得到的極線方程確定對(duì)應(yīng)點(diǎn)的搜索范圍。然后，根據(jù)同源像點(diǎn)在左右圖像上的位置關(guān)系確定各中心像素點(diǎn)的支持鄰域，并計(jì)算出不同視差條件下該支持鄰域在另一幅圖像上的對(duì)應(yīng)支持鄰域，利用獲取的支持鄰域計(jì)算出各點(diǎn)的匹配代價(jià)。最后，利用WTA(Winner Takes All)策略選取最佳匹配點(diǎn)得到最終的匹配結(jié)果。基于提出的極曲線和支持鄰域?qū)山M魚眼圖像進(jìn)行了匹配實(shí)驗(yàn)并與傳統(tǒng)方法進(jìn)行了實(shí)驗(yàn)對(duì)比，結(jié)果表明：提出的方法的匹配準(zhǔn)確度比傳統(tǒng)方法分別提高了4.03%和4.64%。實(shí)驗(yàn)結(jié)果驗(yàn)證了極曲線的應(yīng)用加快了匹配速度并減少了誤匹配；支持鄰域的使用使其對(duì)匹配代價(jià)計(jì)算的準(zhǔn)確度優(yōu)于傳統(tǒng)方法。 該算法滿足了魚眼圖像立體匹配對(duì)信息獲取速度、準(zhǔn)確度和數(shù)量的要求。

計(jì)算機(jī)視覺；立體匹配；魚眼圖像；極曲線幾何；支持鄰域

*Correspondingauthor,E-mail:hbli@ysu.edu.cn

1　引　言

作為計(jì)算機(jī)視覺的關(guān)鍵技術(shù)之一，立體匹配一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，并且已經(jīng)形成了比較成熟的理論體系。雙目立體視覺系統(tǒng)多采用針孔相機(jī)，該領(lǐng)域已發(fā)展出了很多成熟的算法[1-4]，然而針孔相機(jī)視場(chǎng)角相對(duì)較小，獲取信息有限。魚眼相機(jī)能一次性捕捉超過半球視場(chǎng)范圍內(nèi)的場(chǎng)景信息，將其應(yīng)用到雙目立體視覺系統(tǒng)中，故可有效地增強(qiáng)系統(tǒng)采集信息的效率。與視場(chǎng)角相當(dāng)?shù)钠渌曈X系統(tǒng)相比，魚眼相機(jī)裝置簡(jiǎn)單、體積小、便于攜帶，在城市環(huán)境三維重建[5]、實(shí)時(shí)路況監(jiān)測(cè)[6-8]、機(jī)器人導(dǎo)航[9-11]、雙足機(jī)器人步調(diào)規(guī)劃[12]等需要實(shí)時(shí)獲取大視場(chǎng)范圍場(chǎng)景三維信息的應(yīng)用領(lǐng)域具有很大優(yōu)勢(shì)。但是，魚眼圖像的非線性畸變嚴(yán)重，給圖像的匹配帶來了很大難度。對(duì)魚眼圖像的研究主要集中在鏡頭設(shè)計(jì)[13-14]、畸變矯正[14-15]和相機(jī)參數(shù)標(biāo)定[16]這3方面。有關(guān)魚眼圖像立體匹配的研究相對(duì)較少，且對(duì)未經(jīng)畸變矯正的圓形魚眼圖像的立體匹配研究主要集中在稀疏匹配和準(zhǔn)稠密匹配[17-19]。國外對(duì)魚眼圖像的立體匹配的研究開展較早，為了實(shí)現(xiàn)魚眼圖像的實(shí)時(shí)匹配，Li[7]將魚眼圖像投影到球面上用經(jīng)緯法表示，并對(duì)球面圖像定義了一種立體視差。Zafer[20]也選擇在球面框架下完成對(duì)魚眼圖像的視差估計(jì)，以避免魚眼圖像矯正過程中積累的誤差對(duì)后續(xù)匹配結(jié)果的精確度有影響。Julien[5]在Li的基礎(chǔ)上提出利用2D和3D極曲線來指導(dǎo)魚眼圖像的立體匹配。但是他們都沒有說明是如何應(yīng)對(duì)魚眼圖像畸變完成匹配代價(jià)計(jì)算的。對(duì)此，文獻(xiàn)[18]和文獻(xiàn)[19]分別提出用仿射變換和旋轉(zhuǎn)變換近似表示魚眼圖像的局部畸變，然后根據(jù)近似模型對(duì)種子的支持鄰域進(jìn)行規(guī)范化以完成匹配代價(jià)的計(jì)算和匹配擴(kuò)散。但這兩種算法的匹配結(jié)果依賴于近似模型的準(zhǔn)確性，且只能獲取種子點(diǎn)及其鄰近點(diǎn)的準(zhǔn)稠密匹配結(jié)果，對(duì)需要豐富匹配數(shù)據(jù)的應(yīng)用來說略顯不足，匹配適用范圍受限。

本文提出一種直接對(duì)圓形魚眼圖像進(jìn)行立體匹配的算法，該算法首先根據(jù)魚眼雙目視覺系統(tǒng)的投影模型推導(dǎo)出魚眼圖像的極曲線方程；然后，根據(jù)該系統(tǒng)的投影特性，提出一種支持鄰域確定法，利用這個(gè)方法可以計(jì)算得到圖像中各點(diǎn)在不同視差條件下的支持鄰域；接著，為了體現(xiàn)本文極線與支持鄰域?qū)ζヅ湫Ч母纳颇芰Γ谄ヅ浯鷥r(jià)計(jì)算和最佳匹配點(diǎn)選取時(shí)分別以最簡(jiǎn)單的SAD(Sum of Absolute Differences)為代價(jià)函數(shù)計(jì)算待匹配點(diǎn)的匹配代價(jià)，采用最簡(jiǎn)單的WTA(Winner Take All)策略選取最佳匹配點(diǎn)。

針對(duì)未經(jīng)矯正的圓形魚眼圖像的立體匹配，本文算法主要旨在解決兩個(gè)問題：以極曲線作為對(duì)應(yīng)點(diǎn)的搜索范圍，提高匹配的速度和準(zhǔn)確度[20]；準(zhǔn)確確定各像素的支持鄰域及各鄰域在另一幅圖像上的對(duì)應(yīng)支持鄰域，以減小圖像變形對(duì)匹配代價(jià)計(jì)算的影響。

2　魚眼相機(jī)成像模型

理想情況下魚眼相機(jī)的成像過程可以分為兩步：第一步，空間內(nèi)的點(diǎn)線性地投影到鏡頭球面；第二步，鏡頭球面上的點(diǎn)按體視投影、等立體角投影、等距投影以及正交投影這幾種投影模型非線性的映射到魚眼圖像上[17]。但是，實(shí)際的魚眼相機(jī)投影過程的第二步并不完全遵循以上4種投影模型[21]。對(duì)此，可以通過引入畸變項(xiàng)實(shí)現(xiàn)對(duì)魚眼相機(jī)投影模型的優(yōu)化[22]。以等立體角模型魚眼相機(jī)為例，如圖1所示。

圖1　魚眼鏡頭成像模型圖Fig.1　Imaging model of fisheye lens

空間內(nèi)一點(diǎn)P，在鏡頭球面上的理想投影點(diǎn)為P′， 理想情況下，P′應(yīng)非線性地投影到p′，但實(shí)際卻投影在p。則p′與p間的映射關(guān)系可以表示為:

(1)

(2)

其中，r是魚眼圖像上的像素點(diǎn)P′(xp′,yp′)到圖像主點(diǎn)的距離，f是鏡頭的焦距，a、n是相機(jī)的內(nèi)參數(shù)，i1、i2、j1、j2、m1、m2是模型參數(shù)，θ是入射光線與鏡頭光軸的夾角，(θ,φ)為P′的球面坐標(biāo)，公式(2)是一種通用的魚眼鏡頭投影模型，可以表示各種投影模型的魚眼鏡頭的投影關(guān)系。Δt、Δr是優(yōu)化魚眼相機(jī)投影模型的畸變項(xiàng)，它們的表達(dá)式如下所示：

(3)

模型中各參數(shù)的求取方法見參考文獻(xiàn)[22]。

3　魚眼圖像立體匹配

3.1魚眼圖像極線方程

為了精確求取魚眼圖像的極曲線，必須考慮魚眼鏡頭的畸變問題，本文以上述優(yōu)化成像模型為基礎(chǔ)，推導(dǎo)得到魚眼圖像通用的極曲線解析式，參數(shù)設(shè)定也更便于后續(xù)的匹配處理。

圖2　極曲線示意圖Fig.2　Schematic diagram of epipolar curve

如圖2所示，雙目視覺中兩個(gè)魚眼相機(jī)的光軸平行，半球形鏡頭的4個(gè)極點(diǎn)el1,el2,er1,er2在一條直線上。P是空間內(nèi)的一點(diǎn)，其在左鏡頭球面的投影為Pl，在左相機(jī)坐標(biāo)系下Pl可以表示為:

(4)

為了方便后續(xù)對(duì)極曲線上的點(diǎn)逐一進(jìn)行匹配處理，將α、β作為可控變量，則3D極曲線上的點(diǎn)可以用式(6)表示:

(5)

(6)

其中，α為平面OP與相機(jī)坐標(biāo)系中y軸所成角，用來確定極曲線，α∈(0,π)。β是入射光線與相機(jī)坐標(biāo)軸所成角，用來確定極曲線上的點(diǎn)，β∈(0,π)。聯(lián)立方程(4)和(6)可得α、β、θ、φ之間的變換關(guān)系：

(7)

將方程(7)代入式(5)可以得到pl在右圖像上極曲線的最終方程：

(8)

3.2支持鄰域的確定

基于區(qū)域的立體匹配算法是利用對(duì)應(yīng)點(diǎn)鄰域內(nèi)灰度信息的相關(guān)程度進(jìn)行匹配的，在紋理豐富、視差平滑區(qū)能得到較理想的匹配結(jié)果。但是，受魚眼圖像變形的影響，傳統(tǒng)的匹配窗口在計(jì)算匹配代價(jià)時(shí)存在很大偏差。如圖3所示，同樣是以封面塔尖為中心的11 pixel×11 pixel的矩形窗口，在左右兩幅魚眼圖像中所包含的像素點(diǎn)并不相同。因此在匹配代價(jià)計(jì)算過程中，如果采用傳統(tǒng)的矩形窗口作為支持鄰域，這兩個(gè)窗口內(nèi)的像素點(diǎn)很可能對(duì)應(yīng)于空間中不同的點(diǎn)，容易造成誤匹配，這一問題在變形嚴(yán)重的圖像邊緣部分更加突出。事實(shí)上，一個(gè)深度平滑變化的空間矩形在左右兩幅圖像上的投影形態(tài)和大小會(huì)隨著深度的不同而有所變化。因此，本文根據(jù)魚眼鏡頭成像的特性確定各點(diǎn)支持鄰域，以解決因圖像變形引起的常規(guī)匹配窗口內(nèi)支持鄰域不對(duì)應(yīng)問題，提高魚眼圖像的匹配精度。

圖3　以塔尖為中心點(diǎn)的傳統(tǒng)窗口(大小為11×11)Fig.3　Traditional matching windows which take spire as center with size of 11×11

圖4　魚眼雙目立體視覺投影特性示意圖Fig.4　Projection characteristics of fisheye binocular stereo vision

如圖4所示，入射光線OPW所在平面PwOY與X軸所成角用γ表示，γ∈(0,π)。分析魚眼雙目視覺系統(tǒng)的成像特性發(fā)現(xiàn)：假設(shè)過Pw點(diǎn)的空間直線CD在左相機(jī)坐標(biāo)系中投射到左鏡頭球面的α值為αl，在右相機(jī)坐標(biāo)系中投射到右鏡頭球面的α值為αr，在平行魚眼雙目視覺中αl=αr；過Pw點(diǎn)空間的直線AB在左相機(jī)坐標(biāo)系下γ等于γl，在右相機(jī)坐標(biāo)系中γ等于γr。以左相機(jī)坐標(biāo)系為參考系，γ相同的空間點(diǎn)在以右相機(jī)坐標(biāo)系為參考系時(shí)γ也相等。本文根據(jù)魚眼雙目立體視覺成像的特性，推導(dǎo)出魚眼圖像不同位置像素點(diǎn)，在不同視差情況下的支持鄰域。具體推導(dǎo)過程如下。

圖5　支持鄰域推導(dǎo)圖Fig.5　Support neighborhood derivation

如圖5所示，以左相機(jī)坐標(biāo)系為參考，空間點(diǎn)PW在左鏡頭球面上的投影點(diǎn)為Pl，入射光線OPw與y軸所成角用ω表示，以左相機(jī)坐標(biāo)系為參考系，則Pl點(diǎn)坐標(biāo)可以表示為:

(9)

聯(lián)立公式(7)和(10)可得：

(10)

假設(shè)Ql點(diǎn)是Pl點(diǎn)的相鄰點(diǎn)，是空間點(diǎn)QW在鏡頭球面的投影點(diǎn)，與Pl點(diǎn)具有相同的γ，α角為αl，β角為βl。以左相機(jī)坐標(biāo)系為參考系時(shí)，Ql坐標(biāo)可以表示為

(11)

與Pl點(diǎn)各參數(shù)間的關(guān)系計(jì)算方法相同，可以求得Ql點(diǎn)γ、βl、αl間的關(guān)系表達(dá)式,如式(12)所示：

(12)

又因?yàn)镼l、Pl具有相同的γ，聯(lián)立式(10)和式(12)可求出βl：

(13)

在平行雙目立體視覺系統(tǒng)中，PW、QW在另一個(gè)鏡頭球面的投影點(diǎn)為Pr、Qr，其所在極曲線角度分別為α、αl，在右鏡頭球面也具有相同的γ′。根據(jù)上述求解過程，可以得到左鏡頭球面上Pl點(diǎn)的相鄰點(diǎn)集(即支持鄰域)在右鏡頭球面上對(duì)應(yīng)的投影。因此，在對(duì)未經(jīng)矯正的圓形魚眼圖像進(jìn)行立體匹配的過程中，就可以準(zhǔn)確地確定各點(diǎn)的支持鄰域，再將基于區(qū)域的立體匹配算法應(yīng)用到圓形魚眼圖像的立體匹配中。

3.3匹配算法步驟

為了得到魚眼圖像的極曲線方程，本文根據(jù)文獻(xiàn)[22]的魚眼鏡頭優(yōu)化投影模型推導(dǎo)出極曲線解析式。同時(shí)根據(jù)魚眼圖像的投影特性確定支持鄰域，確保計(jì)算匹配代價(jià)的同時(shí)，使左右支持鄰域內(nèi)的像素點(diǎn)一一對(duì)應(yīng)，從而減少圖像變形對(duì)匹配代價(jià)計(jì)算的準(zhǔn)確性造成影響。為了驗(yàn)證是本文的支持鄰域提高了算法的匹配準(zhǔn)確度，本文采用最簡(jiǎn)單的代價(jià)函數(shù)和匹配代價(jià)聚合方法。算法的關(guān)鍵步驟歸納如下：

(1) 利用平面圓形標(biāo)定板進(jìn)行標(biāo)定實(shí)驗(yàn)，獲取魚眼相機(jī)投影模型參數(shù)的初值。然后，通過最小化理論像點(diǎn)與實(shí)際像點(diǎn)之間的距離，優(yōu)化模型參數(shù)。

(2) 根據(jù)投影模型推導(dǎo)出魚眼圖像的極曲線方程，考慮到實(shí)際雙目視覺系統(tǒng)并不能完全滿足平行系統(tǒng)的條件，所以匹配時(shí)沿著相應(yīng)的極曲線在其附近搜索對(duì)應(yīng)點(diǎn)。

(3) 根據(jù)同一場(chǎng)景在左右魚眼圖像中投影位置關(guān)系，確定匹配過程中各點(diǎn)在不同視差下的支持鄰域，以SAD作為代價(jià)函數(shù)，在RGB彩色空間完成匹配代價(jià)的計(jì)算。

(4) 利用WTA策略獲取待匹配像素的最佳匹配點(diǎn)，實(shí)現(xiàn)魚眼圖像的立體匹配。

4　實(shí)　驗(yàn)

4.1實(shí)驗(yàn)設(shè)備

本文實(shí)驗(yàn)的硬件設(shè)備有：420 mm×594 mm規(guī)格的標(biāo)定板；Pentium(R) Dual-Core CPU計(jì)算機(jī)；魚眼雙目立體視覺實(shí)驗(yàn)平臺(tái)。該實(shí)驗(yàn)平臺(tái)的組成包括：雙目視覺支架臺(tái)、兩臺(tái)NM33-F型魚眼攝像機(jī)，其焦距為1.27 mm。圖片拍攝過程中，左右兩個(gè)相機(jī)光軸嚴(yán)格平行，并且4個(gè)極點(diǎn)在一條直線上。圖6(彩圖見期刊電子版)為利用魚眼相機(jī)拍攝獲取的兩組立體圖像對(duì)，圖像尺寸為480 pixel×640 pixel，其中紅色的曲線是本文推導(dǎo)得到的6對(duì)極曲線，圓形區(qū)域左右兩端紅色的點(diǎn)即為極點(diǎn)。

(a) 左圖　　　　　　(b) 右圖 (a) Left images 　　　　(b) Right images 圖6　魚眼圖像對(duì)及其若干極曲線Fig.6　A pair of fisheye images and their epipolar curves

4.2實(shí)驗(yàn)結(jié)果及分析

首先對(duì)兩魚眼相機(jī)進(jìn)行標(biāo)定實(shí)驗(yàn)，獲取相關(guān)的相機(jī)參數(shù)，結(jié)果如表1所示。

表1　參數(shù)標(biāo)定結(jié)果[16]

表中(uo,vo)是圖像的主點(diǎn)坐標(biāo)，mu、mv是相機(jī)的內(nèi)部參數(shù)。

(a) 矩形匹配窗口　　　　 (b) 支持鄰域(a) Rectangle matching window　(b) Support neighborhood圖7　稀疏匹配結(jié)果 Fig.7　Results of sparse matching

對(duì)匹配結(jié)果進(jìn)行統(tǒng)計(jì)，如表2所示：第一組圖像對(duì)中，參考圖一共標(biāo)記了273個(gè)SIFT特征點(diǎn)，采用矩形窗口計(jì)算匹配代價(jià)時(shí)，誤匹配像素對(duì)有41對(duì)，準(zhǔn)確率為84.98%；采用本文支持鄰域計(jì)算匹配代價(jià)時(shí)，誤匹配像素對(duì)有30對(duì)，準(zhǔn)確率為89.01%。第二組圖像對(duì)中，參考圖一共標(biāo)記819個(gè)特征點(diǎn)，采用矩形窗口計(jì)算匹配代價(jià)時(shí)，誤匹配像素對(duì)有166對(duì)，準(zhǔn)確率為79.73%；采用本文支持鄰域計(jì)算匹配代價(jià)時(shí)，誤匹配像素對(duì)為128對(duì)，準(zhǔn)確率為84.37%。利用本文的支持鄰域計(jì)算匹配代價(jià)時(shí)，兩組圖像的匹配結(jié)果分別提高了4.03%和4.64%。仔細(xì)觀察圖7會(huì)發(fā)現(xiàn)：對(duì)應(yīng)特征點(diǎn)間的連接線不是相互平行的，這是因?yàn)轸~眼鏡頭的非線性成像使得同源點(diǎn)在左右圓形魚眼上的圖像，不僅橫坐標(biāo)有差別，縱坐標(biāo)也存在差異。

表2　稀疏匹配結(jié)果

在等極曲線上尋找同源點(diǎn)，無疑縮小了同源點(diǎn)的搜索范圍，不僅減少了誤匹配對(duì)數(shù)，還加快了匹配速度。從以上實(shí)驗(yàn)結(jié)果還可以看出：對(duì)于未經(jīng)矯正的魚眼圖像，本文提出的支持鄰域方法可以有效提高匹配算法的精度。需要說明的是，本文的實(shí)驗(yàn)結(jié)果是通過最簡(jiǎn)單的相似度計(jì)算方法和最簡(jiǎn)單的最佳匹配結(jié)果確定法得到的，如果對(duì)這兩部分加以改進(jìn)，匹配結(jié)果則能夠得到進(jìn)一步優(yōu)化。

5　結(jié)　論

本文對(duì)魚眼雙目視覺立體匹配中存在的問題進(jìn)行了研究，提出了一種基于極曲線幾何和支持鄰域的魚眼圖像立體匹配算法。為了更準(zhǔn)確地求取極曲線，本文考慮鏡頭的畸變情況，根據(jù)魚眼鏡頭的優(yōu)化投影模型推導(dǎo)出平行魚眼雙目視覺系統(tǒng)通用的極曲線方程。根據(jù)該極曲線確定出了對(duì)應(yīng)點(diǎn)的搜索范圍，提高了匹配速度和準(zhǔn)確度。此外，由于魚眼圖像變形嚴(yán)重，采用傳統(tǒng)矩形窗口會(huì)使窗口像素不對(duì)應(yīng)，針對(duì)這一問題，本文根據(jù)魚眼鏡頭投影特性確定圖像中各點(diǎn)在不同視差情況下的支持鄰域。實(shí)驗(yàn)結(jié)果表明，采用本文的支持鄰域方法處理后，兩組實(shí)驗(yàn)圖像的匹配精確度分別提高了4.03%和4.64%。

本文提出的匹配算法能夠減小因非線性投影模型造成的魚眼圖像畸變對(duì)匹配結(jié)果的影響，為常規(guī)立體匹配算法在魚眼圖像上的應(yīng)用提供了一種可行方案。

[1]王燦進(jìn), 孫濤, 陳娟. 局部不變特征匹配的并行加速技術(shù)研究[J]. 液晶與顯示, 2014, 29(2):266-274.

WANG C J, SUN T, CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJournalofLiquidCrystalsandDisplays, 2014, 29(2):266-274. (in Chinese)

[2]肖志濤, 盧曉方, 耿磊,等. 基于極線校正的亞像素相位立體匹配方法[J]. 紅外與激光工程, 2014, 43(S1):225-230.

XIAO ZH T, LU X F,GENG L,etal.. Sub-pixel matching method based on epipolar line rectification[J].InfraredandLaserEngineering, 2014, 43(S1):225-230. (in Chinese)

[3]張來剛, 魏仲慧, 何昕,等. 面向低紋理圖像的快速立體匹配[J]. 液晶與顯示, 2013, 28(3):450-458.

ZHANG L G, WEI ZH H, HE X,etal.. New stereo matching method based edge extraction[J].ChineseJournalofLiquidCrystalsandDisplays, 2013,28(3):450-458. (in Chinese)

[4]楊晟, 李學(xué)軍, 朱詩兵,等. 抗仿射形變異構(gòu)金字塔復(fù)合描述點(diǎn)特征匹配算法[J]. 紅外與激光工程, 2014, 43(7):2387-2392.

YANG SH, LI X J, ZHU SH B,etal.. Robust affine-invariant isomerous pyramid feature and multi-description for point feature matching [J].InfraredandLaserEngineering, 2014, 43(7):2387-2392. (in Chinese)

[5]MOREAU J, AMBELLOUIS S, RUICHEK Y. 3D reconstruction of urban environments based on fisheye stereovision[C].IEEEInternationalConferenceonSignalImageTechnologyandInternetBasedSystems(SITIS)，2012,42(4):36-41.

[6]LI S G. Binocular spherical stereo[J].IEEETransactionsonIntelligentTransportationSystems.2008, 9(4): 589-600.

[7]LI S G. Real-time spherical stereo[C].IEEEInternationalConferenceonPatternRecognition(ICPR). 2006,3: 1046-1049.

[8]HANE C, HENG L, LEE G,etal..Real-time direct dense matching on fisheye images using plane-sweeping stereo[C].IEEEInternationalConferenceon3DVision(3DV). 2014:57-64.

[9]DRULEA M, SZAKATS I, VATAVU A,etal.. Omnidirectional stereo vision using fisheye lenses[C].2014IEEEInternationalConferenceonIntelligentComputerCommunicationandProcessing(ICCP).2014: 251-258.

[10]KIM D, CHOI J, YOO H,etal..Rear obstacle detection system with fisheye stereo camera using HCT[J].ExpertSystemswithApplications,2015,42(17-18):6295-6305.

[11]GOEDEME T, NUTTIN M , TUYTELAARS T,etal.. Omnidirectional vision based on topological navigation [J].InternationalJournalofComputerVision(IJCV), 2007, 74(3): 219-236.

[12]KITA N. Direct floor height measurement for biped walking robot by fisheye stereo[C].IEEEInternationalConferenceonHumanoidRobots(Humanoids), 2011, 187-192.

[13]陳琛, 胡春海. 球幕投影通用型變焦魚眼鏡頭設(shè)計(jì)[J]. 光學(xué) 精密工程, 2013, 21(2):323-335.

CHEN CH, HU CH H. Design of general type zoom fish-eye lens for dome-screen projector [J].Opt.PrecisionEng., 2013,21(2):323-335.(in Chinese)

[14] 張寶龍, 李丹, 張少敬,等. 非球面魚眼鏡頭設(shè)計(jì)及畸變校正算法研究[J]. 光學(xué)學(xué)報(bào), 2014, 34(12): 222-227.

ZHANG B L, LI D, ZHANG SH J,etal.. Design of aspheric fisheye lens and study of distortion correction algorithms [J].ActaOpticaSinica, 2014, 34(12):222-227.(in Chinese)

[15]英向華,胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計(jì)算機(jī)學(xué)報(bào), 2003, 26 (12):1702-1708.

YING X H, HU ZH Y. Fisheye lense distortion correction using spherical perspective projection constraint [J].ChineseJournalofComputers, 2003, 26(12): 1702-1708.(in Chinese)

[16]賈云得,呂宏靜,徐岸,等.一種魚眼鏡頭成像立體視覺系統(tǒng)的標(biāo)定方法[J].計(jì)算機(jī)學(xué)報(bào), 2000, 23(11):1215-1219.

JIA Y D, LV H J, XU A,etal.. Fisheye lens camera calibration for stereo vision system[J].ChineseJournalofcomputers, 2000, 23(11): 1215-1219.(in Chinese)

[17]祝海江,徐曉波,周靖林.基于球面透視投影旋轉(zhuǎn)矩陣的魚眼圖像匹配[J].光學(xué)學(xué)報(bào),2013,33(2):122-129.

ZHU H J, XU X B, ZHOU J L. Fisheye image matching based on rotation matrix under spherical perspective projection[J].ActaOpticaSinica，2013,33(2):122-129. (in Chinese)

[18]許振輝,張峰,孫風(fēng)梅,等.基于鄰域傳遞的魚眼圖像的準(zhǔn)稠密匹配[J].自動(dòng)化學(xué)報(bào),2009,35(9): 1159-1167.

XU ZH H, ZHANG F M, SUN F,etal.. Quasi-dense matching by neighborhood transfer for fish-eye images[J].ActaAutomaticaSinica, 2009,35(9):1159-1167.(in Chinese)

[19]LI X, LI J. Rotation model based quasi-dense matching propagation for uncalibrated fisheye images[C].IEEEConferenceonComputerApplicationandSystemModeling(ICCASM),2010,11:181-185.

[20]姜宏志, 趙慧潔, 梁宵月,等. 基于極線校正的快速相位立體匹配[J]. 光學(xué) 精密工程, 2011, 19(10):2520-2525.

JIANG H ZH, ZHAO H J, LIANG X Y,etal..Phase-based stereo matching using epipolar line rectification [J].Opt.PrecisionEng.,2011, 19(10):2520-2525.(in Chinese)

[21]KANNALA J, BRANDT S S . A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses [J].IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI).2006, 28(8): 1335-1340.

[22]李海濱,褚光宇,張強(qiáng),等.基于優(yōu)化的魚眼鏡頭成像模型的空間點(diǎn)定位[J].光學(xué)學(xué)報(bào)，2015,35(7): 247-253.

LI H B, CHU G Y, ZHANG Q,etal..Space point positioning based on optimization of fisheye lens imaging model [J].ActaOpticaSinica, 2015,35(7): 247-253.(in Chinese)

宋濤(1982-)，男，黑龍江齊齊哈爾人，高級(jí)工程師，博士研究生，2008年于燕山大學(xué)獲得工學(xué)碩士學(xué)位，主要從事機(jī)器視覺及智能儀器設(shè)計(jì)方面的研究。E-mail：tonysong66@gmail.com

導(dǎo)師簡(jiǎn)介：

侯培國(1968-)，男，山東郯城人，教授，博士生導(dǎo)師，1990年7月于東北重型機(jī)械學(xué)院獲得學(xué)士學(xué)位，1993年、2003年于燕山大學(xué)分別獲得工學(xué)碩士、博士學(xué)位，現(xiàn)為燕山大學(xué)電氣工程學(xué)院黨委書記，主要從事光電檢測(cè)、智能檢測(cè)、智能控制、智能儀器等方面的研究。E-mail:pghou@ysu.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Stereo matching for Fish-eye images based on epipolar geometry and support neighborhood

SONG Tao1,2, XIONG Wen-li1HOU Pei-guo1, LI Hai-bin1*, CHEN Chen1,2

(1.KeyLaboratoryofIndustrialComputerControlEngineeringofHebeiProvince,YanshanUniversity,Qinhuangdao066004,China; 2 .Audio-visualMachineryResearchInstituteofQinhuangdao,Qinhuangdao066000,China)

A stereo matching algorithm based on epipolar geometry and support neighborhood was proposed to solve the problems of epipolar curve and matching cost calculation caused by image distortion in fisheye stereo system. Firstly,a fisheye camera was calibrated to obtain its relevant parameters. For the lens distortion of a fisheye lens, the epipolar curves of the system were derived according to the projection model of fisheye lens ,and these epipolar curves were used to define searching scope when searching for corresponding points. Then, according to the position relationship between homologous points on the left and right images, the support neighborhood of each pixel was determined, the corresponding support neighborhood in other image was calculated in different parallaxes and the local matching cost was calculated based on support neighborhoods. Finally, matching results were obtained by using the Winner Takes All(WTA) strategy. The epipolar geometry and support neighborhood were used to perform a matching experiment and a comparison experiment for two groups of fisheye images. Experimental results show that the matching accuracies of the two groups are increased by 4.03% and 4.64% respectively as compared to traditional methods. It concludes that the epipolar curves speed up the matching speed and reduce the error; the accuracy rate of matching cost calculation by proposed support neighborhood is also superior to that of the traditional matching for the fisheye lens. This method meets the requirements of stereo matching of fisheye images for capturing speeds, accuracy and quantity.

computer vision; stereo matching; fisheye image; epipolar curve geometry; support neighborhood

2016-05-13；

2016-06-22.

河北省自然科學(xué)基金資助項(xiàng)目(No.D2015203310，No.D2014203153)

1004-924X(2016)08-2050-09

TP391.41

A

10.3788/OPE.20162408.2050