基于歸一化互相關(guān)的亞像素雙目視覺(jué)匹配方法

范新峰，程遠(yuǎn)增，付　強(qiáng)

(解放軍軍械工程學(xué)院電子與光學(xué)工程系，河北 石家莊 050003)

?

基于歸一化互相關(guān)的亞像素雙目視覺(jué)匹配方法

范新峰，程遠(yuǎn)增，付強(qiáng)

(解放軍軍械工程學(xué)院電子與光學(xué)工程系，河北 石家莊 050003)

摘要:針對(duì)當(dāng)前單一的區(qū)域匹配和特征匹配精度不高的問(wèn)題,提出了基于歸一化互相關(guān)的亞像素雙目視覺(jué)匹配方法。該方法首先采用歸一化互相關(guān)匹配獲得目標(biāo)圖像的像素級(jí)最佳匹配點(diǎn)；然后根據(jù)互相關(guān)函數(shù)呈現(xiàn)出的特性，用改進(jìn)的二次曲面擬合法擬合最佳匹配點(diǎn)周圍區(qū)域，得到費(fèi)馬點(diǎn)，該點(diǎn)即為亞像素級(jí)的最佳匹配點(diǎn)；最后對(duì)兩臺(tái)相機(jī)采集的圖像分別處理即可得到亞像素的匹配視差。實(shí)驗(yàn)結(jié)果表明，該匹配方法具有較高精度，能達(dá)到0.01像素。

關(guān)鍵詞:歸一化互相關(guān)；二次曲面擬合；圖像匹配；亞像素；雙目視覺(jué)

0引言

雙目視覺(jué)是計(jì)算機(jī)視覺(jué)的重要組成部分，即由不同位置的兩臺(tái)或一臺(tái)相機(jī)經(jīng)過(guò)移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，通過(guò)計(jì)算空間點(diǎn)在兩幅圖像中的視差，獲得空間點(diǎn)的三維坐標(biāo)值[1]。圖像匹配是雙目視覺(jué)理論中的一項(xiàng)重要技術(shù)，其實(shí)質(zhì)在于將兩幅或多幅圖像進(jìn)行對(duì)準(zhǔn)，求取同一目標(biāo)點(diǎn)的視差，其匹配精度直接決定著三維信息的獲取是否準(zhǔn)確。盡管在許多場(chǎng)合像素級(jí)的匹配精度已經(jīng)能夠滿足需要[2]，但在雙目測(cè)距、衛(wèi)星遙感、醫(yī)學(xué)成像等精度要求高的場(chǎng)合，必須要達(dá)到亞像素級(jí)匹配精度才能解決問(wèn)題。

目前，圖像匹配算法很多，可以分為區(qū)域匹配[3]和特征匹配[4]兩大類。如果單一地進(jìn)行匹配，它們的匹配精度都只能達(dá)到像素級(jí)別[5]，必須通過(guò)亞像素定位技術(shù)來(lái)提高精度。亞像素定位技術(shù)最早在20世紀(jì)70年代由Huechel[6]提出，現(xiàn)已發(fā)展為圖像重采樣、灰度矩和曲面擬合等多種定位方法。目前針對(duì)曲面擬合法的研究較多，雖然精度有限，但運(yùn)算速度快，其亞像素精度不高的原因在于曲面趨于理想化。本文針對(duì)此問(wèn)題，提出了基于歸一化互相關(guān)的亞像素雙目視覺(jué)匹配方法。

1歸一化互相關(guān)匹配

區(qū)域匹配，本質(zhì)是根據(jù)某種匹配準(zhǔn)則確定參考圖像中與模板圖像最相似的區(qū)域圖像，如圖1所示。

圖1　區(qū)域匹配原理圖Fig.1　Principle figure of zone matching

匹配的結(jié)果是確定二者間的相對(duì)位置。目前，常用的匹配準(zhǔn)則有最大互相關(guān)準(zhǔn)則、最小平方誤差準(zhǔn)則、最小均方差準(zhǔn)則等。最大互相關(guān)準(zhǔn)則被認(rèn)為是最佳的相似程度判據(jù)[7]，在實(shí)際應(yīng)用中，為了克服模板和參考圖像的灰度對(duì)互相關(guān)函數(shù)的影響，需要對(duì)它進(jìn)行歸一化處理。

(1)

F(m,n)的取值范圍是[-1,1]，其頂點(diǎn)(相關(guān)峰)即為最佳匹配點(diǎn)(模板圖像在參考圖像中匹配程度最高的位置)。因?yàn)閿?shù)字圖像的灰度分辨率是以像素為單位，那么利用NC函數(shù)進(jìn)行匹配時(shí)模板圖像的滑動(dòng)是以整像素來(lái)進(jìn)行的，所以NC匹配僅能達(dá)到像素級(jí)精度，必須過(guò)亞像素定位技術(shù)來(lái)提高到亞像素級(jí)。

考慮到NC匹配的計(jì)算量大，參考圖像進(jìn)行了自適應(yīng)的尺度變換，縮小了匹配范圍。給定參考圖像，按式(2)作橫向梯度計(jì)算得到梯度圖。式(2)中，f(x,i+1)、f(x,i)分別是第(i+1)、i列的灰度值，Th是梯度閾值。在梯度圖中找出灰度和最大的行和列，可初步確定目標(biāo)位置(行列相交的點(diǎn))，以該點(diǎn)為中心外擴(kuò)一定的像素作為最終的參考圖像。在該圖像中，確定目標(biāo)最上行、最下行、最左列和最右列像素，并留有一定余量，作為模板圖像。在計(jì)算最終的視差時(shí)，進(jìn)行簡(jiǎn)單的變換即可。

(2)

2改進(jìn)的二次曲面擬合法亞像素雙目視覺(jué)匹配

2.1二次曲面擬合法原理

曲面擬合法的思想是在最佳匹配點(diǎn)附近按NC函數(shù)值進(jìn)行曲面擬合，然后求極值獲得亞像素的匹配點(diǎn)。定位精度主要由擬合函數(shù)決定，文中采用的是二次曲面函數(shù)。設(shè)二次曲面函數(shù)表達(dá)式如下：

F(x,y)=ax2+by2+cxy+dx+ey+f

(3)

式(3)中，F(xiàn)(x,y)是位置點(diǎn)(x,y)處的NC函數(shù)值。將最佳匹配點(diǎn)坐標(biāo)及其八鄰域像素點(diǎn)坐標(biāo)代入式(3)，解方程組即可得到式(3)中各系數(shù)。二次曲面函數(shù)表達(dá)式可寫(xiě)成矩陣表達(dá)形式：

AX=b

(4)

式中，

(5)

(7)

由于系數(shù)矩陣不可逆，上述方程組一般用偽逆矩陣法求解。此法計(jì)算量大，而本文的程序開(kāi)發(fā)環(huán)境中有求逆函數(shù)cvInvert(const CvArr* src, CvArr* dst, Int method=CV_SVD)，因而采取如下處理：矩陣A奇異值分解(SVD)得到廣義逆矩陣A+，則：X=A+b。

獲得擬合函數(shù)后求極值即確定最佳匹配點(diǎn)的亞像素級(jí)坐標(biāo)，如式(8)。式中，f是二次曲面函數(shù)。

(8)

2.2對(duì)二次曲面擬合法進(jìn)行改進(jìn)

基于二次曲面擬合的亞像素定位中，存在著亞像素精度僅達(dá)到0.1～0.2像素且擬合的二次曲面趨于理想化的問(wèn)題。針對(duì)出現(xiàn)的問(wèn)題，吸取文獻(xiàn)[8]中亞像素邊緣擬合的思想，對(duì)二次曲面擬合法進(jìn)行改進(jìn)，提出新的擬合方法。以最佳匹配點(diǎn)的八鄰域點(diǎn)中的4個(gè)頂點(diǎn)為中心，分別作45°、135°、225°及315°方向上的縱切，由點(diǎn)及面，獲得相應(yīng)的八鄰域像素點(diǎn)，如圖2所示。

圖2　八鄰域像素點(diǎn)的示意圖Fig.2　Schematic diagram of 8 neighborhood pixels

綜上，本文的亞像素雙目視覺(jué)匹配方法步驟如下：

1)進(jìn)行參考圖像的尺度變換，縮小匹配范圍，進(jìn)行歸一化互相關(guān)匹配，得到像素級(jí)的最佳匹配點(diǎn)；

2)根據(jù)NC函數(shù)，利用改進(jìn)的二次曲面擬合法擬合最佳匹配點(diǎn)附近區(qū)域，得到4組亞像素坐標(biāo)；

3)求4組亞像素坐標(biāo)的費(fèi)馬點(diǎn)，完成單目圖像的亞像素定位；

(9)

3實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證上述方法的正確性和評(píng)估性能，采用基于Microsoft Visual Studio 2010+OpenCV的程序開(kāi)發(fā)環(huán)境進(jìn)行了仿真實(shí)驗(yàn)。參考圖像來(lái)源于兩臺(tái)相機(jī)同步拍攝的飛機(jī)圖像和太陽(yáng)圖像，如圖3。

圖3　飛機(jī)圖像Fig.3　Airplane image

實(shí)驗(yàn)中，先利用歸一化互相關(guān)匹配得到左側(cè)相機(jī)圖像的飛機(jī)像素級(jí)坐標(biāo)并作為精度衡量基準(zhǔn)，在此基礎(chǔ)上進(jìn)行二次曲面擬合得到亞像素級(jí)坐標(biāo)；利用左側(cè)相機(jī)圖像中提取的模板對(duì)右側(cè)相機(jī)圖像進(jìn)行匹配，得到右側(cè)圖像中的飛機(jī)定位坐標(biāo)；計(jì)算視差并進(jìn)行精度評(píng)估。表1給出了本文方法及二次曲面擬合法的有關(guān)測(cè)試結(jié)果(不連續(xù)5幀圖像)。

表1　飛機(jī)圖像測(cè)試結(jié)果

從表1中看，本文算法x坐標(biāo)的最大精度偏差的絕對(duì)值是0.002 5，而y坐標(biāo)的最大精度偏差的絕對(duì)值是0.000 6；相比之下，二次曲面擬合法坐標(biāo)偏差最大值達(dá)到了0.15。因而可認(rèn)為本文方法的精度可達(dá)到0.01像素以上的亞像素精度，比二次曲面擬合法的精度有所提高，對(duì)于研究亞像素的雙目視覺(jué)匹配有重要意義。

4結(jié)論

本文提出了基于歸一化互相關(guān)的亞像素雙目視覺(jué)匹配方法。該方法首先根據(jù)歸一化互相關(guān)匹配計(jì)算出目標(biāo)的像素級(jí)坐標(biāo)，然后通過(guò)對(duì)最佳匹配點(diǎn)作4個(gè)方向上的二次曲面擬合，確定新的亞像素定位坐標(biāo)，計(jì)算視差完成雙目視覺(jué)匹配。實(shí)驗(yàn)結(jié)果表明，本文方法精度達(dá)到0.01亞像素精度，提高了亞像素匹配精度，具有一定的應(yīng)用價(jià)值。但在復(fù)雜背景條件下，本文方法精度有所降低，這在下一步的工作中將進(jìn)行針對(duì)性研究并加以解決。

參考文獻(xiàn):

[1]高宏偉.計(jì)算機(jī)雙目立體視覺(jué)[M].北京:電子工業(yè)出版社，2012.

[2]張凌,趙永強(qiáng),張洪才,等.基于相位相關(guān)和自適應(yīng)閾值的圖像亞像素配準(zhǔn)[J].火力與指揮控制,2009,34(9):24-27.

[3]孫卜效,周東華.基于NCC的存在旋轉(zhuǎn)的圖像匹配算法[J].傳感器與微系統(tǒng),2008,27(5):43-45,48.

[4]徐一鳴,劉曉麗,劉怡昕.基于角點(diǎn)響應(yīng)函數(shù)的加權(quán)Hansdorff距離匹配算法[J].探測(cè)與控制學(xué)報(bào),2009,31(6):29-32,37.

[5]雷鳴,張廣軍.基于互相關(guān)的圖像匹配亞像素定位[J].光電工程,2008,35(5):108-113.

[6]M H Huechel. An operator which locate edges in digital pictures[J].Journal of the Association for Computer Machinery, 1971,18(1):113-125.

[7]Brown L G. A Survey of Image Registration Techniques[J].ACM Computer Surveys, 1992,24(4):148-150.

[8]Steger C. An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20(2):113-125.

*收稿日期:2015-11-20

基金項(xiàng)目:武器裝備軍內(nèi)科研項(xiàng)目資助(裝司2014551)

作者簡(jiǎn)介:范新峰(1990—),男，湖北武穴人，碩士研究生，研究方向：圖像處理，計(jì)算機(jī)視覺(jué)。E-mail:1132544091@qq.com。

中圖分類號(hào):TN911.73

文獻(xiàn)標(biāo)志碼:A

文章編號(hào)：1008-1194(2016)03-0071-04

Sub-pixelBinocularVisionImageMatchingBasedonNormalizedCorrelation

FANXinfeng,CHENGYuanzeng,FUQiang

(ElectronicandOpticalDepartment,OrdanceEngineeringCollege,Shijiazhuang050003,China)

Abstract:Aiming at the problem of low accuracy in a single regional matching or feature matching, an image matching method for binocular vision with sub-pixel accuracy based on normalized correlation was proposed. Firstly, the normalized correlation matching was used to get the optimal matching point with pixel accuracy. Then the correlation peak was fitted according to the feature of correlation function by method of improved quadratic surface fitting, and the Fermat point was gained, which was the optimal matching point with sub-pixel accuracy. Finally, the matching parallax with sub-pixel accuracy was calculated by photos of two cameras. Experimental results showed this method had high sub-pixel accuracy to 0.01 pixel.

Key words:normalized correlation; quadratic surface fitting; image matching; sub-pixel; binocular vision