基于亞像素級(jí)角點(diǎn)檢測(cè)的雙目視覺(jué)距離測(cè)量

施聞明，郭星衛(wèi)，王文清

(海軍潛艇學(xué)院，山東 青島 266042)

基于亞像素級(jí)角點(diǎn)檢測(cè)的雙目視覺(jué)距離測(cè)量

施聞明，郭星衛(wèi)，王文清

(海軍潛艇學(xué)院，山東 青島 266042)

摘要：要提高雙目測(cè)距的精度，需要高精度的視差，為此引入亞像素檢測(cè)方法。首先，采用Bouguet立體校正算法將左右圖像進(jìn)行極線(xiàn)校正，以減少匹配計(jì)算代價(jià)，提高匹配效率；然后，利用Harris角點(diǎn)探測(cè)器在一矩形領(lǐng)域內(nèi)尋找一個(gè)最強(qiáng)特征點(diǎn)作為待匹配點(diǎn)，再采用最大互相關(guān)法對(duì)左圖像進(jìn)行匹配搜索確定匹配點(diǎn)。最后，對(duì)已匹配好的點(diǎn)對(duì)進(jìn)行亞像素級(jí)檢測(cè)，即可得到亞像素級(jí)視差。實(shí)驗(yàn)結(jié)果表明，該方法能將角點(diǎn)檢測(cè)精度提高到0.001像素，測(cè)距精度也相應(yīng)提高，距離越遠(yuǎn)效果越明顯。

關(guān)鍵詞：立體匹配；亞像素檢測(cè)；雙目測(cè)距

0引言

雙目視覺(jué)測(cè)距技術(shù)仿照人類(lèi)雙眼感知周?chē)h(huán)境空間深度功能[1]，利用2個(gè)攝像頭拍攝從不同位置拍攝同一場(chǎng)景，通過(guò)各種算法對(duì)所拍攝的立體圖像對(duì)進(jìn)行匹配，并計(jì)算視差，然后利用三角測(cè)量原理實(shí)現(xiàn)距離測(cè)量。立體匹配是雙目視覺(jué)測(cè)距的關(guān)鍵環(huán)節(jié)，也是雙目視覺(jué)研究的熱點(diǎn)。近些年來(lái)，國(guó)內(nèi)外機(jī)器視覺(jué)領(lǐng)域的學(xué)者提出了很多立體匹配的算法[2-7]，有些達(dá)到了極高的匹配精度，但這些算法要么是針對(duì)特定應(yīng)用提出的，要么是以增加計(jì)算量來(lái)提高匹配精度，因而不具有通用性。就測(cè)距而言，只需知道目標(biāo)上一些特征點(diǎn)坐標(biāo)即可達(dá)到測(cè)距目的，沒(méi)有必要進(jìn)行全圖像匹配。針對(duì)此特點(diǎn)，本文提出一種高精度快速匹配策略。首先，在獲取雙目視覺(jué)系統(tǒng)內(nèi)外參數(shù)的條件下，采用Bouguet算法將左右圖像校正為極線(xiàn)水平對(duì)準(zhǔn)狀態(tài)，以減少后續(xù)的匹配計(jì)算代價(jià)；然后，利用Harris角點(diǎn)探測(cè)器在右圖像感興趣區(qū)域內(nèi)尋找一個(gè)最強(qiáng)特征點(diǎn)作為待匹配點(diǎn)，建立以該特征點(diǎn)為領(lǐng)域的模板，采用最大互相關(guān)法對(duì)對(duì)左圖像進(jìn)行匹配搜索確定匹配點(diǎn)；然后再對(duì)左右圖像中確定的匹配點(diǎn)進(jìn)行亞像素級(jí)檢測(cè)，得出各自的亞像素級(jí)坐標(biāo)；利用得出的亞像素級(jí)角點(diǎn)坐標(biāo)結(jié)合雙目視覺(jué)測(cè)距算法即可得到目標(biāo)點(diǎn)的距離。本文所用方法相對(duì)上述文獻(xiàn)中提出高精度立體匹配算法而言，計(jì)算代價(jià)更小，效率更高，對(duì)于實(shí)時(shí)性要求很高的場(chǎng)合，如雙目實(shí)時(shí)測(cè)距，具有一定的參考價(jià)值。

1雙目測(cè)量原理

雙目立體視覺(jué)測(cè)量基于視差原理。圖1所示為簡(jiǎn)單的雙目平視立體成像原理圖，2臺(tái)攝像機(jī)投影中心線(xiàn)的距離，即基線(xiàn)距為B。點(diǎn)P在左右攝像機(jī)CCD平面上投影的圖像坐標(biāo)分別為pl=(Xl,Yl)和pr=(Xr,Yr)。 由三角關(guān)系可得

(1)

圖1　雙目立體成像原理Fig.1　Principle of binocular solid imaging

設(shè)視差為D=Xl-Xr， 由此計(jì)算出特征點(diǎn)P在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)為

(2)

(3)

(4)

從而可得P點(diǎn)在攝像機(jī)坐標(biāo)系下的距離為

(5)

因此，只要能在左圖像找到與右圖像對(duì)應(yīng)的匹配點(diǎn)，就可以確定出該點(diǎn)的三維坐標(biāo)，從而實(shí)現(xiàn)距離測(cè)量。

2圖像立體校正

當(dāng)2個(gè)像平面的極線(xiàn)完全水平對(duì)準(zhǔn)時(shí)，此時(shí)的匹配效率最高，視差計(jì)算也最簡(jiǎn)單。但現(xiàn)實(shí)中的2臺(tái)攝像機(jī)幾乎不可能完全做到水平，即不可能有準(zhǔn)確行對(duì)準(zhǔn)的成像平面，因而需要對(duì)立體圖像對(duì)進(jìn)行立體校正，采用一定的數(shù)學(xué)方法使立體圖像對(duì)完全地行對(duì)準(zhǔn)到前向平行結(jié)構(gòu)上。本文采用基于標(biāo)定的Bouguet立體校正算法對(duì)圖像進(jìn)行立體校正[8]。該算法通過(guò)對(duì)立體標(biāo)定獲取的攝像機(jī)間的旋轉(zhuǎn)矩陣R和平移向量T進(jìn)行數(shù)學(xué)處理，使2幅圖像中的每一副投影次數(shù)最小化，同時(shí)使得觀測(cè)面積最大化，以達(dá)到讓極線(xiàn)水平對(duì)準(zhǔn)的效果。圖2為校正后左右攝像機(jī)對(duì)應(yīng)的2幅圖像，可以看出，校正后的圖像處于極線(xiàn)平行對(duì)準(zhǔn)狀態(tài)。在后續(xù)的匹配搜索過(guò)程中，只需在左右圖像的同一行進(jìn)行搜索即可找到對(duì)應(yīng)的匹配點(diǎn)，從而達(dá)到提高匹配效率的目的。

圖2　校正后的圖像Fig.2　Images after revising

3特征點(diǎn)提取

3.1　角點(diǎn)提取

特征匹配方式是基于抽象的幾何特征(如邊緣輪廓、拐點(diǎn)、幾何基元的形狀及參數(shù)化的幾何模型等)，本文采用的特征點(diǎn)為角點(diǎn)。對(duì)于角點(diǎn)的定義目前尚未統(tǒng)一，但最普遍的定義是由Harris在文獻(xiàn)[9]中提出的，他定義角點(diǎn)位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣有2個(gè)最大特征值的地方，即圖像邊緣的相交處。本文采用文獻(xiàn)[9]提出的角點(diǎn)檢測(cè)方法對(duì)感興趣點(diǎn)進(jìn)行角點(diǎn)檢測(cè)。例如，擬選取右圖像標(biāo)定紙右上角作為特征點(diǎn)，先確定一固定大小的矩形領(lǐng)域?yàn)榻屈c(diǎn)檢測(cè)區(qū)域(大致包含擬選特征點(diǎn))，然后進(jìn)行角點(diǎn)檢測(cè)，測(cè)得該點(diǎn)圖像坐標(biāo)為P(882,251)。照此方法可在右圖像中檢測(cè)出若干感興趣的特征點(diǎn)，將這些點(diǎn)作為待匹配點(diǎn)，按照引言中所描述的方法可找出右視圖對(duì)應(yīng)的匹配點(diǎn)。圖3(a)顯示以特征點(diǎn)為中心畫(huà)矩形， 圖3(b)顯示矩形區(qū)域內(nèi)角點(diǎn)檢測(cè)結(jié)果。

圖3　角點(diǎn)檢測(cè)Fig.3　Corner detecting

3.2　亞像素角點(diǎn)提取

上節(jié)所獲得的角點(diǎn)坐標(biāo)為整數(shù)值，為提高測(cè)量精度，需要精度更高的角點(diǎn)即亞像素級(jí)角點(diǎn)。文獻(xiàn)[10]介紹了一種計(jì)算亞像素級(jí)角點(diǎn)的方法，其主要思路如圖4所示。

圖4　亞像素級(jí)角點(diǎn)檢測(cè)Fig.4　Sub-pixel corner detecting

圖4中，假設(shè)q在實(shí)際的亞像素角點(diǎn)附近。檢測(cè)所有的向量qp，若向量qp的方向與邊緣方向一致，則此邊緣上的p點(diǎn)處的梯度與向量qp正交，如圖4(a)所示；若p點(diǎn)位于均勻區(qū)域，如圖4(b)所示，則p點(diǎn)處的梯度為0，這2種情況下向量qp與p點(diǎn)處的梯度的點(diǎn)積均為0?？稍趐點(diǎn)周?chē)业饺舾山M梯度以及相關(guān)的向量qp，令其點(diǎn)積為0，求解方程組，得出的值即為q的亞像素級(jí)坐標(biāo)。

4最大互相關(guān)匹配準(zhǔn)則

基于灰度的區(qū)域匹配方法，其基本原理是在其中1幅圖像中選取1個(gè)子窗口(m×n)圖像，然后在另1幅圖像中的1個(gè)區(qū)域內(nèi)，根據(jù)某種匹配準(zhǔn)則，尋找與子窗口圖像最為相似的子圖像。本文將特征匹配與區(qū)域匹配進(jìn)行融合，以提取到的特征點(diǎn)為中心選取m×n的窗口作為子窗口，采用最大互相關(guān)準(zhǔn)則作為約束進(jìn)行匹配。

考慮到噪聲的影響，定義在某個(gè)領(lǐng)域上的灰度相關(guān)值C(x,y)來(lái)表示灰度的相似性。具體操作方法是將左圖像中的已檢測(cè)出的角點(diǎn)q(x,y)為中心的m×n窗口的灰度領(lǐng)域作為范本，在右圖像中以互相關(guān)函數(shù)作為2個(gè)搜索領(lǐng)域間的相識(shí)性測(cè)度。搜索具有同樣或相似灰度值分布的對(duì)應(yīng)點(diǎn)領(lǐng)域，實(shí)現(xiàn)同名點(diǎn)的匹配。互相關(guān)函數(shù)C(x,y)表示如下

當(dāng)C(x,y)最大時(shí)得到右圖像中點(diǎn)p(x,y)，此時(shí)認(rèn)為p(x,y)與q(x,y)為最佳匹配點(diǎn)對(duì)。

4實(shí)驗(yàn)與分析

采用上節(jié)的最大互相關(guān)匹配準(zhǔn)則對(duì)右圖像所檢測(cè)到的若干特征點(diǎn)在左圖像上進(jìn)行搜索匹配，可得與之對(duì)應(yīng)匹配點(diǎn)。本文在右圖像上任意選取了15個(gè)特征點(diǎn)進(jìn)行匹配，匹配結(jié)果如圖5所示。

圖5　匹配結(jié)果Fig.5　Matching result

對(duì)所得到匹配點(diǎn)對(duì)再按第3.2節(jié)中的方法進(jìn)行亞像素角點(diǎn)檢測(cè)，本文采用文獻(xiàn)[8]中OpenCV開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)中提供的函數(shù)cvFindCornerSubPix()進(jìn)行檢測(cè)，得到亞像素級(jí)匹配點(diǎn)之后，再計(jì)算對(duì)應(yīng)的視差，結(jié)合式(2)~式(5)以及通過(guò)攝像機(jī)標(biāo)定得出的攝像機(jī)內(nèi)外參數(shù)即可得出特征點(diǎn)的距離，如表1所示。

表1　亞像素檢測(cè)及測(cè)距結(jié)果

從表1中數(shù)據(jù)可看出，經(jīng)過(guò)亞像素檢測(cè)以后，特征點(diǎn)的坐標(biāo)精度有了很大提高，可達(dá)到小數(shù)點(diǎn)后3位，這在一定程度上也提高了測(cè)距的精度。由于本文中目標(biāo)距離較近，視差比較大，所以坐標(biāo)精度的提高對(duì)于測(cè)距的結(jié)果影響不是很大，但對(duì)于遠(yuǎn)距離目標(biāo)來(lái)說(shuō)，視差很小，此時(shí)角點(diǎn)測(cè)量精度的提高對(duì)最終測(cè)距精度會(huì)產(chǎn)生很大的影響。

5結(jié)語(yǔ)

本文提出了一種基于亞像素角點(diǎn)檢測(cè)的方法實(shí)現(xiàn)雙目測(cè)距，該方法在已匹配點(diǎn)的基礎(chǔ)上進(jìn)行亞像素檢測(cè)，將匹配點(diǎn)的檢測(cè)精度精確到0.001像素，這對(duì)提高測(cè)距精度，尤其是遠(yuǎn)距離目標(biāo)的測(cè)距精度有很大作用。由于采用極線(xiàn)校正，使得匹配效率更高，因而本文所用方法適用于實(shí)時(shí)性要求很高的雙目視覺(jué)測(cè)距、快速三維重建等場(chǎng)合。

參考文獻(xiàn)：

[1]高文，陳熙霖.計(jì)算機(jī)視覺(jué)算法與系統(tǒng)原理[M].北京:清華大學(xué)出版社，1998.

[2]LEVINE M D,HANDLEY O.Computer determination of depth maps[J].Computer Graphics and Image Processing,1972(2):131-150.

[3]ANGELA R,ANTONIO C,JOSE M.A dense disparity map of stereo images[J].Pattern Recognition Letters,1997(18):385-393.

[4]唐麗,吳成柯,劉侍剛.基于區(qū)域增長(zhǎng)的立體成像匹配算法[J].計(jì)算機(jī)學(xué)報(bào),2004,27(7):937-944.

TANG Li,WU Cheng-ke,LIU Shi-gang.Matching arithmetic of solid imaging based on zone increasing[J].Computer Transaction,2004,27(7):937-944.

[5]LIM H S,PARK H.A dense disparity estimation method using color segmentation and energy minmiation[C]//Image Processing.IEEE International Conference on,8-11 Oct，2006(s):1033-1036.

[6]王紅梅,張科,李言俊.圖像匹配研究進(jìn)展[J].計(jì)算機(jī)工程與應(yīng)用,2004(19):42-45.

WANG Hong-mei,ZHANG Ke,LI Yan-jun.Research on headway of image matching[J].Computer Project and app,2004(19):42-45.

[7]王軍,張明柱.圖像匹配算法的研究進(jìn)展[J].大氣與環(huán)境光學(xué)學(xué)報(bào),2007,2(1):11-15.

WANG Jun,ZHANG Ming-zhu.Research on headway of image matching arithmetic[J].Atmosphere and Atmosphere Optics Transaction,2007,2(1):11-15.

[8]于仕琪,劉瑞禎,譯.學(xué)習(xí)OpenCV(中文版)[M].北京:清華大學(xué)出版社,2009.

[9]HARRIS C,STEPHENS M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vison Conference,1988：147-151.

[10]CHEN D,ZHANG G.A new sub-pixel detector for x-corners in camera calibration targets[J].WSCG Short Papers，2005:97-100.

Binocular range measuring based on sub-pixel corner detecting

SHI Wen-ming,GUO Xing-wei,WANG Wen-qing

(Navy Submarine Academy,Qingdao 266042,China)

Abstract：The improvement of the range-measuring accuracy depends on the high precise parallax, so this article introduces a sub-pixel detecting method. At first, it uses bouguet algorithm to rectify the left and right images to make their epipolar line forward-parallel so that decrease the computation and improve the matching efficiency. Then it uses Harris corner detector to find a most characteristic corner as candidate matching point. After that, it uses most cross correlation matching rule to match left image. Finally, it detects the matched points at sub-pixel level to get the sub-pixel parallax .the result shows that, the method used in this article can improve the corner detecting precision to 0.001 pixel, and the range-measuring accuracy be improved accordingly, the farther the targets′ range,the more evidently the improvement of precision.

Key words：stereo matching;sub-pixel detecting;binocular range measuring

作者簡(jiǎn)介：施聞明(1982-)，男，博士，講師，從事載運(yùn)工具運(yùn)用工程研究。

基金項(xiàng)目：海軍預(yù)研資助項(xiàng)目

收稿日期：2013-09-29； 修回日期： 2014-03-10

文章編號(hào)：1672-7649(2015)02-0107-04

doi：10.3404/j.issn.1672-7649.2015.02.022

中圖分類(lèi)號(hào)：TP273

文獻(xiàn)標(biāo)識(shí)碼：A