一種基于雙目測距系統(tǒng)的亞像素精度自適應(yīng)圖像匹配算法

張堯，趙洋，劉博宇，遲名辰，楊進華

（長春理工大學(xué)　光電工程學(xué)院，長春　130022）

?

一種基于雙目測距系統(tǒng)的亞像素精度自適應(yīng)圖像匹配算法

張堯，趙洋，劉博宇，遲名辰，楊進華

（長春理工大學(xué)光電工程學(xué)院，長春130022）

摘要：針對目前亞像素精度圖像匹配算法中存在的匹配精度不高和匹配速度慢的缺點，對基于灰度的歸一化互相關(guān)算法進行了改進，提出動態(tài)調(diào)整匹配區(qū)域范圍的自適應(yīng)方法，既保證了亞像素級匹配精度，又提高了運算速度。實驗證明，改進后的算法，在保證0.2個像素匹配精度的條件下，匹配速度大大提高，能夠滿足實際應(yīng)用中的實時性要求。

關(guān)鍵詞：亞像素；自適應(yīng)；圖像匹配；歸一化互相關(guān)

雙目CCD測距技術(shù)是一種仿照人類利用雙眼得到目標物體的圖像來感知距離的光學(xué)測距方法。雙目CCD測距為被動測距，在測量中不必對被測目標發(fā)射任何信號，只需在自然條件下即可實現(xiàn)高精度遠距離測距，具有隱蔽性的特點，特別適用于軍用設(shè)備測距、航空目標測距和工業(yè)應(yīng)用中需要保密和受環(huán)境限制的場合。

雙目視覺是由不同位置的兩臺CCD攝像機，通過平移對同一幅場景進行拍攝來估計在兩幅圖像中對應(yīng)像素點的視差，從而全面的恢復(fù)場景的深度信息，感知三維世界。雙目視覺系統(tǒng)主要涵蓋了五個基本模塊：數(shù)字圖像對采集、雙目立體標定、數(shù)字圖像對校正、立體匹配和三維結(jié)構(gòu)恢復(fù)，而立體匹配模塊一直成為該系統(tǒng)研究的核心所在。雙目視覺中的立體匹配其實是在兩幅圖像之間建立匹配點，然后根據(jù)攝像機參數(shù)和對應(yīng)的匹配點計算場景中目標的深度值。圖像匹配算法的核心就是通過某個特定匹配準則，在兩幅圖像上尋找同名點間的一一對應(yīng)關(guān)系的過程，其實質(zhì)就是運用匹配準則在待匹配點中尋找最佳搜索方法。以左圖獲得的目標點為點源，在右圖中尋找最佳準則的匹配點的搜索過程，就是各種立體匹配算法的研究內(nèi)容。

目前國內(nèi)外對基于亞像素精度的匹配算法已有一些研究，但是由于要實現(xiàn)的是立體圖像對的亞像素精度的稠密匹配，與像素級的匹配算法相比，其在實現(xiàn)精度、復(fù)雜度、估計值準確度、運算速度等方面都是一個大的挑戰(zhàn)。

在亞像素精度圖像匹配領(lǐng)域，研究者們普遍思路是通過插值擬合的處理方式來對整數(shù)視差進行進一步細化。Tian Q［1］等人提出對聚集代價進行拋物線擬合來得到亞像素視差，但通過這個方法得到的亞像素視差有明顯的像素鎖定現(xiàn)象，即視差值取在整數(shù)值附近的概率遠遠大于取在0.5個像素附近值的概率。Shimizu M［2］的研究中，減少了線性相似度策略產(chǎn)生的視差錯誤。Nehab［3］等在此基礎(chǔ)上提出系統(tǒng)偏移的實質(zhì)性問題，通過在視差空間上進行二維擬合來迭代貼近真實亞像素值，但是針對每一幅圖像參數(shù)都不同，實現(xiàn)較繁瑣。由于在頻域進行匹配操作不受亮度變化的影響，所以Takita K等人［4］依據(jù)圖像對應(yīng)點頻率特性，在頻率范圍內(nèi)進行視差估計，提出基于相位相關(guān)的圖像匹配方法，一定程度上提高了視差精度。隨后Hongshi Yan和Jian Guo Liu［5］在聯(lián)合相位相關(guān)方法中加入了一個判定系數(shù)來進行亞像素視差估計，使得算法更為魯棒。但相位方法存在的明顯不足是需要場景中的物體為相對規(guī)則的剛性目標。2006年Klaus A［6］轉(zhuǎn)換思路，提出了AdaptingBP算法，不同于傳統(tǒng)方法對每個像素進行視差求解，而是采用置信度傳播在分割面上進行視差求解，采用顏色分割和自適應(yīng)匹配相似性度量來最大化可靠匹配點的數(shù)量。通過平面補丁來對場景結(jié)構(gòu)進行建模，使得算法對奇異點有更好的抗性。在此基礎(chǔ)上，Wang Z［7］提出了一種新的基于分割區(qū)域間協(xié)同優(yōu)化的方法。該算法以圖像區(qū)域為匹配基元，進行彩色分割后，利用每個區(qū)域不同的彩色特征與其相鄰區(qū)域間存在的相關(guān)特性，來定義每個區(qū)域的匹配能量函數(shù)，再利用區(qū)域之間的合作競爭機制，通過優(yōu)化子目標之間合作競爭關(guān)系來達到優(yōu)化總體匹配能量的目的，實驗證明其匹配性能比較理想。但是區(qū)域的分割結(jié)果對視差有較大影響。與上述方法都不同的是Yang Q X［8］提出在后處理階段來提高深度圖像的分辨率，通過使用一個或兩個高分辨率彩色圖像作為參考，對輸入的低分辨率圖像，迭代地改善空間分辨率和深度精度，獲得了非常好的亞像素深度信息。而針對實際場景中的弱紋理問題，翟振剛［9］在2010年提出了基于分割塊幾何約束的立體匹配算法，利用分割塊的上下文幾何約束信息來判斷可信視差點與可信視差點，通過計算視差值概率分布，由可信分割塊的視差信息推理出不可信分割塊的視差信息，一定程度上克服了弱紋理區(qū)域的誤匹配，提高了匹配的準確度。2011年施陳博［10］又提出一種新的高精度全局優(yōu)化框架，通過可靠點集合與平面平滑模型構(gòu)建了新的全局能量函數(shù)，利用視差圖和可信度圖交替迭代更新的方式實現(xiàn)了多個亞像素精度上的好效果，并可以在不同的光照條件下都具有較好的魯棒性，但是其視差圖和可信度圖容易受實際圖像中噪聲和邊緣模糊影響。Bleyer［11］提出ObjectStereo算法，在傳統(tǒng)顏色分割的基礎(chǔ)上，充分利用空間的一些相關(guān)性的目標組成約束信息，將目標層顏色模型作為軟約束的分割方法加入到全局優(yōu)化模型中進行計算。由于考慮了離散顏色相似區(qū)域的相關(guān)性特性，所以在彩色圖像上獲得了很好地效果。

雖然基于擴展相位相關(guān)的算法在亞像素精度下的配準都達到了相當(dāng)高的精度，但是他們無一例外都是算法復(fù)雜度非常高，運行速度很慢，因此，發(fā)展較慢，現(xiàn)在大多應(yīng)用于遙感圖像配準等剛性變換的自動配準領(lǐng)域；二次曲線擬合可以在每一個像素上進行視差的亞像素化，實現(xiàn)過程很簡單，但是也存在著不足，即如果圖像的初始視差就是不正確的，那么擬合后的結(jié)果必定也是存在偏差的；通過基于曲面擬合的方法來對視差進行視差精度的提升有很多的方式，但是由于曲面擬合存在著擬合過程需要在相對單一的表面模型才能進行，依據(jù)擬合的表面模型的不同擬合系數(shù)個數(shù)以及擬合公式也有很大的不同。

綜合以上亞像素精度圖像匹配策略研究的發(fā)展現(xiàn)狀可知，不管是哪一種算法，它們都各有優(yōu)勢，但也都存在不足之處，在匹配精度、運行時間上存在較大的差異，也都還需要進一步的研究與實驗論證。在本課題的研究當(dāng)中，考慮通過自適應(yīng)匹配窗口來實現(xiàn)提高亞像素匹配精度和速度。其中，如何確定匹配窗口的大小是比較關(guān)鍵的問題：窗口越小，在視差不連續(xù)區(qū)域匹配精度越高，但是低紋理區(qū)域沒有覆蓋足夠的灰度變化，會因灰度信息太少使得視差估計不準確；窗口越大，可以包括足夠的灰度變化，對于低紋理區(qū)域匹配精度越高，但窗口太大且包含視差的較大變化，會因為左右圖像上不同的投影畸變，使得匹配位置不正確，且計算量大。因此，分別在像素級精度和亞像素級精度匹配階段，引入自適應(yīng)窗口進行匹配是非常有必要的。

1　像素級精度粗匹配

1.1互相關(guān)匹配算法

針對雙目測距，采用的左右CCD攝像機型號、參數(shù)可以保持一致，基本保持光軸平行、雙目攝像機坐標系共面且各坐標軸平行放置，由此同步采集的左右CCD圖像大小、比例一致，圖像的灰度信息受噪聲干擾較小。因此，采用最適合雙目測距系統(tǒng)的基于模板匹配的灰度互相關(guān)的圖像匹配算法，其原理如圖1所示。

圖1　互相關(guān)匹配原理圖

這里用歸一化互相關(guān)匹配算法來比較Si，j和T相似度?；ハ嚓P(guān)函數(shù)的表達式為

1.2自適應(yīng)圖像粗匹配原理

對于截取的特征模板t（h×h，h初始值為50pixel），如果其中包含的圖像特征不明顯的話，則會大大降低粗匹配精度，甚至造成誤匹配，所以在圖像粗匹配環(huán)節(jié)引入自適應(yīng)窗口可以有效解決這一問題，其原理如下：

為了判斷圖像上是否存在特征，需要對圖像上的每點都建立Hessian矩陣（公式4），然后依據(jù)該矩陣判別式（公式5），對其是否為極值點進行判斷，如果判別式為正，則特征值是同號，該點是極值點，說明截取圖像中含有明顯特征，可以進行粗匹配；如果判別式為負，則特征值是負號，該點不是極值點，說明截取圖像內(nèi)沒有沒有明顯特征，則返回重新截取大小為h= h+1的特征模板。

1.3粗匹配過程描述

（1）對待匹配圖像的目標區(qū)域進行提取。利用雙目測距系統(tǒng)對待測目標進行拍攝，左幅圖像稱為模板圖像T，右幅圖像稱為搜索圖像S。

中心是圖像上非常特殊的一個點，以中心為參考點來研究雙目測距系統(tǒng)的問題也很方便，因此中心坐標在計算機圖像的研究中早已得到了廣泛的應(yīng)用，如利用中心定位、跟蹤、識別圖像等［12］。本課題所研究的雙目測距系統(tǒng)基線為2m，測距范圍3～5公里，根據(jù)平面幾何比例性質(zhì)計算，可以得出左、右相機的圖像都會包含中心區(qū)域。圖像的中心區(qū)域可以極大的克服由于相機旋轉(zhuǎn)、伸縮以及添加噪聲而帶來的大幅度位置變化，相應(yīng)結(jié)合中心的匹配算法更具有一定的魯棒性。因此，采取截取中心區(qū)域正方形匹配的思想來提高歸一化互相關(guān)算法的效率，降低其運行時間。

分別以兩幅原圖像T（M×N）、S（M×N）中心點（M/2，N/2）為中心，截取特征模板t（m×m）、搜索子圖s（n×n）。實際實驗中，所拍攝的圖像S、T實際大小均為1280pixel×960pixel，如圖2所示。

圖2　實驗圖像和截取圖像

（2）對截取后的T圖和S圖進行互相關(guān)匹配運算。以T為模板在S上進行模板搜索，進行每一像素點的互相關(guān)運算，當(dāng)運算結(jié)果達到最大值時，我們認為此時T與S達到像素級匹配，進而可以得到S中與T的中心點A相對應(yīng)的粗匹配點A’的坐標。

為了方便觀察，將每次互相關(guān)運算結(jié)果儲存在與t相等大小的矩陣C中，矩陣C中每個點坐標與t左上角像素點的坐標相對應(yīng)，每個數(shù)值都反映了s 與t的匹配程度，越接近于1則匹配的程度越高，C的函數(shù)分布如圖3所示。

圖3　粗匹配互相關(guān)函數(shù)分布情況

2　亞像素級精度匹配

在亞像素級精度匹配階段，再次引入圖像自適應(yīng)截取窗口，以確保節(jié)省運算時間。

（1）以粗匹配點A和A’為中心，分別在S和T中截取大小為5k +1和10k +1個像素的正方形區(qū)域T1和S1（k為1，2，3，…，20的整數(shù)）。這里k的取值是變動的，如果后續(xù)的亞像素精度匹配結(jié)果不理想，是特征區(qū)域選取過小的緣故，k則取下一個較大的值，進行再次運算，直到大于能反映匹配程度的閾值g為止。經(jīng)過大量實驗，我們可以得到k的值與圖像匹配程度所擬合成的曲線關(guān)系如圖4所示。

圖4　k值與匹配程度的關(guān)系

可以看出，當(dāng)k＞2時，曲線斜率變化趨于平緩。所以，根據(jù)節(jié)省運算時間的原則，當(dāng)匹配程度大于0.9970時，我們即視為兩幅圖像匹配，也就是說閾值g設(shè)置為0.9970。至此完成了亞像素匹配的自適應(yīng)過程。

（2）三次曲面擬合

分別對T1和S1進行三次曲面擬合，將其函數(shù)用二元三次多項式表示為：

通過最小二乘法獲得最佳系數(shù)akj，然后再分別對T1和S1進行二維均勻插值，無論k為何值，都要確保插值的間距為0.2像素，即對每個像素進行25細分，亞像素精度為0.2，如圖5所示。

圖5　曲面插值結(jié)果

（3）對細分后的T1、S1再次進行互相關(guān)匹配運算，如果匹配程度沒有達到閾值g，則擴大T1、S1的截圖范圍，再次進行運算，匹配結(jié)果的函數(shù)分布如圖6所示。

圖6　亞像素級精度匹配互相關(guān)函數(shù)分布情況

（4）算法的大致流程如圖7所示。

圖7　程序流程圖

（5）實驗結(jié)果

實驗是在Windows XP的系統(tǒng)上（CPU雙核1.8GHz，內(nèi)存2GB），用Matlab 7.0實現(xiàn)的算法，CCD相機采用的是AVT GC1290C，結(jié)果如表1所示。

表1　實驗結(jié)果

表1表明：歸一化互相關(guān)和曲面插值擬合結(jié)合的匹配算法可達到0.2像素的匹配精度，較好地解決了以往圖像匹配精度不高的問題，自適應(yīng)匹配窗口的使用，相對于傳統(tǒng)的全區(qū)域搜索，大大節(jié)省了圖像匹配的時間。

3　結(jié)論

采用提出的自適應(yīng)圖像匹配算法提高了雙目CCD被動測距系統(tǒng)的圖像匹配精度，同時節(jié)省了運算時間。在圖像匹配過程中，對目標圖像應(yīng)用改進的互相關(guān)算法與三次曲面擬合相結(jié)合的算法，使其達到了圖像的亞像素級匹配，精度可以達到0.2個像素，具有較高的實用價值。

參考文獻

［1］Tian Q，Huhns M. Algorithms for subpixel registration［J］.Computer Vision，Graphics，and Image Processing，1986，35（2）：220-233.

［2］Shimizu M，Okutomi M. An analysis of subpixel estimation error on area-based image matching［C］.Japan In proceeding of Digital Signal Processing，2002，14（2）：1239-1242.

［3］Nehab D，Rusinkiewicz S，Davis J.Improved sub-pixel stereo correspondences through symmetric refinement ［C］.Proceedings of International Conference on Computer Vision（ICCV），2005：557-562.

［4］Takita K，Aoki T，Sasaki Y，et al. Kobayashi. High-accuracy subpixel image registration based on phase only correlation［J］.IEICE Trans. Fundamentals，2003，E86-A（8）：1925-1934.

［5］Hongshi Yan，Jian Guo Liu.Robust phase correlation based sub-pixel disparity estimation and its refinement around depth discontinuity and featureless areas ［J］. Geoscience and Remote Sensing Symposium （IGARSS），IEEE International，2010：4576-4579.

［6］Klaus A，Sormann M，Karner K. Segment-based stereomatchingusingbelief propagationanda self-adapting dissimilarity measure［C］. Proceedings of 18th International Conference on Pattern Recognition，2006，18（3）：15-18.

［7］Wang Z，Zheng Z. A region based stereo matching algorithm using cooperative optimization［C］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

［8］Yang Q X，Yang R G，Davis J，et al. Spatial-depth super resolution for range images［C］.Proceedings of IEEE Conference on Computer ^sion and Pattern Recognition，2007：1-8.

［9］翟振剛.立體匹配算法研究［D］.北京：北京理工大學(xué)，2010.

［10］施陳博.快速圖像配準和高精度立體匹配算法研究［D］.北京：清華大學(xué)，2011.

［11］Bleyer M，Rother C，Kohli P，et al. Object stereo：Joint stereo matching and object segmentation ［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2011：3081-3088.

［12］呂娜，馮祖仁.質(zhì)心迭代圖像跟蹤算法［J］.西安交通大學(xué)學(xué)報，2007，41（12）：1396-1399.

A Kind of Sub-pixel Accuracy Adaptive Image Matching Algorithm for Binocular Ranging System

ZHANG Yao，ZHAO Yang，LIU Boyu，CHI Mingchen，YANG Jinhua
（School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Abstract：In view of the disadvantages of the low matching accuracy and the slow speed of the matching accuracy in the sub-pixel accuracy image matching algorithm，the normalized cross correlation algorithm based on gray scale is improved，an adaptive method for dynamically adjusting the range of matching regions is proposed，it can not only ensure the accuracy of sub-pixel level matching，but also improve the operation speed. Experimental results：Improved algorithm，both ensuring the accuracy of 0.2 pixels matching，and improving the operation speed，Be able to meet the real-time requirements of the practical application

Key words：sub-pixel；self-adaption；image matching；normalized cross-correlation

中圖分類號：TP391.41

文獻標識碼：A

文章編號：1672-9870（2016）02-0014-05

收稿日期：2015-10-10

作者簡介：張堯（1986-），男，碩士研究生，E-mail：254874002@qq.com

通訊作者：楊進華（1969-），男，博士，教授，E-mail：yangjh@cust.edu.cn