基于RGB三分量亮度法線相似度的立體匹配算法

高凱

（長春理工大學(xué) 電子信息工程學(xué)院，長春 130022）

稠密雙目立體匹配是計算機視覺領(lǐng)域中廣泛研究的問題之一。稠密立體匹配是三維重建、立體導(dǎo)航、非接觸測距等技術(shù)的關(guān)鍵步驟，并且廣泛應(yīng)用于無人駕駛汽車（測距，導(dǎo)航）、機器人智能控制、遙感圖像分析、安防監(jiān)控、工業(yè)生產(chǎn)自動化、流水線控制等方面。立體匹配的目的就是找到在同一個場景中，兩個攝像機采集到的圖片之間的相應(yīng)的匹配點，而這些相應(yīng)點之間的位置差異就構(gòu)成了視差圖。一般來說，立體匹配算法包含四步[1］：匹配代價計算，代價聚合，視差計算和視差修正。第一，計算所有可能視差范圍內(nèi)的匹配代價；第二，計算每個像素支持區(qū)域內(nèi)的代價聚合，而支持區(qū)域由局部匹配算法和全局匹配算法進行選擇；第三，視差通過局部或者全局優(yōu)化計算；第四，通過各種后處理方法進行視差結(jié)果修正。

根據(jù)能否得到基于區(qū)域的解，匹配算法可以分為全局算法和局部算法。一般來說，全局算法可以得到更精確的視差圖。典型的全局算法是圖割法[2］，置信度傳播法[3，4］和動態(tài)規(guī)劃法[5，6］，這些算法需要在能量函數(shù)中包含平滑因子。典型的局部算法是基于窗的代價聚合?；谧赃m應(yīng)權(quán)值的局部立體匹配算法[7］提出了通過計算支持窗中像素值相似度和幾何空間相似度來獲得每個像素的權(quán)值。相比于全局方法，局部方法具有簡單高效的特點，并獲得了較好的視差結(jié)果。為了減少由Lab空間到RGB空間的信息損失，Geng等提出了RGB矢量空間中的立體匹配算法，其應(yīng)用像素值相似度、空間幾何距離相似度和梯度相似度來計算像素權(quán)值，獲得了較精確的結(jié)果。受到Geng等的思想的啟示，前期工作中提出了亮度法線的概念[9］，繼而提出了基于亮度法線相似度、梯度相似度、像素值相似度和空間幾何距離相似度的立體匹配方法，因為亮度法線反映了圖像的高頻信息，因此算法改進了視差圖的邊緣精度。本文在前期研究的基礎(chǔ)上，分析了RGB三分量的特性，并提出了基于RGB三分量亮度法線矢量的局部立體匹配算法來改進視差圖的精度。算法從RGB三分量亮度法線矢量反映的各分量的高頻信息入手，分析其影響了立體匹配環(huán)節(jié)中的圖片邊緣的匹配精度，經(jīng)與文獻[8］比較，實驗結(jié)果顯示，本文提出的算法提高了圖像邊緣位置的匹配精度。

1 RGB三分量亮度法線的概念

在前期工作中[9］，提出了二維灰度圖像的亮度法線矢量的概念。而對于RGB彩色空間的彩色圖像，可以視為三個灰度圖像的疊加，每一個分量都有一個亮度法線矢量，因此，提出了RGB三分量亮度法線矢量的概念。如圖1所示，點A是含有RGB彩色分量的當(dāng)前點，R平面代表R分量，G平面代表G分量，B平面代表B分量。

圖1 計算RGB三分量亮度法線矢量示意圖

例如，A可以表示為A（AR，AG，AB），其中AR，AG和AB分別為RGB空間中A點的紅、綠、藍彩色分量。B（BR，BG，BB）和C（CR，CG，CB）分別是計算A點法線矢量的臨近點。A點到C點和A點到B點的矢量分別為：

A點的R，G和B分量的法線矢量通過矢量vec1i和vec2i的叉乘獲得：

歸一化A點的R，G和B分量亮度法線矢量：

其中，i∈{R，G，B}。

圖2 RGB三分量法線相關(guān)結(jié)果

圖2顯示了彩色圖像對的紅綠藍三分量的法線圖像相關(guān)結(jié)果。圖2（a）（b）分別是立體彩色圖像的左右圖像。圖2（c）（d）（e）的第一行分別是左圖像對應(yīng)的紅綠藍成分，圖2（f）（g）（h）的第一行分別是右圖像對應(yīng)的紅綠藍成分。圖2（c）的第二行是紅色分量的法線圖像，圖2（c）的最底一行是法線圖像的模圖像。其他圖像依次類推。

根據(jù)圖2顯示，相同圖像的RGB分量的灰度值是不同的，但立體圖像對之間的R（BC）平面的灰度值確是相近的。圖 2（c）（d）（e）（f）（g）（h）的第二行圖像顯示了法線矢量圖像，其反映了第一行圖像的高頻信息，而高頻信息對于立體匹配算法是有重要意義的，因此本文將RGB分量的法線矢量應(yīng)用于立體匹配算法當(dāng)中。

2 算法模型

本文提出通過計算彩色圖像像素值相似度、空間幾何距離相似度、梯度相似度和RGB亮度法線相似度的多相似度測量方法來計算支持窗權(quán)值。

2.1 支持權(quán)值計算

支持窗內(nèi)像素的權(quán)值計算通過如下公式：

2.2 聚合與視差計算

參考圖像與目標(biāo)圖像之間的窗內(nèi)像素的權(quán)值計算用差異點函數(shù)E表示：

其中，Δcq→q→d，Δ gradxq→q→d，Δ gradyq→q→d和 Δnq，qd分別通過（9）（10）（11）（12）獲得，λc，λgradx，λgrady，λn是常數(shù)。

其中D={dmin，…，dmax}是視差搜索范圍。

2.3 視差修正

將左右兩幅原圖像分別作為目標(biāo)圖像和參考圖像，進行兩次匹配運算。會存在遮擋問題，因此為了修正視差，對兩幅視差圖進行一致性檢測：

其中，dL(x，y)和dR(x，y)分別是左圖像和右圖像作為參考圖像得出的視差。在一致性檢測當(dāng)中，如果失敗，則視為是壞點，則用重新計算后的最大支持權(quán)重的像素的視差作為壞點位置的新視差。圖3顯示了修正后的視差結(jié)果。圖3（e）是修正后的結(jié)果優(yōu)于圖3（b）初始結(jié)果.

圖3 視差圖修正

圖4 實驗比較結(jié)果

3 實驗結(jié)果及討論

立體圖像對‘tsukuba’，‘venus’，‘teddy’，‘cones’由Middlebury測試平臺提供。支持窗尺寸為35×35，常數(shù)τc=30，λc=40，τd=10，λgradx=20，λgrady=10 ，τg=30[8］，τn=40 ，λn=1對于測試圖像對都是一致的。為了評價提出的算法，采用了Ground truth[1］和文獻[7］中結(jié)果進行比較，圖4為主觀比較結(jié)果。圖4（a）和圖4（b）分別是彩色圖像和ground truth。圖4（c）和圖4（d）分別是文獻[8］和本文提出的視差圖。本文實驗中的誤差門限Th=1.灰色和黑色區(qū)域越少，視差圖精度越高，從圖4（c）和圖4（d）可以看出，本文提出的方法得到的結(jié)果優(yōu)于文獻[8］。特別強調(diào)的是，本文結(jié)果的邊緣位置匹配精度明顯提高。

為了獲得客觀的評價，Middlebury測試平臺給出了相應(yīng)的結(jié)果，視差圖可以分為三個部分：所有像素，非遮擋區(qū)域，和深度不連續(xù)區(qū)。當(dāng)生成的視差圖和Groundtruth之間的絕對差小于Th，生成的視差圖被認為是正確的。表1和表2分別是Th=1和Th=0.5對應(yīng)的結(jié)果。為了評價提出算法的客觀性，將提出的算法與其他局部自適應(yīng)權(quán)值方法[7，8，10，11-13］進行比較。比較結(jié)果如表1和表2所示。提出的算法（ASW-N）提高了匹配精度，結(jié)果顯示提出的算法得到的誤匹配點低于其他方法，尤其是Th=0.5時，更為明顯。提高的精度歸功于RGB法線矢量相似度，也驗證了其高頻信息影響立體圖像對的匹配精度的猜想。

4 結(jié)論

本文中，提出了基于彩色像素值相似度、空間距離相似度、梯度相似度和RGB三分量亮度法線矢量相似度的改進型自適應(yīng)權(quán)值算法，通過對RGB三分量法線的分析，凸顯了法線信息反映了圖像的高頻信息分量。通過增加法線信息來改進自適應(yīng)權(quán)值計算方法。實驗結(jié)果顯示，相比于其他自適應(yīng)權(quán)值算法，本文提出的算法可以提高匹配精度，尤其在含有紋理區(qū)域更為明顯。從總體上來看，平均提高誤匹配率達到0.4%。在今后的研究當(dāng)中，會進一步根據(jù)圖像的特點，研究相應(yīng)的光學(xué)特性來改進算法。

表1 提出方法在Middlebury stereo benchmark中的特性比較（誤差門限為1.0）

表2 提出方法在Middlebury stereo benchmark中的特性比較（誤差門限為0.5）

[1]Scharstein D，Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J］.InternationalJournal of ComputerVision，2002.47（1-3）：7-42.

[2]Hong L，Chen G.Segment-based stereo matching using graph cuts[C］.in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.2004.1（1）：74-78.

[3]Yang Q，Wang L，Ahuja N.A constant-space belief propagation algorithm forstereo matching[C］.in Proceedings of IEEE Conference Computer Vision and Pattern Recognition，2010：1458-1465.

[4]Sun J，Zheng N.-N.，Shum H.-Y..Stereo matching using beliefpropagation[J］.IEEE Trans.Pattern Anal.Machine Intell，2003，25（7）：787-800.

[5]Lei C，Selzer J，Yang Y.Region-tree based stereo using dynamic programming optimization[J］.ComputerVision and Pattern Recognition，2006（2）：2378-2385.

[6]Chang X，Zhou Z，Wang L，et al.Real-time accurate stereo matching using modified two-pass aggregation and winner-take-all guided dynamic programming[C］.International Conference on 3D Imaging，Modeling，Processing，Visualization and Transmission，2011：73-79.

[7]Yoon K.-J.，Kweon I.-S..Adaptive support-weight approach for correspondence search[J］.IEEE Trans.Pattern Anal.Mach.Intell，2006，28（4）：650-656.

[8]Yingnan Geng，Yan Zhao，Hexin Chen.Stereo matching based on adaptive support-weightapproach in RGB vectorspace[J］.Applied Optics，2012，51（16）：3538-3545.

[9]Kai Gao，Yan Zhao，He-xin Chen，et al.Stereo matching algorithm based on illumination normal similarity and adaptive support-weight[J］.Optical Engineering，2013.52（2）：027201-1--027201-7.

[10]De-MaeztuL，VillanuevaA，CabezaR.Stereo matching using gradient similarity and locally adaptive support-weight[J］.Pattern Recognition Letters，2011，32（13）：1643-1651.

[11]Gu Z，Su X，Liu Y，et al.Local stereo matching with adaptive support-weight，rank transform and disparity calibration[J］.Pattern Recogn.Lett，2008，29（9）：1230-1235.

[12]Hu W，Zhang K，Sun L，et al.Virtual support window for adaptive-weight stereo matching[J］.Visual Communications and Image Processing，2011（8）：1-4.

[13]L.Nalpantidis，A.Gasteratos.Biologically and psychophysically inspired adaptive support weights algorithm for stereo correspondence[J］.Robot.Auton.Syst，2010（58）：457-464.