基于導向濾波的立體匹配算法

黃超凡，張鵬博

（四川大學計算機學院,成都 610065)

0 引言

立體匹配是計算機視覺中的重要問題，視差圖可廣泛用于三維重建、自動駕駛等三維應用。它的輸入是一對經(jīng)過圖像矯正的兩幅圖像，輸出是兩幅圖像中場景同名點的視差圖（沿水平方向的位移），視差圖一般用一幅灰度圖表示。由于光照影響，相機參數(shù)不同，圖像噪聲以及遮擋和無紋理區(qū)域等因素，建立同名點對應成為一個病態(tài)問題。如何度量左右圖中的像素點對是場景同名點的成像？為了簡化判斷和加強約束條件，立體匹配過程顯示或隱式的建立在兩點基礎假設上[1]。1、朗伯體表面（Lambertian Surface），場景同一點從不同視點的成像沒有輻射差異，表現(xiàn)為亮度恒定；2、視差平滑性，點的視差在鄰域附近是平滑變換的，往往假設為局部區(qū)域視差不變。實際成像往往由于相機參數(shù)設置和光照不同等造成輻射差異，視差在深度不連續(xù)處（常為遮擋區(qū)域）也違背了視差平滑性假設。

近年來立體匹配技術(shù)已有了充分發(fā)展，許多高準確度和高效率的方法被提出。這些方法一般分為兩類：全局立體匹配算法和局部立體匹配算法[2-3]。全局算法一般建立一個能量函數(shù)，在整幅圖上求解優(yōu)化結(jié)果，經(jīng)典的全局算法有基于置信傳播的Belief Propaga?tion[4]、基于圖割的 Graph Cut[5-6]、基于動態(tài)規(guī)劃的 Dy?namic Programming[7]、基于掃描線優(yōu)化的 Scanline Opti?mization[8]；全局算法能生成高質(zhì)量的視差圖，但計算量巨大。局部算法相對全局算法計算效率高，部分算法已經(jīng)達到了實時效果[14]，近年來局部算法已經(jīng)能達到全局算法的質(zhì)量[9]，經(jīng)典的局部立體算法[10-14]。局部立體匹配算法的代價聚合步驟可視為在DSI上的濾波。導向濾波和雙邊濾波類似，都具有保持邊緣的特性，前者計算復雜度與窗口尺寸無關(guān)。初始代價計算常用的有AD(Absolutely Difference)，SD(Square Difference)，彩色圖像計算匹配代價一般有兩種處理方式。一種轉(zhuǎn)換為灰度圖求AD，一種三通道分開求AD,再求和作平均。第一種丟失了彩色圖像的部分信息，第二種沒有考慮三通道的色彩權(quán)重不同，而是采取了相同的權(quán)重，本文使用了加權(quán)的三通道絕對差。

1 算法實現(xiàn)

文獻[1]局部立體匹配算法分為四步：1，初始匹配代價子計算2，代價聚合3，視差選擇4，視差精化。接下來部分按照這個流程來介紹。

1.1 代價計算

彩色圖像的RGB三分量作絕對差，由于三個分量攜帶色彩信息不同，各個通道差可賦予權(quán)重。

圖像的梯度是一階導數(shù)，對亮度變化劇烈的區(qū)域響應最強，對亮度平緩區(qū)域響應較弱，梯度受亮度偏置的影響較小。像素點的梯度絕對差定義：

?xI(p)表示p點水平方向的梯度。

聯(lián)合點的兩種差異度量，初始代價計算為：

β和α為兩種匹配差異度量的權(quán)重系數(shù)，此處取α=1-β；τg為梯度的截斷閾值。

1.2 代價聚合

C(p,d)是一個三維的數(shù)組，代價聚合可被視為固定視差d，在視差空間體（DSI）上一個切片的濾波。傳統(tǒng)的box filter[1]計算效率高，但是產(chǎn)生較差的視差圖，特別是邊緣模糊。雙邊濾波[15]保持邊緣，得到高質(zhì)量的視差圖，但時間復雜度為Ο(Nr)，r為窗口尺寸。導向濾波[16]的時間復雜度與濾波窗口尺寸無關(guān)，只與像素有關(guān)，且具有良好的保持邊緣效果。代價聚合的形式化定義：

j為p的領域像素，此處的權(quán)重系數(shù)W(j,p)使用導向濾波的權(quán)重Wj,p(I)，I是左圖彩色圖轉(zhuǎn)換的灰度圖，作為導向圖。

ω方形窗口ωk內(nèi)的像素數(shù)量，μk和σk是I上位于窗口ωk的像素均值和方差，ε是一個平滑參數(shù)。

1.3 視差選擇

代價體濾波得到C'(p,d)后，采用Winner-Take-All策略，即選取最小的匹配代價作為最優(yōu)視差d。

1.4 視差精化

采用左右一致性檢測：對于左圖中的一個點p，求得的視差值是d1，那么p在右圖里的對應點應該是(pd1)，(p-d1)的視差值記作 d2。若|d1-d2|＞1，p標記為遮擋點，需要推斷視差。對于一個遮擋點p，分別水平往左和往右找到第一個非遮擋點，記作pl、pr。點p的視差值賦為pl和pr的視差值中較小的那一個：d(p)=min(d(pl),d(pr))。

2 實驗

本文算法用C++實現(xiàn)，實驗機器配置為i5-6700HQ CPU和8G RAM、NVIDIA GTX965M GPU。實驗中各參數(shù)設置：τg=3，ε=0.00001，α=0.1，r=9。測試圖為Middleburry[18]Tsukuba和Teddy立體像對。視差圖如下：

圖1

3 結(jié)語

本文針對彩色圖的立體匹配，使用了加權(quán)的三通道絕對差作為顏色差異度量，與RGB色彩空間模型一致；代價聚合過程視為DSI視差空間體切片上的濾波，使用導向濾波進行濾波，避免了邊緣肥胖的視差圖，由于導向濾波的時間效率為O(N),與濾波窗口尺寸無關(guān)，能有效提高算法時間效率。局部立體匹配算法的四個步驟是固定的，通過四個步驟的組合開發(fā)出最優(yōu)的算法流程。近年來隨著設備的進步，圖像朝高分辨率和大視差范圍變化，立體匹配面臨新的挑戰(zhàn)。

參考文獻：

[1]Scharstein D,Szeliski R.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].International Journal of Computer Vision,2002,47(1-3):7-42.

[2]Tombari F,Mattoccia S,Stefano L D,et al.Classification and Evaluation of Cost Aggregation Methods for Stereo Correspondence[C].Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

[3]Gong M,Yang R,Wang L,et al.A Performance Study on Different Cost Aggregation Approaches Used in Real-Time Stereo Matching[J].International Journal of Computer Vision,2007,75(2):283-296.

[4]Sun J,Zheng N N,Shum H Y.Stereo Matching Using Belief Propagation[J].IEEE Transactions on Pattern Analysis&Machine Intelli-gence,2003,25(7):787-800.

[5]Kolmogorov V,Zabih R.Computing Visual Correspondence with Occlusions Using Graph Cuts[C].Proc.of the International Conference for Computer Vision，2001:508-515 vol.2.

[6]http://www.cs.cornell.edu/～rdz/graphcuts.html.

[7]Wang L,Liao M,Gong M,et al.High-Quality Real-Time Stereo Using Adaptive Cost Aggregation and Dynamic Programming[C].International Symposium on 3d Data Processing,Visualization,and Transmission.IEEE Computer Society,2006:798-805.

[8]Mattoccia S,Tombari F,Stefano L D.Stereo Vision Enabling Precise Border Localization Within a Scanline Optimization Framework[C].Asian Conference on Computer Vision.Springer-Verlag,2007:517-527.

[9]Hosni A,Bleyer M,Gelautz M.Secrets of Adaptive Support Weight Techniques for Local Stereo Matching[J].Computer Vision&Image Understanding,2013,117(6):620-632.

[10]Hosni A,Bleyer M,Gelautz M,et al.Local Stereo Matching Using Geodesic Support Weights[C].IEEE International Conference on Image Processing.IEEE,2010:2093-2096.

[11]Yoon K J,Kweon I S.Locally Adaptive Support-Weight Approach for Visual Correspondence Search[C].Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005:924-931.

[12]Mei X,Sun X,Zhou M,et al.On Building an Accurate Stereo Matching System on Graphics Hardware[C].IEEE International Conference on Computer Vision Workshops.IEEE,2011:467-474.

[13]Rhemann C,Hosni A,Bleyer M,et al.Fast Cost-Volume Filtering for Visual Correspondence and Beyond[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):504.

[14]Richardt C,Orr D,Davies I,et al.Real-Time Spatiotemporal Stereo Matching Using the Dual-Cross-Bilateral Grid[C].European Conference on Computer Vision Conference on Computer Vision.Springer-Verlag,2010:510-523.

[15]Tomasi C,Manduchi R.Bilateral Filtering for Gray and Color Images ICCV[J].Proc Iccv,1998:839-846.

[16]He K,Sun J,Tang X.Guided Image Filtering[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2013,35(6):1397-1409.

[17]Hirschmüller,Heiko,Scharstein,Daniel,Hirschm,Heiko,et al.Evaluation of Cost Functions for Stereo Matching[J].2007:1-8.

[18]http://vision.middlebury.edu/stereo/data/