基于SIFT描述子的自適應聚合權(quán)重立體匹配算法

何 凱，王曉文，葛云峰

（天津大學電子信息工程學院，天津 300072）

基于SIFT描述子的自適應聚合權(quán)重立體匹配算法

何 凱，王曉文，葛云峰

（天津大學電子信息工程學院，天津 300072）

針對傳統(tǒng)局部立體匹配算法在深度不連續(xù)區(qū)域和低紋理區(qū)域匹配精度不高的問題，提出了一種基于SIFT描述子的自適應聚合權(quán)重立體匹配算法.算法首先采用梯度域的幅值和相位獲取初始匹配代價；然后利用相似性區(qū)域判決準則獲得各個中心點的自適應矩形聚合窗口，并利用各點SIFT描述子的L1范數(shù)進行自適應聚合權(quán)重計算.仿真實驗結(jié)果表明，該算法能夠有效地提高低紋理區(qū)域和深度不連續(xù)區(qū)域的立體匹配精度，獲得較高精度的視差圖.

立體匹配；梯度；聚合權(quán)重；SIFT描述子

立體匹配根據(jù)從同一場景獲得的兩幅或者多幅圖像尋找相應的匹配點，利用匹配算法計算圖像各點的深度信息，從而達到三維重建的目的.目前，立體匹配技術(shù)已經(jīng)廣泛應用于各個領(lǐng)域［1］，如視頻監(jiān)控、3D跟蹤、機器人控制等，并受到了廣泛的關(guān)注.

近年來，各國學者在立體匹配領(lǐng)域進行了深入的研究，并提出了許多算法，主要可分為2大類：基于局部約束的立體匹配算法和基于全局約束的立體匹配算法.其中，基于全局約束的立體匹配算法在本質(zhì)上屬于優(yōu)化算法，它是將立體匹配問題轉(zhuǎn)化為尋找全局能量函數(shù)的最優(yōu)化問題，其代表算法主要有圖割算法［2］、置信度傳播算法［3］和協(xié)同優(yōu)化算法［4］等.全局算法能夠獲得較低的總誤匹配率［5］，但算法復雜度較高，不利于在實際工程中使用.

基于局部約束的立體匹配算法主要是利用匹配點周圍的局部信息進行計算，由于其涉及到的信息量較少，匹配時間較短，因此受到了廣泛關(guān)注，其代表算法主要有SAD、SSD、NCC［6］等.近年來，部分學者提出了一些改進算法，如De-Maeztu等［7］提出利用窗口內(nèi)像素的顏色信息來自適應計算窗口匹配權(quán)值，在一定程度上改善了匹配精度.Veksler［8］采用一種自適應窗口大小、形狀和權(quán)值的方法進行匹配，提高了匹配精度，但參數(shù)過多，自適應性較差.Einecke等［9］提出了一種基于標準互相關(guān)函數(shù)進行匹配代價聚合的方法，在提高匹配精度的同時，降低了時間冗余度.Kang等［10］采用了多窗口技術(shù)來對興趣點進行匹配，提高了匹配精度，但在最優(yōu)窗口的選取上耗時較多.Zhang等［11］提出了一種基于正交積分圖像的局部立體匹配算法，能夠?qū)崿F(xiàn)不規(guī)則窗口匹配代價聚合的快速計算.Mattoccia等［12］引入了基于聯(lián)合雙邊濾波的自適應權(quán)值方法，降低了算法的計算復雜度，并提高了匹配代價聚合的可靠性.此外，岳斌等［13］根據(jù)Panum融合原理，提出了一種立體視差調(diào)整的快速估計算法，能快速準確地計算視差調(diào)整范圍，消除了影響立體感的雙眼復視.Joglekar等［14］提出了一種基于概率神經(jīng)網(wǎng)絡(luò)的特征匹配算法，利用SIFT特征描述子實現(xiàn)匹配過程中興趣點的自動檢測，該算法收斂速度快，對二維旋轉(zhuǎn)和尺度變換具有較高的魯棒性.

上述算法在高紋理區(qū)域均能獲得比較理想的匹配效果，但是在低紋理區(qū)域、遮擋區(qū)域以及物體邊界等深度不連續(xù)區(qū)域，其匹配效果往往不夠理想.本文嘗試利用相似性區(qū)域判決準則獲得各個中心點的自適應矩形聚合窗口，利用圖像各點的SIFT特征描述子的L1范數(shù)計算自適應權(quán)重，以提高低紋理區(qū)域和深度不連續(xù)區(qū)域的立體匹配效果.

1　傳統(tǒng)匹配代價計算

傳統(tǒng)的立體匹配算法是利用像素點的顏色差值，或基于census變換［15］、rank變換［16］的方法來計算匹配代價，容易受到噪聲和局部光照變化的影響.鑒于圖像梯度域?qū)υ肼暫途植抗庹兆兓哂休^強的魯棒性［17］，本文采用梯度域的梯度幅值和相位來計算匹配代價，以提高算法的魯棒性.基于梯度域的聯(lián)合匹配代價函數(shù)定義為

式中：ξ、η為平衡因子，且η+ξ=1，本文ξ取為0.15；μ取為10；Cc（x, y, d）為基于圖像像素大小的非相似性測度；Cg（x, y, d）、Cp（x, y, d）分別為基于圖像梯度域的幅值和相位的非相似性測度；Tc、Tg和Tp分別為Cc（x, y, d）、Cg（x, y, d）和Cp（x, y, d）的截斷閾值.

Cc（x, y, d）、Cg（x, y, d）和Cp（x, y, d）的計算公式為

2　本文算法

2.1自適應聚合窗口計算

固定窗口的局部算法效果與窗口大小有關(guān)，窗口選擇過小，則匹配代價區(qū)分度過低，在低紋理區(qū)域容易出現(xiàn)誤匹配；反之，若窗口選擇過大，在深度不連續(xù)區(qū)域又會出現(xiàn)較高的誤匹配.為解決上述問題，本文提出利用相似性區(qū)域判決準則來自適應獲得各個中心點的矩形聚合窗口，以獲得最佳的聚合效果.

本文用相互正交的水平和垂直掃描線進行分割，以得到某個中心點像素p（x, y）的聚合窗口win（p）.若考慮中心點像素周圍所有方向上像素對其聚合的影響，得到的自適應窗口大多為非規(guī)則的窗口，致使計算復雜度增加.為了兼顧匹配代價聚合的精度與復雜度，自適應窗口選擇矩形窗口.本文根據(jù)色彩視差一致性假設(shè)提出2個判決準則，以確定某中心點p（x, y）的相似性區(qū)域，進而獲得聚合窗口左、右、上、下4個端點P1、P2、P3、P4的位置（見圖1）.

圖1　自適應聚合窗口計算過程示意Fig.1Frame of calculation process of adaptive supportwindow

以點P1的求解過程為例，首先計算中心點左側(cè)某點q（x1, y1）與中心點p（x,y）的色彩差異，即

式中：λ為權(quán)衡因子，本文設(shè)為0.8；Ik（p）、Ik（q）分別為中心點及其左側(cè)某點在RGB空間中的像素值；?xI（p）、?xI（q）分別為p和q像素點在x方向的梯度.式（5）中第1項用于限定q與p的像素差異性，第2項用于限定q與p的梯度差異性.

本文判定準則可概括如下.

（1）判定點q是否滿足Dc（p, q）＜ψ.其中ψ為閾值，本文設(shè)為25.

（2）判定點q是否滿足Ds（p, q）＜ξ.其中，Ds（p, q）=|p-q|表示p與q之間的空間距離，ξ為q的最大搜索范圍，本文設(shè)為20，防止出現(xiàn)過平滑現(xiàn)象.

選擇滿足上述2個判定準則的最左q點作為P1的位置.同理，分別選擇滿足上述2個準則的最右點、最上點和最下點作為P2、P3和P4的位置.值得注意的是，當計算P3和P4的位置時，式（5）中的?xI（p）、?xI（q）應改為點p和q在y方向的梯度?yI（p）、?yI（q）.

2.2SIFT描述子的計算

SIFT特征描述子是利用特征點鄰域圖像窗口內(nèi)梯度方向的統(tǒng)計直方圖來構(gòu)造特征描述向量，該特征描述子對圖像的仿射變換具有較強的魯棒性，為此，本文提出基于SIFT特征描述子來計算自適應聚合權(quán)重.具體作法如下.

以某個像素點（x, y）為中心選取8×8的矩形窗口，計算窗口內(nèi)每個像素點梯度的幅值和方向，即

式中：g（x, y）、θ（x, y）分別為點（x, y）處梯度的幅值和方向；I（x, y）為點（x, y）處像素值的大小.

對窗口內(nèi)每個像素點梯度的幅值利用標準差為1的高斯函數(shù)進行加權(quán)，其目的是提高中心像素點的權(quán)重.在每個4×4的子窗口將圖像梯度方向直方圖量化到8個平均分配的方向，即將像素點的梯度投影到離其最近的一個方向上，歸一化后生成每個像素點的32維SIFT描述子.

2.3基于SIFT描述子的自適應權(quán)重計算

首先提取待匹配圖像中每個像素點的SIFT特征描述子，利用其視覺和光照不變性的特點，實現(xiàn)各像素之間相似性測度的計算.設(shè)win（p）為以點p（x, y）為中心點的聚合窗口，則該聚合窗口內(nèi)的任意一點pm（xm,ym）的自適應聚合權(quán)重系數(shù)可以通過計算pm與p的SIFT特征描述子的相似性來求解，即

計算獲得像素點p（x, y）的自適應窗口及聚合權(quán)重后，本文利用權(quán)重聚合的方式實現(xiàn)像素點p（x, y）匹配代價的優(yōu)化，定義如下：

式中：pij為聚合窗口內(nèi)的某個像素點pij（i, j）；wij為利用SIFT描述子計算的某個像素點pij的自適應權(quán)重；win（p）為中心點像素p（x, y）基于相似性區(qū)域判決準則獲得的自適應窗口.

2.4本文算法步驟

（1） 首先利用式（1）計算各點的匹配代價；

（2） 利用相似性區(qū)域判決準則獲得各個中心點的自適應矩形聚合窗口；

（3） 計算圖像中每個像素點的32維SIFT特征描述子；

（4） 利用式（8）～（9）計算窗口內(nèi)各像素點的聚合權(quán)重，并完成匹配代價的聚合；

（5） 采用WTA策略選取最優(yōu)視差圖，然后采取左右一致性檢測（left right consistency，LRC）策略進行遮擋檢測，利用背景填充法對檢測出的誤匹配點進行填充，得到最終的視差圖.

3　仿真實驗結(jié)果及對比分析

本文選取美國大學Middlebury大學計算機視覺研究中心提供的立體圖像數(shù)據(jù)庫：http： //vision.middlebury.edu/stereo作為測試圖片，該圖像庫涵蓋了容易引起誤匹配的各種情況，包含低紋理區(qū)域、深度不連續(xù)區(qū)域、遮擋區(qū)域等，以驗證本文方法的有效性.

圖2分別為采用RTCensus 算法［18］、SNCC算法［9］、VariableCross算法［11］、HistoAggr算法［19］以及本文算法的實驗結(jié)果，這幾種算法均采用LRC策略進行遮擋檢測，利用背景填充法對誤匹配點進行填充.本實驗中采用的主要參數(shù)的參考值分別設(shè)為

圖2　不同方法獲得的視差圖效果對比Fig.2 Comparison of disparity maps with different methods

表1是以上幾種算法的誤匹配率實驗數(shù)據(jù)對比，誤差閾值取為1.其中“Nonocc”、“All”、“Disc”分別表示非遮擋區(qū)域誤匹配像素比、總體誤匹配像素比和深度不連續(xù)區(qū)域誤匹配像素比.

表1　不同算法的誤匹配率比較Tab.1 Comparison of error rate of different algorithms %,

圖2（a）～圖2（g）從左到右的4幅圖像依次是Tsukuba、Venus、Teddy和Cones.從圖中可以看出：與幾種傳統(tǒng)方法相比，本文算法在低紋理區(qū)域能夠獲得更好的匹配效果，如Tsukuba圖像的背景墻壁和書架區(qū)域，Teddy圖像的畫布、屋頂部分以及Cones圖像的椎體區(qū)域等.

從表1中可以看出：與幾種傳統(tǒng)立體匹配算法相比，對于4幅圖像，本文算法的整體誤匹配率均較低，尤其是在深度不連續(xù)區(qū)域的誤匹配率，除了Tsukuba圖像略高于VariableCross算法以外，其誤匹配率都是最低的；在非遮擋區(qū)域，本文算法除了Tsukuba圖像和Venus圖像略高于VariableCross算法以外，也都獲得了最低的誤匹配率.

從表1和圖2中可以看出，RTCensus算法在深度不連續(xù)區(qū)域處理效果較差，而本文算法可以有效提高深度不連續(xù)區(qū)域的匹配精度，取得了良好的處理效果.

4　結(jié)　語

本文提出了一種基于SIFT描述子的自適應權(quán)重立體匹配算法，利用相似性區(qū)域判決準則獲得各個中心點的自適應矩形聚合窗口，利用SIFT描述子來計算窗口內(nèi)各像素點的聚合權(quán)重.仿真實驗結(jié)果表明，本文算法在低紋理和深度不連續(xù)區(qū)域都能獲得更準確的匹配效果.

［1］ González á，Garrido M A，Llorca D F，et al. Automatic traffic signs and panels inspection system using computer vision ［J］. IEEE Transactions on Intelligent Transportation Systems，2011，12（2）：485-499.

［2］ Saygili G，Van Der Maaten L，Hendriks E A. Featurebased stereo matching using graph cuts ［C］// Proceedings of ASCI-IPA-SIKS Tracks. Veldhoven，Netherlands，2011：1-6.

［3］ Banno A，Ikeuchi K. Disparity map refinement and 3D surface smoothing via directed anisotropic diffusion ［J］. Computer Vision and Image Understanding，2011，115（5）：611-619.

［4］ Wang Z F，Zheng Z G. A region based stereo matching algorithm using cooperative optimization ［C］// IEEE Conference on Computer Vision and Pattern Recognition（CVPR 2008）. Anchorage，AK，USA，2008：1-8.

［5］ Yang Q. A non-local cost aggregation method for stereo matching ［C］// IEEE Conference on Computer Vision and Pattern Recognition（CVPR 2012）. Providence，RI，2012：1402-1409.

［6］ 王 昕，馬 巖，楊 劍，等. 區(qū)域立體匹配算法的實現(xiàn)及改進［J］. 光學精密工程，2008，16（10）：2002-2008. Wang Xin，Ma Yan，Yang Jian，et al. Implementation and improvement of area based stereo matching algorithm ［J］. Optics and Precision Engineering，2008，16（10）：2002-2008（in Chinese）.

［7］ De-Maeztu L，Villanueva A，Cabeza R. Stereo matching using gradient similarity and locally adaptive supportweight ［J］. Pattern Recognition Letters，2011，32（13）：1643-1651.

［8］ Veksler O. Fast variable window for stereo correspondence using integral images ［C］// Proceedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Madison，WI，USA，2003，1：I-556-I-561.

［9］ Einecke N，Eggert J. A two-stage correlation method forstereoscopic depth estimation ［C］// 2010 International Conference on Digital Image Computing：Techniques and Applications（DICTA）. Sydney，NSW，2010：227-234.

［10］ Kang S B，Szeliski R，Chai J. Handling occlusions in dense multi-view stereo ［C］// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2001）.Kauai，Hawaii，2001，1：I-103-I-110.

［11］ Zhang K，Lu J，Lafruit G. Cross-based local stereo matching using orthogonal integral images ［J］. IEEE Transactions on Circuits and Systems for Video Technology，2009，19（7）：1073-1079.

［12］ Mattoccia S，Giardino S，Gambini A. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering［C］// Computer Vision-ACCV：9th Asian Conference on Computer Vision. Xi'an，China，2009：371-380.

［13］ 岳 斌，侯春萍. 立體視差調(diào)整的快速估計方法［J］.天津大學學報：自然科學與工程技術(shù)版，2013，46（7）：571-578. Yue Bin，Hou Chunping. A rapid stereo disparity adjustment estimate method ［J］. Journal of Tianjin University：Science and Technology，2013，46（7）：571-578（in Chinese）.

［14］ Joglekar J，Gedam S S，Mohan B K. Image matching using SIFT features and relaxation labeling technique—A constraint initializing method for dense stereo matching［J］. IEEE Transactions on Geoscience and Remote Sensing，2014，52（9）：5643-5652.

［15］ 周 龍，徐貴力，李開宇，等. 基于Census 變換和改進自適應窗口的立體匹配算法［J］. 航空學報，2012，33（5）：886-892. Zhou Long，Xu Guili，Li Kaiyu，et al. Stereo matching algorithm based on Census transform and modified adaptive windows ［J］. Acta Aeronautica et Astronautica Sinica，2012，33（5）：886-892（in Chinese）.

［16］ 賴小波，朱世強. 基于互相關(guān)信息的非參數(shù)變換立體匹配算法［J］. 浙江大學學報：工學版，2011，45（9）：1636-1642. Lai Xiaobo，Zhu Shiqiang. Mutual information based non-parametric transform stereo matching algorithm ［J］. Journal of Zhejiang University：Engineering Science，2011，45（9）：1636-1642（in Chinese）.

［17］ De-Maeztu L，Villanueva A，Cabeza R. Stereo matching using gradient similarity and locally adaptive supportweight ［J］. Pattern Recognition Letters，2011，32（13）：1643-1651.

［18］ Humenberger M，Zinner C，Weber M W，et al. A fast stereo matching algorithm suitable for embedded realtime sytems ［J］. Computer Vision and Image Understanding，2010，114（10）：1180-1202.

［19］ Min D，Lu J，Do M N. A revisit to cost aggregation in stereo matching：How far can we reduce its computational redundancy？［C］// 2011 IEEE International Conference on Computer Vision（ICCV）. Barcelona，Spain，2011：1567-1574.

（責任編輯：趙艷靜）

Adaptive Support-Weight Stereo Matching Algorithm Based on SIFT Descriptors

He Kai，Wang Xiaowen，Ge Yunfeng
（School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China）

Aiming at the problem of low matching accuracy in both depth discontinuities and low textured regions of traditional local stereo matching algorithms，an adaptive support-weight stereo matching algorithm based on SIFT（scale-invariant feature transform）descriptors was proposed.First，the original matching cost was calculated with gradient amplitude and gradient phase.Then the adaptive support-window for each pixel was obtained with decision criterion based on the color similarity principle.Finally，with the L1 norm of SIFT descriptors of each pixel，the adaptive support-weight was calculated.Simulation experimental results show that the proposed algorithm can effectively improve the accuracy of stereo matching algorithms in both depth discontinuities and low textured regions，thus achieving higher matching accuracy.

stereo matching；gradient；support-weight；SIFT descriptor

TP391

A

0493-2137（2016）09-0978-06

10.11784/tdxbz201505043

2015-05-07；

2015-09-17.

國家自然科學基金資助項目（61271326）.

何 凱（1972— ），男，博士，副教授.

何 凱，hekai626@163.com.

網(wǎng)絡(luò)出版時間：2015-09-28. 網(wǎng)絡(luò)出版地址：http：//www.cnki.net/kcms/detail/12.1127.N.20150928.1549.002.html.