一種基于梯度增強(qiáng)的立體匹配算法

董 欣，王國(guó)中，范 濤，滕國(guó)偉，趙海武，李國(guó)平

（上海大學(xué)通信與信息工程學(xué)院，上海 200072）

一種基于梯度增強(qiáng)的立體匹配算法

董 欣，王國(guó)中，范 濤，滕國(guó)偉，趙海武，李國(guó)平

（上海大學(xué)通信與信息工程學(xué)院，上海 200072）

立體匹配是深度圖獲取的一個(gè)關(guān)鍵技術(shù)，傳統(tǒng)的立體匹配使用的圖像分割方法會(huì)對(duì)圖像邊界造成一定的破壞，為提高深度圖邊緣的準(zhǔn)確度，提出了一種基于梯度增強(qiáng)的立體匹配算法。首先通過(guò)梯度算子對(duì)參考圖像和目標(biāo)圖像進(jìn)行預(yù)處理，增強(qiáng)圖像邊界的魯棒性，然后采用mean－shift圖像分割算法對(duì)圖像進(jìn)行區(qū)域分割，對(duì)分割得到的區(qū)域使用自適應(yīng)塊匹配法進(jìn)行立體匹配，最后采用均值濾波對(duì)圖像進(jìn)行后處理，得到最優(yōu)的視差平面。實(shí)驗(yàn)結(jié)果證明該算法在圖像邊界的匹配精度上得到了比較滿意的效果。

立體匹配;圖像增強(qiáng);視差;圖像分割

近些年來(lái)，信息科學(xué)不斷發(fā)展，隨著3D頻道的開播，立體視頻的應(yīng)用也變得更多，人們?cè)絹?lái)越深刻地認(rèn)識(shí)到立體視頻帶來(lái)的強(qiáng)烈震撼。3D電視信號(hào)與傳統(tǒng)電視信號(hào)相比，需要在非常有限的帶寬下通過(guò)采集、編碼、傳輸、接收并最終合成3D效果，數(shù)據(jù)量巨大，因此，3D技術(shù)要想走進(jìn)大眾的生活，首先需要克服的就是視頻的數(shù)據(jù)量問題。目前在解決數(shù)據(jù)量問題上采取的有效方案為“紋理圖+深度圖”方案，立體匹配則是深度圖獲取的一個(gè)重要步驟。

本文提出了一種基于梯度增強(qiáng)的快速立體匹配算法。傳統(tǒng)的立體匹配方法首先使用圖像分割算法對(duì)圖像進(jìn)行過(guò)分割，然后對(duì)分割的區(qū)域進(jìn)行立體匹配。然而圖像分割方法會(huì)對(duì)圖像邊界造成一定的破壞，導(dǎo)致顏色相近的區(qū)域邊界保持不完整，因此，本文采用梯度增強(qiáng)的方法對(duì)目標(biāo)圖像和參考圖像進(jìn)行預(yù)處理，增強(qiáng)圖像邊界的魯棒性，從而使匹配得到的視差圖在邊界區(qū)域更加準(zhǔn)確，大大降低圖像邊界的誤匹配，然后采用mean－shift圖像分割算法對(duì)圖像進(jìn)行過(guò)分割，通過(guò)局部立體匹配算法進(jìn)行立體匹配，最后使用均值濾波對(duì)圖像進(jìn)行后處理，得到最終的視差圖。

1 基于圖像增強(qiáng)的立體匹配

1.1 立體匹配算法介紹

立體匹配算法主要分為兩大類，第一類是基于全局的立體匹配算法［1－3］，第二類是基于區(qū)域的立體匹配算法?；谌值牧Ⅲw匹配算法通過(guò)定義能量函數(shù)找到最優(yōu)的視差平面［4］，理論上可以得到質(zhì)量最優(yōu)的深度圖，但是算法的復(fù)雜度相對(duì)局部立體匹配算法較大，無(wú)法做到實(shí)時(shí)?；趨^(qū)域的算法通常使用基于窗口的方法，以窗口為鄰域單位進(jìn)行匹配，窗口的大小決定了匹配的精度和準(zhǔn)確度，但在深度不連續(xù)區(qū)域、低紋理區(qū)域和遮擋區(qū)域的效果不佳［5－6］。Andreas Klaus等在2006年提出了基于圖像分割的立體匹配算法［7－9］，先利用圖像分割的方法把圖像根據(jù)顏色信息進(jìn)行分割，假設(shè)每個(gè)區(qū)域內(nèi)部具有相似的深度，然后對(duì)每個(gè)區(qū)域進(jìn)行全局能量函數(shù)計(jì)算［10］。這種方法在保護(hù)邊緣上有一定的效果，但是若區(qū)域分割錯(cuò)誤或者顏色相近，那么得到的邊界就會(huì)存在較大的誤差。

基于圖像分割的立體匹配算法以圖像分割得到的區(qū)域來(lái)對(duì)每個(gè)區(qū)域進(jìn)行自適應(yīng)區(qū)域立體匹配［8］，主要步驟為:1）使用圖像分割算法把圖像分割成具有相似性的區(qū)域，假設(shè)每個(gè)區(qū)域具有相似的深度值，然后對(duì)得到的每個(gè)區(qū)域進(jìn)行標(biāo)記。2）初始視差估計(jì)，通過(guò)立體匹配算法得到每個(gè)區(qū)域的匹配代價(jià)。3）通過(guò)交叉檢測(cè)得到可信的視差塊并填充不可信視差塊。4）視差平面擬合，由計(jì)算出來(lái)的分割區(qū)域內(nèi)像素的視差計(jì)算出整個(gè)區(qū)域的視差。5）通過(guò)定義能量函數(shù)估計(jì)不可信視差值，得到最優(yōu)的視差平面。

1.2 基于圖像增強(qiáng)的快速立體匹配算法

本文采用了基于區(qū)域的立體匹配算法，最大限度地利用并優(yōu)化前人提出的方法，研究了高質(zhì)量的深度圖獲取方法并通過(guò)圖像預(yù)處理和后處理實(shí)現(xiàn)了高精確度的視差圖提取。具體實(shí)現(xiàn)方案如圖1所示。

圖1 算法框圖

1）為了保證在深度提取過(guò)程中最大限度地保留邊緣部分的精確度，首先對(duì)左右視點(diǎn)的紋理圖像進(jìn)行圖像增強(qiáng)，注重增強(qiáng)圖像的邊緣部分，使邊緣更加突出，降低圖像分割對(duì)邊緣造成的破壞。為降低處理復(fù)雜度，本文采用基于梯度的圖像增強(qiáng)算法來(lái)提取邊緣與增強(qiáng)邊緣。圖2為得到的邊緣和增強(qiáng)后的分割結(jié)果。

圖2 圖像邊緣與分割結(jié)果

在本算法中，采用水平方向與垂直方向的梯度進(jìn)行圖像邊緣的提取。對(duì)于圖像函數(shù)f（i，j），它在（i，j）處的梯度是一個(gè)矢量，對(duì)于數(shù)字圖像而言，該點(diǎn)的梯度值近似為

定義增強(qiáng)后的圖像g（i，j）為

式中:ω1和ω2為增強(qiáng)的權(quán)值。

2）首先對(duì)使用均值漂移算法（mean－shift）［7］圖像根據(jù)顏色進(jìn)行過(guò)分割，假設(shè)每個(gè)區(qū)域具有相似的深度值，得到分割后的圖像并對(duì)每個(gè)區(qū)域進(jìn)行標(biāo)記。

3）使用基于窗口的局部匹配算法進(jìn)行立體匹配得到初始視差?；趨^(qū)域的亮度絕對(duì)值差準(zhǔn)則（SAD）和梯度絕對(duì)值差準(zhǔn)則（GRAD）的計(jì)算方式為

式中:IL和IR分別表示左右圖像的亮度信息;i和

j表示水平和垂直方向梯度算子;W（i，j）表示以（i，j）為中心的窗口。

最終的匹配代價(jià)為

4）通過(guò)交叉檢測(cè)（Cross－checking）得到可信像素塊并由可信像素塊得到不可信像素塊視差。首先以左視點(diǎn)為參考圖像，以右視點(diǎn)為目標(biāo)圖像在目標(biāo)圖像中搜索參考圖像的匹配塊，然后再把兩視點(diǎn)交換，重新搜索匹配塊，由唯一性約束可知，如果兩次搜索得到的視差相同，則定義為可信塊，若不相同，則定義為不可信塊。

5）視差圖后處理。對(duì)于不可信像素塊，使用其周圍的可信像素塊通過(guò)中值濾波變?yōu)榭尚畔袼貕K，由此可以過(guò)改善遮擋區(qū)域和弱紋理區(qū)域的誤匹配。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出方法的性能，首先使用立體圖像對(duì)進(jìn)行驗(yàn)證。本文以MATLAB 2010為實(shí)驗(yàn)平臺(tái)，采用Middlebury網(wǎng)站上提供的5幅立體圖像對(duì)tsukuba，venus，teddy，cons和bull分別進(jìn)行實(shí)驗(yàn)驗(yàn)證，為了更加精確地表示視差圖像的匹配精確度，本文采用了兩種衡量方式，峰值信噪比（PSNR）和誤匹配率（B）。其中誤匹配率（B）反映了計(jì)算所得視差值的誤差大于某閾值的像素在整幅圖中占有的比例，公式為

式中:N為總像素?cái)?shù);destimate（i，j）表示估計(jì)得到的視差值;dgroundtruth（i，j）為真實(shí)視差值;α為誤差，本實(shí)驗(yàn)設(shè)置α為1.0。客觀實(shí)驗(yàn)結(jié)果見表1。

表1 客觀實(shí)驗(yàn)結(jié)果對(duì)比

由表1可知，本文提出的基于梯度增強(qiáng)的立體匹配算法在客觀質(zhì)量上均有所提高，均值信噪比PSNR平均提高了0.365 9 dB，誤匹配率B平均降低了3.624 3%。

圖3是tsukuba，teddy和cons的觀實(shí)驗(yàn)結(jié)果。

圖3 原始視點(diǎn)視差圖與實(shí)驗(yàn)結(jié)果

從主觀結(jié)果看，本文方法對(duì)保護(hù)圖像的邊界具有很好的作用，如圖4所示。原始視差圖具有明顯的誤匹配，在圖像的邊緣部位出現(xiàn)了較多的毛刺，而本文方法則保持了邊緣的平滑與完整。由實(shí)驗(yàn)結(jié)果可知，本文提出的方法可以有效改善與避免邊緣點(diǎn)的誤匹配情況。

圖4 視差圖主觀結(jié)果對(duì)比

將本文提出的增強(qiáng)方法應(yīng)用于視頻序列，也得到了較好的結(jié)果，本文采用MPEG提供的測(cè)試視頻序列balloon和kendo，與參考軟件DERS的結(jié)果做比較，實(shí)驗(yàn)結(jié)果如圖5和圖6所示。可以看出，對(duì)于視頻序列在主觀效果和客觀效果上都有所提高。

圖5 ballon視頻序列測(cè)試結(jié)果

圖6 kendo視頻序列測(cè)試結(jié)果

3 結(jié)語(yǔ)

為了降低由于傳統(tǒng)的立體匹配算法對(duì)圖像邊界造成的破壞，并最大限度地保護(hù)圖像的邊界，本文提出了一種基于圖像增強(qiáng)的局部立體匹配算法，結(jié)合使用了梯度增強(qiáng)和圖像分割，使參考圖像和目標(biāo)圖像在邊界保持上具有更強(qiáng)的魯棒性，在傳統(tǒng)立體匹配方法的前提下，本文方案對(duì)視差圖的PSNR平均提高了0.365 9 dB，在主觀效果上也得到了高精確度;把本方案應(yīng)用于深度圖提取算法也得到了更加準(zhǔn)確的主觀結(jié)果與客觀結(jié)果。

:

［1］EKMEKCIOGLU E，VELISAVLJEVIC V，WORRALL S.Edge and motion － adaptive median filtering for multi－view depth map enhancement［C］//Proc.Picture Coding Symposium，2009.Chicago，IL:IEEE Press，2009:1－4.

［2］EKMEKCIOGLU E，VELISAVLJEVIC V，WORRALL S.Content adaptive enhancement of multi－view depth maps for free viewpoint video［J］.IEEE Journal of Selected Topics in Signal Processing，2011，5（2）:352－361.

［3］CANCINO－SUAREZ S，KLIMASZEWSKI K，STANKIEWICZ O，et al.Enhancement of stereoscopic depth estimation by the use of motion information［C］//Proc.2012 44th Southeastern Symposium on System Theory（SSST）.Jacksonville，F(xiàn)L:IEEE Press，2012:94－98.

［4］武翠芳，王永芳，劉靜，等.一種改進(jìn)的基于BP的立體匹配算法［J］，電視技術(shù)，2011，35（20）:28－31.

［5］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two－frame stereo correspondencealgorithms［J］.International Journal of Computer Vision，2002（47）:7－42.

［6］LI H，CHEN G.Segment－based stereo matching using graph cuts［C］//Proc.CVPR 2004.［S.l.］:IEEE Press，2004:74－81.

［7］VEKSLER O.Efficient graph－based energy minimization methods［EB/OL］.［2013－02－02］.http://www.csd.uwo.ca/faculty/olga/Papers/thesis.pdf.

［8］ANDREAS K，MARIO S，KONRAD K.Segment－based stereo matching using belief propagation and a self－adapting dissimilarity measure［C］//Proc.18th International Conference on Pattern Recognition，ICPR 2006.Hong Kong:IEEE Press，2006:15－18.

［9］COMANICIU D，MEER P.Mean shift:a robust approachtoward feature space analysis［C］//Proc.PAMI 2002.［S.l.］:IEEE Press，2004:603－619.

［10］BLEYER M，GELAUTZ M.Graph－based surface reconstructionfrom stereo pairs using image segmentation［C］//Proc.Conference Videometrics VIII.［S.l.］:SPIE，2005:288－299.

Image Enhangcement Based on Stereo Matching Algrorithm

DONG Xin，WANG Guozhong，F(xiàn)AN Tao，TENG Guowei，ZHAO Haiwu，LI Guoping

（Shool of Communication and Information Engineering，Shanghai University，Shanghai 200072，China）

Streo matching is one of the key techniques in depth estimatiom.Traditional stero matching methods destroies the edge of an image partly.To improve the depth estimation precision，an image enhangcement based stereo matching algrorithm is proposed that utilizes image enhancement on the reference image and the target image and the scene is enhanced by a gradient method which makes the latter segmentation step more robust on edges，then the disparity plane is assigned to each segment.Experiment results demonstrate the superior performance of the proposed algrithm.

stereo maching;image enhanchment;disparity;image segmentation

TN919.8

A

【本文獻(xiàn)信息】董欣，王國(guó)中，范濤，等.一種基于梯度增強(qiáng)的立體匹配算法［J］.電視技術(shù)，2014，38（3）.

國(guó)家自然科學(xué)基金項(xiàng)目（D.09－0107－13－006）;上海市科學(xué)技術(shù)委員會(huì)科研計(jì)劃項(xiàng)目（12511502502）

董 欣（1988— ），女，碩士生，主研3D視頻高效深度提取技術(shù);

王國(guó)中，博士，教授，博士生導(dǎo)師，研究方向?yàn)橐曨l編解碼與多媒體通信。

責(zé)任編輯:時(shí) 雯

2013－03－14