基于圖像分割和可變窗的聯(lián)合立體匹配

胡漢平，朱 明，吉淑嬌，2，郭 濱

(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，長春130033;2.中國科學(xué)院研究生院，北京100039;3.長春理工大學(xué)，長春130022)

立體視覺是基于像素點(diǎn)視差，根據(jù)投影幾何三角法原理得到場景中每一個(gè)空間點(diǎn)的三維空間信息，進(jìn)而進(jìn)行三維信息的整體恢復(fù)與重構(gòu)。在立體視覺中，立體匹配技術(shù)是既是重點(diǎn)也是難點(diǎn)，立體匹配的主要任務(wù)是得到光滑稠密的視差圖，立體匹配的結(jié)果直接影響到三維重構(gòu)效果。

根據(jù)文獻(xiàn)［1］提出的分類標(biāo)準(zhǔn)，立體匹配算法可分為局部匹配算法［2－6］和全局匹配算法［7－10］兩大類。局部匹配算法是基于區(qū)域的，通常以參考圖像中的某一像素點(diǎn)為中心構(gòu)造一個(gè)鄰域支撐窗口，確定相應(yīng)的相似度計(jì)算函數(shù)后將該窗口在待匹配圖像上進(jìn)行遍歷搜索，計(jì)算其與遍歷過程中每個(gè)窗口的相似度，通常以相似度最大的窗口為最終匹配結(jié)果。

目前基于區(qū)域的局部立體匹配算法多數(shù)直接采用矩形窗口進(jìn)行計(jì)算，這樣雖提高了計(jì)算效率，但是得到的視差圖精度較差，尤其在弱紋理和視差不連續(xù)的區(qū)域極易產(chǎn)生誤匹配，導(dǎo)致最終匹配結(jié)果精度下降。全局立體匹配算法主要采用了全局優(yōu)化函數(shù)估計(jì)視差，通過建立包含數(shù)據(jù)項(xiàng)和平滑項(xiàng)的全局能量函數(shù)，將視差的求取轉(zhuǎn)化為最小化全局能量函數(shù)的求解。目前主要的全局匹配算法有圖割法、置信傳播算法和動(dòng)態(tài)規(guī)劃算法。和局部算法相比，全局算法能較好的處理遮擋區(qū)域和弱紋理區(qū)域，但由于全局能量函數(shù)的最優(yōu)化求解較為費(fèi)時(shí)，導(dǎo)致計(jì)算復(fù)雜度遠(yuǎn)高于局部匹配算法，得到高精度視差的同時(shí)運(yùn)行時(shí)間也比較長，不適合實(shí)時(shí)平臺(tái)應(yīng)用。

針對(duì)目前匹配方法難于兼顧匹配精度和速度的不足，筆者提出一種基于圖像分割和可變窗體的聯(lián)合立體匹配算法，在匹配精度上較主流局部立體匹配算法有了較大的提高，同時(shí)使匹配速度得到較大提升，使算法在精度和速度上得到較好的平衡。

1 算法概述

筆者算法以圖像分割和可變窗立體匹配為基礎(chǔ)，先采用Mean－Shift［11］圖像分割算法對(duì)彩色立體圖像進(jìn)行精細(xì)分割，假設(shè)同一色彩分割區(qū)域具有相同視差值，并以此構(gòu)造基于分割的匹配代價(jià)。當(dāng)對(duì)匹配圖像過度分割時(shí)，圖像的視差變化會(huì)伴隨相應(yīng)的色彩變化，利用此特性可提高視差在不連續(xù)區(qū)域和弱紋理區(qū)域的匹配精度。之后引入基于可變窗的匹配代價(jià)函數(shù)，它能增強(qiáng)不連續(xù)區(qū)域和弱紋理區(qū)域的匹配精度，最后采用贏家通吃(WTA)搜索策略確定最佳匹配點(diǎn)，一定程度上提高了算法的執(zhí)行效率。

2 算法實(shí)現(xiàn)

2.1 匹配圖像分割

圖像分割主要是根據(jù)色彩信息把圖像分割成若干區(qū)域組成的集合。采用Mean－Shift算法對(duì)圖像進(jìn)行分割，它是一種利用概率分布梯度尋找分布峰值的非參數(shù)估計(jì)方法，能將圖像中像素逐個(gè)分類到相應(yīng)的密度模式下，通過聚類得到一系列互不交叉的區(qū)域，在適當(dāng)?shù)乃惴▍?shù)下能實(shí)現(xiàn)圖像的過分割，同時(shí)它還具有精度高和實(shí)時(shí)性好等優(yōu)點(diǎn)。筆者算法中如果分割區(qū)域過大則該區(qū)域內(nèi)的視差可能存在較大差異，不滿足同一分割區(qū)域視差相同的假設(shè)，因此為使每個(gè)分割區(qū)域內(nèi)視差平滑變化，對(duì)待匹配彩色圖像使用過分割形成足夠小的分割區(qū)域塊，通過設(shè)定合適的算法參數(shù)，可得到一個(gè)較好的區(qū)域分割結(jié)果。

2.2 基于圖像分割的匹配代價(jià)

通常假設(shè)p是參考圖像Tl中任意一像素點(diǎn)，q是目標(biāo)圖像Tr中一像素點(diǎn)即p∈Tl，q∈Tr，在視差假設(shè)為s時(shí)其為一對(duì)匹配點(diǎn)即p=q－s。此時(shí)對(duì)于任一對(duì)匹配點(diǎn)(p，q)在視差為s時(shí)，其基于圖像色彩分割的匹配代價(jià)可定義為

其中Yp是p在參考圖像中的色彩分割區(qū)域，Dr為預(yù)先設(shè)定的固定截?cái)嚅撝?，由于成像時(shí)受外界因素影響可能會(huì)產(chǎn)生一些異常點(diǎn)，引入截?cái)嚅撝岛罂山档彤惓｜c(diǎn)的影響，從而增強(qiáng)算法的魯棒性。

c(p，q)為像素點(diǎn)p和q間的初始匹配代價(jià)，將其定義為

其中Rp，Gp，Bp分別代表像素點(diǎn)p的顏色分量; Rq，Gq，Bq分別表示q點(diǎn)的顏色分量。

2.3 基于可變窗的匹配代價(jià)

對(duì)于基于窗口的局部立體匹配算法，通常假設(shè)匹配窗口內(nèi)的所有像素具有相同的視差值。但實(shí)際情況是一般簡單固定大小的窗口根本無法滿足該假設(shè)。文獻(xiàn)［12］提出的可變窗口方法在不增加計(jì)算復(fù)雜度的同時(shí)提高了視差精度，較好的保持了局部算法的高效特性。對(duì)于匹配圖像中任一對(duì)匹配點(diǎn)(p，q)，在視差為s時(shí)其對(duì)應(yīng)的匹配誤差定義為

此處使用像素點(diǎn)的RGB通道值計(jì)算匹配誤差，它避免了將彩色圖像轉(zhuǎn)換為灰度圖時(shí)對(duì)圖像顏色細(xì)節(jié)造成的損失，有利于提高匹配精度。

其中|D|是窗口的大小，則此時(shí)窗口選擇函數(shù)可定義為

式(5)中第1項(xiàng)是支撐窗口內(nèi)像素的誤差平均值，如果窗口內(nèi)各個(gè)像素的視差值接近并且趨于平滑時(shí)，該項(xiàng)值將達(dá)到最小值;第2項(xiàng)為支撐窗口內(nèi)的像素間的誤差方差，若窗口內(nèi)像素視差接近平滑時(shí)，誤差方差此時(shí)也接近最小值，此項(xiàng)強(qiáng)化了對(duì)窗口內(nèi)像素間視差平滑的約束性;第3項(xiàng)是讓窗口選擇評(píng)價(jià)函數(shù)時(shí)對(duì)大尺寸的窗口更具有傾向性，主要是因?yàn)橐话闱闆r下大窗口包含的圖像信息比小窗口要豐富且不易造成誤匹配，尤其是在均勻區(qū)域。可變窗體的選擇范圍為3×3到25× 25之間，k1=1.25，k2=5，k3=－3。

假設(shè)視差為s，選擇具有最小W(D)的窗口作為可變窗口，則可變窗口的匹配代價(jià)為

其中Wp為p的可變窗體;Tr=30為截?cái)嚅撝怠?/p>

2.4 聯(lián)合匹配代價(jià)生成

基于彩色圖像分割和可變窗口內(nèi)視差一致性的假設(shè)，結(jié)合上述兩種匹配代價(jià)，提出一種聯(lián)合立體匹配代價(jià)聚集函數(shù):

其中n(Yp)是圖像色彩分割區(qū)域Yp的大小，|Wp|是對(duì)應(yīng)像素可變窗體的大小，α和β是預(yù)設(shè)權(quán)重系數(shù)取值分別為α=0.6，β=0.4。

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法有效性，在Intel core i5 3.0 GHz，4 Gbyts內(nèi)存的Windows平臺(tái)下用Opencv編程實(shí)現(xiàn)筆者算法，對(duì)Middlebury網(wǎng)站提供的4對(duì)合成彩色測試圖像進(jìn)行立體匹配。匹配時(shí)按照測試平臺(tái)的要求，各算法都保持測試平臺(tái)默認(rèn)參數(shù)。在對(duì)彩色圖像分割時(shí)，Mean－shift彩色分割算法的幾何空間窗、特征空間窗的半徑均設(shè)為3，且允許的最小區(qū)域?yàn)?0像素。

圖1是用Mean－Shift彩色分割算法的分割結(jié)果，通過控制參數(shù)，該算法能得到一個(gè)較好的分割結(jié)果。圖2為筆者算法得到的視差結(jié)果圖，從圖2中可看出筆者所得視差圖在滿足視差平滑約束的同時(shí)較好的保留了圖像的邊緣細(xì)節(jié)信息，同時(shí)由于該算法采用空間距離函數(shù)作為匹配代價(jià)參考值，所以對(duì)于弱紋理和深度不連續(xù)區(qū)域都得到比較滿意的匹配結(jié)果。圖3為筆者算法得到的計(jì)算視差圖與標(biāo)準(zhǔn)視差圖之間的差異，黑色點(diǎn)表示在無遮擋區(qū)域匹配錯(cuò)誤的像素點(diǎn)，灰色點(diǎn)表示在遮擋區(qū)域匹配錯(cuò)誤的像素點(diǎn)，白色大片區(qū)域是匹配正確的像素點(diǎn)。圖4是不同算法對(duì)Cones進(jìn)行匹配后的效果對(duì)比。

圖1 M ean-Shift彩色分割結(jié)果Fig.1 Color segmentation result by M ean-Shift

表1是根據(jù) Middlebury網(wǎng)站 Middlebury Stereo Evaluation－Version 2提供的3個(gè)定量參數(shù)nonocc(非遮擋區(qū)域誤匹配像素百分比)、all(全部區(qū)域誤匹配像素百分比)、disc(深度不連續(xù)區(qū)域誤匹配像素百分比)，將筆者算法與自適應(yīng)權(quán)重算法(ASW)［13］、基于分割的自適應(yīng)窗體算法(SASW)［14］進(jìn)行對(duì)比，誤差閾值限定為1個(gè)像素時(shí)，筆者算法的匹配精度要優(yōu)于其余兩個(gè)算法。同時(shí)為定量分析筆者算法的計(jì)算效率，在相同的實(shí)驗(yàn)條件下，使用Cones測試圖對(duì)筆者算法和ASW、SASW進(jìn)行對(duì)比，由于筆者算法計(jì)算過程中引入了積分圖像節(jié)省了匹配代價(jià)計(jì)算時(shí)間，使得算法的計(jì)算效率得到較大改善，具體運(yùn)行時(shí)間如表2所示。

圖2 實(shí)驗(yàn)結(jié)果Fig.2 Experimental results

圖3 誤匹配點(diǎn)(視差值絕對(duì)誤差＞1)Fig.3 Bad pixels(absolute disparity error＞1)

圖4 不同算法Cones視差圖Fig.4 The disparity maps of Cones using different algorithm

表1 筆者算法與其它算法性能對(duì)比(誤差閾值為1個(gè)像素)Table 1 Performance com parison of differentmethods(error threshold is 1 pixel)

表2 計(jì)算Cones視差圖的時(shí)間比較Table 2 Time comparison of computing Cones disparitymap

4 結(jié)論

筆者在深入研究圖像分割和可變窗體立體匹配算法的基礎(chǔ)上，提出一種基于圖像分割和可變窗聯(lián)合的立體匹配算法。利用在同一過分割區(qū)域視差平滑的假設(shè)，獲取基于分割的匹配代價(jià);然后結(jié)合分割結(jié)果，將傳統(tǒng)的可變窗理論運(yùn)用到彩色圖像上獲取可變窗體的匹配代價(jià);最后配以不同權(quán)值合并兩類匹配代價(jià)，通過WTA搜索策略確定最佳匹配。實(shí)驗(yàn)表明該算法相對(duì)其他同類局部算法能夠更好的對(duì)弱紋理區(qū)域和深度不連續(xù)區(qū)域進(jìn)行匹配，其整體匹配性能比目前較為成熟的自適應(yīng)權(quán)重和基于分割的自適應(yīng)窗體算法有所提高，算法的效率也得到較大提升。同時(shí)也看到了該算法對(duì)于大面積遮擋區(qū)域和強(qiáng)紋理區(qū)域的匹配效果仍然不是很理想，后續(xù)將繼續(xù)深入研究遮擋區(qū)域的優(yōu)化處理，同時(shí)繼續(xù)簡化匹配代價(jià)函數(shù)的計(jì)算過程，并著手對(duì)該算法進(jìn)行并行加速，使其運(yùn)行效率得到更大改善，進(jìn)而能投入實(shí)時(shí)應(yīng)用。

［1］Scharstein D，Szeliski R.A taxonomy and evaluation of dense two－frame stereo correspondence algorithms［J］. International Journal of Computer Vision，2002，47:7－42.

［2］Demaeztu L，Villanueva A，Cabeza R.Stereomatching u－sing gradient similarity and locally adaptive supportweight［J］.Pattern Recognition Letters，2011，32(13): 1643－1651.

［3］De－Maeztu L，Mattoccia S，Villanueva A，et al.Efficient aggregation via iterative block－based adapting support weight［C］//International Conference on 3D(IC3D 2011).Liege，Belgium，2011:7－8.

［4］Hirschmuller H.Innocent J，Garibaldi P.Real－time correlation－based stereo vision with reduced border errors［J］.Journal of Computer Vision，2002，47:1－3.

［5］伍春洪，付國亮.一種基于圖像分割及鄰域限制與放松的立體匹配方法［J］.計(jì)算機(jī)學(xué)報(bào)，2011，34(4): 755－760.

Wu Chun－h(huán)ong，F(xiàn)u Guo－liang.Based stereo matching method in image segmentation and neighborhood restrictions and relaxation［J］.Chinese Journal of Computers，2011，34(4):755－760.

［6］Mattoccia S.Accurate dense stereo by constraining local consistency on superpixels［C］//20th International Conference on Pattern Recognition(ICPR2010).Istanbul，Turkey，2010:23－26.

［7］Sun J，Zheng N N，Shum H Y.Stereomatching using belief propagation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(7):787－800.

［8］劉赫偉，汪增福.一種沿區(qū)域邊界的動(dòng)態(tài)規(guī)劃立體匹配算法［J］.模式識(shí)別與人工智能，2010，23(1):38－44.

Liu He－wei，Wang Zeng－fu.An along the regional border dynamic programming stereo matching algorithm［J］.Pattern Recogntion and Drtificial Intelligence，2010，23(1):38－44.

［9］Wang Z，Zheng Z.A region based stereo matching algorithm using cooperative optimization［C］//CVPR 2008: 117－120.

［10］De－Maeztu L，Mattoccia S，Villanueva A，et al.Linear stereo ma tching［C］ //International Conference on Computer Vision(ICCV 2011).Barcelona，Spain，2011:6－13.

［11］Comaniciu D，meer P.Mean shift:A robust approach toward feature space analysis［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24(5):603－619

［12］Velsler O.Fast variable window for stereo correspondence using integral images［C］//IEEE International Conference on Computer Vision and Pattern Recognition，USA.2003:556－561.

［13］Yoon K J，Kweon S.Adaptive support－weight approach for correspondence serarch［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28 (4):650－656.

［14］Tombari F，Mattoccia S，Distefano L.Segmentation－based adaptive support for accurate stereo correspondence［C］//IEEE Pacific－Rim Symposium on Image and Video Technology(PSIVT 2007).2007.