一種基于多因素的自適應支持權重匹配算法

何 川， 余 燁， 段瑞青， 劉曉平

（合肥工業(yè)大學 計算機與信息學院，安徽 合肥 230009）

0 引言

立體匹配是近年來計算機視覺領域的一個重點研究方向，其主要目的是尋找2幅圖像中的對應點。由于存在著遮擋不連續(xù)、鏡面反射、紋理重復或弱紋理、投影畸變和傾斜平面等匹配問題，往往出現(xiàn)匹配過程中多點對應著一點的現(xiàn)象。而立體匹配是要解決上述問題，并尋找最優(yōu)匹配解。

根據(jù)所采用優(yōu)化方法的不同，立體匹配算法可以分為全局匹配算法和局部匹配算法。文獻［1］把立體匹配分為匹配代價計算、支持能量聚合、視差計算和優(yōu)化、視差的精細和評價4個步驟，但并不是每種匹配算法都必須包含這4個步驟，例如，全局匹配算法沒有能量聚合步驟，而局部匹配算法沒有視差優(yōu)化和視差精細步驟。

全局匹配算法主要是采用全局的優(yōu)化理論方法估計視差，建立全局能量函數(shù)，通過最小化全局能量函數(shù)得到最優(yōu)視差值。該算法的匹配結果比較精確，但運行效率低，不具有實時性。文獻［2］利用馬爾科夫網(wǎng)絡和置信傳播方法進行立體匹配，獲得了不錯的結果。文獻［3］提出一種利用顏色分割進行匹配的新算法，使用分層平面描述場景，可以有效地處理大片無紋理區(qū)域和深度不連續(xù)處。文獻［4］提出一種改進的基于圖像分割的匹配算法，可以有效地處理大片低紋理區(qū)域和視差圖的邊界，但無法準確地處理有噪聲的圖像。文獻［5］提出一種平行配置系統(tǒng)的快速匹配算法，利用視差的分段連續(xù)性，極大地減少了運算量，但視差圖存在“線條”特征，在視差緩變處精度低。文獻［6］提出了一種采用自適應平滑約束的匹配算法，利用平滑約束有效地保持視差圖的非連續(xù)區(qū)域，可以有效地處理弱紋理區(qū)域，但算法沒有結合圖像的上下文信息。文獻［7］提出了一種基于圖像分割塊之間的幾何約束和視差值的概率分布信息的視差估算方法，有效地解決傾斜平面或曲面的匹配問題，但對細小物體的匹配效果很差。

局部匹配算法采用局部優(yōu)化方法進行視差估計，得到的視差估計是局部最優(yōu)解。文獻［8］提出一種新的基于區(qū)域增長的稠密匹配算法，可以很好地處理未校正圖像對或低紋理區(qū)域。文獻［9］提出一種僅利用灰度信息即可確定窗口的簡單方法，保證得到最佳的匹配窗口，且使計算量與窗口大小無關。文獻［10］提出一種基于窗口的匹配算法，根據(jù)相似性和接近性自適應地調整支持窗口中像素的支持權重，以減少圖像匹配時的二義性，效果在局部匹配算法中較優(yōu)。文獻［11］提出一種新的基于區(qū)域內(nèi)協(xié)同優(yōu)化的立體匹配算法，將區(qū)域作為匹配基元，利用區(qū)域間的遮擋、平滑約束和區(qū)域內(nèi)的顏色統(tǒng)計構造能量函數(shù)，再利用區(qū)域間的協(xié)同和競爭機制減少匹配代價，算法產(chǎn)生的視差圖接近標準結果。文獻［12］提出并實現(xiàn)了一套精度高和速度快的基于GPU立體匹配系統(tǒng)，通過多步優(yōu)化減少視差估計的各種錯誤，并采用并行程序設計和CUDA加速，在立體匹配交流平臺上該算法的效果最佳。文獻［13］提出了更加合理的加權因子，并根據(jù)相似性對圖像進行修復，使得修復效果更好，并縮短了修復時間。

鑒于立體匹配算法的準確性需求，本文在前人研究的基礎上，提出一種基于多因素的自適應支持權重匹配算法。首先分析出傳統(tǒng)自適應支持權重匹配算法效果的3個影響因素，即顏色模型、底數(shù)因子和顏色分量的加權因子，通過合理選取這3個因素，并以恰當?shù)慕M合方式應用到該匹配算法中以得到進一步的優(yōu)化，從而使匹配算法得到的視差圖獲得更加準確的效果。

1 算法的基本思想

本文的匹配算法參照文獻［10］中算法的核心思想，通過選擇固定大小的匹配窗口，針對窗口內(nèi)的每個像素計算其支持權重，通過該權重進行像素間的相異度計算，再確定每個像素的視差值。

1.1 窗口內(nèi)像素的支持權重計算

在立體匹配過程中，本文選用的匹配窗口為固定大小的矩形窗口。窗口中像素的支持權重可以衡量周圍支持像素和中心像素的視差值差異程度。由格式塔規(guī)則中的相似性規(guī)則（顏色信息的相似）和接近性規(guī)則（幾何距離的接近）可知，像素的支持權重正比于相似性和接近性的組合強度。即對于周圍支持像素，與中心像素的顏色信息越相似，其支持權重越大；與中心像素的幾何距離越接近，其支持權重越大。支持權重的計算過程是自適應的，無需用戶干預。支持權重可表示為：

1.2 相異度計算和視差選擇

在進行相異度計算時，需要考慮在左圖和右圖中像素的支持權重計算，可更好地處理深度不連續(xù)的問題，如圖1所示，圖1中，p和q為左圖中引用支持窗口中的像素，而和為右圖中對應的目標支持窗口中的像素，左圖中的像素p和q具有視差d。

圖1 引用支持窗口與目標支持窗口的關系

在相異度計算后，每個像素的視差值可以通過 WTA（Winner－Take－All）方法來計算。即對于像素p，在視差值的取值范圍Sd內(nèi)，選擇最小的相異度計算結果dp，這時的視差值d即為該像素的最終視差值，其關系式為：

2 算法的優(yōu)化

在相異度計算時，大多數(shù)的立體匹配算法都需要利用源圖像的顏色信息，然而不同顏色模型表示顏色信息的方式不同，顏色模型的多個不同分量對顏色信息的貢獻大小也不同，這使得相異度的計算結果有所差異。本文通過對大量實驗結果的分析得出，影響匹配結果的因素分別為顏色模型、底數(shù)因子和顏色分量的加權因子，通過合理選取這3個因素，對匹配算法［10］進行進一步的優(yōu)化，從而獲得效果更佳的視差圖。

2.1 顏色模型的選取

本文的匹配算法利用圖像的顏色信息進行相異度的計算，這就需要選取合適的顏色模型去描述顏色信息。目前，常用的顏色模型主要有計算顏色模型、工業(yè)顏色模型和視覺顏色模型。計算顏色模型主要應用于純理論研究和計算推導，工業(yè)顏色模型主要側重于實際應用的技術；視覺顏色模型用于與人的直接交互，其中，有代表性的顏色模型有CIELab、RGB和HSV。

通過大量實驗可得出，不同的顏色模型可以得到效果有差異的視差圖。實驗中相關參數(shù)設置如下：匹配窗口大小為35×35，底數(shù)因子為e，無加權計算。由一般常識可知，相比于顏色模型RGB和HSV，顏色模型CIELab得到的視差圖有更加平滑的效果。

2.2 底數(shù)因子的選取

對于每個像素的支持權重，文獻［10］推導出的計算公式為：

文獻［10］提出了匹配效果最好的自適應支持權重立體匹配算法，其中，它的底數(shù)因子exp值為常數(shù)e。經(jīng)過大量實驗發(fā)現(xiàn)，不同的底數(shù)因子會得到效果有差異的視差圖，具體實驗結果如圖2所示。實驗中相關參數(shù)設置如下：匹配窗口大小為35×35，顏色模型為CIELab，無加權計算。

從圖2可看出，隨著底數(shù)因子的增大，視差圖中物體的輪廓更加清楚，但其平滑性減弱。

圖2 不同底數(shù)因子對匹配算法的影響

2.3 顏色分量加權因子的選取

本文的匹配算法在進行相異度計算時，計算像素間顏色信息的差異。如在RGB顏色模型下，像素p和q之間的顏色差異Δcpq公式為：

其中，α、β、γ為顏色模型 RGB下3個分量R、G、B的加權因子。

經(jīng)過實驗可知，不同的加權因子會得到效果有差異的視差圖，具體實驗結果如圖3所示。實驗中相關參數(shù)設置如下：匹配窗口大小為35×35，顏色模型為RGB，底數(shù)因子為e。

圖3 不同加權因子對匹配算法的影響

從圖3可知，在相異度計算時，采用合適的加權因子可以使得到的視差圖有更加平滑的效果。

3 實驗結果

在整個立體匹配實驗中，為保證算法對比結果的客觀性，沒有添加任何預處理或后處理等優(yōu)化步驟，只是核心匹配算法的對比。實驗使用Middlebury大學立體視覺算法評測網(wǎng)站提供的標準測試圖像。該網(wǎng)站為立體匹配算法測試提供了一個公認的客觀評價平臺。

3組實驗處理的圖像分別為 “venus”、“teddy”和“cones”，相關參數(shù)設置如下：Rc＝7.0，Rg＝36.0，T ＝40，窗口大小為35×35。在文獻［10］匹配算法的實驗中，采用RGB顏色模型，底數(shù)因子為e，沒有進行加權計算。而在本文匹配算法中，采用CIELab顏色模型，底數(shù)因子為3，加權因子分別為0.2、0.4、0.4。不同算法的匹配結果進行對比，結果如圖4～圖6所示。Middlebury大學立體匹配算法評測網(wǎng)站給出了不同算法的評測結果，見表1所列，表1中“nonocc”表示nonoccluded pixels，“all”表示all pixels，“disc”表示pixels in depth discontinuities。針對3組標準測試圖像，通過視差圖的效果和算法的評測結果可以看出，本文匹配算法比文獻［10］的匹配算法有一定的改進，能得到更平滑和準確的視差圖。

圖4 venus圖像的匹配結果對比

圖6 cones圖像的匹配結果對比

表1 本文算法對標準測試圖像視差估計的結果與文獻［10］算法的比較 %

4 結束語

本文提出了一種基于多因素的自適應支持權重匹配算法，首先分析了匹配算法的3個影響因素為顏色模型、底數(shù)因子和顏色分量的加權因子，通過借鑒傳統(tǒng)自適應支持權重匹配算法的核心思想，并結合以恰當方式組合的3個因素，進一步地優(yōu)化了原有的匹配算法，以得到效果更加平滑和準確的視差圖。對標準測試圖像進行匹配實驗，實驗結果表明，本文算法與傳統(tǒng)自適應支持權重匹配算法相比，不管是針對無遮擋像素、處于深度不連續(xù)處的像素還是其他的像素，本文算法中獲得的“壞像素”比例與傳統(tǒng)自適應支持權重算法相比，明顯減少，由此可以證明本文匹配優(yōu)化算法的有效性和優(yōu)越性。

［1］Scharstein D，Szeliski R.A taxonomy and evaluation of dense two－frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47（1／2／3）：7－42.

［2］Sun J，ShuMH Y，Zheng N N.Stereo matching using belief propagation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（7）：787－800.

［3］Bleyer M，Gelautz M.A layered stereo matching algorithMusing image segmentation and global visibility constraints［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2005，59（3）：128－150.

［4］尹傳歷，劉冬梅，宋建中.改進的基于圖像分割的立體匹配算法 ［J］.計 算 機 輔 助 設 計 與 圖 形 學 學 報，2008，20（6）：808－812.

［5］狄紅衛(wèi)，柴 穎，李 逵.一種快速雙目視覺立體匹配算法［J］.光學學報，2009，29（8）：2180－2184.

［6］馬祥音，査紅彬.采用自適應平滑約束的立體匹配方法［J］.計算機輔助設計與圖形學學報，2010，22（1）：108－113.

［7］翟振剛，陸 耀，趙 紅.利用塊幾何約束及視差概率的立體匹配算法［J］.軟件學報，2010，21（11）：2985－2998.

［8］唐 麗，吳成柯，劉侍剛，等.基于區(qū)域增長的立體像對稠密匹配算法［J］.計算機學報，2004，27（7）：936－943.

［9］周秀芝，文貢堅，王潤生.自適應窗口快速立體匹配［J］.計算機學報，2006，29（3）：473－479.

［10］Yoon K J，Kweon I S.Adaptive support－weight approach for correspondence search［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（4）：650－656.

［11］Wang Z F，Zheng Z G.A region based stereo matching algorithMusing cooperative optimization［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2008：1－8.

［12］Mei X，Sun X，Zhou MC，et al.On building an accurate stereo matching systeMon graphics hardware［C］／／GPUCV，2011：467－474.

［13］陳曉冬，朱曉臨.基于改進優(yōu)先級的加權匹配圖像修復算法［J］.合肥工業(yè)大學學報：自然科學版，2013，36（1）：113－118.