從雙視圖到多視圖的協(xié)同優(yōu)化立體視覺匹配算法

王道累，吳懋亮，陳軍

（上海電力學(xué)院 能源與機械工程學(xué)院，上海200090）

20世紀(jì)80年代，Marr等［1］提出了一種使計算機通過二維圖像恢復(fù)三維場景信息的能力視覺計算理論，并應(yīng)用在雙目或多目匹配上，從而奠定了雙目或多目立體視覺發(fā)展的理論基礎(chǔ).立體匹配是計算機視覺關(guān)鍵技術(shù)之一，現(xiàn)有解決立體匹配問題的算法主要分為兩類：基于局部約束的算法和基于全局約束的算法［2－4］.Wu等［5］采用張量投票算法對PMVS中的特征擴展和噪聲過濾進行優(yōu)化.Nguyen等［6］提出局部稠密解碼方法，利用45°和90°兩方向?qū)υ摲椒ㄟM行求導(dǎo)，獲得視差圖.Xu等［7］提出優(yōu)化局部自適應(yīng)算法，求解圖像對視差.上述算法都是基于局部算法求解視差，但這類算法對圖像噪聲較敏感，對重復(fù)紋理區(qū)域、遮擋區(qū)域和視差不連續(xù)區(qū)域等往往匹配效果不理想，錯誤匹配率較高.在此基礎(chǔ)上，很多計算機視覺研究專家提出基于全局約束算法，對整個圖像數(shù)據(jù)信息進行計算，這樣降低對局部區(qū)域敏感度，解決重復(fù)紋理的影響，同時，也可以求解視差不連續(xù)區(qū)域，最終達到全局最優(yōu)解.基于全局優(yōu)化算法的本質(zhì)是把匹配問題轉(zhuǎn)化為求解能量函數(shù)，然后，通過求解該能量方程的全局最優(yōu)解，并可尋找到匹配點.全局算法一般有動態(tài)規(guī)劃算法、圖割算法［8］和人工智能算法等.本文研究雙視圖到多視圖立體匹配算法，提出基于全局協(xié)同算法解決多視圖的匹配問題，從而準(zhǔn)確獲得并恢復(fù)三維場景深度.

1 雙目立體視覺匹配

1.1 圖像分割

在圖像分割之前，通過兩個假設(shè)：每個分割區(qū)域內(nèi)的視差值變化細微，平滑過渡；只有在分割區(qū)域邊界存在深度距離的不連續(xù)性.采用mean－shift算法［9］對參考圖像（兩幅圖像任選一副作為參考圖像）進行分割，能很好滿足圖像的匹配假設(shè)條件.

1.2 視差的初始化

由于局部匹配算法速度快、運算簡單，局部匹配算法被用來計算視差初始值，采用自適應(yīng)相似算法來計算雙視圖匹配視差值.自適應(yīng)相似算法具體表示為

式（1）中：I和I′分別代表左右圖像中像素坐標(biāo)（x，y）處的灰度；t表示灰度值差和梯度差之間的權(quán)值.視差值初始化代價方程為

N（x，y）是以像素的（x，y）為中心5×5的矩形窗，使用WTA（winner－takes－all）方法最小化代價方程，求得像素點（x，y）的視差值.

1.3 視差圖平面擬合

在參考圖像分割之后，以分割區(qū)域為單位進行視差圖平面擬合.由于假設(shè)在同一個分割區(qū)域內(nèi)沒有太大視差變化，所以分割區(qū)域內(nèi)每一個像素的視差可以用一個模型來表示.Tao等［10］給出了視差圖平面的擬合方程，每一個分割區(qū)域視差模型表示為

式（3）中：a，b，c是平面的參數(shù)；d是像素點（x，y）相對應(yīng)的視差值.

對于分割區(qū)域內(nèi)的各個像素點可以表示為

式（4）中：矩陣A第i行為［xi，yi，1］；向量B第i行為d（xi，yi）.

對線性方程（4）進行變換，可得

即有

通過奇異值（singular value decomposition，SVD）求解，有

一般情況下，線性方程（5）的對奇異點非常敏感，所以要對奇異點進行排除.這里制定3種規(guī)則來排除奇異點.

1）視差相互比較.對左右視圖分別通過自適應(yīng)相似算法就得視差圖，然后進行相互比較.給定一個誤差閾值ξ，如果小于該閾值ξ，該像素點為可靠的像素點.

2）可靠區(qū)域判斷.在排除奇異點之后，分割區(qū)域內(nèi)的可靠像素點總數(shù)是否可以到達構(gòu)建擬合平面的要求，即構(gòu)成可靠區(qū)域.這里規(guī)定可靠像素點總數(shù)是整個區(qū)域像素點數(shù)一半以上.

3）視差距離判斷當(dāng)前獲得視差值與前一次獲得值進行比較，在規(guī)定的誤差范圍內(nèi)，該像素點為可靠像素點.

通過判斷之后，當(dāng)前獲得平面參數(shù)與前一次獲得值進行比較，即

如果在規(guī)定的誤差內(nèi)，循環(huán)結(jié)束，或者繼續(xù)進行參數(shù)優(yōu)化.

1.4 視圖協(xié)同優(yōu)化視差值

視圖協(xié)同優(yōu)化是將一個復(fù)雜目標(biāo)分解為一些相對簡單子目標(biāo)，相連區(qū)域?qū)υ撟幽繕?biāo)影響進行優(yōu)化［11］.通過mean－shift分割后視圖，如圖1所示.圖1中：s1，s2，…，sn為分割區(qū)域.設(shè)E（x）為整幅圖像的能量方程，根據(jù)協(xié)同優(yōu)化原理，有

式（8）中：Ej（x）（j＝1，2，…，n）是第j個分割區(qū)域的能量方程.

將一個復(fù)雜的能量分解為相對簡單的子能量方程，通過迭代方程，有

式（9）中：Ei（x）表示第i個分割區(qū)域的能量方程，分割域sj（j＝1，2，…，n；i≠j）是分割域sj的相連域；0≤κj≤1，0≤μj，1≤1分別是相對應(yīng)的權(quán)值.

利用協(xié)同原理來優(yōu)化視差值，首先要構(gòu)建視差擬合區(qū)域的能量方程，該能量方程有三部分組成分別是代價方程、懲罰方程和平滑度方程，具體表示為

上式中的各項可分別表示為：

圖1 通過mean－shift分割后視圖Fig.1 Segmented reference image

各個參數(shù)定義如下：cdata（x，y，d）的定義同節(jié)1.2；ωocc為遮擋懲罰系數(shù)；Nocc為區(qū)域內(nèi)遮擋像素數(shù)（通過上面3個規(guī)則判斷得到的不可靠像素數(shù)）；Nr是可靠區(qū)域像素集；I（x，y）和I（x′，y′）分別是像素點（x，y）和（x′，y′）的灰度；N以像素的（x，y）為中心5×5的矩形窗；dis（·）是兩像素點歐幾里得距離；γ是一個常數(shù)；β定義為

最后，通過Powell方法求解能量方程（9），獲得第j個分割區(qū)域的最優(yōu)視差平面參數(shù)（aj，bj，cj），就可以獲得優(yōu)化后視差圖.

2 多目立體視覺匹配

利用多視圖進行立體匹配求視差，給匹配算法提供更多的信息.有利于提高算法的精度，降低匹配的錯誤率.選擇其中一幅為參考圖像，該參考圖像與其他圖像進行兩兩匹配求得視差圖，形成了多個視差集（d（1），d（2），…，d（n）），如何優(yōu)化合并這一系列視差集將是多視圖匹配的關(guān)鍵問題之一.

雙視圖立體算法有3個匹配步驟.

步驟1對參考圖像進行分割.

步驟2采用自適應(yīng)相似算法求初始化視差，并求得（d（1），d（2），…，d（n））.

步驟3利用視差平面擬合對多視圖視差集進行合并.

對于多視圖視差平面擬合，平面模型表示為

式（15）中：第j個分割域在第i個視差集中的模型.

對多視差集合并，參考圖像第j個分割域和其他圖像所形成視差，其區(qū)域內(nèi)各個像素點的線性方程表示為

式（16）中：p是在第j個分割域中像素點個數(shù)；是第i個視差集的第j個分割域中第k個像素點的視差值（i＝1，2，…，n；j＝1，2，…，m和k＝1，2，…，p）；a，b，c是第j個分割域的擬合平面系數(shù).

從方程（16）獲得到第j個分割域的擬合視差值是各個視差集中該分割域的平均值，奇異值分解得到視差擬合平面的系數(shù)，即

以此類推，可以對參考圖像的其他分割域進行同樣平面擬合，最后獲得整副參考圖像的視差圖.

線性方程（16）進行奇異點的排除，同理，應(yīng)用雙目視圖匹配的規(guī)則判斷獲得可靠分割區(qū)域.采用協(xié)調(diào)優(yōu)化方法對多視圖視差進行優(yōu)化，多視圖能量方程的建立，具體定義為雙目視圖匹配（方程10），各個部分具體定義為

各個參數(shù)定義如雙視圖匹配能量方程，同理，根據(jù)方程（9）定義，利用Powell算法迭代優(yōu)化得到最優(yōu)多視圖視差.

3 實驗結(jié)果及討論

3.1 匹配算法流程圖

算法具體表述為如下5個步驟.

步驟1視圖組輸入.

步驟2選擇參考圖像進行分割處理.

步驟3運用局部自適應(yīng)相似算法計算初始化視差.

步驟4視差平面擬合，并根據(jù)規(guī)則排除奇異點建立可靠區(qū)域集.

步驟5利用協(xié)同優(yōu)化視差平面參數(shù)獲得最優(yōu)視差值.

3.2 實驗結(jié)果

對述的匹配算法的流程圖進行運算，雙視圖及多視圖的視差圖采用Middlebury［10］的視圖Tsukuba，Venus，Cones和Teddy，運行結(jié)果如圖2所示.圖2（a）為原始圖（Tsukuba，Venus，Cones和Teddy），圖2（b）為對應(yīng)的ground－truth圖，圖2（c）為建議的雙視圖匹配算法結(jié)果圖.

通過執(zhí)行協(xié)同優(yōu)化匹配算法獲得Tsukuba，Venus，Cones和Teddy的多視圖視差圖，如圖3所示.

圖2 雙視圖視差圖Fig.2 Disparity map of binocular stereo matching

各雙視圖及多視圖的算法結(jié)果，如表1所示.表1中：η為錯誤匹配率.由表1可知：利用協(xié)同優(yōu)化匹配算法對多視圖獲得錯誤匹配率最小，雙視圖次之，局部算法獲得的初始化視差錯誤率最大.這樣也充分說明了多視圖能提高更多信息，有利于算法改進，減少錯誤的匹配.局部算法對圖像匹配比較敏感，速度雖快，單精確度劣于全局的匹配算法.同時，也比較了GF［13］，ST－1［14］的雙視圖錯誤匹配率.結(jié)果表明：匹配算法是可以獲得較好的匹配數(shù)據(jù)，但在參考圖Cones上，算法表現(xiàn)不夠好，需要對處理遮擋問題作進一步優(yōu)化.

圖3 多視圖視差圖Fig.3 Disparity map of multi－ocular stereo matching

表1 各方法求得視圖差比較Tab.1 Compare with results of stereo matching methods

4 結(jié)束語

研究立體視覺匹配算法，利用協(xié)調(diào)優(yōu)化對雙視圖及多視圖進行匹配優(yōu)化.利用SVD 方法對線性方程進行求解，同時，在多視圖在通過視差平面擬合合并視差集.制定排除奇異點的規(guī)則，能很好判斷遮擋及非可靠像素點.本算法不僅可以解決雙視圖匹配問題，也可以推廣到多視圖立體匹配問題的解決.今后，將對算法進一步改進及提出更好的平面擬合算法.

［1］MARR D，POGGIO T.A computational theory of human stereo vision［C］∥Proceedings of the Royal Society of London.London：IEEE Press，1979：301－328.

［2］FAUGERAS O，LONG Q.The Geometry of multiple images［M］.Cambridge：Cambridge University Press，2001：1－50.

［3］FURUKAWA Y，PONCE J.Accurate，dense，and robust multi－view steropsis［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2010，32（8）：1362－1376.

［4］LHUILLIER M，QUAN Long.Aquasi－dense approach to surface reconstruction from uncalibrated images［J］.Transactions on Pattern Analysis and Machine Intelligence，2005，27（3）：418－433.

［5］WU Tai－pang，YEUNG S K，YA Jia－jia，et al.Quasi－dense 3Dreconstruction using tensor－based multi－view stereo［C］∥Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco：IEEE Press，2010：1482－1489.

［6］VINH D N，DUC D N，SANG J L，et al.Local density encoding for robust stereo matching［J］.IEEE Transctions on Circuits and Systems for Video Technology，2014，24（12）：2049－2062.

［7］XU Ling－feng，OSCAR C A，SUN Wen－xiu，et al.Stereo matching with optimal local adaptive radiometric compensation［J］.IEEE Signal Processing Letters，2015，22（2）：131－135.

［8］WANG Dao－lei，LIM K B.Obtaining depth map form segment－based stereo matching using graph cuts［J］.Journal of Visual Communication and Image Representation，2002，24（5）：603－619.

［9］COMANICIU D，MEER P.Mean shift：A robust approach toward feature space analysis［J］.Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：603－619

［10］TAO H，SAWHNEY H S，KUMAR R.A global matching framework for stereo computation［C］∥International Conference on Computer Vision.Vancouver：IEEE Press，2001：532－539.

［11］HUANG Xiao－fei.Cooperative optimization for energy minimization：A case study of stereo matching［EB／OL］.［2014－09－23］.http：／／front.math.ucdavis.edu／author／X.Huang，cs.CV／071057.

［12］BLAKE A，ROTHER C，BROWN M，et al.Torr，interactive image segmentation using an adaptive GMMRF model［C］∥Proceedings European Conference of Computer Vision.Prague：Czech Republic，2004：428－441.

［13］RHEMANN C，HOSNI A，BLEYER M C，et al.Gelautz fast cost－volume filtering for visual correspondence and beyond［C］∥Conference on Computer Vision and Pattern Recognition.Colorado Springs：IEEE Press，2011：3017－3024.

［14］MEI Xing，SUN Xun，DONG Wei－ming，el at.Segment－tree based cost aggregation for stereo matching［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Portland：IEEE Press，2013：23－28.