基于迭代指導(dǎo)濾波的立體匹配方法

李金鳳 邊繼龍

1(牡丹江師范學(xué)院計算機(jī)與信息技術(shù)學(xué)院 黑龍江 牡丹江 157011)2(東北林業(yè)大學(xué)計算機(jī)與信息工程學(xué)院 黑龍江 哈爾濱 150040)

基于迭代指導(dǎo)濾波的立體匹配方法

李金鳳1邊繼龍2

1(牡丹江師范學(xué)院計算機(jī)與信息技術(shù)學(xué)院 黑龍江 牡丹江 157011)2(東北林業(yè)大學(xué)計算機(jī)與信息工程學(xué)院 黑龍江 哈爾濱 150040)

針對立體匹配當(dāng)中的匹配精度問題，提出一種基于迭代指導(dǎo)濾波的立體匹配方法。該方法首先利用自適應(yīng)窗口方法根據(jù)圖像的灰度變化自適應(yīng)地選擇支撐窗口，再根據(jù)指導(dǎo)濾波累積原始匹配成本，并采用“勝者全取”方法計算視差，然后利用計算視差對匹配成本進(jìn)行修正，進(jìn)行再次累積并計算視差，最后反復(fù)迭代這一過程直到達(dá)到最大的迭代次數(shù)為止。實(shí)驗結(jié)果表明，該方法可以獲得較高精度的視差圖，而且對立體像對中的不連續(xù)區(qū)域具有較強(qiáng)的魯棒性。

立體匹配 自適應(yīng)窗口 指導(dǎo)濾波 自適應(yīng)權(quán)重

0 引 言

立體匹配是計算機(jī)視覺領(lǐng)域中的一個熱點(diǎn)問題，它利用同一場景的兩幅或者多幅圖像抽取場景的三維信息。到目前為止，已經(jīng)提出大量立體匹配方法[1]解決立體對應(yīng)問題，這些立體匹配方法根據(jù)視差選擇方式不同可大致分為：局部立體匹配方法和全局立體匹配方法。局部立體匹配方法[2-7]是利用“勝者全取”方法選擇視差，而全局立體匹配方法[8]則是通過優(yōu)化算法選擇視差。這些立體匹配方法最終都是通過最小化匹配成本選擇視差，因此定義和計算匹配成本是局部及全局立體匹配方法的關(guān)鍵所在。匹配成本的好壞直接影響立體匹配方法的匹配精度，其一般計算方法是通過在一個預(yù)定義支撐區(qū)域內(nèi)累積原始匹配成本即成本累積。成本累積主要包含兩類：一類是基于自適應(yīng)窗口的成本累積方法，另一類是基于自適應(yīng)權(quán)重的成本累積方法。基于自適應(yīng)窗口成本累積方法的主要原理是為每一點(diǎn)選擇一個合適的支撐窗口，盡量保證窗口內(nèi)所有像素點(diǎn)的視差都等于待匹配點(diǎn)的視差，即保證支撐窗口內(nèi)的局部場景符合“前視平坦”假設(shè)。如果當(dāng)支撐窗口內(nèi)像素點(diǎn)的視差存在較大變化時，則會導(dǎo)致立體匹配方法產(chǎn)生邊界膨脹現(xiàn)象。這種現(xiàn)象多發(fā)生在物體邊界處，這是因為在物體邊界處的支撐窗口經(jīng)常包含了不同視差?；谧赃m應(yīng)權(quán)重成本累積方法的主要思想是根據(jù)指導(dǎo)圖像為支撐窗口內(nèi)的像素點(diǎn)計算權(quán)重信息，然后根據(jù)其相應(yīng)的權(quán)重信息累積原始匹配成本。該方法具有較高的匹配精度，其精度接近于全局立體匹配方法，但該方法的時間復(fù)雜度過高。

Yoon[3]等在2006年提出一種基于自適應(yīng)權(quán)重的立體匹配方法，該方法利用雙邊濾波累積原始匹配成本，然后通過“勝者全取”方法計算視差值。該方法可以獲得高精度的視差圖，但是該方法的時間復(fù)雜度較高，之后人們陸續(xù)提出一些改進(jìn)措施降低了該方法的時間復(fù)雜度。由于基于自適應(yīng)權(quán)重的立體匹配方法具有較高的匹配精度，因此該類方法已成為當(dāng)前立體匹配研究領(lǐng)域中的一個熱點(diǎn)問題。He Kaiming[4]在2010年提出一種指導(dǎo)圖像濾波，該方法根據(jù)指導(dǎo)圖像內(nèi)容計算濾波輸出。指導(dǎo)濾波是一種邊保護(hù)濾波，它類似于雙邊濾波。但該方法在邊緣附近有更好的效果，而且該方法接近于線性時間復(fù)雜度，獨(dú)立于濾波核大小。Hosni[5]等在2011年利用He Kaiming提出的指導(dǎo)濾波設(shè)計一種基于指導(dǎo)濾波的立體匹配方法，該方法的立體匹配效果優(yōu)于Yoon等提出的基于自適應(yīng)權(quán)重的立體匹配方法。但是由于該方法利用指導(dǎo)濾波計算匹配成本時采用的是固定窗口，因此該方法在物體邊界處發(fā)生膨脹現(xiàn)象。

為解決基于指導(dǎo)濾波的成本累積方法在物體邊界處產(chǎn)生膨脹問題，同時為增強(qiáng)匹配成本的魯棒性以提高立體匹配精度，本文提出一種基于迭代指導(dǎo)濾波的立體匹配方法，該方法主要有以下兩點(diǎn)貢獻(xiàn)：首先提出一種自適應(yīng)窗口方法以解決支撐窗口跨越邊界導(dǎo)致視差圖在物體邊界處產(chǎn)生膨脹問題；其次為增強(qiáng)匹配成本的魯棒性，提出一種基于指導(dǎo)濾波的迭代成本累積方法。

1 基本理論

Hosni等利用He Kaiming提出的指導(dǎo)濾波設(shè)計一種基于指導(dǎo)濾波的立體匹配方法，該方法的匹配精度優(yōu)于其它局部立體匹配方法。指導(dǎo)濾波的主要思想：假設(shè)濾波輸出q與指導(dǎo)圖像I在局部范圍內(nèi)符合線性模型，其線性模型表達(dá)式為：

qi=akIi+bk?i∈Nk

(1)

式中，ak、bk分別表示線性系數(shù)，Nk表示以像素點(diǎn)k為中心的局部窗口?，F(xiàn)假定在局部窗口Nk內(nèi)，濾波輸入p和濾波輸出q滿足如下關(guān)系：

qi=pi-ni

(2)

式中，n表示高斯噪聲。由于局部窗口內(nèi)的所有像素點(diǎn)都滿足式(2)，因此可以為每個局部窗口建立如下形式的成本函數(shù)：

(3)

式中，ε表示規(guī)范常量。為求解線性系數(shù)ak和bk，利用最小二乘法對成本函數(shù)式(3)最小化得：

(4)

(5)

如果將式(1)的線性模型應(yīng)用到整幅圖像，則每個像素點(diǎn)i獲得|N|個不同的濾波輸出。這是因為在圖像空間中，有|N|個不同的局部窗口包含像素點(diǎn)i，這些局部窗口將分別產(chǎn)生不同的濾波輸出。為給每一像素點(diǎn)i確定唯一一個濾波輸出值，比較簡單有效的方式是對這些濾波輸出求平均，由此可得：

(6)

由于矩形支撐窗口具有對稱性：

(7)

因此，式(6)可以簡化為：

(8)

在基于指導(dǎo)濾波的立體匹配中，就是利用式(8)對原始匹配成本進(jìn)行累積。在計算累積成本時，其指導(dǎo)濾波的輸入p為視差空間圖中的每一視差d所對應(yīng)的二維成本矩陣c(:,d)即視差空間圖按d維切割的二維數(shù)組，指導(dǎo)圖像I為參考圖像IL，像素點(diǎn)i的累積成本C(i,d)可表示為：

(9)

2 算法實(shí)現(xiàn)及關(guān)鍵步驟

本文提出一種基于迭代指導(dǎo)濾波的立體匹配方法。該方法首先提出一種自適應(yīng)窗口方法以解決局部立體匹配當(dāng)中的邊界膨脹問題，然后提出一種基于迭代指導(dǎo)濾波的成本累積方法以提高匹配成本對噪聲的魯棒性，確保匹配成本能準(zhǔn)確地反映匹配約束。

2.1 自適應(yīng)窗口

在此，本文首先分析指導(dǎo)濾波特點(diǎn)，然后結(jié)合立體匹配當(dāng)中成本累積的要求，提出一種基于自適應(yīng)窗口的指導(dǎo)濾波方法累積匹配成本。為了方便分析指導(dǎo)濾波的行為，本文假設(shè)指導(dǎo)圖像I恒等于濾波輸入p。在這種情況下，式(4)中的ak和bk簡化為：

bk=1-akμk

(10)

(11)

式中，φ(k)表示像素點(diǎn)k的最優(yōu)支撐窗口大小，λ表示預(yù)定義灰度變化閾值。根據(jù)指導(dǎo)圖像的灰度變化自適應(yīng)地為每一待匹配點(diǎn)確定支撐窗口大小，在弱紋理區(qū)域選擇較大的支撐窗口，而在紋理區(qū)域選擇較小的支撐窗口。

2.2 迭代指導(dǎo)濾波

本文利用計算視差圖提供的先驗信息，提出一種迭代指導(dǎo)濾波方法來增加立體匹配的準(zhǔn)確率。該方法的主要思想是利用計算視差圖修正匹配代價，然后利用指導(dǎo)濾波再次累積匹配成本，計算視差并反復(fù)迭代，直到達(dá)到給定的最大迭代次數(shù)為止。其匹配代價修正表達(dá)式為：

(12)

式中，Dmax表示最大視差范圍，d(p)表示像素點(diǎn)p的計算視差。

2.3 算法實(shí)現(xiàn)

基于迭代指導(dǎo)濾波的立體匹配方法首先根據(jù)灰度信息及灰度梯度信息計算匹配成本，再根據(jù)指導(dǎo)圖像的灰度變化選擇支撐窗口，并通過指導(dǎo)濾波累積匹配成本，然后利用“勝者全取”策略計算視差，最后利用計算視差修正原始匹配成本并用指導(dǎo)濾波再次累積匹配成本計算視差，反復(fù)迭代此步直到達(dá)到指定的迭代次數(shù)為止。其算法的主要步驟如下：

(1) 計算原始匹配成本。根據(jù)視差范圍及左右圖像的灰度信息及梯度信息計算原始匹配成本，構(gòu)成一個三維視差空間圖c(p,d)，其計算公式如下：

c(p,d)=α·min(‖IL(p)-IR(p-d)‖,τ1)+ (1-α)·min(‖▽xIL(p)-▽xIR(p-d)i‖,τ2)

(13)

式中，IL表示參考圖像，IR表示匹配圖像，α(≤1)表示權(quán)重比，d表示視差，▽x(·)表示函數(shù)在x方向的梯度變化，τ1和τ2分別表示灰度和梯度截斷閾值。

(2) 根據(jù)式(11)每一待匹配點(diǎn)確定支撐窗口大小。

(3) 根據(jù)支撐窗口大小φ(k)，利用指導(dǎo)濾波累積原始匹配成本。

(4) 根據(jù)“勝者全取”方法計算視差：

(14)

(5) 根據(jù)式(12)修正原始匹配成本，然后轉(zhuǎn)到步驟(3)，直到達(dá)到給定的最大迭代次數(shù)為止。

3 實(shí)驗結(jié)果與分析

3.1 實(shí)驗環(huán)境

該實(shí)驗利用C++實(shí)現(xiàn)了本文提出的立體匹配方法，其運(yùn)行環(huán)境為聯(lián)想erazer筆記本電腦，其配置為雙核CPU 2.60 GHz，4 GB內(nèi)存，64位win7操作系統(tǒng)。實(shí)驗采用了Middlebury網(wǎng)站提供的Tsukuba、Venus、Teddy和Cones對本文算法進(jìn)行了驗證。

3.2 參數(shù)分析

本文提出的立體匹配方法涉及了一些參數(shù)的選擇，這些參數(shù)包括利用式(13)計算原始匹配成本時參數(shù)τ1、τ2及α；利用式(11)進(jìn)行窗口選擇參數(shù)λ以及迭代次數(shù)。這些參數(shù)在一定程度上會影響匹配精度，為了獲得較高精度的匹配，該部分利用了Middlebury網(wǎng)站提供的Tsukuba圖像對這些參數(shù)進(jìn)行了分析，為本文方法選擇一組最優(yōu)參數(shù)值。

實(shí)驗1首先給定一組參數(shù)τ1、τ2、α及迭代次數(shù)數(shù)值，然后通過改變窗口選擇參數(shù)λ來分析它對匹配精度的影響。本組實(shí)驗τ1、τ2、α及迭代次數(shù)分別為：0.027 5、0.078、0.1、10，其測試結(jié)果如圖1所示。通過圖1，我們可以看出λ=2.1時匹配效果最好。當(dāng)λ≥2.5時，匹配精度趨于收斂，這是因為當(dāng)灰度閾值λ大于該閾值時，自適應(yīng)窗口策略退化為固定窗口。

圖1 窗口選擇參數(shù)λ分析

實(shí)驗2本實(shí)驗分析了權(quán)重參數(shù)α對匹配精度的影響。本文方法在計算原始匹配成本時同時考慮了灰度成本和梯度成本。權(quán)重參數(shù)α調(diào)整他們各自對原始匹配成本的貢獻(xiàn)量，因此α的取值在[0 ,1]范圍之間。在α為0時，原始匹配成本僅由梯度成本構(gòu)成；在α為1時，原始匹配成本由僅有灰度成本構(gòu)成。本組實(shí)驗τ1、τ2、λ及迭代次數(shù)參數(shù)值分別選擇為：0.027 5、0.078、2.1、10，然后改變調(diào)整參數(shù)α觀察對匹配精度的影響，其測試結(jié)果如圖2所示。通過圖2，我們可以看出當(dāng)權(quán)重參數(shù)α為0.2時匹配精度達(dá)到最優(yōu)。當(dāng)隨著α逐漸接近于1時，梯度匹配成本所占比例不斷降低，匹配精度也隨之下降，這表明了在原始匹配成本當(dāng)中引入適量的梯度成本可以有利于提高匹配精度。

圖2 權(quán)重參數(shù)α分析

實(shí)驗3本實(shí)驗分析灰度截斷閾值τ1對匹配精度的影響。本組實(shí)驗τ2、λ、迭代次數(shù)及α參數(shù)值分別選擇為： 0.078、2.1、10、0.2，然后調(diào)整參數(shù)τ1觀察對匹配精度的影響，其測試結(jié)果如圖3所示。通過圖3，我們可以看出當(dāng)τ1等于0.35時，匹配精度達(dá)到最優(yōu)。通常在立體匹配當(dāng)中，假定同一場景點(diǎn)在不同像平面上的像點(diǎn)具有相似的灰度值。但是在實(shí)際當(dāng)中，由于成像時物理環(huán)境差異導(dǎo)致某些對應(yīng)點(diǎn)具有較大的灰度差，這導(dǎo)致立體匹配方法誤認(rèn)為錯誤匹配。通過截斷閾值的思想在一定程度上可以減少這方面對匹配精度的影響，也有一些學(xué)者[9-10]提出了一些其他方法來解決立體匹配當(dāng)中的輻射差異。

圖3 灰度截斷閾值τ1分析

實(shí)驗4本實(shí)驗分析了梯度截斷閾值τ2對匹配精度的影響。首先給定τ1、λ、迭代次數(shù)及α的參數(shù)值：0.35、2.1、10、0.2，然后調(diào)整梯度截斷閾值τ2觀察對匹配精度的影響，其結(jié)果如圖4所示。通過圖4可以看出，當(dāng)τ2等于0.078時，匹配精度達(dá)到最優(yōu)。

圖4 梯度截斷閾值τ2分析

實(shí)驗5本實(shí)驗分析了迭代次數(shù)對匹配精度的影響。本實(shí)驗參數(shù)τ1、λ、迭代次數(shù)及α值分別為：0.35、2.1、10、0.2，然后測試迭代次數(shù)對匹配的影響，其結(jié)果如圖5所示。通過圖5，我們可以看出本文方法只需迭代很少的次數(shù)就可以使匹配精度趨于收斂。在本實(shí)驗中，該方法迭代15次使匹配精度收斂。

圖5 迭代次數(shù)分析

3.3 精度分析

本文利用Middlebury網(wǎng)站提供的Tsukuba、Venus、Teddy和Cones對本文提出的立體匹配方法進(jìn)行了評測，分別在非遮擋區(qū)域(nonocc)、不連續(xù)區(qū)域(disc)和全部區(qū)域(all)計算它們的壞點(diǎn)百分比，并與立體匹配方法TSEM[8]、RMCF[11]、AGCP[10]、FTF[9]、TF[12]及FCVT[5]進(jìn)行對比。圖6顯示了本文算法的實(shí)驗結(jié)果。從視覺角度上看，計算視差圖非常接近于真實(shí)視差圖，具有較好的匹配效果。表1顯示本文方法與其它立體匹配方法的對比結(jié)果。對于Tsukuba圖像，本文方法在nonocc、all及disc這三個區(qū)域的排名分別為：1、2、1；對于Venus圖像，本文方法在這三個區(qū)域的排名依次

為：3、3、1；對于Teddy圖像，本文方法在這三個區(qū)域的排名依次為：1、2、1；對于Cones圖像，本文方法在這三個區(qū)域的排名依次為：3、2、2。根據(jù)這些統(tǒng)計數(shù)據(jù)獲得本文方法在這三個區(qū)域的平均排名為：2、2、1。通過這一數(shù)據(jù)可以看出本文方法在不連續(xù)區(qū)域的匹配效果最佳，這主要是由于本文提出的自適應(yīng)窗口技術(shù)的結(jié)果。實(shí)驗結(jié)果表明，本文方法具有較好的匹配性能，而且該方法在不連續(xù)區(qū)域具有較強(qiáng)的魯棒性。

(a) 立體像對 (b) 真實(shí)視差圖 (c) 計算視差圖圖6 Middlebury實(shí)驗結(jié)果

AlgorithmTsukubanonoccalldiscVenusnonoccalldiscTeddynonoccalldiscConesnonoccalldiscTSEM[8]0.861.134.650.110.241.475.618.0913.801.676.164.97本文方法0.791.244.210.140.201.094.056.4410.101.795.804.75RMCF[11]1.111.704.430.130.271.184.206.3111.102.737.838.01AGCP[10]1.031.295.600.170.141.304.636.4712.501.815.705.33FTF[9]1.752.086.510.160.341.765.9911.5014.802.468.286.78TF[12]1.682.337.360.591.155.456.8114.1015.903.8412.2010.60FCVT[5]2.082.888.401.582.776.007.7916.4018.403.0612.108.60

4 結(jié) 語

本文提出一種基于迭代指導(dǎo)濾波的立體匹配方法。該方法首先提出一種自適應(yīng)窗口方法，并結(jié)合指導(dǎo)濾波技術(shù)用于成本累積，有效提高了立體匹配方法在不連續(xù)區(qū)域的匹配精度，提高了該方法在不連續(xù)區(qū)域的魯棒性。然后提出一種迭代指導(dǎo)濾波方法，根據(jù)計算視差逐步優(yōu)化匹配成本，從而獲得了較高精度的視差圖。實(shí)驗結(jié)果表明，本文提出的立體匹配方法可以獲得較好的匹配效果，且對于不連續(xù)區(qū)域具有較強(qiáng)的魯棒性。

[1] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002, 47:7-42.

[2] 張彥峰, 黃向生,李杭, 等. 基于漸進(jìn)可靠點(diǎn)生工的散斑圖快速立體匹配[J]. 計算機(jī)科學(xué), 2014, 41(6A):143-146.

[3] Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006, 28(4):650-656.

[4] He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013,35(6):1397-1409.

[5] Hosni A, Rhemann C, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2013, 35(2): 504-511.

[6] Mattoccia S, Giardino S, Gambini A. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering[C]// The Ninth Asian Conference on Computer Vision. Berlin Heidelberg: Springer, 2010:371-380.

[7] Richardt C, Orr D, Davies I, et al. Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid [J].Lecture Notes in Computer Science, 2010, 6313:510-523.

[18] Mozerov M G,Weijer J V. Accurate stereo matching by two-step energy minimization [J].IEEE Transactions on Image Processing, 2015, 24(3):1153-1163.

[9] Chen Dongming, Ardabilian M, Chen Liming. A fast trilateral filter-based adaptive support weight method for stereo matching [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015,25(5):730-743.

[10] Shi Chenbo, Wang Guijin, Yin Xuanwu, et al. High-accuracy stereo matching based on adaptive ground control points[J]. IEEE Transactions on Image Processing, 2015, 24(4):1412-1423.

[11] Dinh V Q, Nguyen V D, Jeon J W. Robust matching cost function for stereo correspondence using matching by tone mapping and adaptive orthogonal integral image[J].IEEE Transactions on Image Processing, 2015, 24(12):5416-5431.

[12] Yang Q. Stereo matching using tree filtering[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(4):834-846.

ASTEREOMATCHINGMETHODBASEDONITERATIVEGUIDEDFILTER

Li Jinfeng1Bian Jilong21

(CollegeofComputerandInformationTechnology,MudanjiangNormalUniversity,Mudanjiang157011,Heilongjiang,China)2(CollegeofInformationandComputerEngineering,NortheastForestryUniversity,Harbin150040,Heilongjiang,China)

This paper presents a stereo matching method based on iterative guided filter aimed at improving the accuracy of stereo matching. In this method, an adaptive window method is used to make an adaptive choice of a support window according to grayscale variation in images. Secondly, raw matching cost is aggregated by a guided filter and disparities are computed by the “winner-take-all” method. Thirdly, matching cost is modified on the basis of the computed disparities and is again aggregated to calculate disparities. Finally, this process is repeated until the maximum number of iterations is reached. Experimental results show that the proposed method can achieve an accurate disparity map, and has a strong robustness to the discontinuous regions in images.

Stereo matching Adaptive window Guided filter Adaptive weight

TP3

A

10.3969/j.issn.1000-386x.2017.09.036

2016-09-08。國家自然科學(xué)基金項目(51575097);牡丹江師范學(xué)院青年骨干基金項目(QG2014001);黑龍江省自然科學(xué)基金項目(E2016002)。李金鳳，副教授,主研領(lǐng)域：圖像處理，計算機(jī)視覺，立體匹配。邊繼龍，講師。