多測(cè)度融合的樹(shù)形濾波立體匹配算法

楊 科，劉 凱

(四川大學(xué) 電氣工程學(xué)院，四川 成都 610065)

0 引 言

立體匹配的過(guò)程可以概括為匹配代價(jià)計(jì)算、代價(jià)聚合、初始視差計(jì)算和視差求精4個(gè)步驟，并根據(jù)代價(jià)聚合方式將匹配算法劃分為全局算法和局部算法兩大類[1]。全局算法[2,3]主要采用全局優(yōu)化理論方法估計(jì)視差，建立并最小化全局能量函數(shù)得到最優(yōu)視差值，計(jì)算精度較高，但是運(yùn)算效率低，實(shí)時(shí)性差。局部算法[4,5]給定圖像中一點(diǎn)并在其鄰域內(nèi)的一個(gè)窗口中，根據(jù)某種相似性度量，尋找與子窗口圖像最相似的子圖，其運(yùn)行效率高且易于實(shí)現(xiàn)，但容易陷入局部最優(yōu)解。近年來(lái)，隨著深度學(xué)習(xí)的不斷發(fā)展，一些深度學(xué)習(xí)方法[6,7]被應(yīng)用在立體匹配領(lǐng)域來(lái)同時(shí)達(dá)到高精度和實(shí)時(shí)性，但這類算法對(duì)硬件性能和數(shù)據(jù)集依賴較強(qiáng)，成本較高。Yang[8]提出基于樹(shù)形結(jié)構(gòu)的非局部匹配算法，解決了全局算法計(jì)算效率低，局部算法容易陷入局部最優(yōu)的問(wèn)題，但是代價(jià)計(jì)算階段只考慮單一的圖像信息，圖像邊緣的匹配精度不高。針對(duì)以上方法的不足，本文提出了一種融合顏色、邊緣和Census信息的立體匹配代價(jià)計(jì)算方法，通過(guò)自適應(yīng)窗口獲得更優(yōu)的匹配代價(jià)策略，同時(shí)提出一種基于圖像分割的最小生成樹(shù)權(quán)重策略，計(jì)算代價(jià)聚合，進(jìn)一步提高視差精度。該算法能夠在對(duì)硬件性能和數(shù)據(jù)集沒(méi)有明顯依賴的條件下，實(shí)現(xiàn)高精度立體匹配。

1 匹配代價(jià)計(jì)算

立體匹配算法的輸入為兩張存在視差關(guān)系(一般為水平視差)的圖像，其中一張被稱為參考圖像(reference image)，另一張為目標(biāo)圖像(target image)。匹配代價(jià)計(jì)算作為立體匹配的第一步，它被用來(lái)衡量參考圖像和目標(biāo)圖像像素之間的相似程度。由于圖像的復(fù)雜性，當(dāng)前的匹配算法在光照變化區(qū)域、像素邊緣區(qū)域的匹配精度較低。針對(duì)以上問(wèn)題，本章提出了一種自適應(yīng)窗口的融合匹配代價(jià)計(jì)算方法，其融合了圖像顏色信息、Census信息和邊緣信息。顏色信息計(jì)算簡(jiǎn)單，對(duì)圖像細(xì)節(jié)辨識(shí)能力強(qiáng)，但容易受噪聲和光照變換的影響；Census信息對(duì)光照變化不敏感，魯棒性高；像素邊緣信息復(fù)雜，圖像特征顯著，常處于視差不連續(xù)區(qū)域，融合邊緣信息能減少在邊緣上的錯(cuò)誤匹配。

1.1 自適應(yīng)窗口的Census變換

Census變換[9]是一種局部非參數(shù)變換，計(jì)算存儲(chǔ)點(diǎn)在窗口中的灰度順序和局部鄰域的空間結(jié)構(gòu)信息。傳統(tǒng)的Census變換流程為：使用一個(gè)固定大小的矩形窗口遍歷圖像，比較像素鄰域內(nèi)的局部灰度差異并將比較后的差異大小轉(zhuǎn)換成比特串，最后根據(jù)比特串計(jì)算左右圖像像素對(duì)的Hamming距離，作為匹配代價(jià)，衡量圖像之間的相似度。Census變換公式為

(1)

式中：I(p)、I(q)為像素點(diǎn)p,q的灰度值，?為位串聯(lián)符，W′(p)是W(p)內(nèi)除中心像素點(diǎn)p外的鄰域點(diǎn)集。ζ表示按位比較，滿足

(2)

將Census變換得到的比特串，計(jì)算Hamming距離作為匹配代價(jià)，Hamming距離越小，則代表兩個(gè)像素點(diǎn)間的相似度越高，也就是匹配代價(jià)越低。Hamming公式為

CCensus(p,d)=TCensus(p)⊕TCensus(p+d)

(3)

式中：TCensus(p)和TCensus(p+d)分別表示參考圖像和目標(biāo)圖像中視差值為d的Census變換值。

由于傳統(tǒng)的Census變換依賴于固定矩形窗大小的選擇，但針對(duì)圖像不同區(qū)域，需要選擇不同的窗口策略。在邊緣區(qū)域，通常需要較小的窗口來(lái)進(jìn)行代價(jià)計(jì)算，否則會(huì)造成圖像的模糊；而在非邊緣區(qū)域選用較大的窗口進(jìn)行代價(jià)計(jì)算，能較好反映圖像紋理信息。為了提高圖像匹配精度，適應(yīng)不同的圖像區(qū)域，提出一種基于Sobel邊緣檢測(cè)算子的自適應(yīng)窗口Census變換算法。

Sobel算子使用兩個(gè)3×3矩陣作為卷積模版，分別代表橫向和縱向。令A(yù)為被處理后的圖像像素矩陣，Gx和Gy各自為每一個(gè)像素橫向和縱向的灰度梯度，G為該像素點(diǎn)的灰度梯度，則公式為

(4)

通過(guò)Sobel算子檢測(cè)出像素點(diǎn)的梯度值后，根據(jù)計(jì)算出的像素邊緣大小在不同區(qū)域采用不同的窗口尺寸進(jìn)行Census變換，自適應(yīng)選用窗口的具體規(guī)則如下

(5)

式中：W代表選定的窗口大小，W1,W2分別代表大小不同的窗口。

當(dāng)像素邊緣值G小于等于閾值T時(shí)，表明該區(qū)域紋理平緩像素信息變化較小應(yīng)采用大窗口，而在其它邊緣深度不連續(xù)區(qū)域采用小窗口用以保護(hù)邊緣。圖1表示傳統(tǒng)Census變換和改進(jìn)的自適應(yīng)窗口Census變換得到的視差，如圖像中部矩形框所示，在房頂煙囪附近，改進(jìn)后的Census變換算法圖像更加平滑，在右上角弱紋理區(qū)域，玩具手部和背景更好的區(qū)分開(kāi)來(lái)。因此，改進(jìn)后的算法具有更好的邊緣保持特性，從而匹配精度提高。

圖1 傳統(tǒng)的Census變換和改進(jìn)Census變換得到的視差

1.2 多測(cè)度融合代價(jià)計(jì)算

首先對(duì)顏色信息進(jìn)行代價(jià)計(jì)算。一般情況，左右圖中像素顏色越相似，越可能有相近的視差，構(gòu)造像素p以d為視差值的顏色信息匹配代價(jià)CTAD(p,d)，公式為

(6)

對(duì)邊緣信息進(jìn)行代價(jià)計(jì)算。為了減小計(jì)算復(fù)雜度，避免重復(fù)計(jì)算，結(jié)合1.1節(jié)中的Sobel邊緣算子計(jì)算得到的邊緣值，構(gòu)造邊緣匹配代價(jià)CE(p,d)，公式為

CE(p,d)=min(|edge(p)-edge(p+d)|,τ3)

(7)

式中：edge(p)函數(shù)為像素點(diǎn)p的Sobel值，τ3為截?cái)嘀怠?/p>

對(duì)Census信息進(jìn)行代價(jià)計(jì)算。同式(3)。

先將相同一尺度下的顏色和邊緣信息代價(jià)融合CR(p,d)，公式為

(8)

再將顏色、邊緣和Census信息代價(jià)融合C(p,d)，公式為

C(p,d)=ρ(CR(p,d),λR)+ρ(CCensus(p,d),λCensus)

(9)

式中：ρ(C,λ)是關(guān)于變量C的歸一化函數(shù)，定義為

(10)

2 代價(jià)聚合

由于圖像中的單個(gè)像素點(diǎn)極易受噪聲影響，且沒(méi)有考慮到像素之間的視差值存在一定相互關(guān)系，通過(guò)初始代價(jià)計(jì)算后得到的像素視差往往不準(zhǔn)確且不連續(xù)，所以需要對(duì)參考圖像中每個(gè)像素點(diǎn)進(jìn)行代價(jià)聚合。文獻(xiàn)[8]構(gòu)造了基于最小生成樹(shù)的代價(jià)聚合，但尺度單一，權(quán)重僅依賴顏色信息，匹配精度有待提高。針對(duì)此問(wèn)題，本章提出一種基于圖像分割的樹(shù)形濾波代價(jià)聚合算法。

2.1 最小生成樹(shù)的構(gòu)造

基于圖論的樹(shù)形濾波器，將參考圖像視作為一張連通無(wú)向圖G=(V,E)，頂點(diǎn)V為圖像的像素點(diǎn)集合，E為邊的集合，可以連接圖中任意兩點(diǎn)。假設(shè)圖像中兩個(gè)像素點(diǎn)p,q，連接兩點(diǎn)的邊的權(quán)重表示為w(p,q)，其值大小可以衡量相鄰像素的相似度，如果?K∈V且為無(wú)圈圖，使w(K)最小，則K就稱之為G的最小生成樹(shù)。本節(jié)把無(wú)向圖G看作四連通圖，即像素的上、下、左、右是其鄰近區(qū)域。若僅考慮顏色信息，則權(quán)重值w為鄰近像素p,q間顏色(R,>G,>B)的最大絕對(duì)差

(11)

式中：Ii(p)為像素p在i通道的下的像素值。

在構(gòu)造無(wú)向圖時(shí)，參照代價(jià)計(jì)算步驟，將像素的顏色和邊緣信息融合計(jì)算邊權(quán)重，有利于提高邊緣區(qū)域的匹配精度。為了獲取圖像邊緣信息，需要對(duì)圖像進(jìn)行分割。本節(jié)采用均值漂移(mean-shift)算法進(jìn)行圖像分割，它作為一種聚類算法，收斂快、分割效果好。圖2中顏色相同表明分割后位于同一區(qū)域。

圖2 圖像分割前后

以分割圖像結(jié)果為根據(jù)，構(gòu)造新的權(quán)重函數(shù)

(12)

式中：edge函數(shù)為求像素點(diǎn)的Sobel值，α為調(diào)節(jié)參數(shù)，V1,2,3,…,n表示分割后不同顏色區(qū)域。

由此可知，在生成最小樹(shù)的過(guò)程中，若兩點(diǎn)間差異越大，則連接兩點(diǎn)的邊上的權(quán)重值就會(huì)越大，這些邊會(huì)在求解最小生成樹(shù)的過(guò)程中被刪除，最后就會(huì)得到一棵由所有像素點(diǎn)構(gòu)成的最小生成樹(shù)，這類問(wèn)題一般用貪心算法求解。

采用有限元軟件ABAQUS建立類方形蜂窩夾層結(jié)構(gòu)精細(xì)有限元模型，分別對(duì)四邊簡(jiǎn)支條件下雙壁厚和等壁厚類方形蜂窩夾層結(jié)構(gòu)進(jìn)行模態(tài)分析。模型尺寸如表2所示，夾層結(jié)構(gòu)上、下面板及夾芯材料均采用Al6061，在夾層結(jié)構(gòu)的4個(gè)邊界處分別施加平行邊界方向及z向位移約束，模擬簡(jiǎn)支邊界條件；表3為雙壁厚和等壁厚類方形蜂窩夾芯的等效彈性參數(shù)。

2.2 最小生成樹(shù)的代價(jià)聚合

圖3 最小生成樹(shù)上的代價(jià)聚合

(13)

(14)

根據(jù)式(14)，就可以求得最小生成樹(shù)中任何一個(gè)節(jié)點(diǎn)的代價(jià)聚合。在代價(jià)聚合時(shí)，像素節(jié)點(diǎn)都直接或間接對(duì)其它像素節(jié)點(diǎn)的代價(jià)聚合產(chǎn)生影響，計(jì)算過(guò)程中只用進(jìn)行少量加、減、乘運(yùn)算，因此能高效地進(jìn)行代價(jià)聚合。

3 視差計(jì)算及求精

經(jīng)過(guò)代價(jià)聚合步驟后，真實(shí)匹配點(diǎn)在眾多候選點(diǎn)之中的匹配代價(jià)最小，于是采用贏者通吃(winner-takes-all，WTA)策略，選取匹配代價(jià)最小對(duì)應(yīng)的視差值作為初始視差，得到初始視差圖

(15)

(16)

把不穩(wěn)定點(diǎn)的匹配代價(jià)值設(shè)為0。最后重復(fù)第三步代價(jià)聚合算法，使視差值從穩(wěn)定點(diǎn)擴(kuò)散到不穩(wěn)定點(diǎn)，令圖像平滑，再次利用WTA策略得到精確視差圖。

綜上，本文算法流程如圖4所示。

圖4 本文算法流程

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的有效性，在本節(jié)中，將本文算法與它4種算法作比較：圖割算法[10](graph cut，GC)、半全局匹配算法[11](semi-global matching，SGM)、同樣基于樹(shù)形結(jié)構(gòu)非局部代價(jià)聚合算法[8](non-local cost aggregation，NLCA)及其改進(jìn)的分割樹(shù)算法[12](segment-tree，ST)，其參數(shù)按照相應(yīng)論文設(shè)置。并選取Middlebury網(wǎng)站平臺(tái)[13]中的圖像作為測(cè)試集，其中標(biāo)準(zhǔn)數(shù)據(jù)集Tsukuba、Venus、Teddy和Cones，4組圖像的視差搜索范圍依次分別為[0,15]、[0,>19]、[0,>59]和[0,>59]。實(shí)驗(yàn)使用的電腦配置為Windows 10 64位系統(tǒng)，8 GB內(nèi)存2 GHz AMD處理器，使用C++語(yǔ)言在Visual Studio 2013和OpenCV 2.4.9平臺(tái)上實(shí)現(xiàn)算法。

對(duì)于定量評(píng)價(jià)指標(biāo)的計(jì)算，將算法所得視差圖與真實(shí)視差圖作比較，計(jì)算視差值大于給定視差閾值的像素點(diǎn)占整體視差圖像素點(diǎn)的比例，即誤匹配率PBM(percentage of bad matching)，公式為

(17)

式中，dc(p)為計(jì)算所得的視差值，dt(p)為圖像真實(shí)視差值，N為圖像像素點(diǎn)總數(shù)，δd為視差閾值，一般情況下取1。

為了測(cè)試算法在Middlebury測(cè)試集中的圖像不同區(qū)域的具體表現(xiàn)，將測(cè)試圖像劃分為視差不連續(xù)區(qū)域和非遮擋區(qū)域，統(tǒng)計(jì)結(jié)果Disc、All、Nonocc分別代表視差不連續(xù)區(qū)域、全部區(qū)域和非遮擋區(qū)域的誤匹配率。

實(shí)驗(yàn)中使用的參數(shù)值見(jiàn)表1。其中，參數(shù)α調(diào)節(jié)式(12)代價(jià)聚合時(shí)最小生成樹(shù)邊的權(quán)重w，α越大表示邊緣信息的貢獻(xiàn)越大，反之，顏色信息的貢獻(xiàn)越大。為了找到一個(gè)通用且合理的α值，使圖像的匹配精度最高，對(duì)α在[0,1]的范圍內(nèi)，計(jì)算4個(gè)標(biāo)準(zhǔn)的Middlebury數(shù)據(jù)集在全部區(qū)域上的誤匹配率。實(shí)驗(yàn)結(jié)果如圖5所示，當(dāng)α取0.1時(shí)，匹配效果最優(yōu)，平均誤匹配率最小。

表1 參數(shù)列表

圖5 不同α取值下的誤匹配率

在Middlebury 4個(gè)標(biāo)準(zhǔn)測(cè)試集上的實(shí)驗(yàn)結(jié)果如圖6所示。圖6(d)誤差圖中黑色部分為誤差區(qū)域，黑色部分越少表示匹配精度越高，可以看出算法比較接近于真實(shí)視差圖。同時(shí)將本文算法與其余4種算法在Middlebury標(biāo)準(zhǔn)測(cè)試集上定性分析，得到的視差圖對(duì)比情況如圖7所示。因?yàn)楸疚乃惴▽?duì)邊緣信息上的關(guān)注，在低紋理區(qū)域、視差不連續(xù)區(qū)域都要表現(xiàn)出更優(yōu)的匹配效果。在標(biāo)準(zhǔn)圖Tsukuba中，用白色矩形框框出臺(tái)燈區(qū)域，其屬于視差不連續(xù)區(qū)域，可以看出，本文算法比NLCA和ST算法在臺(tái)燈邊緣輪廓上顯示更加清晰；還有Teddy圖中，矩形框內(nèi)為弱紋理區(qū)域，本文算法與NLCA算法效果相當(dāng)，很好地將玩具的手部與背景區(qū)分，手部輪廓顯示清晰；對(duì)于Cones圖中矩形框內(nèi)的重復(fù)紋理區(qū)域，為本文算法能較好得將重復(fù)區(qū)域區(qū)分開(kāi)來(lái)，與真實(shí)視差圖更為接近。

圖6 本文算法結(jié)果與真實(shí)視差對(duì)比

圖7 算法視差結(jié)果

除了視覺(jué)上的定性分析，也需要從數(shù)據(jù)上來(lái)定量分析。表2為各算法在4組不同風(fēng)格的標(biāo)準(zhǔn)集上定量評(píng)價(jià)結(jié)果，視差閾值為1， 使用視差不連續(xù)區(qū)域，全部區(qū)域和非遮擋區(qū)域的誤匹配率來(lái)評(píng)估該算法的性能。如表2所示，本文算法在各區(qū)域的誤匹配率都低于其它算法，在平均誤匹配率上，本文算法比NLCA和ST算法提高了2個(gè)百分點(diǎn)，是SGM算法的3.37倍。

表2 算法誤差率對(duì)比/%

為了獲得更可靠的算法評(píng)價(jià)，在Middlebury 2005和2006測(cè)試集中選取16組數(shù)據(jù)集來(lái)測(cè)試算法的性能，這里使用非遮擋區(qū)域的誤匹配率來(lái)進(jìn)行比較，表3為定量評(píng)價(jià)的結(jié)果。本文算法以最低的平均誤匹配率和最高的平均排名優(yōu)于其它算法。從本文算法的定量結(jié)果可以看出，非局部的樹(shù)形濾波算法從邊緣和分割信息中獲益匪淺。同時(shí)，為了更直觀的比較，這里將Cloth3和Dolls的視差圖結(jié)果展示在圖8中。與ST和NLCA算法相比，本文算法在弱紋理區(qū)域和像素邊緣區(qū)域有較好表現(xiàn)。

圖8 算法在Cloth3和Dolls數(shù)據(jù)集上的視差結(jié)果

表3 算法在非遮擋區(qū)域誤差率對(duì)比/%

算法的運(yùn)算時(shí)間見(jiàn)表4，由于本文算法在計(jì)算匹配代價(jià)時(shí)，邊緣信息由自適應(yīng)選擇Census變換窗口，計(jì)算比較耗時(shí)，相較于只考慮顏色信息的NLCA和ST算法，速度稍慢。但是在代價(jià)聚合時(shí)，算法時(shí)間相當(dāng)。后期可以考慮使用并行計(jì)算，以降低代價(jià)計(jì)算所耗時(shí)間，進(jìn)一步提高匹配速度，達(dá)到實(shí)時(shí)性。

表4 算法運(yùn)行時(shí)間對(duì)比/s

5 結(jié)束語(yǔ)

針對(duì)立體匹配算法中的代價(jià)計(jì)算和代價(jià)聚合步驟，本文提出一種高精度的立體匹配算法。在代價(jià)計(jì)算階段，本文算法自適應(yīng)選擇Census變換窗口，將邊緣信息融合進(jìn)代價(jià)計(jì)算中來(lái)，使代價(jià)函數(shù)中包含了更加完整的圖像信息，減少誤匹配率。在代價(jià)聚合階段，基于樹(shù)形結(jié)構(gòu)構(gòu)造以邊緣信息和顏色信息為權(quán)重值的最小生成樹(shù)，通過(guò)樹(shù)形濾波器進(jìn)行初始代價(jià)聚合。采用WTA策略進(jìn)行視差后處理，生成視差圖。實(shí)驗(yàn)結(jié)果表明，與同類算法相比，本文算法在低紋理區(qū)域、遮擋區(qū)域和視差不連續(xù)區(qū)域匹配精度均高于其它算法，同時(shí)有較好的邊緣保持特性。