基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法

王小明

（江西省地質(zhì)礦產(chǎn)勘查開發(fā)局九一二大隊(duì) 江西鷹潭 335000）

1 引言

隨著社會(huì)對(duì)智慧城市建設(shè)需求的不斷增強(qiáng)，基于雙目視覺(jué)的城市三維重建越來(lái)越引發(fā)專家和學(xué)者的關(guān)注。立體匹配作為三維重建的關(guān)鍵性步驟，其匹配精度很大程度上決定了三維重建的精度。立體匹配過(guò)程可分為四個(gè)階段：代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和視差優(yōu)化[1]。目前，立體匹配算法大致可分為兩類：基于局部的立體匹配算法和基于全局的立體匹配算法[2]。Census變換[3]作為局部匹配算法的一種，以其對(duì)光照強(qiáng)度不敏感且算法復(fù)雜度較低等優(yōu)勢(shì)，在一種代價(jià)計(jì)算方法中脫穎而出。近年來(lái)，許多專家和學(xué)者致力于對(duì)常規(guī)Census變換算法的改進(jìn)，大致可分為兩類[4]：利用自身窗口不同特性改變計(jì)算方式或賦予一定權(quán)值[5-7]；結(jié)合其他具有互補(bǔ)特性的代價(jià)計(jì)算方式[8-9]。這些改進(jìn)均從不同程度提升了匹配精度，但存在一個(gè)共同弊端；即在采用規(guī)則矩形窗口計(jì)算匹配代價(jià)，使得在圖像不同區(qū)域適應(yīng)性不強(qiáng)，從而導(dǎo)致易產(chǎn)生誤匹配。且雖然匹配精度有所提高，但算法復(fù)雜度亦有不同程度的提升，一定程度上阻礙了算法的推廣使用。

為解決以上問(wèn)題，提出一種基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配算法。該算法能在保持傳統(tǒng)Census變換匹配速率的基礎(chǔ)上，提升匹配精度。該算法針對(duì)傳統(tǒng)Census變換算法采用矩形窗口計(jì)算匹配代價(jià)，使得在圖像不同的紋理區(qū)域難以獲取合適的窗口，且窗口易包含視差不連續(xù)區(qū)域，使得誤匹配率增高的弊端，提出以待匹配點(diǎn)為種子點(diǎn)，利用一定規(guī)則的區(qū)域增長(zhǎng)算法自適應(yīng)地獲取不同形狀和大小的匹配窗口。且傳統(tǒng)Census變換在代價(jià)聚合階段采用垂直交叉自適應(yīng)窗口，存在漏檢區(qū)域，因此，在代價(jià)聚合階段采用與代價(jià)計(jì)算階段相同策略的區(qū)域增長(zhǎng)算法獲取聚合窗口。實(shí)驗(yàn)表明，基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配算法匹配速率與傳統(tǒng)Census變換算法相當(dāng)，但匹配精度更優(yōu)。

2 算法原理

2.1基于區(qū)域增長(zhǎng)的自適應(yīng)窗口策略

立體匹配實(shí)質(zhì)上是尋找同名點(diǎn)的過(guò)程，其精度很大程度上取決于代價(jià)計(jì)算和代價(jià)聚合策略的優(yōu)劣。本文欲結(jié)合基于區(qū)域增長(zhǎng)的自適應(yīng)窗口策略和傳統(tǒng)Census變換的代價(jià)計(jì)算方法，提出一種既能保持傳統(tǒng)Census變換算法對(duì)光照和各種幅度失真魯棒性強(qiáng)的優(yōu)勢(shì)，又能一定程度彌補(bǔ)其誤匹配率較高的劣勢(shì)的算法。該算法從優(yōu)化代價(jià)計(jì)算和代價(jià)聚合的窗口入手，結(jié)合文獻(xiàn)[3]及文獻(xiàn)[10]的方法，本文采用的基于區(qū)域增長(zhǎng)的自適應(yīng)窗口策略如式1所示。

以待匹配點(diǎn)p為種子點(diǎn)，分別沿其x軸正方向和負(fù)方向增長(zhǎng)窗口。當(dāng)滿足以下條件時(shí)將新增點(diǎn)p1納入窗口，否則停止該方向的增長(zhǎng)：

①待匹配點(diǎn)p與新增點(diǎn)p1的灰度值之差小于閾值，且新增點(diǎn)p1與該方向下一點(diǎn)的灰度值之差也小于。

②新增點(diǎn)p1與待匹配點(diǎn)p之間的距離稱為臂長(zhǎng)Ds(p1,p)，臂長(zhǎng)Ds(p1,p)小于于閾值L1。

③當(dāng)臂長(zhǎng)小于閾值L1，但大于另一特定值L2，且待匹配點(diǎn)與新增點(diǎn)p1的灰度差小于另一更小的閾值τ2。

其中，條件①不僅限制了待匹配點(diǎn)p與新增點(diǎn)p1之間的差異，也限制了新增點(diǎn)p1與該方向下一點(diǎn)的的差異。如此，不僅能將相近的像素納入窗口，也能避免出口跨越圖像內(nèi)的邊界。條件②和③使得窗口能獲取合適大小和形狀的窗口。條件②使得窗口能夠納入足夠多的像素，但當(dāng)臂長(zhǎng)大于另一個(gè)更小的閾值L2時(shí)，此時(shí)對(duì)新增像素的要求更嚴(yán)格，需滿足其與待匹配點(diǎn)p的灰度差異小于一個(gè)更小的閾值，確保了納入窗口的像素都是與待匹配點(diǎn)相近的像素。

然后，以同樣的策略對(duì)水平臂上的像素沿y軸正方向和負(fù)方向增長(zhǎng)窗口。窗口增長(zhǎng)流程圖見圖1。

圖1 基于區(qū)域增長(zhǎng)的窗口增長(zhǎng)示意圖

相較于傳統(tǒng)Census變換算法采用的9 x7的矩形窗口，該窗口增長(zhǎng)策略，不僅能在圖像不同區(qū)域自適應(yīng)地獲取不同大小和形狀的窗口，而且窗口內(nèi)不易包含深度不連續(xù)區(qū)域，有利于提升匹配精度。

2.2 代價(jià)函數(shù)

確定匹配窗口后，進(jìn)一步則需確定代價(jià)函數(shù)的選擇。本文選擇采用與傳統(tǒng)Census變換一致的代價(jià)計(jì)算方法，該方法以對(duì)光照不敏感且對(duì)圖像的各種幅度失真有較強(qiáng)的穩(wěn)健性著稱。該方法將匹配窗口內(nèi)的其它像素點(diǎn)與待匹配像素點(diǎn)進(jìn)行比較，若某像素灰度值大于待匹配像素點(diǎn)灰度值，則將該像素對(duì)應(yīng)位置設(shè)為1，否則設(shè)為0。待整個(gè)窗口內(nèi)像素都比較完成之后，得到一個(gè)只含0和1的比特串，然后用該比特串代替待匹配點(diǎn)的灰度值，計(jì)算公式如式2所示。

其中，p為待匹配點(diǎn)，q為匹配窗口內(nèi)除待匹配點(diǎn)以外的點(diǎn)，I(p)為待匹配點(diǎn)的灰度值，I(q)為窗口內(nèi)其他像素的灰度值，T(p)為經(jīng)過(guò)比較之后獲得的比特串。如此，獲取左圖和右圖每個(gè)像素的比特串。

最后利用Hamming距離計(jì)算匹配代價(jià)，計(jì)算方法如圖2所示。

圖2 代價(jià)計(jì)算示意圖

如圖，獲取左圖和右圖各像素點(diǎn)的比特串后，將左圖上的待匹配點(diǎn)比特串與右圖視差范圍內(nèi)的像素點(diǎn)的比特串進(jìn)行比較，統(tǒng)計(jì)對(duì)應(yīng)位不同的數(shù)量作為匹配代價(jià)。如圖2中，左圖和右圖有兩個(gè)對(duì)應(yīng)位的比特?cái)?shù)不同，則此時(shí)的匹配代價(jià)為2。

采用如上代價(jià)計(jì)算方法，考慮的僅僅是待匹配點(diǎn)與窗口內(nèi)其它像素點(diǎn)間灰度值的相對(duì)大小關(guān)系，因此，當(dāng)左圖和右圖亮度不一致時(shí)，也能獲得較好的視差圖。這也是Census變換算法對(duì)光照不敏感的原因。

2.3代價(jià)聚合

傳統(tǒng)Census變換在代價(jià)聚合階段采用的是垂直交叉自適應(yīng)窗口，具有較好的適應(yīng)性，但該窗口存在漏檢區(qū)域，不利于獲得最優(yōu)的聚合代價(jià)。因此，本文采用與代價(jià)計(jì)算階段相同，適應(yīng)性較垂直交叉自適應(yīng)窗口更強(qiáng)的的區(qū)域增長(zhǎng)策略獲取代價(jià)聚合窗口。將待匹配點(diǎn)x軸和y軸方向的像素視為水平臂和垂直臂。先將聚合窗口內(nèi)的像素沿待匹配點(diǎn)p的垂直臂上聚合，然后再將p的垂直臂沿待匹配點(diǎn)p上聚合，獲得該點(diǎn)的聚合代價(jià)值。其原理如圖3所示。

圖3 代價(jià)聚合示意圖

與代價(jià)計(jì)算階段不同的是，在代價(jià)聚合階段采用2次迭代的方式，第一次迭代先沿水平方向增長(zhǎng)再沿垂直方向增長(zhǎng)窗口，第二次迭代先沿垂直方向增長(zhǎng)，再沿水平方向增長(zhǎng)，取二者中較小的作為代價(jià)聚合值。如此，能有效降低視差不連續(xù)區(qū)域的誤匹配率。

視差計(jì)算采用“勝者為王（Winner Takes All,WTA）”策略，取聚合代價(jià)值最小的窗口對(duì)應(yīng)的像素點(diǎn)為最佳匹配點(diǎn)，其對(duì)應(yīng)的視差為最終視差。

3 實(shí)驗(yàn)分析

為驗(yàn)證算法的性能，利用Middleburry網(wǎng)站提供的標(biāo)準(zhǔn)測(cè)試圖像對(duì)：bull、cones、teddy和venus進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)共分為兩部分：第一部分將傳統(tǒng)Census變換與本文基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法獲取的視差圖進(jìn)行對(duì)比；實(shí)驗(yàn)第二部分，為定量分析本文算法的性能，將傳統(tǒng)Census變換與本文算法對(duì)以上四個(gè)標(biāo)準(zhǔn)測(cè)試圖像對(duì)的匹配精度及算法運(yùn)行時(shí)間進(jìn)行對(duì)比分析。

經(jīng)實(shí)驗(yàn)對(duì)比分析，算法中涉及的參數(shù)L1、L2、、分別取34、17、20和6。為測(cè)試本文基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法的優(yōu)勢(shì)，實(shí)驗(yàn)第一部分分別獲取了本文算法及傳統(tǒng)Census變換的視差圖，以直觀分析兩種算法獲取的視差圖的質(zhì)量，對(duì)比圖如圖4所示。

圖4 實(shí)驗(yàn)圖集

由圖可知，本文基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法獲取的視差圖較傳統(tǒng)Census變換更優(yōu)，特別是在邊界區(qū)域（如圖中圈內(nèi)區(qū)域）。這是由于傳統(tǒng)Census變換在計(jì)算匹配代價(jià)時(shí)采用規(guī)則的矩形窗口，在圖像不同區(qū)域無(wú)法獲取最適合的匹配窗口，且易包含圖像邊界，導(dǎo)致在圖像邊界區(qū)域誤匹配率較高。而本文基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法在圖像不同區(qū)域能自適應(yīng)地獲取合適大小和形狀的匹配窗口，且在圖像邊界區(qū)域能自動(dòng)退回至邊界內(nèi)，使得圖像邊界能得到較好的保持。

實(shí)驗(yàn)第二部分，為定量衡量本文基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法的優(yōu)勢(shì)，將其匹配精度與算法運(yùn)行時(shí)間與傳統(tǒng)Census變換進(jìn)行對(duì)比，結(jié)果見表1。

表1 算法性能對(duì)比

由實(shí)驗(yàn)結(jié)果可知，基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法相較于傳統(tǒng)Census變換，算法運(yùn)行時(shí)間略長(zhǎng)。這是由于算法較傳統(tǒng)Census變換，增加了自適應(yīng)獲取匹配窗口的過(guò)程。但算法匹配精度更高，這是由于基于區(qū)域增長(zhǎng)自適應(yīng)窗口的策略能針對(duì)圖像的不同區(qū)域自適應(yīng)地獲取合適的窗口用于匹配，有利于提高匹配精度。

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)Census變換在計(jì)算匹配代價(jià)時(shí)采用相同大小的規(guī)則矩形窗口完成整張圖的匹配工作，缺乏良好的適應(yīng)性，且在代價(jià)聚合階段采用垂直交叉自適應(yīng)窗口，存在漏檢區(qū)域等缺陷，提出一種基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法，在代價(jià)計(jì)算及代價(jià)聚合階段，采用區(qū)域增長(zhǎng)策略自適應(yīng)獲取合適大小和形狀的窗口。實(shí)驗(yàn)結(jié)果表明，基于區(qū)域增長(zhǎng)自適應(yīng)窗口的Census變換立體匹配方法相較于傳統(tǒng)Census變換算法運(yùn)行時(shí)間略長(zhǎng)，但匹配精度更高，綜合比較，還是該算法更優(yōu)。