基于自適應權(quán)重的改進Census 立體匹配算法

黃 彬，胡立坤，張 宇

（廣西大學 電氣工程學院，南寧 530004）

0 概述

對圖像中物體場景深度信息的獲取是機器視覺領(lǐng)域中的熱點問題，而能否高效快速地獲取精確度高的深度信息，與所使用的立體匹配算法關(guān)系密切［1］。立體匹配算法通過尋找雙目或多目圖像對中的對應點并計算其間的二維視差，計算得到所獲取目標點的三維深度信息。

文獻［2］對立體匹配算法進行歸納總結(jié)，將立體匹配過程分為匹配代價計算、代價聚合、視差計算和視差優(yōu)化4 個步驟。目前常用的立體匹配算法可分為全局算法和局部算法兩類。全局算法采用全局優(yōu)化理論計算視差，并通過全局能量函數(shù)得到最優(yōu)視差值。典型的全局算法有動態(tài)規(guī)劃算法［3］、置信度傳播算法［4］和圖割法［5］等。全局匹配算法雖然匹配精度高，但時間復雜度也較高。局部算法通過構(gòu)建局部支持窗口，對窗口內(nèi)像素做視差計算并進行代價聚合，求出視差最優(yōu)值。典型的局部匹配算法有絕對誤差和（Sum of Absolute Difference，SAD）算法、誤差平方和算法和歸一化互相關(guān)算法等。局部立體匹配算法具有算法復雜度和硬件要求低、實時性高且易于實現(xiàn)的優(yōu)點，適合于工業(yè)和工程應用。

局部立體匹配算法通過測量圖像像素的灰度來檢測像素間的相似度，當圖像受到外部光照變化影響出現(xiàn)輻射度失真時，會嚴重影響圖像匹配的配準精度，大幅增加圖像誤匹配率。為提高SAD 算法的匹配效率，文獻［6］將邊緣信息融入傳統(tǒng)SAD 算法，改善了算法在邊緣保持方面的性能。文獻［7］將RANK 非參數(shù)變換引入匹配代價計算，提出Census匹配算法，以圖像像素灰度值的相互關(guān)系代替圖像像素的灰度值。該算法顯著提高了對光照和噪聲的抗干擾能力并且具有復雜度低的優(yōu)點。文獻［8］提出將SAD 算法與Census 算法相結(jié)合的AD-Census算法。該算法同時利用了SAD 算法和Census 算法的優(yōu)點，匹配準確度較高。

文獻［9］指出傳統(tǒng)Census 匹配算法過度依賴中心像素，當中心像素受到干擾時會極大地影響匹配的準確性。針對這一不足，需要對匹配代價的計算過程進行優(yōu)化，并對計算出的初始匹配代價進行代價聚合。傳統(tǒng)的代價聚合方法采用盒子濾波和高斯濾波等方法，此類濾波器實現(xiàn)難度低，但對于圖像邊緣保持效果很差。文獻［10］使用雙邊濾波進行代價聚合，雖然有效地保持了圖像邊沿，但同時也提高了時間復雜度。文獻［11］將引導濾波引入到代價聚合環(huán)節(jié)，在保留圖像邊緣特性的同時保證了較高的時間效率。文獻［12］提出基于樹形結(jié)構(gòu)的代價聚合方法，但仍未能解決時間復雜度高的問題。文獻［13］構(gòu)建一種跨尺度代價聚合框架，考慮并利用不同分辨率下的圖像信息，極大地改善了匹配效果。以上聚合方法都將初始匹配代價代入到代價聚合階段，如果初始匹配代價受噪聲影響較大，則會對聚合代價的結(jié)果產(chǎn)生較大影響。因此，必須提升初始匹配代價計算算法的穩(wěn)定性。

本文針對傳統(tǒng)Census 算法［7］存在的不足，提出一種基于自適應權(quán)值與多尺度融合的改進Census 立體匹配算法，以增強算法的抗干擾性，改善對低紋理區(qū)域的匹配效果，提高匹配準確率。

1 改進的Census 立體匹配算法

本文算法包含匹配代價計算、代價聚合、視差計算和視差優(yōu)化4 個步驟。在代價計算階段，參考格塔式原理引入自適應權(quán)重與閾值判斷，增強算法對于干擾的魯棒性。在代價聚合階段，采用引導濾波并引入多尺度空間對各尺度空間下的圖像計算匹配聚合代價，同時采用正則化變換加強尺度間信息一致性，從而提高算法的穩(wěn)定性，改善其在弱紋理區(qū)域的表現(xiàn)。最后通過視差計算和視差優(yōu)化得到最終的視差圖。

1.1 代價計算

傳統(tǒng)Census 匹配算法的基本原理是通過構(gòu)建一個矩形支持窗口遍歷待匹配圖像，通常選取支持窗口中心像素作為參考像素，將支持窗口內(nèi)其他鄰域像素與參考像素進行灰度值對比，采用0 或1 表示兩個像素灰度值的大小關(guān)系。該算法通過將圖像灰度值轉(zhuǎn)換為由0 和1 組成的二進制比特串來表示鄰域像素和中心參考像素的相對大小關(guān)系，如圖1所示。

圖1 Census 變換示意圖Fig.1 Schematic diagram of Census transform

Census 變換過程可表示如下：

其中，I(p)、I(q)為支持窗口內(nèi)p、q的灰度值。通過上述轉(zhuǎn)換關(guān)系，由支持窗口中的所有鄰域像素生成的二進制比特串可表示為：

其中，Np表示像素點p的鄰域，?為按位連接，由此形成支持窗口內(nèi)的二進制比特串。在得到比特串后，通過求參考圖和待匹配圖中支持窗口的漢明距離，即兩個比特串中間不相同的位數(shù)個數(shù)來比較像素點的相似程度，計算公式如下：

其中，Ccensus(p，d)表示點p與距離點p視差為d的漢明距離，ccen(p) 為圖1 左圖點p的Census 變換碼，ccen(pd)表示圖1 右圖對應左圖點p的視差為d的像素點的Census 變換碼，dmin和dmax為視差檢索的閾值范圍。

與SAD 算法相比，Census 算法在弱紋理區(qū)域具有更高的準確性，在邊緣保持上表現(xiàn)更好。如圖2所示，以Middlebury 數(shù)據(jù)集的Teddy 圖像對為例，SAD 算法容易在大面積的弱紋理區(qū)域形成誤匹配，而Census 算法則能基本保持弱紋理區(qū)域的匹配特征，并且在細節(jié)保持上優(yōu)于SAD 算法。

圖2 SAD 算法與Census 算法的弱紋理區(qū)域匹配效果Fig.2 Matching effects of SAD algortihm and Census algorithm in weak texture area

由于傳統(tǒng)Census 算法過度依賴于中心像素的灰度值，因此當中心像素灰度值受到噪聲干擾時，圖像的匹配效果會受到嚴重影響。文獻［14-15］提出采用匹配窗口的像素均值作為參考像素的灰度值，一定程度上提高了中心像素的抗干擾性，但對鄰域像素信息的利用依然有限。針對以上問題，本文提出一種改進的Census 匹配算法來計算初始匹配代價，具體計算過程為：參考文獻［8］中使用的格式塔接近原理理論，通過支持窗口遍歷圖像中每個像素，以支持窗口內(nèi)鄰域像素的加權(quán)像素和構(gòu)成改進Census 算法中心像素的參考值，權(quán)重由距離相似度決定，在考慮距離相似度時，采取正態(tài)分布作為距離相似度的分配策略，如圖3 所示，距離窗口中心越遠則權(quán)值分配越小，從而能夠更好地利用鄰域像素的特征對中心像素點進行約束。

圖3 距離相似度權(quán)重分布Fig.3 Weight distribution of distance similarity

本文算法的具體計算過程如下：

其中，Iweight表示通過空間相似度權(quán)重計算得出的參考像素值，Np表示以p為中心的支持窗口，Wpq表示以p點為中心對q點分配的權(quán)值，Iq表示q點的灰度值，Δx和Δy分別表示p、q兩點水平方向和垂直方向的相對距離，σ2為方差，表示空間相似度對權(quán)重影響的控制系數(shù)，一般取σ=1.5。

同時設(shè)定一個閾值，將求出的參考像素值與原中心像素值進行比較，確定最終的中心點像素值。閾值應設(shè)定較小，這樣可避免當中心像素突變時因閾值設(shè)定過大而判定中心像素沒有突變，影響匹配效果。計算出加權(quán)像素和值后，需要與原中心像素進行對比，中心像素判斷公式如下：

其中，I(x，y)為滑動窗口中心像素，Iweight為通過距離相似度計算得出的中心像素值，Tref為判斷閾值，通過對多幅圖像相鄰點的分析及在不同閾值下算法的匹配表現(xiàn)得出閾值Tref的合適區(qū)間為［15，25］，本文選擇閾值為18。

對本文改進算法與Census 算法計算得到Cones 視差圖進行比較，如圖4 所示?？梢钥闯?，Census 算法因為易受到干擾，所以在匹配時容易出現(xiàn)很多噪點，嚴重地影響了匹配的效果。而本文改進算法加入了鄰域像素的補充約束信息，并且增加了閾值判斷中心像素是否突變，大幅降低了由于中心參考像素而被干擾的可能性，初始視差圖中的噪點明顯減少。

圖4 Census 算法與本文算法的視差圖Fig.4 Disparity maps of Census algorithm and the proposed algorithm

1.2 代價聚合

計算得到初始匹配代價后，需要將鄰域像素的匹配代價信息進行聚合，增加像素間匹配代價的關(guān)聯(lián)性，彌補僅利用單像素視差時因包含信息過低導致區(qū)分度不足的缺陷，提高匹配準確率。然而傳統(tǒng)方法中的代價聚合都是在單一尺度下進行計算，往往不能提取出圖片的深層信息，使得匹配效果在紋理較少或無紋理的區(qū)域表現(xiàn)較差。為提高算法的匹配精度，本文改進算法在代價聚合階段模擬人眼由遠及近觀察物體的方式融入空間尺度理論中的高斯金字塔結(jié)構(gòu)，通過連續(xù)亞采樣得到高斯金字塔，在每層尺度空間中分別計算匹配聚合代價，并加入正則變換加強尺度間聯(lián)系性，最后將多尺度空間下的代價聚合值進行綜合得到最終匹配代價。

對圖像進行高斯下采樣，可以得到多尺度空間下的圖像，各尺度空間下圖像的代價聚合公式為：

其中，ak、bk為窗口內(nèi)的線性函數(shù)的系數(shù)。因為?q=a?I，所以這個線性關(guān)系能夠幫助輸出圖像q的邊緣與引導圖像I的邊緣保持一致。引導圖濾波核函數(shù)為：

其中，i、j為輸入圖像I的像素索引，μk和分別為I在wk內(nèi)的均值和方差，w為窗口內(nèi)像素個數(shù)，ε為控制參數(shù)，用于控制濾波效果的強弱，取值范圍為（0，0.01]。當ε=0 時，濾波器將不起任何作用，圖像按原圖輸出；ε越大，對圖像平滑效果越明顯；ε越小，邊緣保持效果更好［11］。將引導濾波核函數(shù)賦予于每個尺度下的代價聚合過程中。

1.3 視差計算

在完成多尺度空間下代價聚合后，通過贏者通吃（Winner-Take-All，WTA）法篩選出聚合代價最小的視差值，具體計算過程如下：

其中，Sd={dmin，dmin+1，…，dmax}為可能的所有視差值，C(p，d)為視差值為d時的匹配代價值。

1.4 視差優(yōu)化

得到初始視差圖后，雙目攝像中必然互相存在視覺盲區(qū)，因此，需要對初始視差圖中在遮擋區(qū)域和深度不連續(xù)區(qū)域出現(xiàn)的一些誤匹配點進行篩選剔除，故需要進行視差優(yōu)化，即采用誤匹配點檢測、視差填充和加權(quán)重值濾波的方法來建立更完整的視差圖。

1）采用左右一致性檢測的方法來檢測誤匹配視差點，通過比較左圖和右圖匹配對視差點的視差值檢測出異常點，計算過程如下：

其中，dl(p)為左匹配圖中點p的視差值，dr{p-[dl(p)，0]}為右匹配圖中與點p對應的視差值，δ0為判定閾值，如果左右對應點視差大于1 則為異常點。

2）對錯誤匹配點選擇周圍灰度值最接近的點進行填充，對于遮擋點選擇周圍最小視差值進行填充。

3）采用3×3 的滑動窗口對視差圖進行加權(quán)中值濾波平滑處理，得到最終的視差圖。

2 實驗與結(jié)果分析

在VS2013 軟件平臺上利用C++實現(xiàn)本文算法，采用學術(shù)界公認的Middlebury 立體匹配算法評測平臺提供的標準立體圖像對Tsukuba、Venus、Teddy、Cones 對算法進行評測，這4 組圖像的視差搜索范圍依次為［0，15］、［0，19］、［0，59］、［0，59］，視差縮放參數(shù)nscale分別為16、8、4、4。實驗環(huán)境為Windows 10 x64系統(tǒng)，Intel Core i5-3230M，主頻為2.60 GHz。

由于到代價計算窗口會影響匹配的精確度，過大的窗口會包含更多的非必要像素點，過小的窗口會使得代價計算時對鄰域像素考慮不足，因此本文在進行多次試驗的基礎(chǔ)上，考慮時間因素以及平均正確率，采用9×9 窗口作為代價計算窗口。實驗中算法參數(shù)設(shè)置為：W=9，Tref=18，S=4，λ=0.3，ε=1×10-3。

通過計算Middlebury 標準數(shù)據(jù)集中所有區(qū)域和非遮擋區(qū)域的誤匹配率來評估算法性能。誤匹配率的計算公式如下：

其中，d為算法生成的視差圖中的像素視差值，dT為真實視差圖中像素視差值，N代表圖像中所有的像素個數(shù)，δd為誤差閾值，此處設(shè)為1，表示當算法匹配結(jié)果中的像素視差值與真實視差值相差為1 個像素以上，即認為該像素點為誤匹配點。

2.1 匹配代價驗證

2.1.1 計算代價驗證

匹配代價驗證階段的實驗結(jié)果如圖5 所示，從左到右依次為Middlebury 平臺的Tsukuba、Venus、Teddy、Cones 圖像，從上到下依次為原始圖像、真實視差圖、SAD 算法、Census 算法和本文改進算法的視差圖?？梢钥闯觯篠AD 算法能夠基本還原圖像的大致輪廓，但對于弱紋理區(qū)域容易出現(xiàn)大面積誤匹配；傳統(tǒng)Census 算法能夠基本保持圖像的弱紋理區(qū)域，但中心像素易受干擾，魯棒性低；本文改進Census 算法則在弱紋理區(qū)域表現(xiàn)良好的同時，具有良好的抗干擾性。

圖5 不同算法的匹配結(jié)果Fig.5 Matching results of different algorithms

不同算法的誤匹配率對比如表1 所示?？梢钥闯觯合噍^于傳統(tǒng)Census 算法，本文改進Census 算法由于消除了大量噪點，具有更強的魯棒性，并且大幅提高了準確率；相較于傳統(tǒng)SAD 算法，其在弱紋理及邊緣區(qū)域具有更好的表現(xiàn)，并且平均準確率也有所提升。

表1 不同算法的平均誤匹配率Table 1 Averege error match rates of different algorithms %

不同算法的匹配時間對比如圖6 所示。可以看出，本文改進算法在時間花費上與SAD 算法相當，較傳統(tǒng)Census 算法略有增加，這是因為加入了自適應權(quán)重計算與閾值判斷步驟，但是在匹配準確率和抗干擾性上，本文改進算法的性能顯著提升。

圖6 不同算法的匹配時間Fig.6 Matching times of different algorithms

2.1.2 抗干擾性驗證

為對算法進行抗噪聲干擾性驗證，對Middlebury標準圖加入5% 的椒鹽噪聲，并使用SAD 算法、Census 算法和本文改進算法進行圖像配準。圖7 為Cones 圖像對的匹配效果對比圖，詳細數(shù)據(jù)對比見表2?？梢钥闯觯涸诩尤虢符}噪聲后，Cones 原圖出現(xiàn)覆蓋全圖的黑白相間的噪點；Census 算法嚴重受到噪聲干擾，導致匹配效果下降；SAD 算法表現(xiàn)出一定的抗干擾性，但仍然表現(xiàn)出匹配精度差的缺點；本文改進算法在保持匹配精度的情況下，表現(xiàn)出較強的抗干擾性，與未受干擾時精度相差不大。

圖7 5%椒鹽噪聲下不同算法的匹配結(jié)果Fig.7 Matching effects of different algorithms under 5% pepper and salt noise

表2 5%椒鹽噪聲下不同算法的誤匹配率Table 2 Error match rates of different algorithms under 5% pepper and salt noise %

為驗證在受到光照干擾時算法的匹配效果，對Middlebury 標準圖進行光照補償后進行匹配實驗，其中Tsukuba 匹配效果如圖8 所示?？梢钥闯?，在受到光照干擾時，SAD 算法已經(jīng)完全失去了匹配的準確度，傳統(tǒng)Census 算法能基本還原場景深度信息，但準確率明顯下降，而本文改進Census 算法則表現(xiàn)出較強的抗干擾性，與未受光照干擾時匹配準確率差異微小。表3 為不同算法在光照干擾條件下對Middlebury 中4 對測試圖的平均誤匹配率對比。

圖8 光照干擾條件下不同算法的匹配結(jié)果Fig.8 Matching results of different algorithms under illumination interference condition

表3 光照干擾條件下不同算法的平均誤匹配率Table 3 Average error match rates of different algorithms under illumination interference condition %

2.2 總體算法性能對比

為驗證本文算法性能，選取LCDM-AdaptWgt［16］、RINCensus［17］、GC-occ［5］和RTCensus［18］算法與本文算法進行比較。

圖9 為算法所生成的視差圖比較，對比圖9（a）、圖9（c）、圖9（d）與圖9（e）中的第2 幅圖可以看出，在弱紋理區(qū)域，其他算法皆存在明顯的成塊誤匹配區(qū)域，而本文算法則基本沒有出現(xiàn)明顯的誤匹配，這說明本文提出的改進Census 匹配算法高效整合了鄰域像素的信息，在弱紋理區(qū)域具有更好的匹配性能，并且因為采用多尺度融合策略，使其在匹配過程中能夠極大程度地利用弱紋理和其他細節(jié)信息，提高匹配的準確率。對比圖9（a）、圖9（b）、圖9（c）與圖9（e）中的第4 幅圖可以看出，本文算法在邊緣保持方面明顯優(yōu)于其他算法，這說明改進后算法由于利用了鄰域像素信息且采用了引導濾波進行聚合具有更好的邊緣保持性能。各算法的誤匹配率對比如表4 所示，其中，No-occluded 表示在圖像中非遮擋區(qū)域的誤匹配，All 表示在所有區(qū)域中的誤匹配率?？梢钥闯?，本文算法在非遮擋區(qū)域和所有區(qū)域的平均誤匹配率均低于其他4 種經(jīng)典算法，表現(xiàn)出更優(yōu)異的性能。

圖9 Middlebury 數(shù)據(jù)集上的實驗結(jié)果Fig.9 Experimental results on Middlebury dataset

表4 Middlebury 數(shù)據(jù)集上非遮擋區(qū)域和所有區(qū)域的誤匹配率Table 4 Percentage of false match in all regions and no-occlusion region on Middlebury dataset %

3 結(jié)束語

本文利用格式塔接近原理對傳統(tǒng)Census 算法進行改進，提出基于自適應權(quán)值的多尺度Census 匹配優(yōu)化算法。在代價計算階段，本文算法保持了傳統(tǒng)Census 算法在弱紋理區(qū)域表現(xiàn)優(yōu)異的優(yōu)點，彌補了其易受干擾的不足，并且時間效率變化微小。該算法在代價聚合階段采用邊緣保持性好、時間復雜度低的引導濾波作為核函數(shù)，引入多尺度聚合策略，能夠綜合利用圖像各個尺度下的細節(jié)信息。基于Middlebury 平臺標準測試集的實驗結(jié)果表明，本文算法在弱紋理區(qū)域及邊緣保持方面表現(xiàn)優(yōu)異且抗干擾性較好，平均誤匹配率低于LCDM-AdaptWgt、RINCensus 等經(jīng)典算法。下一步將結(jié)合人工智能算法，在匹配代價計算階段引入膨脹卷積，增加感受野，對誤匹配點進行更為精準的篩查。