基于WTA立體匹配算法的人體檢測方法研究

張大禹 黃燦

（中國人民解放軍92124部隊，遼寧大連 116023）

基于雙目視覺的人體檢測是根據(jù)不同視點捕獲的兩幅圖像對其進(jìn)行推導(dǎo)得到三維信息的圖像處理過程，其中需要解決檢測圖像立體匹配問題與人體檢測信息的三維重建問題。其中三維重建的先決條件是建立兩幅人體檢測圖像中的即立體匹配關(guān)系。人體檢測的立體匹配算法主要是通過建立一個能量代價函數(shù)，通過此能量代價函數(shù)最小化來估計像素點視差值的最優(yōu)化求解問題。通過建立合理的能量函數(shù)，增加一些約束，采用最優(yōu)化理論的方法進(jìn)行方程求解。在雙目視覺系統(tǒng)的人體檢測過程中由于拍攝角度、光線等環(huán)境變化，使圖像存在著嚴(yán)重的灰度失真和幾何畸變影響，故所采用的立體匹配算法在復(fù)雜度、處理速度等方面要求較高，因此如何準(zhǔn)確、快速的實現(xiàn)對人體圖像進(jìn)行檢測在模式識別研究方面具有重要意義。

本論文主要介紹了一種改進(jìn)了的WTA立體匹配算法，并對其在滿足運動人體檢測與識別對立體匹配準(zhǔn)確性和實時性的要求上進(jìn)行了實驗驗證。

1 WTA立體匹配算法

1.1 WTA立體匹配算法原理

WTA立體匹配算法是一種利用兩幅視圖的差異將視圖分為特征點和非特征點后對特征點采用WTA匹配處理。這種算法利用視差的分段連續(xù)性,對非特征點只進(jìn)行簡單的驗證, 得出致密的視差圖，大大減少了運算量。

在基準(zhǔn)圖像中以當(dāng)前像素點為中心取一個n×n匹配模板窗口，然后在匹配圖像中計算視差搜索范圍0-dmax內(nèi)的所有像素點的匹配代價，選取匹配代價符合條件的最優(yōu)像素點作為匹配點，當(dāng)前點與匹配點的列坐標(biāo)差值即為視差。

1.2 實驗結(jié)果與分析

對如圖1所示Tsukuba圖像對用WTA立體匹配算法匹配。假定立體匹配方向自左向右，以左圖像L為基準(zhǔn)圖像。視差搜索范圍為0-15，匹配模板窗口大小分別為3×3、5×5、7×7。進(jìn)行立體匹配后的結(jié)果如圖2所示。

可見窗口大小對匹配質(zhì)量的影響較大：窗口太小則會由于沒有包含足夠多的亮度信息和噪聲影響導(dǎo)致錯誤匹配數(shù)量的上升；窗口太大造成視差值過于平滑，計算量也會增加。并在所有匹配模板窗口大小下視差邊緣誤匹配都較嚴(yán)重。

圖1 Tsukuba圖像對

圖2 Tsukuba圖像對用WTA立體匹配算法匹配后的結(jié)果

WTA立體匹配算法在變化平緩且細(xì)節(jié)豐富的地方可以達(dá)到較高的精度，但是匹配窗口大小難以選擇、計算量大、視差邊緣效果不好。于是提出了一種改進(jìn)的WTA立體匹配算法。

2 基于WTA的人體檢測匹配

由于視差的分段連續(xù)性，對人體檢測場景中大部分區(qū)域的視差差別不大，只有在部分像素點處存在視差跳變，改進(jìn)算法提取這些像素點為特征點。對人體特征點用WTA立體匹配算法進(jìn)行匹配；對非特征點進(jìn)行簡單的驗證，用鄰近的視差帶入。該改進(jìn)算法不但簡化了運算，而且很大程度上減少了視差邊緣匹配誤差。

2.1 特征點提取

在人體檢測過程中，由于邊緣點處視差可能存在跳變，因此提取邊緣點作為特征點。邊緣點的提取通過邊緣檢測實現(xiàn),在圖像邊緣檢測中，抑制噪聲和邊緣精確定位是無法同時滿足的。一些算法在進(jìn)行去噪處理的同時增加了邊緣定位的不確定性；而提高邊緣檢測算子對邊緣敏感性的同時，也提高了對噪聲的敏感性。

如圖3所示為提取的Tsukuba圖像對的差異點，這些點相對集中于部分邊緣附近。差異點一是可以消除部分邊緣檢測定位不準(zhǔn)確產(chǎn)生的虛假邊緣帶來的影響；二是通過對可能存在視差跳變的差異點進(jìn)行密集的匹配運算可以更加精確的定位視差跳變邊緣。

圖3 Tsukuba圖像對的差異點

2.2 匹配算法

若特征點是差異點，以該點為中心取一個n×n的窗口，分別計算差異點與另一幅圖像中視差范圍0-dmax內(nèi)點的匹配代價C(x,y,d)；若是邊緣點，只需分別計算其與另一幅圖像中視差范圍0-dmax內(nèi)邊緣點的匹配代價。匹配代價最接近1的點即為特征點的最佳匹配點，對應(yīng)的視差值即為特征點的視差結(jié)果df，當(dāng)前視差dpre=df。

對于左圖像中非特征點(x0,y0)只需驗證其與右圖像中像素點(x0,y0-dpre)的匹配代價C(x0,y0,dpre)，若C(x0,y0,dpre)≥Tnf，當(dāng)前視差為dpre即為非特征點的視差結(jié)果df；若C(x0,y0,dpre)

2.3 實驗結(jié)果與分析

本論文在Microsoft Visual Studio 2008下調(diào)用opencv庫編程實現(xiàn)以上算法并進(jìn)行了實驗，計算機(jī)配置為Turion RM72,，2.1GHz，4G內(nèi)存。實驗對象采用Middlebury立體圖像庫中的Tsukuba, venus, Sawtooth圖像對，閾值Tth=2，Tnf=0.6，匹配模板窗口選為5×5，匹配搜索范圍分別為0-15，0-19，0-15。可以看出改進(jìn)算法得到的視差邊緣特性相對較好，這是因為提取的特征點為可能的視差跳變點。評價立體匹配效果的常用指標(biāo)為PBM，可通過式(1)計算。

其中dc(x,y)是進(jìn)行立體匹配后得到的視差圖中像素點(x,y)的視差值，dt(x,y)是真實視差圖中像素點(x,y)的視差值。Δd是可接受錯誤閾值，一般取為1。

如表1所示為幾種立體匹配算法PBM值比較，可見改進(jìn)算法的匹配精度與常用算法相當(dāng)。而且視差邊緣處誤匹配率較低，實現(xiàn)了算法改進(jìn)的一個目標(biāo)。

表1 幾種立體匹配算法PBM值比較

由2所示看出，由于改進(jìn)算法立體匹配主要集中于特征點處，而非特征點處只進(jìn)行簡單的驗證，極大地減少了運算量，匹配速度明顯增快，進(jìn)行算法改進(jìn)以降低匹配耗時的目標(biāo)也充分實現(xiàn)。

表2 幾種立體匹配算法運算時間比較

用改進(jìn)的WTA立體匹配算法對校正后的第12幀、13幀圖像對進(jìn)行立體匹配，閾值Tth=2，Tnf=0.6，匹配模板窗口選為11×11，匹配搜索范圍分別為0-35。立體匹配結(jié)果如圖4所示，在缺乏紋理細(xì)節(jié)的地方誤匹配較多，在變化平緩且細(xì)節(jié)紋理豐富的地方匹配效果較好。雖然整體和視差邊緣的誤匹配尚存在，但是從人體檢測與識別需求的角度來看，已經(jīng)可以用于后續(xù)的人體檢測研究。

圖4 立體匹配結(jié)果

3 結(jié)論

本論文首先論述了人體檢測立體匹配方法的主要過程，包括確定匹配基元、選擇匹配準(zhǔn)則、選取相似性測度、選定匹配搜索策略四個步驟。詳細(xì)介紹了WTA立體匹配算法，并對其在不同匹配模板窗口下的匹配結(jié)果和運算時間進(jìn)行了比較，發(fā)現(xiàn)結(jié)果受匹配模板窗口大小影響較大且計算速度較慢。改進(jìn)了WTA立體匹配算法，在提取圖像特征點方面采用了WTA算法進(jìn)行人體圖像的立體匹配，并對其進(jìn)行了基于WTA匹配方法的人體檢測實驗。實驗結(jié)果證明提出的改進(jìn)WTA立體匹配算法是可行的，可以滿足人體檢測與識別對準(zhǔn)確性和實時性的要求。

[1] 劉繼艷.基于雙目視覺運動背景下的目標(biāo)檢測[D].西安:西北大學(xué), 2009: 1, 57, 44, 31-33, 37-38.

[2] 王昕, 馬巖, 楊劍, 等.區(qū)域立體匹配算法的實現(xiàn)與改進(jìn)。光學(xué)精密工程, 2008, 16(10), 2002-2008.

[3] 姜宏志, 趙慧潔, 梁宵月, 等.基于極線校正的快速相位立體匹配[J].光學(xué)精密工程, 2011, 19(10): 2520-2525.

[4] 張錚, 王艷平, 薛桂香.數(shù)字圖像處理與機(jī)器視覺-Visual C++與Matlab實現(xiàn)[M].北京:人民郵電出版社, 2010: 511-512.

[5] 王紅梅.基于視頻的人體檢測與計數(shù)技術(shù)研究[D].成都:四川師范大學(xué), 2011.

[6] 何淑賢.運動人體檢測與跟蹤方法研究[D].廣州:廣東工業(yè)大學(xué), 2011.