融合明度特征的V-SAD立體匹配算法

李一能，曾慶化,2,3，張月圓，劉建業(yè),2,3，張逸舟

(1.南京航空航天大學(xué)導(dǎo)航研究中心，南京 211106；2.南京航空航天大學(xué)先進飛行器導(dǎo)航、控制與健康管理工業(yè)和信息化部重點實驗室，南京 211106；3. 南京航空航天大學(xué)江蘇省物聯(lián)網(wǎng)與控制技術(shù)重點實驗室，南京 211106)

0 引言

雙目立體視覺技術(shù)是根據(jù)仿生學(xué)原理仿生人眼感知周圍環(huán)境中深度信息的方法，實現(xiàn)雙目相機對深度信息的測量。該技術(shù)在工業(yè)測量、目標識別和無人駕駛等領(lǐng)域得到了廣泛的應(yīng)用，特別是在視覺同步定位與建圖 (Simultaneous Localization and Mapping，SLAM)和三維重建領(lǐng)域，雙目立體視覺在三維點云獲取方面較單目視覺有著天然的優(yōu)勢，硬件成本較低、運算速度快且精度高，因而受到了極大的關(guān)注。立體匹配算法的效果決定了視覺系統(tǒng)的精度，也是雙目視覺系統(tǒng)的重要組成部分[1-2]。

立體匹配算法分為全局匹配算法、局部匹配算法和半全局匹配算法三種[3]。局部匹配算法運算速度快，能夠滿足實時性要求，但該算法在匹配圖像為弱紋理與純色圖像時匹配精度較低，難以得到該區(qū)域的準確深度信息。

針對上述問題，很多學(xué)者嘗試通過增加灰度以外的特征或者將圖像分割算法融合到立體匹配過程中來解決這一問題。鄒進貴等[4]提出了一種基于自適應(yīng)權(quán)重絕對值之和(Sum of Absolute Diffe-rences，SAD)與Census融合的匹配算法，通過引入圖像的光照亮度特征，并結(jié)合Census算法對圖像的光照亮度特征進行描述，一定程度上提高了匹配精度。楊艷等[5]提出了一種新的基于圖像分割的循環(huán)置信傳播(Loopy Belief Propagation，LBP)立體匹配算法，利用鏡頭陰影校正(Lens Shade Correction，LSC)超像素分割算法進行圖像分割，并結(jié)合LBP算法優(yōu)化視差平面，能夠較好地處理低紋理區(qū)域和遮擋區(qū)域，但是算法的運算時間較長。張一飛等[6]提出了融合邊緣特征的Edge-Gray算法，首先利用邊緣計算得到邊緣特征圖，結(jié)合邊緣特征與灰度特征對圖像的視差進行求解，該算法在一定程度上提高了紋理較多區(qū)域的匹配準確性，但是在弱紋理區(qū)域的匹配效果不佳。Y.Chai等[7]提出了融合Census變換的SAD算法，通過構(gòu)造自適應(yīng)權(quán)值的加權(quán)匹配代價算法，有效提高了匹配精度。T.T.San等[8]基于爬山算法和尺度不變特征變換(Scale Invar-iant Feature Transform，SIFT)特征描述子對參考圖像進行分割，使用SAD算法進行局部立體匹配，一定程度上提高了匹配精度，但是在弱紋理與純色部分的匹配效果不理想。

本文針對傳統(tǒng)SAD算法在弱紋理與純色圖像區(qū)域難以得到準確視差信息的問題，提出了融合明度特征與SAD算法的立體匹配算法——V-SAD(Sum of Absolute Differences in Value)算法。本文算法將圖像的明度信息引入SAD算法，結(jié)合顏色分割與邊緣生長法對圖像的視差進行恢復(fù)，最后使用左右一致性檢測(Left-Right Consistency Check)方法[9]對視差圖進行優(yōu)化，有效提高了SAD算法在弱紋理和純色區(qū)域的匹配效果。

1 SAD算法介紹與分析

1.1 SAD算法簡介

SAD局部匹配算法是目前立體匹配算法中最常用的匹配算法，該算法通過設(shè)置合理尺寸的匹配窗口，固定左(或右)匹配窗口，滑動右(或左)圖上的匹配窗口，求解左右2個視圖的窗口內(nèi)對應(yīng)位置像素的灰度值差的絕對值之和，絕對值之和最小的兩點即為左右視圖的匹配點。SAD匹配代價計算函數(shù)如式(1)

(1)

其中，CSAD(x,y)表示點(x,y)的SAD算法的匹配代價；N為匹配窗；i、j為匹配窗口中元素的位置；d為視差，使CSAD最小的視差值d就是所求視差；IL(x,y)與IR(x,y)分別表示在左右視圖中(x,y)位置的像素點的灰度。

1.2 SAD算法分析

SAD算法通過對圖像灰度信息進行比較，找出左右視圖中對應(yīng)的匹配點。當圖像為弱紋理區(qū)域與純色區(qū)域時，由RGB(Red，Green，Blue)空間得到的圖像的灰度呈現(xiàn)出圖1所示的特點：右視圖匹配窗在可選區(qū)域(紅色方框)內(nèi)計算灰度值的匹配代價，所得大小均相同，難以確定對應(yīng)的匹配點，因此SAD算法難以在弱紋理區(qū)域與純色區(qū)域進行準確匹配，存在嚴重的缺陷。

圖1 純色區(qū)域匹配示意圖Fig.1 Schematic diagram of the matching effect of the solid color area

2 V-SAD立體匹配算法的提出

圖像中純色與弱紋理部分難以使用RGB空間得到的灰度信息進行匹配。然而，HSV(Hue，Satura-tion，Value)空間中明度分量與圖像的彩色信息無關(guān)，常用于特征描述及圖像分割等領(lǐng)域。因此，V-SAD算法在計算匹配代價時，同時考慮圖像的紋理特征和純色區(qū)域的明度特征，結(jié)合圖像灰度信息和HSV空間的明度信息作為匹配代價來衡量匹配相似度。

在視差后處理中，如果在全局大小上直接對視差圖進行恢復(fù)，會忽略單個物體的特征，造成邊緣模糊、噪聲過多。考慮同一個物體在視圖中往往會擁有相同的顏色，利用顏色對圖像進行分割[10-12]，可以近似得到語義級別效果的分割信息。所以根據(jù)顏色信息對圖像進行分割，并對分割區(qū)域中每一個獨立的連通域進行視差恢復(fù)。V-SAD算法主要步驟包括融合明度特征的SAD算法匹配代價計算、基于HSV空間顏色信息的圖像分割、分割區(qū)塊的視差生長和視差優(yōu)化。

2.1 基于明度的匹配算法分析

與人眼感知周圍環(huán)境方式相近的是色調(diào)(H)、飽和度(S)和明度(V)的HSV空間[13]。其中色調(diào)表示色彩信息，即所處的光譜顏色位置；飽和度表示所選顏色的純度和該顏色最大純度之間的比率；明度表示顏色明亮的程度，對于光源色，明度值與發(fā)光體的光亮度有關(guān)，對于物體色，此值和物體的透射比或反射比有關(guān)[14]。

明度信息與圖像的彩色信息無關(guān)，使用明度值進行匹配受到圖像色彩的影響較小，從而可以通過比較匹配框中的明度值來確定左右視圖的對應(yīng)點。圖像中對應(yīng)點的顏色種類是否相同也可以輔助判斷當前對應(yīng)點能否成功匹配，因此，將顏色種類信息加入算法輔助匹配。

首先將RGB空間的圖像轉(zhuǎn)換為HSV空間的圖像，變換后得到對應(yīng)像素點的色調(diào)、飽和度和明度。利用表1[15]所示區(qū)間值，將圖像中所有像素點按照10種顏色進行轉(zhuǎn)化，為了便于計算，將黑至紫10種顏色分別標記為1～10的數(shù)值，得到每一個像素點的Col值，Col值代表該像素點所屬的顏色種類。利用式(2)可以計算基于明度的匹配算法的匹配代價

(2)

其中，CV(x,y)表示點(x,y)利用明度特征計算的匹配代價；N為匹配窗；i、j為匹配窗口中元素的位置；d為視差，使CV最小的視差值d就是所求視差；VL(x,y)和VR(x,y)分別表示在左右視圖中(x,y)位置的像素點的明度；ColL(x,y)和ColR(x,y)分別表示在左右視圖中(x,y)位置的像素點的顏色種類。

2.2 V-SAD匹配代價計算

V-SAD匹配算法的匹配代價就是結(jié)合HSV空間的匹配代價與SAD的匹配代價，計算公式如式(3)

CV-SAD(x,y)=min(CV(x,y),CSAD(x,y))

(3)

其中，CV(x,y)是利用明度特征計算的匹配代價；CSAD(x,y)是SAD算法的匹配代價；CV與CSAD中較小的數(shù)對應(yīng)的視差值d即為所求視差。

根據(jù)式(3)可知，V-SAD算法是在灰度的測度上增加明度的測度進行匹配，當CV較小時，選擇明度特征圖作為匹配源圖進行匹配;當CSAD較小時，選擇灰度特征圖作為匹配源圖進行匹配。雖然SAD算法對紋理較多區(qū)域的匹配成功率較高，但是對于大面積缺乏紋理特征的區(qū)域難以有效匹配；而基于明度的匹配算法比較的是明度信息，在缺乏紋理特征的區(qū)域可以有效匹配。因而在圖像不同區(qū)域使用不同的特征圖作為匹配源圖進行匹配，可以在紋理較少與純色區(qū)域充分利用明度特征進行匹配，在紋理較豐富區(qū)域充分利用灰度特征進行匹配，從而可以在SAD算法的基礎(chǔ)上提高原算法在弱紋理與純色區(qū)域的匹配效果。

表 1 HSV空間顏色信息

2.3 視差求解與基于圖像分割的視差生長

本文使用的圖像是經(jīng)過校正的數(shù)據(jù)集，因此匹配圖像只存在水平方向的視差，根據(jù)2.2節(jié)方法計算圖像的匹配代價。對于每一個像素點，找出最小的匹配代價，并根據(jù)左右視圖中對應(yīng)像素點的水平坐標之差，得到對應(yīng)的視差。

原始視差圖不可避免地存在無法匹配的區(qū)域，利用顏色對圖像進行分割，并對分割區(qū)域中每一個獨立的連通域進行視差恢復(fù)，可以提高視差圖的準確性。

將圖像利用設(shè)定的Col值進行分割后，圖像分割效果如圖2所示，圖2(a)為原圖像，圖2(b)為根據(jù)表1顏色信息得到的圖像分割效果圖。

(a)原圖像

(b)分割效果圖圖2 基于HSV通道的圖像分割效果圖Fig.2 Diagram of image segmentation based on HSV channel

為了提高視差圖的準確性，求解分割后區(qū)塊的連通域，并對每一塊連通域進行視差填補。然而利用單一顏色信息進行圖像分割會受到光線和反射等影響，不可避免檢測出很多零散、細小區(qū)塊，對連通域檢測帶來干擾。使用數(shù)學(xué)形態(tài)學(xué)法[16]可以檢測圖中自定義形狀的圖像，并過濾背景產(chǎn)生的干擾圖像。首先選擇合適的結(jié)構(gòu)元進行一次開運算，腐蝕掉圖像上的細小區(qū)塊，過濾部分噪聲的干擾；再進行一次閉運算，消除物體內(nèi)部的間隙，使圖像形成獨立連通域。

本文在V-SAD算法求解視差的基礎(chǔ)上，對每一塊獨立連通域進行視差恢復(fù)。由于連通域的形狀不規(guī)則，且各連通域上的有效視差值分布各異，傳統(tǒng)的線性插值[17]和雙線性差值等方法難以適用，本文受區(qū)域生長法[18]啟發(fā)，提出了邊緣生長法，運算流程如下：

1)求解當前連通域中邊緣點與生長點：邊緣點為當前連通域中以該像素點為中心、周圍8個像素點中深度為0的點，如圖3所示紅色矩形框中的點；邊緣點周圍8個像素點深度為0，且在當前獨立連通域中的點記為生長點，如圖3所示灰色格子中的點。

2)求解當前獨立連通域中生長點的深度：生長點深度為生長點周圍8個像素點中包含的邊緣點深度和的均值。

3)重復(fù)步驟1)與步驟2)，直至當前連通域中不含有深度為0的點。

圖3 邊緣生長法示意圖Fig.3 Schematic diagram of the edge growth method

基于邊緣生長法的優(yōu)點可以利用有限數(shù)據(jù)達到數(shù)據(jù)外推的效果，從而對無法匹配的純色區(qū)域進行視差估計。但是，由于邊緣生長法中數(shù)據(jù)生長具有先后性，數(shù)據(jù)的大小有時會呈現(xiàn)遞增的趨勢，從而使部分區(qū)域出現(xiàn)條狀紋路，導(dǎo)致匹配誤差。使用邊緣生長法前后的圖像視差如圖4所示，圖4(a)為原始視差圖，圖4(b)為利用邊緣生長法優(yōu)化后的視差圖。圖4(b)對圖4(a)中的空洞進行填充，并對圖像中物體的邊緣進行濾波，使得視差圖像更加層次分明，物體邊緣清晰明了。

(a)原視差圖

2.4 視差優(yōu)化

由于左右視圖中部分區(qū)域會受到視角的局限導(dǎo)致無法進行匹配，因而需要對視差生長后的視差圖進行優(yōu)化。左右一致性檢測能夠有效地濾除無效視差，具體方法為：分別以左視圖與右視圖為基準圖進行立體匹配，求解對應(yīng)的視差圖DL與DR，如果點(x,y)滿足式(4)，則可以得到點(x,y)在左視圖上的視差與在右視圖(x-DL(x,y),y)處的視差是相等的。可以認為，點(x,y)的視差在以左右視圖為基準圖得到的左右視差圖上的視差是一致的，點(x,y)視差求解正確。對于視差求解正確的點，視差值為對應(yīng)匹配點的視差；對于視差求解不正確的點，以該點為中心向左右搜尋距離最近的正確匹配點，并從中選取較小的值來填充。

DL(x,y)=DR(x-DL(x,y),y)

(4)

V-SAD算法的視差圖求解總流程如圖5所示。

圖5 V-SAD算法檢測流程圖Fig.5 Flowchart of V-SAD algorithm detection

3 實驗結(jié)果與分析

本文的實驗平臺為Intel四核I7-2.59GHz CPU，8.0Gb RAM的筆記本電腦，Windows XP環(huán)境下Matlab2014平臺。圖6所示為4個標準測試數(shù)據(jù)下的實驗結(jié)果。

圖6(b)為文獻[4]算法的匹配結(jié)果，圖6(c)為文獻[6]算法的匹配結(jié)果，圖6(d)為本文算法的匹配結(jié)果。對比圖6(b)、(c)、(d)三種方法的匹配結(jié)果可以發(fā)現(xiàn)，文獻[4]算法利用Census變換，將光照亮度信息引入SAD算法，一定程度上提高了算法在弱紋理區(qū)域的匹配性能，但是未能有效區(qū)分圖像中各物體的邊界，使得物體邊界模糊，存在大量的毛刺狀凸起；文獻[6]算法將邊緣信息引入SAD算法，有效提高了算法在紋理較多區(qū)域的匹配性能，但是在弱紋理區(qū)域與純色區(qū)域的匹配性能較差；本文算法將圖像的明度信息引入SAD算法，并利用邊緣生長法對圖像的深度進行恢復(fù)，由于圖像的明度信息與圖像的紋理、彩色信息無關(guān)，因此使用明度信息可以有效地衡量純色與弱紋理區(qū)域匹配點的相似度，所以本文算法較為準確地恢復(fù)了純色區(qū)域與弱紋理區(qū)域的視差。除此之外，基于HSV空間顏色分割的邊緣生長法有效控制了物體的邊緣與視差生長的范圍，使得圖像中物體邊緣清晰分明。由于本文算法對于HSV空間只進行了10種顏色的區(qū)分，對于顏色相近的不同物體，當兩者相互接觸或者存在前后重疊的情況時，存在誤匹配的可能。

(a)原始圖像

將得到的視差圖與理想視差圖作差，差值超出閾值的像素點標記為誤匹配，誤匹配點個數(shù)占圖像像素點總個數(shù)的百分比即為誤匹配率。誤匹配率結(jié)果如表2所示，運算速度結(jié)果如表3所示。

表2 不同算法的誤匹配率

表2為多種算法誤匹配率的對比。由表2可以發(fā)現(xiàn)，與SAD算法、文獻[4]算法以及文獻[6]算法相比，本文提出的V-SAD立體匹配算法的匹配準確度更好，誤匹配率在多個數(shù)據(jù)中均最小，平均誤匹配率分別下降了13.02%、6.55%和5.77%。

表3 不同算法的運算時間

表3為多種算法運行時間的對比。由表3可以發(fā)現(xiàn)，本文算法運算時間均稍慢于其他三種優(yōu)化算法，與SAD算法、文獻[4]算法以及文獻[6]算法相比，平均運算時間增加了0.59s、1.67s和0.32s。

4 結(jié)論

針對SAD算法難以對圖像中純色與弱紋理部分進行準確匹配的問題，本文提出了將明度特征與SAD算法相融合的立體匹配算法——V-SAD算法。算法分析與實驗結(jié)果表明：

1)利用圖像的明度信息可以有效衡量純色與弱紋理區(qū)域中匹配點的相似度，本文提出的V-SAD算法將明度信息引入SAD算法，有效提高了SAD算法在弱紋理和純色區(qū)域的匹配效果。

2)HSV空間提供的顏色信息可以輔助判斷左右視圖中的對應(yīng)像素點是否為正確的匹配點，從而在提高匹配準確率的同時簡化匹配代價計算過程，提高算法運算效率。

3)基于HSV顏色信息分割的邊緣生長法可以在分割后的獨立連通域中，利用有限的視差數(shù)據(jù)對該區(qū)塊中無法求解視差的區(qū)域進行視差估計與恢復(fù)，但是由于數(shù)據(jù)運算存在先后性，導(dǎo)致部分區(qū)域出現(xiàn)條狀紋路，后續(xù)的工作中可以考慮引入圖像平滑等方法，以消除或減小條狀紋路。