,
(昆明理工大學(xué) 機(jī)電工程學(xué)院, 昆明 650504)
立體匹配是計(jì)算機(jī)視覺領(lǐng)域熱門研究問題之一,特別是在提高匹配精度方面,一直是立體匹配的研究重點(diǎn)[1-3]。目前,立體匹配技術(shù)作為三維重建、增強(qiáng)現(xiàn)實(shí)和視覺導(dǎo)航等領(lǐng)域的關(guān)鍵技術(shù),已經(jīng)得到了國(guó)內(nèi)外專家學(xué)者的廣泛研究,其目的是通過確定兩幅或多幅圖像之間的對(duì)應(yīng)點(diǎn)來得到視差數(shù)據(jù),從而將二維的距離信息轉(zhuǎn)化為空間上的深度信息[4]。
Daniel Scharstein 和Richard Szeliski[5]等人對(duì)當(dāng)時(shí)常見的立體匹配算法進(jìn)行了比較權(quán)威的研究、分類和總結(jié),并為廣大的研究者建立了立體匹配算法的統(tǒng)一評(píng)測(cè)網(wǎng)站Middlebury 進(jìn)行立體匹配的匹配誤差對(duì)比和分析,根據(jù)立體匹配算法采用的最優(yōu)化理論方法的不同主要分為局部立體匹配和全局立體匹配兩種。局部立體匹配算法采用局部?jī)?yōu)化方法進(jìn)行視差估計(jì),主要算法有SAD、SSD、NCC和ZNCC等,其能量函數(shù)一般只有數(shù)據(jù)項(xiàng),沒有平滑項(xiàng),局部算法具有內(nèi)存占用小,算法速度快以及能夠滿足實(shí)時(shí)性要求等優(yōu)點(diǎn),但是在遮擋、無紋理和重復(fù)紋理區(qū)域往往存在較高的誤匹配,總體匹配精度不高。Kanade and Okutomi[6]是通過評(píng)估局部灰度和視差的變化來選取合適的窗口,但是該方法不僅過分依賴初始的視差估計(jì)而且計(jì)算開銷大,匹配窗口的形狀被限制為矩形,對(duì)于視差不連續(xù)區(qū)域匹配不夠理想。Yoon[7]等人提出基于色彩和距離信息的自適應(yīng)支持權(quán)重法,有效地提高了整體和視差不連續(xù)區(qū)域匹配精度,由于該算法是對(duì)彩色圖像3個(gè)通道進(jìn)行計(jì)算,隨著匹配窗口的增加,計(jì)算復(fù)雜度較高。全局立體匹配算法采用全局優(yōu)化方法進(jìn)行視差估計(jì),主要算法有置信傳播、動(dòng)態(tài)規(guī)劃和圖割等,建立包含數(shù)據(jù)項(xiàng)和平滑項(xiàng)的全局能量函數(shù),通過最小化全局能量函數(shù)得到全局最優(yōu)視差分布,由于全局匹配方法采用全局尋優(yōu),因此獲得的視差圖效果好,匹配精度較高。 Roy和Cox等人[8]提出基于圖割理論的能量函數(shù)優(yōu)化方法解決立體匹配問題,并在視差圖效果和精度上取得了很大的突破。文獻(xiàn)[9]基于圖割理論對(duì)立體匹配的遮擋問題進(jìn)行了研究,采用平滑約束和固定遮擋約束來處理圖像對(duì)遮擋區(qū)域,但是算法復(fù)雜度較高,處理遮擋問題不夠理想,總體匹配精度欠佳。
基于此,針對(duì)傳統(tǒng)自適應(yīng)權(quán)重存在計(jì)算復(fù)雜度高和圖割匹配精度低的問題,本文提出一種改進(jìn)的基于自適應(yīng)權(quán)值的圖割立體匹配算法。本文所提算法有3個(gè)貢獻(xiàn)點(diǎn),1)根據(jù)格式塔理論的相似性和相近性提出新的權(quán)重值計(jì)算方式作為能量函數(shù)的數(shù)據(jù)項(xiàng)。2)引入圖像的梯度作為能量函數(shù)的平滑項(xiàng),提升了視差圖的效果。3)將新提出的自適應(yīng)權(quán)值與圖割算法相結(jié)合,提高了匹配精度。
利用圖割算法求解立體匹配問題,主要分為3個(gè)步驟:首先建立全局匹配能量函數(shù),然后根據(jù)能量函數(shù)的具體形式構(gòu)建合適的網(wǎng)絡(luò)圖,最后運(yùn)用最大流最小割求解能量函數(shù)的最小值?;谌S場(chǎng)景中同一景物在左右圖像中具有相似的像素強(qiáng)度和視差圖具有分段光滑的假設(shè),可以構(gòu)建出如公式(1)所示的能量函數(shù)。
E(d)=Edata(d)+λ·Esmooth(d)
(1)
這里的Edata(d)叫做數(shù)據(jù)項(xiàng),在左右圖像的匹配窗口內(nèi)計(jì)算得出;Esmooth(d)叫做數(shù)據(jù)平滑項(xiàng),是根據(jù)中心像素的梯度與鄰域內(nèi)像素的梯度信息求得。
在確定每個(gè)匹配窗口內(nèi)的權(quán)重值時(shí),根據(jù)格式塔理論下的相似性和相近性原則,分別利用圖像的灰度相似性和空間上的相近性來構(gòu)造權(quán)值計(jì)算方式,又由于這兩個(gè)因素是相互獨(dú)立的事件,在匹配窗口內(nèi)每個(gè)像素權(quán)值的表達(dá)式可以寫為:
w(p,q)=fg(Δgpq)·fs(Δspq)
(2)
這里的fg(Δgpq)和fs(Δspq)分別表示窗口內(nèi)中心像素p與鄰域像素q在灰度上的權(quán)重和空間上的權(quán)重。在此可以看出,fg(Δgpq)和fs(Δspq)函數(shù)的數(shù)學(xué)模型對(duì)于計(jì)算w(p,q)至關(guān)重要,也直接關(guān)系著立體匹配的匹配精度。
在本文算法中根據(jù)灰度相似性原則對(duì)函數(shù)fg(Δgpq)定義,隨著像素p與q灰度差的絕對(duì)值Δgpq增大,fg(Δgpq)的函數(shù)值越小,又由于圖像某些像素由于外部因素的干擾,使得Δgpq很大,這顯然是不合乎常理的,這里我們采用了灰度值截?cái)嗵幚淼姆绞健?紤]到局部算法的實(shí)時(shí)性要求,這里采用計(jì)較簡(jiǎn)單的線性核來定義函數(shù)fg(Δgpq),表達(dá)式為:
(3)
這里的Δgpq為匹配窗口內(nèi)中心像素p與鄰域像素q差的絕對(duì)值,t為灰度截?cái)嘀?,與圖像的整體灰度分布有關(guān),依據(jù)實(shí)驗(yàn)決定。
依據(jù)二維正態(tài)分布具有單值性和旋轉(zhuǎn)對(duì)稱性,在每一個(gè)匹配窗口內(nèi),單值性體現(xiàn)在鄰域像素權(quán)值隨著與中心點(diǎn)的距離增加而遞減;旋轉(zhuǎn)對(duì)稱性體現(xiàn)在每一個(gè)方向上距離相同時(shí)權(quán)值也相同??臻g上的相近性對(duì)函數(shù)fs(Δspq)可以定義為服從二維正態(tài)分布,表達(dá)式為:
(4)
這里的Δspq=x2+y2,x和y分別為中心像素p與鄰域像素q在x、y方向上的坐標(biāo)值之差。σ為標(biāo)準(zhǔn)差,其大小決定了fs(Δspq)在二維空間上權(quán)值分布的幅度。
匹配代價(jià)函數(shù)的數(shù)據(jù)項(xiàng)可以通過在左右圖像的匹配窗口內(nèi)的權(quán)值進(jìn)行計(jì)算得到。在計(jì)算數(shù)據(jù)項(xiàng)時(shí),為了避免左右匹配窗內(nèi)權(quán)值差異情況,更準(zhǔn)確地計(jì)算出匹配視差,需要聯(lián)合參考圖像和目標(biāo)圖像的匹配窗權(quán)值來計(jì)算。所以數(shù)據(jù)項(xiàng)可以寫為:
(5)
(6)
在能量函數(shù)(1)中的數(shù)據(jù)平滑項(xiàng)Esmooth(d),為了解決無紋理或者是弱紋理圖像區(qū)域在匹配過程中較容易出現(xiàn)誤匹配問題,可以依據(jù)視差圖分段平滑的假設(shè),根據(jù)中心像素的梯度與鄰域內(nèi)像素的梯度信息來確定平滑項(xiàng)的值,如果梯度值相近,則賦予Esmooth(d) 的值較大,增加平滑效果,反之亦然。Esmooth(d)可以寫為:
(7)
這里的p和q分別表示中心像素點(diǎn)和鄰域像素點(diǎn),取q為p的四鄰域內(nèi)的像素點(diǎn),即假設(shè)p為p(i,j),則q取p(i,j-1) 、p(i-1,j)、p(i+1,j) 和p(i,j+1) 這4個(gè)點(diǎn)。N是p和q像素對(duì)的集合,dp和dq分別表示參考圖像中中心像素點(diǎn)和四鄰域像素點(diǎn)的視差值,V(dp,dq) 是像素p和q的視差平滑約束,可以寫為:
V(dp,dq)=λ*T(dp≠dq)
(8)
(9)
這里的G表示參考圖像的梯度,本文采用了sobel梯度模型。在確定具體的λ值時(shí),本文采用了雙閾值處理策略,如果匹配點(diǎn)p的梯度大于上限閾值或者小于下限閾值時(shí),圖像的該處被認(rèn)為處于同一視差平面,需要給予較大的平滑約束;當(dāng)匹配點(diǎn)p的梯度介于上限閾值和下限閾值之間時(shí),則認(rèn)為該處可能處于圖像的視差不連續(xù)區(qū)域,則需要給予較小的平滑約束。
運(yùn)用圖個(gè)算法求解立體匹配相關(guān)問題時(shí),當(dāng)完成能量函數(shù)的構(gòu)建后,還需要根據(jù)能量函數(shù)的具體形式去構(gòu)建與此相對(duì)應(yīng)的網(wǎng)絡(luò)圖。根據(jù)Greig提出的網(wǎng)格圖創(chuàng)建法,網(wǎng)絡(luò)圖G=
構(gòu)建基于圖割的網(wǎng)絡(luò)圖一般步驟:首先需要?jiǎng)?chuàng)建一個(gè)三維的笛卡爾坐標(biāo)系O-XYZ,將圖像IL放置在坐標(biāo)系的xoy平面上,圖像的原點(diǎn)與xoy平面的原點(diǎn)重合,圖像的x,y軸分別于xoy平面的x,y正半軸重合,在Z軸的正方向上,等距離放置l1,l2,…,ln向量,然后在l1(原點(diǎn)O)處放置q0,再li與li+1處放置qi,其中i=1,2,...,n-1, 在ln處放置qn,這樣一個(gè)立方體網(wǎng)絡(luò)就構(gòu)建完成了。 在Z軸的每個(gè)區(qū)間[qi,qi+1] 都恰好包含一個(gè)li+1,這里的i=0,1,…,n-1;在整個(gè)立體網(wǎng)絡(luò)中,(p,qi)=(px,py,qi)為網(wǎng)絡(luò)圖中的節(jié)點(diǎn),N(p) 為像素p的鄰域。然后再立方體網(wǎng)絡(luò)的上下兩個(gè)面分別放置源點(diǎn)s和匯點(diǎn)t,并在s到IL平面上的每個(gè)像素節(jié)點(diǎn)添加一條邊,t到節(jié)點(diǎn)集合{(px,py,qn)|(px,py)∈IL}添加一條邊,至此,就獲得了一個(gè)無向圖G
V={s,t}∪ {(p;qi)|p∈IL,i=0,1,2,...,n}
(10)
E={(s,(p;q0)),(t,(p;qn))|p∈IL}∪Es∪Ed
(11)
其中:Es為光滑邊的集合,Ed為視差邊的集合,具體表達(dá)式如下:
Es={(p;qi),(q;qi)|p∈IL,q∈N(p),i=0,1,...,n-1}
(12)
Ed={(p;qi),(p;qi+1)|p∈IL,i=0,1,...,n-1}
(13)
定義圖G中各條邊的容量:
1)連接源點(diǎn)和匯點(diǎn)邊的容量:Ed和Es中的容量設(shè)置為+∞。
2)視差邊的容量:對(duì)任意p∈IL,i=0,1,...,n-1 ,邊ep,i+1=:((p;qi),(p,qi+1)) 的容量大小應(yīng)等于數(shù)據(jù)項(xiàng):
c(ep,i+1)=Edata
(14)
3)光滑邊容量:p,q為一幅圖像中的相鄰像素。
c(p,q)=Esmooth
(15)
此時(shí),完成網(wǎng)格圖N=(G,s,t,c) 的組建,如圖1所示。
圖1 網(wǎng)絡(luò)圖構(gòu)建
一個(gè)s-t切割C=S,T,把圖G中的頂點(diǎn)分割成兩個(gè)沒有任何交集的集合S和T,最小割集就等于從集合S到集合T的所有邊的容量之和,根據(jù)Ford-Fullkerson的網(wǎng)絡(luò)流理論[10],網(wǎng)絡(luò)圖中的最小割可以轉(zhuǎn)化為求網(wǎng)絡(luò)中的最大流來實(shí)現(xiàn),然后再運(yùn)用α擴(kuò)展算法[8]進(jìn)行圖構(gòu)造,算法通過對(duì)不同的α值進(jìn)行迭代計(jì)算得到能量函數(shù)的最小值,直到收斂,從而找到能量函數(shù)大的局部最小,最終得到最優(yōu)的視差分布圖。
(16)
誤匹配點(diǎn)的視差通過在同一行上左右搜索最近的正確匹配點(diǎn),把這兩個(gè)點(diǎn)中視差值最小的作為誤匹配點(diǎn)的視差值。經(jīng)過左右一致性檢查后,在一定程度上可以提高匹配精度,但同時(shí)也會(huì)產(chǎn)生水平條紋失真問題,為了解決這個(gè)問題和進(jìn)一步提高視差精度,本文采用加權(quán)中值濾波對(duì)視差圖做進(jìn)一步后處理。具體的做法是以原始的左圖像作為引導(dǎo)圖像,以校正視差點(diǎn)p作一個(gè)校正窗口,利用圖像的色彩相似性和距離的相近性分別計(jì)算窗口內(nèi)每一點(diǎn)的像素權(quán)值,可以寫為:
(17)
這里的Δcpq和Δspq分別為中心像素p和鄰域像素q在RGB色彩空間上的差異性和幾何空間的距離,λc和λs分別為所對(duì)應(yīng)的權(quán)重系數(shù)。為每一像素點(diǎn)計(jì)算完權(quán)重后,再分析視差圖中對(duì)應(yīng)窗口內(nèi)的視差分布,對(duì)p點(diǎn)鄰域內(nèi)所有點(diǎn)在視差圖中進(jìn)行加權(quán)直方圖統(tǒng)計(jì),統(tǒng)計(jì)后每個(gè)視差對(duì)應(yīng)的權(quán)值為id,按照視差進(jìn)行升序排列,最后在對(duì)加權(quán)直方圖進(jìn)行積分,在取得積分中值所對(duì)應(yīng)的視差即為該點(diǎn)的最終視差。公式可以寫為:
(18)
l為視差搜索時(shí)的最大視差。
本文的立體匹配算法流程主要包括創(chuàng)建新的能量函數(shù)、構(gòu)建網(wǎng)絡(luò)圖、模型求解和視差精化四大步驟。實(shí)驗(yàn)平臺(tái)為:實(shí)驗(yàn)平臺(tái)為:Intel@ Core i5 CPU,主頻 2.40 GHz,4 GB 內(nèi)存。立體匹配系統(tǒng)的編程環(huán)境為旗艦版 Microsoft Visual Studio 2010。在匹配精度上,為了定量地檢驗(yàn)本算法的有效性,實(shí)驗(yàn)中采用了來自美國(guó) Middlebury 大學(xué)計(jì)算機(jī)視覺研究中心網(wǎng)站提供的四幅標(biāo)準(zhǔn)立體圖像對(duì)Tsukuba、Venus、Teddy和Cones分別進(jìn)行測(cè)評(píng),通過將實(shí)驗(yàn)結(jié)果與網(wǎng)站提供的真實(shí)視差圖進(jìn)行對(duì)比分析可以得到量化的匹配誤差,從而能夠客觀地去評(píng)價(jià)算法精度。實(shí)驗(yàn)時(shí),四組標(biāo)準(zhǔn)圖像對(duì)的視差搜索范圍依次0~15, 0~19, 0~59, 0~59,立體匹配算法參數(shù)的選擇對(duì)實(shí)驗(yàn)結(jié)果影響很大,若無特殊說明,實(shí)驗(yàn)中的相關(guān)參數(shù)設(shè)置如表1所示。
表1 參數(shù)設(shè)置
圖2 不同方法對(duì)Tsukuba圖像的匹配結(jié)果
圖2以Tsukuba圖像為例,采用不同的匹配方法分別對(duì)圖像進(jìn)行立體匹配,直觀反映了本文所提算法較以往算法具有更好的匹配效果。圖2中的(c) 圖結(jié)果是采用了傳統(tǒng)的圖割方法進(jìn)行立體匹配的結(jié)果,可以看到圖中用紅色方框標(biāo)記的地方代表了傳統(tǒng)的圖割優(yōu)化方法得到的視差圖存在明顯的誤匹配,而本文算法在這些地方的視差幾乎與標(biāo)準(zhǔn)視差圖一致,不存在誤匹配現(xiàn)象;圖2中的(d) 圖是采用AdaptAggrDP[13]方法進(jìn)行立體匹配的結(jié)果,與傳統(tǒng)的動(dòng)態(tài)規(guī)劃方法一樣,依然存在明顯的條紋現(xiàn)象,本文算法利用圖像梯度信息估計(jì)能量函數(shù)的平滑項(xiàng),通過圖割的優(yōu)化方法就避免了這種條紋現(xiàn)象,也使視差圖呈現(xiàn)分段平滑效果。圖2中的(e) 圖是采用TwoStep[14]方法進(jìn)行立體匹配的視差圖結(jié)果,通過比較圖中方框標(biāo)記部分可以得出,TwoStep方法在桌子邊緣處并沒有得到準(zhǔn)確的視差信息,出現(xiàn)了明顯的匹配錯(cuò)誤,圖2中的(f)圖是采用SymBP+occ[12]方法進(jìn)行立體匹配的結(jié)果,可以看到,通過BP算法和遮擋處理后的視差圖在邊界區(qū)域依然表現(xiàn)得不盡人意,而本文算法得到的視差圖背景與前景邊界清晰,定位準(zhǔn)確,明顯優(yōu)于TwoStep和SymBP+occ方法所得結(jié)果。圖2中的(h) 圖是本文視差圖與標(biāo)準(zhǔn)視差圖在對(duì)應(yīng)位置上大于一個(gè)像素的誤匹配像素圖像,白色代表正確匹配,黑色代表誤匹配,通過計(jì)算正確匹配點(diǎn)與所有匹配點(diǎn)的比值,實(shí)驗(yàn)結(jié)果表明所提算法正確匹配率高達(dá)98.48%,與SymBP+occ和GC方法相比,視差圖的總體精度分別提高了0.23% 和2.6%。
圖3是以Teddy圖像為例,為了驗(yàn)證本文所提算法在低紋理和無紋理區(qū)域的匹配效果,不同匹配算法和本文算法在此區(qū)域的匹配細(xì)節(jié)對(duì)比圖。圖3中的(a) 圖采用AdaptAggrDP方法在圖中低紋理和無紋理區(qū)域(紅色標(biāo)記區(qū)域,圓圈為低紋理區(qū)域,方框?yàn)闊o紋理區(qū)域)都沒有得到準(zhǔn)確的視差,在這些區(qū)域的匹配結(jié)果極差,圖3中的(b) 圖采用了MultiResGC[15]方法得到的視差結(jié)果,在傳統(tǒng)的圖割算法基礎(chǔ)上引入了多個(gè)標(biāo)簽進(jìn)行細(xì)化,以增加深度標(biāo)簽的數(shù)量,視差結(jié)果優(yōu)于AdaptAggrDP方法,能夠解決大部分低紋理和無紋理區(qū)域的匹配錯(cuò)誤,同時(shí)也能夠在一定程度上還原圖像的真實(shí)邊界,但是邊界不夠準(zhǔn)確,邊界缺失和無紋理區(qū)域存在誤匹配的現(xiàn)象依然存在,圖3中的(c) 圖采用文中所提算法,利用改進(jìn)的自適應(yīng)權(quán)值和圖像梯度信息重新構(gòu)造新的能量函數(shù)進(jìn)行匹配計(jì)算,同時(shí)運(yùn)用圖割的優(yōu)化方法來求解全局能量函數(shù)的最小值和加權(quán)中值濾波進(jìn)行視差精化,從而可以有效地提高低紋理和無紋理區(qū)域的匹配精度,通過與真實(shí)的視差圖對(duì)比,圖中的標(biāo)記區(qū)域都已經(jīng)得到了準(zhǔn)確的視差值,從而驗(yàn)證了本文所提算法在一定程度上是可以提高圖像在低紋理和無紋理區(qū)域的正確匹配率。
圖3 細(xì)節(jié)對(duì)比圖
為了更好地測(cè)評(píng)本文所提算法,圖4是采用了另外兩種算法和本文算法分別對(duì)標(biāo)準(zhǔn)的四幅測(cè)試圖像對(duì)進(jìn)行測(cè)試的對(duì)比結(jié)果。第一列為標(biāo)準(zhǔn)圖像對(duì)的左視圖參考原圖,從上到下依次為Tsukuba、Venus和Teddy、Cones圖像;第二列為各參考圖對(duì)應(yīng)的標(biāo)準(zhǔn)視差圖;第三列為AdaptAggrDP[13]算法匹配結(jié)果;第四列為MultiResGC[15]算法匹配結(jié)果;第五列為本文所提算
法的匹配結(jié)果。由圖4分析可知,文中所提算法在四幅圖像中的匹配總體上優(yōu)于AdaptAggrDP和MultiResGC兩種立體匹配算法。具體來講,在Tsukuba和Teddy的視差圖中,AdaptAggrDP 呈現(xiàn)出前景溢出和明顯條紋現(xiàn)象,Teddy視差圖甚是突出,MultiResGC方法出現(xiàn)邊界不夠清晰,反觀本文結(jié)果,視差圖呈現(xiàn)分段平滑,邊緣清晰可辨;在Venus的視差圖中,AdaptAggrDP和MultiResGC 方法由于誤匹配產(chǎn)生了黑色區(qū)塊,文中算法由于沒有這些誤匹配存在進(jìn)而提高了匹配精度。
圖4 不同方法對(duì)四幅標(biāo)準(zhǔn)圖像的綜合對(duì)比
依據(jù) Middlebury 提供的3個(gè)定量算法評(píng)價(jià)指標(biāo)分別對(duì)比本文算法和其他幾種經(jīng)典算法,表2給出了nonocc (非遮擋區(qū)域匹配誤差百分比)、disc (視差不連續(xù)區(qū)域匹配誤差百分比)和all(所有區(qū)域的匹配錯(cuò)誤百分比)的量化評(píng)價(jià)結(jié)果。從圖2圖4和表2綜合分析可以得出:本文算法與其他算法TwoStep、PM-GCP和AdaptAggrDP等相比,遮擋區(qū)域和視差不連續(xù)區(qū)域匹配精度均高于這3種算法,從誤差數(shù)據(jù)分析來看,Tsukuba視差圖中所有區(qū)域的匹配精度分別提高了2.16%, 0.67% 和1.98%, 視差不連續(xù)區(qū)域的匹配精度分別提高了7.63%,4.43%和2.6%;與傳統(tǒng)的GC算法進(jìn)行對(duì)比,本文算法在重復(fù)紋理、稀疏紋理區(qū)域具有很好的匹配效果,四幅測(cè)試圖像GC算法的平均誤匹配率為11.42%,本文算法的平均誤匹配率為5.86%,平均精度提高了5.56%。特別是在Teddy圖中,由于弱紋理區(qū)域(如藍(lán)色背景板)、重復(fù)紋理區(qū)域(如磚墻部分)以及遮擋區(qū)域相對(duì)較多,所以匹配難度也相對(duì)較大,出現(xiàn)誤匹配的幾率也大,本文算法與文獻(xiàn)[10]所提SymBP+occ算法相比,SymBP+occ算法在Teddy 圖中的平均誤匹配率為11.39%,而本文算法的平均誤匹配率為10.21%,平均匹配精度提高了1.18%。
表2 實(shí)驗(yàn)結(jié)果數(shù)據(jù)對(duì)比
本文提出了一種基于自適應(yīng)權(quán)值的圖割立體匹配算法:首先利用灰度相似性和空間相近性對(duì)能量函數(shù)的數(shù)據(jù)項(xiàng)進(jìn)行重新定義計(jì)算,引入圖像梯度作為平滑項(xiàng)的度量,以此創(chuàng)建新的能量函數(shù);然后運(yùn)用圖割理論和α擴(kuò)展算法進(jìn)行模型求解,最后視差精化得到最終視差圖。本文所提出算法的優(yōu)點(diǎn)在于通過重新定義數(shù)據(jù)項(xiàng)和平滑項(xiàng)的計(jì)算方法,與傳統(tǒng)的圖割和大多數(shù)算法相比,在圖像的低紋理和無紋理區(qū)域均能獲得較好的匹配效果,邊緣細(xì)節(jié)更清晰,總體匹配精度更高。但是對(duì)于大范圍視差匹配還是不盡人意,原因是沒有對(duì)遮擋區(qū)域和邊界大范圍遮擋做進(jìn)一步研究,在今后的學(xué)習(xí)中將對(duì)算法進(jìn)行進(jìn)一步研究和改進(jìn),提高算法的魯棒性。
[1]Ishikawa H,Geier D.Occlusion,discontinuities and epipolar lines in stereo[A]//Proceedings of the 5th European Conference on Computer Vision[C].Freiburg,Germany:Springer Press,1998:242-256.
[2]Sun J.Shum H Y.Stereo matching using belief propagation[A].Proceedings of the 7th European Conference On Computer Vision[C].Copenhagen,Denmark:Springer Press,2002:510-524.
[3]Scharstein D,Szeliski R.A taxonomy and evaluation of dense tw0-frame stereo correspondence algorithms[J]. International Journal on Computer Vision,2002,47(1):7-42.
[4]Bai M, Zhuang Y, Wang W. Progress in binocular stereo matching algorithms[J]. Control & Decision, 2008, 23(7):721-729.
[5]Scharstein D, Szeliski R. A Taxonomy and Evaluation of Dense Two-frame Stereo correspondence Algorithms[J]. International Journal of Computer Vision ,2002,47(1):7-42.
[6]Kanade T , Okutomi M. A stereo matching algorithm with an adaptive window : theory and experiments [ J ] . IEEE Transactions on Pattern Analysis and Machine Intelligence , 1994 , 16 ( 9) : 920 -932.
[7]Yoon K J , Kweon I S. Locally adaptive support-weight approach for visual correspondence search [J ] . IEEE Transactions on Pattern Analysis and Machine Intelligence , 2006 , 28(4) :650-656.
[8]Boykov Y,Veksler O,Zabih R.Fast approximate energy minimization via graph cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(11): 1222-1239.
[9]Kolmogorov V,Zabih R.Computing visual correspondence with occlusions using graph cuts[A]. Proceedings of the 8th International Conference on Computer Vision,2001[C]. 2001.2:508-515.
[10]Ford L R. Fulkerson flows in networks[J]. 1962.
[11]Huang X, Yuan C, Zhang J. Graph Cuts Stereo Matching Based on Patch-Match and Ground Control Points Constraint[A].Pacific Rim Conference on Multimedia[C]. Springer International Publishing, 2015: 14-23.
[12]Sun J, Li Y, Kang S B, et al. Symmetric Stereo Matching for Occlusion Handling[A]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]. 2005:399-406.
[13]Wang L, Yang R, Gong M, et al. Real-time stereo using approximated joint bilateral filtering and dynamic programming[J]. Journal of real-time image processing, 2014, 9(3): 447-461.
[14]Wang L, Liu Z, Zhang Z. Feature Based Stereo Matching Using Two-Step Expansion[J]. Mathematical Problems in Engineering, 2014,(2014-12-18).
[15]Papadakis N, Caselles V. Multi-label depth estimation for graph cuts stereo problems[J]. Journal of Mathematical Imaging and Vision, 2010, 38(1): 70-82.