基于韋伯感知和導(dǎo)引濾波分層聚合快速立體圖像匹配

劉天亮 戴修斌 朱秀昌 羅立民

①(江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室 南京 210003)

②(南京郵電大學(xué)通信與信息工程學(xué)院 南京 210003)

③(南京郵電大學(xué)地理與生物信息學(xué)院 南京 210003)

④(東南大學(xué)影像科學(xué)與技術(shù)實(shí)驗(yàn)室 南京 210096)

1 引言

雙目立體匹配是實(shí)現(xiàn)從2維圖像對3維視覺感知的基礎(chǔ)，在機(jī)器視覺、無人車自主導(dǎo)航、3維建模及3維視頻編碼等領(lǐng)域應(yīng)用廣泛。文獻(xiàn)[1]全面概述并分類總結(jié)了一些代表性的立體匹配技術(shù)及評價(jià)體系，并將其分為局部匹配和全局匹配兩大類。局部方法通常容易實(shí)現(xiàn)、效率較高，但也存在兼顧魯棒性和計(jì)算效率、利用局部特征和代價(jià)聚合消除匹配歧義等問題[2-11]。利用截?cái)嚅撝礫1]和特征描述[2]初始化匹配代價(jià)，適度改善匹配性能。DAISY描述顯著特征較魯棒[2]。文獻(xiàn)[12]利用韋伯準(zhǔn)則構(gòu)造魯棒光照局部描述。穩(wěn)健高效的代價(jià)聚合有利于局部匹配。傳統(tǒng)自適應(yīng)權(quán)重[3]及帶分割變種[4]，需要稠密計(jì)算或圖像預(yù)分割，匹配效果雖然較好，但由于算法復(fù)雜度和內(nèi)存容量的限制[13]，速度較慢，難處理大視差搜索范圍、高分辨率圖像對。文獻(xiàn)[5]利用導(dǎo)引濾波[6]快速增強(qiáng)匹配代價(jià)；而文獻(xiàn)[13]回顧了代價(jià)聚合中減少計(jì)算冗余方法。傳統(tǒng)的雙邊濾波基于四鄰域搜索去除視差噪聲、保存邊緣[7]；但該方法改善效果欠佳。兼顧實(shí)時(shí)性，可以犧牲精度[8]來實(shí)現(xiàn)高效匹配；也可借助硬件(圖形加速硬件[9]或嵌入式系統(tǒng)[10])實(shí)現(xiàn)。

設(shè)基準(zhǔn)圖像Ib和待匹配圖像Im是極線校正彩色圖像對；視差范圍Rd=[dmin,dmax]，其總個(gè)數(shù)Nd為dmax-dmin+1。受上述研究啟發(fā)，提出一種新穎的基于導(dǎo)引濾波分層代價(jià)聚合快速立體圖像匹配方法。

2 初始匹配

2.1 基于韋伯感知初始化匹配代價(jià)

根據(jù)韋伯定律[12]，將鄰域亮度變化v00與當(dāng)前像素x的亮度v01之間的比值，視為差分激勵(lì)ξ(x)。

“得益于中國銀行云南省分行的精心安排和組織，讓我們收獲頗豐?！眳⒓油晔讓弥袊鴩H進(jìn)口博覽會(huì)展商客商供需對接會(huì)，云南某科技有限公司負(fù)責(zé)人感慨地說。在這次對接會(huì)上，多家客商在中國銀行云南省分行（下稱云南中行）對接會(huì)現(xiàn)場工作人員的精心安排下，與多家展商進(jìn)行了供需洽談，并簽署了總計(jì)超15億元的意向合作協(xié)議。

其arctan(x)防止輸入較大(較小)輸出響應(yīng)增加(減少)過快，α調(diào)整鄰域間差分響應(yīng)。xi為八鄰域亮度。

隨著企業(yè)的發(fā)展，牧星也在不斷尋求品牌知名度和美譽(yù)度的提升。在做好產(chǎn)品的同時(shí)，搭建好品牌和口碑體系?！按蠹移毡檎J(rèn)為做技術(shù)的‘工科男’是不善于表達(dá)自己的，我們在未來的努力就是要扭轉(zhuǎn)這樣的印象，讓牧星這一品牌在市場上更加響亮。之前我們是‘酒香不怕巷子深’，現(xiàn)在則不同，我們不光要有酒香，還要讓更多的人了解我們?！?/p>

其中Ib,Ij和μk為圖像Ib中像素pb和pj及局部矩形窗wk內(nèi)的色彩3×1均值向量；協(xié)方差矩陣∑k和單位矩陣U都是3×3矩陣。參數(shù)ε控制權(quán)重平均的加權(quán)力度。權(quán)重濾波響應(yīng)能保持彩色導(dǎo)引圖像邊緣。其次，逐像素遍歷整個(gè)視差搜索空間Rd，將導(dǎo)引濾波穩(wěn)健增強(qiáng)后的匹配代價(jià)按大到小順序依次排列。然后，選取匹配代價(jià)最小的Dc(Dc<

合適選擇TWLD和TRGB約束差異測度可剔除宿外點(diǎn)。為了降低光照變化[12]影響，平衡因子β取值接近1。

2.2分層代價(jià)聚合和快速視差選擇

2.2.1 基于導(dǎo)引濾波提取視差候選為避免重復(fù)遍歷所有視差假設(shè)[13]，從較大視差范圍Rd提取Dc(Dc<

其中(xl,yl)為初始視差Db,bf的坐標(biāo)。不滿足該約束，則剔除該不可靠視差。接著，將同一掃描極線上距離最接近的可靠視差分配填充給當(dāng)前的不可靠視差像素點(diǎn)。然后，利用水平極線約束和左右2個(gè)視差圖的潛在冗余，組合另一個(gè)視圖基于逆向映射產(chǎn)生當(dāng)前視圖下的視差值，消除窄遮擋的歧義。最后，采用3×3中值濾波平滑當(dāng)前視圖，得到最終視差圖。

2.2.3 利用候選子集快速選擇視差采用優(yōu)勝者全選法，逐像素利用視差候選子集Sd加速兩個(gè)視圖選擇初始視差。以基準(zhǔn)圖像Ib為例，初始匹配視差選擇：

其中Cgf(u,v,d)表示濾波后匹配代價(jià)，pb和pj分別表示當(dāng)前像素和匹配窗wk的鄰域像素。權(quán)重化平均的濾波權(quán)重Wb,j(pb,pj)取決于彩色導(dǎo)引圖像Ib[6,9]為

從總體上看，成都文物類型較為齊全，各類文物均有分布.古建筑及歷史建筑物主要集中于成都、南充、甘孜、綿陽、阿壩和宜賓等地；古墓葬以成都和宜賓為多；古遺址多分布于成都、德陽、瀘州、雅安、阿壩和甘孜等地；石窟寺及石刻以眉山、資陽、成都、廣元和巴中較為集中；近現(xiàn)代重要史跡及代表性性建筑以成都、自貢分布較多；革命遺址及革命紀(jì)念建筑物總量不大，集中分布于成都、南充、甘孜和巴中四地.這一特征反映了不同地區(qū)歷史、文化的演進(jìn)軌跡和文物保存狀況存在差異.

然后，圖像Ib中某一像素pb(坐標(biāo)為(u,v))和待匹配圖像Im中極線上關(guān)于視差d的像素qm,d(坐標(biāo)為(u-d,v))的相關(guān)程度，利用pb,qm,d兩個(gè)像素的WLD描述和RGB色彩之間絕對值差異關(guān)于各自閾值TWLD和TRGB來線性表達(dá)。則初始匹配代價(jià)C(u,v,d)為

2.2.2 空間離散采樣聯(lián)合式代價(jià)聚合為減少計(jì)算冗余，提出基于結(jié)構(gòu)化空間離散周圍對稱聚合采樣改進(jìn)自適應(yīng)權(quán)重匹配窗，作為匹配代價(jià)高效分級聚合的有效支撐。代價(jià)聚合結(jié)構(gòu)是一組基于極坐標(biāo)依賴當(dāng)前參考像素周圍對稱空間離散采樣點(diǎn)構(gòu)成的結(jié)構(gòu)化支撐模板(如圖1所示)。分層聯(lián)合式代價(jià)聚合為

其中pl(l=l,2,…,L)表示該支撐模板中第s個(gè)同心圓環(huán)上第t個(gè)代價(jià)累積采樣點(diǎn)，t=l,2,…,8,s=l,2,3。代價(jià)分層聚合中當(dāng)前層所對應(yīng)的視差值d來自上一層提取的視差候選集Sd。權(quán)重wb,l(pb,pl)表示pb和pl關(guān)于 RGB色彩差異 ΔCpb p l和幾何距離 ΔGpb p l的自適應(yīng)權(quán)重[3]，γc和γq為相應(yīng)權(quán)重系數(shù)。

聯(lián)合式代價(jià)聚合中，忽略歸一化求和自適應(yīng)權(quán)重本身；僅保留聚合前匹配代價(jià)內(nèi)積相應(yīng)權(quán)重。僅保留內(nèi)積操作的改進(jìn)不會(huì)影響匹配代價(jià)聚合的精度[13]，且基于空間采樣有利于匹配代價(jià)快速聚合。

圖1 空間離散采樣結(jié)構(gòu)化支撐模板

我停下我的腳步，轉(zhuǎn)身，逃離父親，朝著工地奔跑。父親感覺到了，他尖厲的聲音再次傳來：小賤！呼聲過后，是他的腳步聲，一下輕一下重，那是瘸腿人特有的腳步聲。我沒有回頭。我知道，此刻的他，就像一張被拉開的弓，也像一架運(yùn)動(dòng)中的犁。他手里那截木頭，那截木頭，像一柄劍，刺向我身后的天空。

推薦理由:一本別具特色的原創(chuàng)手印畫繪本。圖畫簡單、生動(dòng)，文字基于耳熟能詳?shù)膬焊鑴?chuàng)作，朗朗上口，利于適齡兒童對傳統(tǒng)歌謠和顏色、季節(jié)的記誦、認(rèn)知。

3 視差求精

3.1 改進(jìn)型視差雙邊濾波

第二，關(guān)于中外合作辦學(xué)的論文，主要有：李玉保、謝麗惠的《中外合作辦學(xué)模式：實(shí)踐反思與路徑選擇》；齊曉丹、張曉波的《中外合作辦學(xué)機(jī)構(gòu)辦學(xué)模式及發(fā)展路徑研究》。

圖2 “*”字型濾波窗口

其中Cbf(u,v,d)反映鄰域視差波動(dòng)幅度，常數(shù)λd控制去除宿外點(diǎn)；W(u,v)是基于色彩和空間相似類似式(7)的自適應(yīng)權(quán)重[3]。權(quán)重化濾波也僅保留內(nèi)積操作，省去不必要的求和歸一化操作[13]。改進(jìn)雙邊濾波能保留視差圖像的邊緣細(xì)節(jié)，并有效剔除視差局外點(diǎn)。

3.2利用對稱映射后處理視差

首先，利用含不可靠閾值Tocc的左右對稱一致性約束檢測不可靠歧義區(qū)域(比如誤匹配及遮擋等)：

首先，初始匹配代價(jià)C(u,v,d)中關(guān)于視差值d的Nd個(gè)切片，基于以當(dāng)前像素為中心小尺度r×r匹配窗wk局部色彩信息導(dǎo)引濾波抑制噪聲[6]。逐個(gè)像素pb=(u,v)穩(wěn)健增強(qiáng)匹配代價(jià)為

色彩不連續(xù)伴隨深度不連續(xù)?；谒泥徲螂p邊濾波有助于視差不連續(xù)保持[7]；但“*”字型濾波窗口空間覆蓋濾波范圍更大。利用八方向鄰域(見圖2)，提出改進(jìn)型雙邊濾波改善視差質(zhì)量。設(shè)濾波半徑為Wbf，以當(dāng)前像素p=(x,y)為中心濾波窗的八鄰域視差值集合為dp。設(shè)up,vp,和是“*”字型濾波窗口各方向路徑：水平up=[x-Wbf,…,x+Wbf]，垂直是45°和225°路徑；是135°和315°路徑。則順序更新視差：

4 實(shí)驗(yàn)結(jié)果與性能分析

本文方法保持相同參數(shù)設(shè)置測試Middlebury網(wǎng)站[14]上4組標(biāo)準(zhǔn)立體圖像對Tsukuba,Venus,Teddy 和Cones驗(yàn)證匹配性能。表1為與該網(wǎng)站上部分結(jié)果比較(2011年9月20日)并基于錯(cuò)誤匹配率的評價(jià)表(誤匹配閾值為1)。,RD和RA分別為非遮擋區(qū)域、接近深度不連續(xù)區(qū)域及未知像素除外總的錯(cuò)誤百分比PBP(Percent of Bad Pixels)；各列整體平均AvgPBP。復(fù)雜度低、速度快的本方法，稍微遜色于復(fù)雜度高的文獻(xiàn)[3,4]等方法。整體匹配效果看，本方法的AvgPBP為8.11(非常接近并僅次文獻(xiàn)[4]算法的8.07)。本方法稍微好于文獻(xiàn)[9]算法；同時(shí)，明顯優(yōu)于來自文獻(xiàn)[8]，文獻(xiàn)[11]和文獻(xiàn)[7]等算法。

首先，提取立體圖像中各像素xp的各色彩通道分量c的差分激勵(lì)ξc(xp)。ξ(xp)∈[-π/ 2,π/2]。c∈｛ R,G,B｝。接著，連接RGB色彩三色通道差分激勵(lì)ξc(xp)，形成整體局部特征描述向量WLD(xp)。

圖3直觀呈現(xiàn)本文方法匹配上述4 組測試圖像的相關(guān)結(jié)果。其中第1、第2 行分別是各組立體對中的基準(zhǔn)圖像及其標(biāo)準(zhǔn)視差；第3、第4行分別給出相應(yīng)的初始視差和最終視差；而第5行是最終視差與其標(biāo)準(zhǔn)視差之間的差異(誤差閾值>1)?？梢?，初始匹配能得到較可靠的初始視差；視差求精能有效改善歧義區(qū)域。圖4給出本文方法處理Middlebury網(wǎng)站[14]提供的一組不同光照下真實(shí)蘆薈立體圖像的視差結(jié)果；自左向右各列代表各組不同光照條件；第1和第2行分別表示相應(yīng)的基準(zhǔn)Ib和待匹配Im，而第3行為相應(yīng)的各基準(zhǔn)圖像視差結(jié)果。可見，即使光照條件發(fā)生較大變化，本文算法匹配性能幾乎不受光照條件影響。

雖然上面的結(jié)果看起來可能是矛盾的，這里有幾種可能的解釋。首先，農(nóng)民一般不愿意與陌生人(例如研究人員)談?wù)撳X的問題，其中可能隱藏著一些有關(guān)金錢的影響。第二，滿意度可能會(huì)被定性為一種無形資產(chǎn)的影響，因此，它不一定與更高的銷售額或收入有關(guān)。第三，超市供應(yīng)鏈中相對較高的價(jià)格可能與滿足特定要求的高成本相關(guān)。盡管定量的結(jié)果及其盡可能的解釋，定性信息表明，在超市供應(yīng)鏈內(nèi)的農(nóng)民生活條件比即時(shí)交易市場中的同行要好得多。即使在本研究中面臨著測量影響的局限性，但得承認(rèn)由于缺乏確鑿的結(jié)論，引發(fā)了關(guān)于超市興起及其對農(nóng)民生計(jì)的積極影響的潛在市場機(jī)會(huì)的問題。

表2給出了未做代碼優(yōu)化和并行加速處理下本文方法與其他算法測試4組立體對的執(zhí)行時(shí)間。與文獻(xiàn)[3]方法相比，本文方法運(yùn)行時(shí)間降低了近一個(gè)數(shù)量級；其整體計(jì)算復(fù)雜度不高，適合匹配較高分辨率立體圖像對。結(jié)合圖3，圖4定性顯示和表1，表2定量評估的綜合評價(jià)及其執(zhí)行時(shí)間，驗(yàn)證了本文方法在平衡精度和效率及真實(shí)光照變化上的優(yōu)越性。

5 結(jié)束語

為了快速消除立體匹配歧義，本文提出一種基于韋伯描述符和導(dǎo)引濾波由粗到細(xì)分層代價(jià)聚合的快速局部立體圖像匹配方法。實(shí)驗(yàn)表明，本文方法能獲得高質(zhì)量的稠密視差；復(fù)雜度低，匹配速度快；光照魯棒性好。面向高分辨率多視點(diǎn)/立體視頻編碼等新媒體應(yīng)用，計(jì)劃研究更高質(zhì)量實(shí)時(shí)立體匹配。

表2 不同算法的執(zhí)行時(shí)間(s)

表1 Middlebury網(wǎng)站標(biāo)準(zhǔn)測試對的評估結(jié)果

圖3 立體圖像對‘Tsukuba’,‘Venus’,‘Teddy’ 和‘Cones’的稠密視差結(jié)果

圖4 不同光照條件下蘆薈立體圖像對的稠密視差

[1]Scharstein D and Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002,47(1/2/3):7-42.

[2]Tola E,Lepetit V,and Fua P.DAISY: an efficient dense descriptor applied to wide-baseline stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5): 815-830.

[3]Yoon K J and Kweon I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[4]Liu T L,Zhang P Z,and Luo L M.Dense stereo correspondence with contrast context histogram,segmentation-based two-pass aggregation and occlusion handling[C].Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology,Tokyo,2009: 449-461.

[5]Rhemann C,Hosni A,Bleyer M,et al..Fast cost-volume filtering for visual correspondence and beyond[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,2011:3017-3024.

[6]He K M,Sun J,and Tang X O.Guided image filtering[C].Proceedings of 11th European Conference on Computer Vision,Crete,Greece,2010: 1-14.

[7]Yang Q X,Wang L,and Ahuja N.A constant-space belief propagation algorithm for stereo matching[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,2010: 1458-1465.

[8]Gupta R K and Cho S Y.A correlation-based approach for real-time stereo matching[C].Proceedings of 6th International Symposium on Visual Computing,Las Vegas,USA,2010: 129-138.

[9]Yu W,Chen T,Franchetti F,et al..High performance stereo vision designed for massively data parallel platforms[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(11): 1509-1519.

[10]丁菁汀,杜歆,周文暉,等.基于FPGA 的立體視覺匹配的高性能實(shí)現(xiàn)[J].電子與信息學(xué)報(bào),2011,33(3): 597-603.Ding J T,Du X,Zhou W H,et al..High performance implementation of stereo vision matching based on FPGA[J].Journal of Electronics＆Information Technology,2011,33(3): 597-603.

[11]Nalpantidis L and Gasteratos A.Stereo vision for robotic applications in the presence of non-ideal lighting conditions[J].Image and Vision Computing,2010,28(6): 940-951.

[12]Chen J,Shan S G,He C,et al..WLD: a robust local descriptor[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9): 1705-1720.

[13]Min D B,Lu J B,and Do M N.A revisit to cost aggregation in stereo matching: how far can we reduce its computational redundancy?[C].Proceedings of 13th International Conference on Computer Vision,Barcelona,Spain,2011: 1567-1574.

[14]Scharstein D and Szeliski R.Middlebury Stereo EvaluationVersion 2.http://vision.middlebury.edu/stereo/ eval,2011.