基于指導(dǎo)濾波立體匹配算法的測(cè)距系統(tǒng)

徐 楊，占云龍，劉 昭，趙魯陽

（中國科學(xué)院 上海微系統(tǒng)與信息技術(shù)研究所 無線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室 上海200050）

基于指導(dǎo)濾波立體匹配算法的測(cè)距系統(tǒng)

徐 楊，占云龍，劉 昭，趙魯陽

（中國科學(xué)院 上海微系統(tǒng)與信息技術(shù)研究所 無線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室 上海200050）

基于SAD立體匹配算法的傳統(tǒng)測(cè)距系統(tǒng)存在精度低、對(duì)光照敏感的缺點(diǎn)，為了克服以上缺點(diǎn)，我們實(shí)現(xiàn)了基于指導(dǎo)濾波立體匹配算法的雙目立體視覺測(cè)距系統(tǒng)。本系統(tǒng)首先實(shí)現(xiàn)了攝像機(jī)的標(biāo)定，其次使用目前在 Middlebury Stereo benchmark Version2上排名第一的指導(dǎo)濾波立體匹配（Image-guided Stereo Matching）算法完成了立體匹配，最后通過計(jì)算得到的深度圖完成了測(cè)距功能。實(shí)驗(yàn)表明，該測(cè)距系統(tǒng)比傳統(tǒng)的基于SAD的測(cè)距系統(tǒng)具有更高的精度和更強(qiáng)的魯棒性。

測(cè)距；立體視覺；指導(dǎo)濾波；立體匹配

目前在機(jī)器人自主導(dǎo)航方面，立體視覺的應(yīng)用前景廣闊。相比于造價(jià)昂貴的激光雷達(dá)，立體視覺的硬件成本僅為其五分之一左右；而相比于超聲波測(cè)距，立體視覺又有著較遠(yuǎn)的測(cè)距距離。得益于高精度的立體匹配算法和的不斷提升的硬件運(yùn)算速度，目前立體視覺已經(jīng)能在測(cè)量精度和實(shí)時(shí)性上滿足了特定場景下的需要，如在無人機(jī)障礙物躲避上已經(jīng)出現(xiàn)較為成熟的商業(yè)化產(chǎn)品[1]。

雙目立體視覺測(cè)距通過雙目攝像機(jī)同時(shí)拍攝的左右圖像對(duì)進(jìn)行立體匹配，根據(jù)立體匹配得出的視差圖算出目標(biāo)物體的距離[2]。立體匹配在整個(gè)測(cè)距系統(tǒng)中起著至關(guān)重要的作用，傳統(tǒng)的立體匹配算法如SAD雖然便于實(shí)時(shí)實(shí)現(xiàn)，但存在著視差圖精度低，易受光線影響等缺點(diǎn)，導(dǎo)致其并不能很好的滿足實(shí)際的測(cè)距需求。文中的立體匹配算法采用了最近提出的IGSM[3]算法保證了最終測(cè)距的高精度和對(duì)光照的魯棒性。

1 雙目立體視覺測(cè)距原理

文獻(xiàn)[4]的提出雙目橫向平行對(duì)準(zhǔn)模式，即兩個(gè)攝像機(jī)成像平面處于同一平面并與光軸垂直，兩攝像機(jī)焦距相等，如圖1所示。

其中，P為空間中的一點(diǎn)，OR，OT分別為左右攝像機(jī)的焦點(diǎn)，xR，xT分別為P點(diǎn)投影在左右攝像機(jī)成像平面的P1，P2點(diǎn)的水平距離。

根據(jù)視差原理模型[5-7]結(jié)合相似三角形原理推導(dǎo)

圖1 平行雙目視覺模型

可知：

其中b為基線距離，f為焦距，d為視差值，Z為攝像機(jī)坐標(biāo)系下的距離，注意f以像素為單位。

2 攝像機(jī)的標(biāo)定

標(biāo)定采用zhang[8]基于棋盤格的相機(jī)標(biāo)定方法，標(biāo)定模板是角點(diǎn)數(shù)為的棋盤，棋盤格大小為16cm×16cm。為了取得比較好的相機(jī)標(biāo)定效果，一般采集10～20組圖片，為此我們采集了16組大小為384×512的圖片并使用Opencv[9]進(jìn)行標(biāo)定,標(biāo)定過程如圖2至圖3所示。

圖2 待標(biāo)定的圖像

圖3 標(biāo)定后的圖片

標(biāo)定的參數(shù)結(jié)果如下：

其中Ml和Mr是左右相機(jī)的內(nèi)參數(shù)，R是左右相機(jī)的旋轉(zhuǎn)矩陣，T是左右相機(jī)的平移矩陣，Dl和DR是左右相機(jī)的畸變參數(shù)。

3 立體匹配算法

D.Scharstein[10]等人將現(xiàn)有的立體匹配算法詳細(xì)比較后，將這一類的算法總結(jié)歸納為五大步驟：預(yù)處理、匹配代價(jià)計(jì)算、匹配代價(jià)聚合、視差計(jì)算、視差細(xì)化。其中每一個(gè)步驟中均可以采用不同的方法實(shí)現(xiàn)。

指導(dǎo)濾波立體匹配（IGSM）算法[3]屬于立體匹配中局部方法的一種，相較于傳統(tǒng)的立體匹配算法，有著較高的精度和較強(qiáng)的魯棒性，能在多種場景下得到精確的視差圖，現(xiàn)將其流程圖介紹如下：

圖4 指導(dǎo)濾波算法流程圖

在IGSM算法中，預(yù)處理步驟采用最近提出的指導(dǎo)濾波算法[11]，指導(dǎo)濾波算法可以平滑原圖像中同質(zhì)性區(qū)域和噪聲點(diǎn)，從而使得到的視差圖有更好的連續(xù)性，更重要的是指導(dǎo)濾波能夠有效的保持原圖像的強(qiáng)邊界，從而消除由于濾波帶來的視差圖中物體邊緣模糊的不利影響；

在匹配代價(jià)函數(shù)的構(gòu)造上，IGSM算法結(jié)合指導(dǎo)濾波[11]后的圖像梯度信息和AD-Census[12]，使其包括更豐富的梯度信息，并保留了AD-Census對(duì)光照有較強(qiáng)魯棒性的優(yōu)點(diǎn)，具體公式如下：

其中的α、β、ξ、ε均為歸一化的比例系數(shù)，取值從0到1。公式（10）表示截?cái)嗪瘮?shù)，對(duì)應(yīng)到公式（9）共有4個(gè)不同的參數(shù)取值，具體的參數(shù)含義請(qǐng)參考文獻(xiàn)[3]。

匹配代價(jià)聚合使用指數(shù)步驟[13]，兼顧了運(yùn)算效果和運(yùn)算速度；

視差計(jì)算上直接采取贏者通吃的策略（Winner Take All），簡單的取極小值即可,如公式（11）所示:

最后的視差細(xì)化采用對(duì)異常視差點(diǎn)分類，有針對(duì)性的對(duì)異常點(diǎn)的視差值進(jìn)行恢復(fù),明顯的提升了視差圖的精度。

在實(shí)驗(yàn)中該算法使用的參數(shù)列表如表1。

表1 參數(shù)數(shù)值

在不同的場景下，可以適當(dāng)?shù)男薷纳鲜鰠?shù)。例如，在光照變化強(qiáng)烈的場景下可以適當(dāng)增加β的數(shù)值，提高Census變換在匹配代價(jià)函數(shù)中的比重。

IGSM算法在Middlebury測(cè)試平臺(tái)[14]和KITTI[15]測(cè)試平臺(tái)均取得了較高的精度，具體結(jié)果請(qǐng)參考文獻(xiàn)[3]。其中Middlebury測(cè)試集主要為室內(nèi)場景，而KITTI測(cè)試集主要為真實(shí)街景，IGSM算法在兩種測(cè)試集上均取得了較好的結(jié)果，證明該算法可以適應(yīng)不同場景需求，具有較強(qiáng)的魯棒性。

4 實(shí)驗(yàn)結(jié)果與分析

本系統(tǒng)首先對(duì)攝像頭進(jìn)行標(biāo)定，得到攝像頭的內(nèi)外參數(shù)。該標(biāo)定只進(jìn)行一次可認(rèn)為是離線初始化。通過得到的參數(shù)對(duì)攝像頭采集的左右圖像對(duì)進(jìn)行立體矯正得到校正后的圖像對(duì)，校正后的圖像對(duì)經(jīng)過IGSM算法進(jìn)行立體匹配即得到了視差圖，最后的視差圖通過公式（2）簡單計(jì)算即得到深度圖，即完成了整個(gè)測(cè)距過程。具體的流程圖如圖5。

圖5 測(cè)距系統(tǒng)流程圖

4.1 測(cè)距實(shí)驗(yàn)結(jié)果

測(cè)距實(shí)驗(yàn)使用的攝像機(jī)為 Grey Point的bumblebee2-xb3相機(jī)，軟件平臺(tái)為 Visual Studio 2010和matlab 2010b。

通過左右攝像頭采集實(shí)驗(yàn)圖像如圖6所示。

圖6 左右攝像頭采集的圖像對(duì)

根據(jù)標(biāo)定參數(shù)對(duì)實(shí)驗(yàn)圖像進(jìn)行立體矯正，結(jié)果如圖7所示。

圖7 立體矯正后的圖像對(duì)

采用IGSM算法對(duì)矯正后的圖像進(jìn)行立體匹配，得到的視差圖如圖8所示，對(duì)視差圖進(jìn)行三角變換得到的深度圖如圖9所示。

圖8 視差圖

圖9 深度圖

其中深度圖中的像素點(diǎn)的值即表示該點(diǎn)到攝像機(jī)的距離，實(shí)驗(yàn)中視差的最大值dmax為110，基線距離b為24 cm，焦距f為389.8。

4.2 測(cè)距魯棒性和精度比較

Grey Point相機(jī)自帶的軟件平臺(tái)Triclops SDK能夠?qū)崟r(shí)輸出深度圖的結(jié)果，其采用的立體匹配算法為SAD。

圖10 Triclops實(shí)時(shí)輸出的深度圖

從上圖可以看出，Triclops實(shí)時(shí)輸出的深度圖在很多情況下都會(huì)出現(xiàn)大面積的空白區(qū)域，即無法進(jìn)行正確匹配出視差值。原因在于SAD算法易受光照影響，而IGSM相比較而言就受光照影響較小，表現(xiàn)出了更強(qiáng)的魯棒性。

為了比較本系統(tǒng)和SAD測(cè)距系統(tǒng)的測(cè)量精度，采用激光測(cè)距儀的測(cè)量值作為實(shí)測(cè)距離，選取10個(gè)可靠的深度值點(diǎn)來比較兩種系統(tǒng)的測(cè)距精度。

從上表中可以明顯地看出IGSM算法測(cè)距精度要高于SAD算法的精度。

4.3 測(cè)距系統(tǒng)的耗時(shí)分析

在整個(gè)測(cè)距系統(tǒng)中，標(biāo)定是離線一次性完成，立體矯正耗時(shí)是毫秒級(jí)別，計(jì)算量主要集中在立體匹配IGSM上，為了衡量了IGSM算法的計(jì)算效率，分別在matlab平臺(tái)和Visual Studio平臺(tái)下實(shí)現(xiàn)。在383×484大小的圖片，最大視差值為20情況下，VS版本的算法運(yùn)行時(shí)間是10.8秒，而maltab下運(yùn)行時(shí)間為132.3秒。VS版本計(jì)算速度比matlab快10倍。實(shí)現(xiàn)的硬件為Intel Core 2 Duo E8400，主頻3GHz，內(nèi)存3GB的臺(tái)式機(jī)。

5 結(jié) 論

文中對(duì)雙目立體視覺測(cè)距系統(tǒng)進(jìn)行了理論研究與實(shí)驗(yàn)驗(yàn)證，證明了該測(cè)距系統(tǒng)的可靠性和高精度。

表2 測(cè)距實(shí)驗(yàn)結(jié)果表

指導(dǎo)濾波立體匹配算法具有較強(qiáng)的魯棒性和較高的精度，能夠在多種場景下獲得較高精度的視差圖，這保證了后續(xù)測(cè)距的可靠性和高精度。

盡管IGSM算法優(yōu)勢(shì)明顯，但其相比較SAD算法而言，計(jì)算更為復(fù)雜，目前還不能獲得實(shí)時(shí)性的測(cè)距，但通過比對(duì)已經(jīng)能在GPU上能夠?qū)崟r(shí)實(shí)現(xiàn)的AD-Census[12]算法，IGSM的算法復(fù)雜度相對(duì)更低，如果采用GPU并行加速的話，IGSM算法也是可以達(dá)到實(shí)時(shí)性的計(jì)算效果。此外我們發(fā)現(xiàn)匹配代價(jià)函數(shù)中的比例系數(shù)需要結(jié)合不同的場景下微調(diào)才能取得較好的結(jié)果。因此，GPU并行化和比例系數(shù)的尋優(yōu)工作將是后續(xù)的研究方向。

[1]Zhou G，F(xiàn)ang N L，Tang N K，et al.Guidance:A visual sensing platform for robotic applications[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）.IEEE Computer Society，2015:9-14.

[2]章毓晉.圖像工程.下冊(cè)，圖像理解 [M].清華大學(xué)出版社，2012.

[3]Zhan Y，Gu Y，Huang K，et al.Accurate Imageguided Stereo Matching with Efficient MatchingCost and Disparity Refinement[J].IEEE Transactions on Circuits&Systems for Video Technology，2015:1-1.

[4]劉盼，王金海.基于平行雙目立體視覺的測(cè)距系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2012，32（S2）:162-164.

[5]王琳，趙健康，夏軒，等.基于雙目立體視覺技術(shù)的橋梁裂縫測(cè)量系統(tǒng) [J].計(jì)算機(jī)應(yīng)用，2015，35（3）:901-904.

[6]Hartley R，Zisserman A.Multiple view geometry in computer vision[M].Cambridge university press，2003.

[7]遲健男.視覺測(cè)量技術(shù) [M].機(jī)械工業(yè)出版社，2011.

[8]Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（11）:1330-1334.

[9]張靜．OpenCV2計(jì)算機(jī)視覺編程手冊(cè) ［M］．北京:科學(xué)出版社，2007．

[10]Scharstein D， SzeliskiR.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]//Stereo and Multi-Baseline Vision，2001.（SMBV 2001）.Proceedings.IEEE Workshop on.IEEE，2001:131-140.

[11]Kaiming H，Jian S，Xiaoou T.Guided image filtering[J].IEEE Transactions on Pattern Analysis &Machine Intelligence，2013，35（6）:1397-1409.

[12]Mei X，Sun X，Zhou M，et al.On building an accurate stereo matching system on graphics hardware[C]//Computer Vision Workshops（ICCV Workshops），2011 IEEE International Conference on. IEEE，2011:467-474.

[13]Yu W,Chen T,Hoe J C.Real Time Stereo Vision Using Exponential Step Cost Aggregation On GPU [C]//2009 16th IEEE International Conference on.Image Processing（ICIP），2009:4281-4284.

[14]Scharstein D， SzeliskiR.Middlebury stereo evaluation.2010.[EB/OL].http://vision.middlebury. edu/stereo/eval/.

[15]Geiger A，Lenz P，Urtasun R.Are we ready for autonomous driving the kitti vision benchmark suite.in Proc.IEEE Conf.CVPR 2012.IEEE,June 2012，pp.3354-3361.[EB/OL].http://www.cvlibs. net/datasets/kitti/.

Distance measurement system based on image-guided Stereo Matching algorithm

XU Yang，ZHAN Yun-long，LIU Zhao，ZHAO Lu-yang
（Key Laboratory of Wireless Sensor Network&Communication,Shanghai Institute of Microsystem and Information Technology，CAS，Shanghai 200050，China）

Traditional distance measurement system based on SAD stereo matching algorithm has low precision and is sensitive to light.To overcome those shortcomings,parallel binocular stereo vision distance measurement system based on Image-guided Stereo Matching algorithm was built.Calibration were accomplished at first.The stereo matching was accomplished by using Image-guided Stereo Matching （IGSM）algorithm which ranks 1st on Middlebury Stereo benchmark Version2.Distance measurement was completed by obtaining depth map at last.The experiment show the higher accuracy and stronger robustness of the method compared to the traditional distance measurement system based on SAD algorithm.

distance measurement；stereo vision；image-guided；stereo matching

TN919.82

：A

：1674－6236（2017）01-0031-05

2016-12-25稿件編號(hào)：201512258

徐 楊（1990—），男，河南信陽人，碩士研究生。研究方向：立體匹配、三維重建。