基于雙目立體視覺的運(yùn)動(dòng)目標(biāo)探測(cè)

畢凌鋅　楊立娜

摘 要：文章以市內(nèi)道路場(chǎng)景下采集的圖像序列為研究對(duì)象，以雙目立體視覺中的立體匹配、三維重建、物體分割進(jìn)行了研究和分析，提出了基于邊緣索引的立體匹配算法和基于深度的物體分割算法，最后對(duì)算法進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該方法能有效地檢測(cè)出動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)。

關(guān)鍵詞：立體視覺；立體匹配；三維重建；物體分割

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）17-0014-02

Abstract： In this paper， the image sequences collected from the urban road scene are taken as the research object， and the stereo matching， 3D reconstruction and object segmentation in binocular stereo vision are studied and analyzed. A stereo matching algorithm based on edge index and an object segmentation algorithm based on depth are proposed. Finally， the algorithm is verified. The experimental results show that the method can effectively detect moving objects in dynamic background.

Keywords： stereo vision； stereo matching； 3D reconstruction； object segmentation

1 引言

先進(jìn)的汽車駕駛輔助系統(tǒng)[1，2]是智能交通系統(tǒng)不可或缺的一部分，其目的就是解決駕駛員駕駛車輛時(shí)潛在的交通安全問題，讓其更早的了解車輛前方的場(chǎng)景信息。而視覺是人類獲取信息的最有效手段，車輛駕駛過程中駕駛員最依賴的感覺便是視覺，因此基于視覺的障礙物探測(cè)技術(shù)已經(jīng)成為了先進(jìn)駕駛系統(tǒng)中獲取信息，并使駕駛員采取緊急措施的非常重要的手段。因此，在汽車駕駛輔助系統(tǒng)中實(shí)時(shí)通報(bào)駕駛員前方障礙物的準(zhǔn)確位置信息以及運(yùn)動(dòng)情況，并在即將發(fā)生危險(xiǎn)時(shí)及時(shí)提醒駕駛員采取規(guī)避措施是非常必要的。

2 雙目立體視覺原理

立體視覺是由兩幅或多幅圖像獲取物體三維幾何信息的方法[3，4]。雙目立體視覺的基本原理如圖1所示。其中，C1與C2是焦距、各內(nèi)部參數(shù)相同的兩個(gè)攝像機(jī)，它們的X軸相互重合，Y軸相互平行，光軸相互平行。

其中，攝像機(jī)內(nèi)部參數(shù)為ax、ay、u0、v0。u1、v1、u2、v2是以像素為單位的圖像坐標(biāo)，b為基線長(zhǎng)度，d=μ1-μ2稱為視差，其大小和P點(diǎn)的三維空間距離Z成反比。產(chǎn)生視差的原因是兩圖像采集的視角不同。由式（1）可知物體點(diǎn)的視差值與實(shí)際深度Z呈反比，當(dāng)實(shí)際深度增加時(shí)，視差值反而減小。

3 算法分析

3.1 基于邊緣索引的立體匹配方法

如圖2所示為某一道路場(chǎng)景的左、右圖像。立體匹配[5，6]的實(shí)現(xiàn)步驟如下：（1）用Sobel算子對(duì)左右圖像進(jìn)行邊緣檢測(cè)。（2）將左圖中每個(gè)邊緣點(diǎn)作為特征點(diǎn)，并在右圖中相應(yīng)極線上找匹配點(diǎn)。（3）指定一矩形區(qū)域給特征點(diǎn)和待匹配點(diǎn)。（4）計(jì)算矩形區(qū)域內(nèi)匹配點(diǎn)簇的標(biāo)準(zhǔn)交叉相關(guān)系數(shù)并以數(shù)組形式存儲(chǔ)。（5）求相關(guān)系數(shù)數(shù)組中的最大值，設(shè)定閾值，如果標(biāo)準(zhǔn)交叉相關(guān)系數(shù)大于預(yù)定義閾值，則該點(diǎn)即為左圖特征點(diǎn)在右圖中的匹配點(diǎn)，同時(shí)數(shù)組用二次插值來得到亞像素精度的視差估計(jì)。（6）對(duì)與最大相關(guān)系數(shù)鄰近的五個(gè)連續(xù)的相關(guān)系數(shù)，用多項(xiàng)式函數(shù)做最小二乘法擬合，函數(shù)極值點(diǎn)就是在左圖特征點(diǎn)的匹配點(diǎn)位置。圖3所示為立體匹配的視差圖。

3.2 障礙物探測(cè)中的三維重建

三維重建是一種從二維投影中恢復(fù)重建物體三維信息的計(jì)算機(jī)技術(shù)。[7]通過3.1節(jié)的立體匹配已經(jīng)可以將空間任意一點(diǎn)P在兩個(gè)攝像機(jī)C1和C2上的圖像點(diǎn)對(duì)P1，P2分別檢測(cè)出來，已知像素點(diǎn)視差值d=μ1-μ2，兩攝像機(jī)也已經(jīng)被標(biāo)定完成，焦距f和基線b即已知，P點(diǎn)的世界坐標(biāo)X，Y，Z即可根據(jù)公式（2）求出。

3.3 基于深度的物體分割

由于道路場(chǎng)景的復(fù)雜性，在不知道場(chǎng)景的情況下，利用單幅二維圖像的信息進(jìn)行物體分割幾乎是不可行的?？紤]到實(shí)際應(yīng)用中目標(biāo)分割應(yīng)該從水平和深度方向進(jìn)行，因此本文采用基于深度信息的物體分割。實(shí)現(xiàn)步驟如下：（1）將視差圖從（X，Y）平面轉(zhuǎn)化到（X，Z）平面，得到二值深度圖。（2）從像素點(diǎn)（1，1）開始檢測(cè)圖像中所有像素點(diǎn)，如果發(fā)現(xiàn)某個(gè)像素點(diǎn)的灰度值為255則根據(jù)8連通區(qū)域增長(zhǎng)法檢測(cè)與該點(diǎn)相鄰的四個(gè)點(diǎn)的像素值，根據(jù)相應(yīng)準(zhǔn)則進(jìn)行連通性判斷，并對(duì)該區(qū)域內(nèi)的像素點(diǎn)進(jìn)行標(biāo)注，將相應(yīng)區(qū)域像素點(diǎn)灰度值改為標(biāo)號(hào)。（3）統(tǒng)計(jì)標(biāo)號(hào)及各個(gè)區(qū)域中像素點(diǎn)的數(shù)目。（4）設(shè)定合理閾值，當(dāng)區(qū)域像素點(diǎn)數(shù)目小于閾值則將該區(qū)域內(nèi)像素點(diǎn)灰度置0。（5）對(duì)像素點(diǎn)數(shù)目大于閾值的連通區(qū)域距離坐標(biāo)求最小值，水平和豎直坐標(biāo)求最大最小值，Z值即為障礙物距車輛的距離，水平和豎直坐標(biāo)的最大最小值之差即為探測(cè)出障礙物的寬度和高度信息。（6）根據(jù)坐標(biāo)對(duì)應(yīng)關(guān)系還原到原圖，對(duì)探測(cè)的障礙物邊界畫矩形框。

如圖4所示為障礙物分割結(jié)果圖，中間圖像中的障礙物存在區(qū)域?qū)?yīng)于場(chǎng)景中的道路左側(cè)樹木、柱狀警告牌、道路邊緣凸起、車輛和道路中間的障礙物。

4 結(jié)束語

本文對(duì)立體視覺中的立體匹配、三維重建、物體分割進(jìn)行了研究和分析，提出了基于邊緣索引的立體匹配算法和基于深度的物體分析算法，并在Matlab開發(fā)環(huán)境下對(duì)道路場(chǎng)景下采集的圖像序列進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明雙目立體視覺對(duì)場(chǎng)景中的車輛障礙物的探測(cè)是實(shí)時(shí)有效的。

參考文獻(xiàn)：

[1]劉衛(wèi)平，黃富元.車輛安全輔助駕駛系統(tǒng)發(fā)展概述[J].汽車運(yùn)用，2005，

[2]李克強(qiáng)，王躍建.基于ITS技術(shù)的汽車駕駛安全輔助系統(tǒng)[J].汽車技術(shù)，2006，3（12）：32-35.

[3]游素亞，徐光 .立體視覺研究現(xiàn)狀與進(jìn)展[J].中國(guó)圖像圖形學(xué)報(bào)，1997，2（1）：17-24.

[4]馬頌德，張正友.計(jì)算機(jī)視覺[M].北京：科學(xué)出版社，1998.

[5]霍艷艷，黃影平.基于立體視覺和光流的障礙物探測(cè)方法[J].信息技術(shù)，2013（1）：125-127

[6]閔琪，黃影平.基于立體視覺與光流融合的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].光學(xué)技術(shù)，2016（1）：28-33

[7]DaubechiesI. The wavelet transform， time-frequency localization and signal analysis [J]. IEEE-IT， 1990，36（5）：961-1005.