基于立體視覺(jué)與紋理特征相結(jié)合的障礙物探測(cè)

趙申

摘 要：針對(duì)智能汽車(chē)行駛過(guò)程中障礙物檢測(cè)問(wèn)題，提出一種使用雙目立體視覺(jué)的距離信息與障礙物紋理信息相結(jié)合的障礙物檢測(cè)方法。首先，將雙目相機(jī)的左圖和右圖校正后進(jìn)行匹配得到視差圖，根據(jù)相機(jī)內(nèi)部參數(shù)和外部參數(shù)將視差圖投影為具有距離信息的鳥(niǎo)瞰圖，去除地面及高空背景目標(biāo)，在鳥(niǎo)瞰圖上將相近的點(diǎn)云聚類(lèi)為一個(gè)目標(biāo)，得到障礙物的粗略位置信息；然后，將得到的位置信息映射到原圖，并形成多個(gè)候選區(qū)域，在候選區(qū)域查找障礙物邊緣信息，得到障礙物具體位置。該算法結(jié)合了物體距離的三維信息和物體形狀的二維信息，使障礙物的分割結(jié)果更加精準(zhǔn)。針對(duì)典型交通場(chǎng)景進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，該算法能夠有效彌補(bǔ)單獨(dú)使用距離信息或者紋理信息帶來(lái)的障礙物分割不準(zhǔn)確的問(wèn)題。

關(guān)鍵詞：圖像處理；目標(biāo)檢測(cè)；立體視覺(jué)；邊緣檢測(cè)

DOI：10.11907/rjdk.172827

中圖分類(lèi)號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）005-0117-04

Abstract：To aim at detecting obstacles in the process of intelligent vehicle driving， a method based on the distance information and the obstacle texture information is proposed. First， the left camera and right camera are corrected to obtain a parallaximage， and the parallaximage is projected into a birds-eye view with distance information according to the cameras internal and external parameters. In the birds eye view， the target information is mapped to the original image so that a plurality of candidate regions are formed， and the edge information of the obstacle is searched in the candidate region to obtain the specific position of the obstacle. The algorithm proposed in this paper combines the three-dimensional information of the object distance and the two-dimensional information of the object shape， therefore the segmentation result of the obstacle is more accurate. The experiment is carried out for the typical traffic scene. The result shows that the algorithm can effectively improve the segmentation inaccuracy caused by the application of distance information or texture information.

Key Words：image processing； obstacles detection； stereo vision； edgedetection

0 引言

障礙物探測(cè)是無(wú)人駕駛和機(jī)器人研究領(lǐng)域的一個(gè)熱門(mén)問(wèn)題[1，2]，也是實(shí)現(xiàn)自主避障和導(dǎo)航的前提。智能汽車(chē)常常使用多種傳感器進(jìn)行障礙物探測(cè)，常見(jiàn)的傳感器有激光雷達(dá)[3]、毫米波雷達(dá)[4]、相機(jī)[5]、超聲波雷達(dá)等等[6，7]。激光雷達(dá)采用發(fā)射激光的方法，通過(guò)測(cè)量激光發(fā)射和反射之間的時(shí)間差[8]，直接測(cè)量障礙物的距離，具有測(cè)量準(zhǔn)確的優(yōu)點(diǎn)，但是價(jià)格較為昂貴，容易受到天氣影響[9]；毫米波雷達(dá)采用毫米波發(fā)射的方法探測(cè)障礙物，受天氣影響較小，但是分辨率較低，不能夠得到障礙物的輪廓信息[8，10]；超聲波雷達(dá)價(jià)格便宜，但測(cè)量距離短，一般用來(lái)探測(cè)低速、近距障礙物；相機(jī)在視覺(jué)上能夠獲取顏色、輪廓等較為豐富的信息[11]，但是對(duì)算法的要求最高[12]?，F(xiàn)階段基于視覺(jué)的障礙物探測(cè)工具主要分為單目相機(jī)和雙目相機(jī)[13]。單目相機(jī)主要依靠物體的形狀紋理特征和運(yùn)動(dòng)特性進(jìn)行檢測(cè)[11]，但受環(huán)境干擾較大；基于雙目相機(jī)的障礙物探測(cè)，主要利用物體的距離信息[14]，在距離上進(jìn)行分割，將分割后的結(jié)果逆變換到原圖中，得到障礙物的位置信息[15，16]。本文采用雙目相機(jī)，在深度圖上進(jìn)行分割，在分割后得到的區(qū)域中求取障礙物的邊緣，進(jìn)一步獲得障礙物較為精準(zhǔn)紋理信息。參考障礙物的紋理信息，可以有效地排除誤檢，也可以為障礙物分割提供有效的決策信息。

1 立體視覺(jué)

雙目立體視覺(jué)基于視差原理，利用攝像機(jī)從不同的位置獲取被測(cè)物體的兩幅圖像[1]，通過(guò)立體匹配得到兩個(gè)圖像對(duì)應(yīng)點(diǎn)間的位置偏差形成視差圖；根據(jù)相機(jī)標(biāo)定得到的內(nèi)部參數(shù)和外部參數(shù)，可以獲取物體三維幾何信息。雙目立體視覺(jué)測(cè)量方法具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、成本低等優(yōu)點(diǎn)[2]，非常適用于實(shí)時(shí)物體探測(cè)[17]。

2 邊緣檢測(cè)

障礙物通常存在著豐富的紋理信息。通過(guò)深度圖分割出障礙物的粗略位置后，可以在候選區(qū)域中進(jìn)行邊緣檢測(cè)，得到障礙物精準(zhǔn)的位置信息和外觀特征，有助于對(duì)障礙物的精確定位和類(lèi)別判斷。在小的候選區(qū)域內(nèi)進(jìn)行邊緣檢測(cè)也有助于抑制復(fù)雜背景帶來(lái)的干擾，同時(shí)得到障礙物的紋理信息，可以為障礙物類(lèi)型的判斷提供更多輔助信息。

邊緣檢測(cè)常見(jiàn)的方法有神經(jīng)網(wǎng)絡(luò)法、微分算子法、小波檢測(cè)法等方法。微分算子以其簡(jiǎn)單、易實(shí)現(xiàn)的優(yōu)勢(shì)應(yīng)用在多種場(chǎng)景中，常見(jiàn)的有Canny，Roberts，Sobel，Log等檢測(cè)算子，本文主要介紹Canny邊緣檢測(cè)算法。Canny邊緣檢測(cè)算法從1986年提出至今被認(rèn)為是最優(yōu)的一種邊緣檢測(cè)方法，具有錯(cuò)誤率低，定位優(yōu)良，不重復(fù)等特點(diǎn)。本文對(duì)障礙物的邊緣檢測(cè)主要流程有四步。

第四步采用滯后閾值策略。即采用雙邊閾值的方法，設(shè)置一個(gè)較大閾值和一個(gè)較小閾值，像素位置的幅值高于較大的閾值時(shí)就可以確定它是邊緣像素，低于較小的閾值時(shí)就舍掉該像素，在兩個(gè)閾值之間丟失部分信息。

3 實(shí)驗(yàn)與分析

本文雙目視覺(jué)系統(tǒng)采用加拿大PointGrey公司的Bumblebee系統(tǒng)立體相機(jī)，采用Bumblebee BB3型號(hào)相機(jī)，使用最左最右兩個(gè)相機(jī)采集圖像。相機(jī)的基線長(zhǎng)度為24cm，相機(jī)的焦距固定為3.8mm，視場(chǎng)角66°，數(shù)據(jù)傳輸方式為1394B接口。相機(jī)獲取數(shù)據(jù)時(shí)，所提供的SDK對(duì)圖像進(jìn)行了畸變校正，獲取圖像的分辨率為640*480，校正后的圖像可直接進(jìn)行立體匹配。

場(chǎng)景一的圖像如圖3所示，是在雙向車(chē)道近處包含兩個(gè)障礙物（兩個(gè)騎行的人）獲取的圖像。

采用塊匹配方法將左右圖進(jìn)行立體匹配，得到視差圖如圖4所示。

由圖4立體匹配到的視差圖可以看出，在稠密視差匹配過(guò)程中存在著某些點(diǎn)無(wú)法得到匹配點(diǎn)的情況，在障礙物附近會(huì)出現(xiàn)大量匹配不上的空洞點(diǎn)。原因是兩個(gè)相機(jī)的視角不同，導(dǎo)致在障礙物附近觀察到的場(chǎng)景不同，對(duì)物體分割產(chǎn)生了一定影響。深度圖分割出的候選區(qū)域如圖5所示，將該區(qū)域進(jìn)行邊緣檢測(cè)得到圖6所示結(jié)果。

場(chǎng)景二的圖像如圖7所示，為在雙向車(chē)道上，同向車(chē)道包含一個(gè)障礙物（一個(gè)騎行的人）獲取的圖像如圖7所示。

采用塊匹配方法將左圖右圖進(jìn)行立體匹配得到視差圖，如圖8所示。

對(duì)場(chǎng)景二中的障礙物目標(biāo)進(jìn)行分割，并對(duì)深度圖分割出的區(qū)域進(jìn)行邊緣檢測(cè)得到結(jié)果分別如圖9、圖10所示。

本文同時(shí)對(duì)另外30種場(chǎng)景進(jìn)行了檢測(cè)。實(shí)驗(yàn)表明，能較好地檢測(cè)出目標(biāo)，在障礙物目標(biāo)輪廓獲取時(shí)，雖然有時(shí)因?yàn)槿巳翰⑴拧④?chē)輛相互交錯(cuò)、障礙物遮擋等存在分割不理想的情況，但分割的精準(zhǔn)度較單一使用深度信息或者紋理信息都有較大的提升。但考慮到無(wú)人駕駛車(chē)輛比較關(guān)心的是距離較近的障礙物信息，僅需識(shí)別最鄰近目標(biāo)的詳細(xì)信息，即能為無(wú)人駕駛控制提供有力的決策支撐。遮擋現(xiàn)象會(huì)一定程度影響被遮擋目標(biāo)識(shí)別，基本不影響距離較近的障礙物。因此，本方法是一種有效且能夠較精準(zhǔn)獲得障礙物詳細(xì)信息的檢測(cè)方法。

4 結(jié)論

為了通過(guò)圖像檢測(cè)無(wú)人駕駛車(chē)輛前方的障礙物信息，本文提出融合立體視覺(jué)和障礙物紋理的檢測(cè)算法。將左右相機(jī)獲取的圖像進(jìn)行立體匹配得到視差圖，根據(jù)相機(jī)內(nèi)外參數(shù)，將視差圖變換為鳥(niǎo)瞰圖，在鳥(niǎo)瞰圖上對(duì)障礙物進(jìn)行聚類(lèi)分割，得到大致位置信息，以該位置信息作為候選窗口，分析原圖中該窗口內(nèi)的紋理信息，精細(xì)描述障礙物輪廓，實(shí)現(xiàn)車(chē)輛前方障礙物更加精準(zhǔn)的檢測(cè)，為后續(xù)的辨識(shí)提供多種決策信息。立體視覺(jué)和障礙物紋理的融合充分利用了立體視覺(jué)圖像的深度信息和原圖像中障礙物的紋理特征，為基于圖像的車(chē)輛前方障礙物探測(cè)提供了一種新方法。但是，當(dāng)背景復(fù)雜時(shí)，會(huì)對(duì)障礙物的邊緣檢測(cè)造成很大干擾，無(wú)法得到較為精準(zhǔn)、連續(xù)目標(biāo)邊緣，如果采用改進(jìn)的邊緣檢測(cè)方法（如主動(dòng)輪廓模型）能更加精準(zhǔn)地獲取障礙物的連續(xù)輪廓信息，從而獲取目標(biāo)長(zhǎng)寬比、矩形度、圓形度等外觀特征。

參考文獻(xiàn)：

[1] HAK S， MANSARD N， STASSE O， et al. Reverse control for humanoid robot task recognition[J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society，2012，42（6）：1524.

[2] TIAN J D， SUN J， TANG Y D. Short-baseline binocular vision system for a humanoid ping-pong robot[J]. Journal of Intelligent & Robotic Systems，2011，64（3-4）：543-560.

[3] ULSOY A G， PENG H， MELIH C[M].London： Cambridge University Press，2012.

[4] 朱學(xué)葵，高美娟，高廣慶，等.基于無(wú)人駕駛汽車(chē)的障礙物檢測(cè)方法綜述[C].昆明：中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)，2014.

[5] GANDHI T L， DEVADIGA S， KASTURI R， et al. Detection of obstacles on runway using ego-motion compensation and tracking of significant features[C].Colorado： IEEE Workshop on Applications of Computer Vision （WACV），2014：168-173.

[6] 賈慧星，章毓晉.車(chē)輛輔助駕駛系統(tǒng)中基于計(jì)算機(jī)視覺(jué)的行人檢測(cè)研究綜述[J].自動(dòng)化學(xué)報(bào)，2007，33（1）：84-90.

[7] 王世峰，戴祥，徐寧，等.無(wú)人駕駛汽車(chē)環(huán)境感知技術(shù)綜述[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2017，40（1）：1-6.

[8] 黃如林，梁華為，陳佳佳，等.基于激光雷達(dá)的無(wú)人駕駛汽車(chē)動(dòng)態(tài)障礙物檢測(cè)、跟蹤與識(shí)別方法[J].機(jī)器人，2016，38（4）：437-443.

[9] 趙一兵，王榮本，李琳輝，等.基于激光雷達(dá)的無(wú)人駕駛車(chē)前方障礙物檢測(cè)[J].交通信息與安全，2007，25（2）：9-13.

[10] GERNIMO D， LPEZ A M， SAPPA A D， etc. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2010，32（7）：1239.

[11] YAMANOUE H. The differences between toed-in camera configurations and parallel camera configurations in shooting stereoscopic images[C].IEEE International Conference on Multimedia & Expo，2006：1701-1704.

[12] 張雙喜.基于雷達(dá)與相機(jī)的無(wú)人駕駛智能車(chē)障礙物檢測(cè)技術(shù)研究[D].長(zhǎng)安大學(xué)，2013.

[13] HILARIO C， COLLADO J M， ARMINGOL J M， et al. Pedestrian detection for intelligent vehicles based on active contour models and stereo vision[C].International Conference on Computer Aided Systems Theory，2005：537-542.

[14] GAVRILA D M. Pedestrian detection from a moving vehicle[M].Springer Berlin Heidelberg， 2000：37-49.

[15] 劉昱崗，王卓君，王福景，等.基于雙目立體視覺(jué)的倒車(chē)環(huán)境障礙物測(cè)量方法[J].交通運(yùn)輸系統(tǒng)工程與信息，2016，16（4）：79-87.

[16] 董琴琴.基于雙目立體視覺(jué)的障礙物檢測(cè)算法的研究與實(shí)現(xiàn)[D].沈陽(yáng)：東北大學(xué)，2009.

[17] 趙一兵，鄧云翔，郭烈，等.無(wú)人駕駛車(chē)野外環(huán)境水體障礙物檢測(cè)[J].中國(guó)科技論文，2013，8（11）：1192-1196.

（責(zé)任編輯：江 艷）