視覺(jué)導(dǎo)航中路面檢測(cè)方法與DSP實(shí)現(xiàn)

朱 松，曹丹華，吳裕斌

(華中科技大學(xué)光學(xué)與電子信息學(xué)院，湖北武漢 430074)

?

視覺(jué)導(dǎo)航中路面檢測(cè)方法與DSP實(shí)現(xiàn)

朱 松，曹丹華，吳裕斌

(華中科技大學(xué)光學(xué)與電子信息學(xué)院，湖北武漢 430074)

路面檢測(cè)在基于視覺(jué)導(dǎo)航的汽車(chē)自動(dòng)駕駛中具有重要意義。針對(duì)路面的多樣性和場(chǎng)景的復(fù)雜性，文中研究并開(kāi)發(fā)了基于DSP的路面檢測(cè)技術(shù)，提出了一種融合圖像灰度和圖像深度的路面檢測(cè)方法。系統(tǒng)首先采用雙目立體視覺(jué)方法獲取場(chǎng)景深度圖像，然后根據(jù)圖像灰度和圖像深度進(jìn)行超像素分割，最后提取超像素的灰度和深度特征，用SVM分類(lèi)器對(duì)超像素進(jìn)行分類(lèi)，實(shí)現(xiàn)路面的檢測(cè)。實(shí)際場(chǎng)景的測(cè)試證明了文中方法的可行性。街景圖像數(shù)據(jù)庫(kù)的實(shí)驗(yàn)表明，文中路面檢測(cè)方法的準(zhǔn)確性高。

路面檢測(cè); 雙目立體視覺(jué)；超像素；深度特征

0 引言

在基于視覺(jué)導(dǎo)航的汽車(chē)自動(dòng)駕駛和盲人導(dǎo)航中，檢測(cè)前方路面是關(guān)鍵技術(shù)之一，也是實(shí)現(xiàn)車(chē)輛的路徑規(guī)劃以及決策控制的重要前提。當(dāng)前基于視覺(jué)的路面檢測(cè)主要分為兩種：一種是汽車(chē)所行駛的結(jié)構(gòu)化道路的檢測(cè)[1]；另一種則是非結(jié)構(gòu)化道路的檢測(cè)[2]。前者利用了道路上的一些特殊信息(如車(chē)道線)進(jìn)行檢測(cè)，所以只適用于某些特殊環(huán)境，如高速公路。后者考慮了道路的多樣性和環(huán)境的復(fù)雜性，只利用道路自身的特征(如顏色、形狀)進(jìn)行檢測(cè)，其應(yīng)用范圍更加廣泛。

文中針對(duì)非結(jié)構(gòu)化道路，研究并開(kāi)發(fā)了基于智能相機(jī)的路面檢測(cè)技術(shù)，提出了一種融合圖像灰度和深度的路面檢測(cè)方法。智能相機(jī)采用面陣CCD完成圖像采集，采用高速DSP實(shí)現(xiàn)圖像分析，以保障系統(tǒng)的實(shí)時(shí)性。文中將路面檢測(cè)問(wèn)題當(dāng)作一個(gè)模式分類(lèi)問(wèn)題，將圖像中各個(gè)像素劃分為路面或非路面。最后分別通過(guò)實(shí)際場(chǎng)景和數(shù)據(jù)庫(kù)的測(cè)試驗(yàn)證了方法的有效性。

1 基于DSP的視覺(jué)導(dǎo)航硬件平臺(tái)

系統(tǒng)中采用雙目立體視覺(jué)結(jié)構(gòu)，以獲取空間的三維信息，其核心是一個(gè)基于DSP的嵌入式圖像處理系統(tǒng)，如圖1所示。

系統(tǒng)采用雙目相機(jī)和面陣CCD傳感器采集圖像信息，經(jīng)過(guò)CCD控制電路編解碼后，送入各自的DSP模塊電路進(jìn)行處理。同步觸發(fā)模塊產(chǎn)生同步信號(hào)，用于觸發(fā)DSP模塊獲取同一時(shí)間的左右兩幅圖像。2個(gè)DSP模塊能夠進(jìn)行數(shù)據(jù)通信，從而具有同時(shí)處理兩幅圖像的能力。輸入的雙目圖像在DSP中處理后，輸出路面檢測(cè)的標(biāo)記圖像信號(hào)，用于后續(xù)車(chē)輛的路徑規(guī)劃以及決策控制。

圖1 DSP嵌入式圖像處理系統(tǒng)硬件框圖

DSP采用的是TI的Davinci系列中的TMS320DM6437芯片。DM6437是一款高速多媒體處理器。它采用了TMS320C64x+核，其時(shí)鐘頻率為700 MHz，芯片內(nèi)部包括8個(gè)并行運(yùn)算的功能單元和128 KB的IRAM支持圖像算法的快速運(yùn)算。模塊中擴(kuò)展了DDR2以及FLASH為系統(tǒng)程序和數(shù)據(jù)提供足夠的存儲(chǔ)空間。

2 路面檢測(cè)方法

2.1 算法總體框架

文中提出的融合圖像灰度信息和深度信息的路面檢測(cè)方法框架如圖2所示。路面檢測(cè)方法的輸入是雙目相機(jī)獲得的左右兩幅圖像，輸出則是路面的標(biāo)記圖像，用于指示圖像中路面(白色)或非路面(黑色)的區(qū)域。圖2中實(shí)線框表示算法模塊，虛線框表示算法的輸入輸出結(jié)果，右側(cè)圖像與中間的輸出結(jié)果相對(duì)應(yīng)。

文中將路面檢測(cè)問(wèn)題轉(zhuǎn)換為圖像模式識(shí)別的問(wèn)題，最終將場(chǎng)景劃分為路面和非路面二類(lèi)。算法總體上分為3個(gè)模塊。

(1)通過(guò)立體匹配算法獲取左圖像的深度信息。深度信息有助于圖像分割和路面的識(shí)別。

(2)融合灰度信息和深度信息對(duì)左圖像進(jìn)行超像素分割，將圖像分割為數(shù)百個(gè)的超像素，減小分類(lèi)樣本的規(guī)模，以增強(qiáng)系統(tǒng)的實(shí)時(shí)性。

(3)在灰度信息和深度信息中提取每個(gè)超像素的區(qū)域特征。將特征輸入到分類(lèi)器中，判別對(duì)應(yīng)的超像素是否為路面，從而最終實(shí)現(xiàn)路面的檢測(cè)。

圖2 路面檢測(cè)算法框圖

2.2 立體匹配

匹配值的計(jì)算和匹配值的累積是局部立體匹配算法中的兩個(gè)關(guān)鍵步驟。在室外場(chǎng)景下，通常左、右圖像的光照具有不一致性，為了提高算法的魯棒性，文中采用了一種光照不變性的匹配值計(jì)算方法[3]。

在匹配值的累積中，文中通過(guò)引入平滑約束提高立體匹配的準(zhǔn)確度[4]。為了提高算法的速度，文中采用遞歸的方式計(jì)算每個(gè)像素的累積匹配值，如式(1)。

Sr(p,d)=C(p,d)+min(s1,s2,s3,s4)

s1=Sr(p-r,d)

s2=Sr(p-r,d-1)+P1

(1)

s3=Sr(p-r,d+1)+P1

式中：Sr(p,d)表示像素p在r方向、在視差d時(shí)的匹配累積值;C(p,d)表示像素p在視差d時(shí)的匹配值;P1是較小的懲罰值，用來(lái)適應(yīng)室外場(chǎng)景下的斜面，比如路面；P2是較大的懲罰值，用于懲罰視差不連續(xù)的邊緣。

當(dāng)?shù)玫?個(gè)方向(左右上下)的累積值后，將其相加即可得到最終的匹配累積值。像素的視差與像素最小的累積匹配值一一對(duì)應(yīng)。

當(dāng)?shù)玫綀D像中每個(gè)像素的視差后，可以根據(jù)雙目相機(jī)模型計(jì)算每個(gè)像素三維空間點(diǎn)的位置，如式(2)所示。

(2)

式中：(Xw,Yw,Zw)表示像素(x,y)對(duì)應(yīng)的三維空間點(diǎn)坐標(biāo)；B是雙目相機(jī)的基線；K是相機(jī)模型的內(nèi)參數(shù)。

2.3 超像素分割

為了提高系統(tǒng)的實(shí)時(shí)性，文中采用了一種實(shí)時(shí)的超像素分割算法[5]。超像素首先初始化為規(guī)則網(wǎng)格，然后根據(jù)距離函數(shù)進(jìn)行迭代的邊緣優(yōu)化，最終形成內(nèi)部像素特性一致的區(qū)域，即超像素。方法的核心是定義像素與超像素聚類(lèi)中心的距離，不同的距離將得到不同的超像素。文中將每個(gè)超像素作為一個(gè)整體進(jìn)行識(shí)別，所以超像素內(nèi)部的所有像素應(yīng)該盡可能的屬于同一類(lèi)別，即路面或者非路面。對(duì)于路面區(qū)域，其像素的灰度具有相似性，而空間上也是相近的。文中提出融合灰度圖像信息和空間位置信息的距離函數(shù)，如式(3)所示。

(3)

2.4 超像素分類(lèi)

影響超像素分類(lèi)準(zhǔn)確率主要有兩個(gè)方面：一方面是超像素的區(qū)域特征，另一方面則是分類(lèi)器的設(shè)計(jì)。

2.4.1 超像素的區(qū)域特征

文中提取了三類(lèi)超像素的區(qū)域特征：灰度統(tǒng)計(jì)特征、幾何形狀特征、深度特征。

其中灰度統(tǒng)計(jì)特征包括均值、標(biāo)準(zhǔn)差、偏度系數(shù)、峰度系數(shù)。幾何形狀特征包括區(qū)域的面積、周長(zhǎng)、重心、圓度、長(zhǎng)短軸等[6]。這兩類(lèi)特征都是一般模式分類(lèi)系統(tǒng)中常用的特征。而針對(duì)路面檢測(cè)的應(yīng)用背景，文中則提出了基于深度信息的區(qū)域特征。

(4)

式中：Yw(p)表示區(qū)域Rk中p點(diǎn)的高度坐標(biāo)；|Rk|表示區(qū)域Rk的面積。

以相機(jī)為原點(diǎn)時(shí)，當(dāng)把相機(jī)安裝在車(chē)頂上時(shí)(用于汽車(chē)的自動(dòng)駕駛)，路面高度為負(fù)的車(chē)身高度，當(dāng)把相機(jī)安裝在眼鏡上時(shí)(用于盲人導(dǎo)航)，則路面高度為負(fù)的人的身高。一般情況下，路面的高度是固定不變的，這也成為了判斷某區(qū)域是否為路面的一個(gè)根據(jù)，所以文中將高度作為路面檢測(cè)的一個(gè)特征。

特征二：區(qū)域Rk的平面系數(shù)[ak,bk,ck] ，如式(5)

Zw(p)=ak·Xw(p)+bk·Yw(p)+ck，p∈Rk

(5)

其中平面系數(shù)可以通過(guò)對(duì)區(qū)域內(nèi)所有像素點(diǎn)的空間坐標(biāo)進(jìn)行平面擬合得到。一般情況下路面可以認(rèn)為是平面，區(qū)分不同平面的重要依據(jù)是其平面系數(shù)，所以文中將平面系數(shù)作為路面檢測(cè)的特征。

2.4.2 分類(lèi)器的設(shè)計(jì)

為了提高系統(tǒng)的實(shí)時(shí)性，文中采用復(fù)雜度低的線性分類(lèi)器L(F)，如式(6)。

L(F)=sgn(WT·F+w0)

(6)

式中：F是輸入的特征向量；W是分類(lèi)器通過(guò)訓(xùn)練得到的線性權(quán)值向量；w0是偏置閾值。

通過(guò)對(duì)符號(hào)函數(shù)sgn進(jìn)行二值判斷，即可得到特征向量所對(duì)應(yīng)超像素的類(lèi)別，即路面或非路面。

SVM[7-8]是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的一種分類(lèi)器，在解決小樣本和高維模式識(shí)別問(wèn)題中具有獨(dú)特的優(yōu)勢(shì)，已經(jīng)在模式分類(lèi)系統(tǒng)中獲得了廣泛的應(yīng)用。所以文中采用SVM分類(lèi)器進(jìn)行離線訓(xùn)練。訓(xùn)練完畢后，只采用所得到的權(quán)值參數(shù)進(jìn)行超像素的路面識(shí)別，最終完成路面檢測(cè)。

2.5 算法在DSP上的優(yōu)化

為了提高系統(tǒng)的處理速度，路面檢測(cè)算法的主要優(yōu)化技術(shù)包括：

(1)軟件流水優(yōu)化：充分利用TMS320C64x+核中的8個(gè)功能單元，實(shí)現(xiàn)循環(huán)程序中迭代算法的并行執(zhí)行；

(2)內(nèi)聯(lián)函數(shù)優(yōu)化：采用內(nèi)聯(lián)函數(shù)實(shí)現(xiàn)線性分類(lèi)器算法，達(dá)到多組數(shù)據(jù)同時(shí)運(yùn)算的目的；

(3)將浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為定點(diǎn)數(shù)據(jù)進(jìn)行運(yùn)算；

(4)將頻繁訪問(wèn)的數(shù)據(jù)放入IRAM中，減少數(shù)據(jù)讀寫(xiě)的時(shí)間。

3 試驗(yàn)結(jié)果及分析

在室外的檢測(cè)結(jié)果如圖3所示。從圖3(d)中可以看出，大部分的路面區(qū)域(標(biāo)記為白色)檢測(cè)正確，證明了系統(tǒng)的可行性。

為了進(jìn)一步評(píng)價(jià)文中方法的性能，采用了街景圖像數(shù)據(jù)庫(kù)[9]進(jìn)行測(cè)試。街景圖像的分辨率為1 024×440，利用其中300幅圖像進(jìn)行訓(xùn)練，然后用另外的200幅圖像進(jìn)行測(cè)試。對(duì)算法所得到的標(biāo)記圖像與數(shù)據(jù)庫(kù)中標(biāo)準(zhǔn)的標(biāo)記圖像的每個(gè)像素進(jìn)行對(duì)比，得到了混淆矩陣如表1。由混淆矩陣可知，最終路面檢測(cè)在像素層面上的正確率為90.9%。

4 結(jié)束語(yǔ)

文中以智能車(chē)輛自動(dòng)駕駛、盲人導(dǎo)航為應(yīng)用背景，研究了基于智能相機(jī)的路面檢測(cè)技術(shù)，提出了一種融合圖像灰度和深度的路面檢測(cè)方法。通過(guò)快速的立體匹配算法，獲取圖像的深度信息，同時(shí)在灰度圖像和深度圖像中提取區(qū)域特征，最終用于路面的識(shí)別，提高了路面檢測(cè)的準(zhǔn)確度。通過(guò)實(shí)時(shí)的超像素分割算法，提高了系統(tǒng)的實(shí)時(shí)性。最終在實(shí)際場(chǎng)景中的試驗(yàn)表明，文中的路面檢測(cè)方法能夠準(zhǔn)確的檢測(cè)出場(chǎng)景中的路面區(qū)域。

(a)左圖像

(b)右圖像

(c)視差圖像

(d)路面標(biāo)記圖像

表1 混淆矩陣

實(shí)際數(shù)據(jù)預(yù)測(cè)數(shù)據(jù)非路面路面非路面5.51×1072.8×106路面5.4×1062.68×107

注：表中數(shù)據(jù)表示像素的個(gè)數(shù)。

[1] BERTOZZI M,BROGGI A. GOLD: A parallel real-time stereo vision system for generic obstacle and lane detection. IEEE Transactions on Image Processing, 1998, 7(1): 62-81.

[2] MCCALL J C,TRIVEDI M M. Video-based lane estimation and tracking for driver assistance: survey, system, and evaluation. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(1): 20-37.

[3] YAMAGUCHI K, MCALLESTER D,URTASUN R. Efficient joint segmentation, occlusion labeling, stereo and flow estimation. European Conference on Computer Vision, 2014.

[4] HIRSCHMULLER H. Stereo processing by semiglobal matching and mutual information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[5] ZHU S, et al. A novel real-time superpixel segmentation algorithm. International Conference on Optical Instruments and Technology, Beijing, 2013.

[6] 朱銘煜,周武能. 圖像處理在藥片視覺(jué)檢測(cè)系統(tǒng)中的應(yīng)用. 儀表技術(shù)與傳感器, 2011(5): 94-97.

[7] CHANG C C,LIN C J. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 27.

[8] 陳淵,馬宏偉. 基于粒子群優(yōu)化支持向量機(jī)的焊接缺陷分類(lèi). 儀表技術(shù)與傳感器, 2013(4): 81-83；86.

[9] SCHARW CHTER T, et al. Stixmantics: A medium-level model for real-time semantic scene understanding. European Conference on Computer Vision, Zurich, 2014.

Road Detection Method and DSP Implementation in Visual Navigation

ZHU Song, CAO Dan-hua, WU Yu-bin

(Huazhong University of Science and Technology, School of Optical and Electronic Information, Wuhan 430074, China)

Road detection is important in vision-based navigation in vehicle automatic driving. For the diversity of road and the complexity of the scene, this paper studied and developed road detection technique based on DSP, and proposed a road detection method, which fused the image intensity and the image depth. The system first used binocular stereo vision method to get the scene depth image, and then the image was segmented into super pixels according to the image intensity and the image depth, finally the road detection was realized through superpixels' gray and depth features, and superpixels were classified with SVM realizing. The actual scenario testing verifies the feasibility of the method. Experiments on the street image database show that the road detection method in this paper has high accuracy.

road detection; binocular vision; superpixel; depth features

2015-03-02 收修改稿日期：2015-07-11

TP216.1

A

1002-1841(2015)12-0110-03

朱松(1988—)，博士研究生，主要研究領(lǐng)域?yàn)闄C(jī)器視覺(jué)、模式識(shí)別。E-mail：hustsong880222@gmail.com 曹丹華(1966—)，教授，博士，主要研究領(lǐng)域?yàn)闄C(jī)器視覺(jué)、光電成像與信息處理、視覺(jué)檢測(cè)。 E-mail：dhcao@mail.hust.edu.cn