基于單目視覺的夜間車輛識別方法

杜滕州，曹凱

山東理工大學(xué)交通與車輛工程學(xué)院，山東淄博 255049

基于單目視覺的夜間車輛識別方法

杜滕州，曹凱

山東理工大學(xué)交通與車輛工程學(xué)院，山東淄博 255049

快速準(zhǔn)確地識別車輛是夜間行車安全預(yù)警系統(tǒng)的關(guān)鍵技術(shù)。提出在RGB空間下基于夜間尾燈圖像的實(shí)時(shí)車輛識別方法。通過對夜間尾燈顏色特征進(jìn)行分析和提取，選用尾燈圖像的（R-G）色差特征作為圖像分割的輸入，并采用自適應(yīng)閾值法分割圖像。借鑒非最大抑制算法的思想，通過設(shè)置尾燈粘連區(qū)域判斷條件，解決夜間尾燈粘連問題；根據(jù)同車左右尾燈區(qū)域特點(diǎn)，定義尾燈配對規(guī)則和尾燈差異度，實(shí)現(xiàn)尾燈配對；并定義車輛包圍框和設(shè)置最大重疊率的方法，解決夜間車輛重疊問題。實(shí)驗(yàn)結(jié)果表明，該方法計(jì)算量小，平均每幀耗時(shí)26 m s，在含有尾燈粘連和車輛重疊混合場景下，車輛識別準(zhǔn)確率大于93%。

（R-G）色差特征；尾燈識別；車輛識別；行車安全預(yù)警系統(tǒng)

1 引言

前方車輛識別是行車安全預(yù)警系統(tǒng)中所有工作的基礎(chǔ)。從所使用的傳感器來看，目前多采用雷達(dá)[1]，紅外線[2]，單目視覺[3]，雙目立體視覺[4]等。另外近年來多傳感器融合技術(shù)也被廣泛使用，如美國軍方研制的DEMO III智能車采用雷達(dá)和機(jī)器視覺融合技術(shù)用于障礙物探測[5]。由于攝像頭價(jià)格便宜，且信息采集量較大，所以基于單目視覺的行車安全預(yù)警系統(tǒng)成為近期研究熱點(diǎn)。

目前夜間車輛識別的研究成果主要集中在交通監(jiān)控領(lǐng)域，而針對夜間行車安全預(yù)警系統(tǒng)的成果較少?；谝曈X的夜間車輛識別的一般步驟主要包括：尾燈識別、尾燈配對。文獻(xiàn)[6]提出基于顏色和運(yùn)動信息的夜間車輛識別算法。該方法主要適用于交通量檢測，在靜止背景環(huán)境中識別運(yùn)動目標(biāo)。而不適用于動態(tài)背景中的運(yùn)動目標(biāo)的識別；文獻(xiàn)[7]提出了基于亮度與顏色四閾值的尾燈識別算法，該算法可以精確地識別車尾燈，但沒有考慮車燈粘連問題，且該方法需要顏色空間轉(zhuǎn)換，計(jì)算量較大。

通過以上分析得出，目前的夜間車輛識別算法大多需要對顏色空間轉(zhuǎn)換，增加了計(jì)算量，并且目前沒有學(xué)者給出夜間尾燈粘連問題和車輛重疊問題的解決方法。本文通過分析RGB空間下的夜間尾燈圖像，無需轉(zhuǎn)換顏色空間，直接使用(R-G)色差特征作為輸入進(jìn)行圖像閾值分割，然后定義尾燈配對規(guī)則和尾燈差異度，據(jù)此來篩選尾燈配對，從而完成夜間車輛識別。同時(shí)本文提出車燈粘連和車輛重疊問題的解決方法。

2 尾燈顏色特征分析與提取

盡管夜間公路交通環(huán)境下，汽車尾燈與周圍普通背景存在較大差別，但是仍然存在路燈、反光標(biāo)志、車前大燈等的干擾。因此為了獲得好的分割效果，必須分析尾燈圖像的顏色特征。

選擇組合算子(R-G)、(R-B)、(R-G-B)以及R/ (G+B)作為特征量進(jìn)行代數(shù)運(yùn)算，結(jié)果發(fā)現(xiàn)尾燈的(R-G)灰度值和背景的灰度值有明顯差異。如圖1（a），從左向右依次為橙色路燈、白色路燈、車尾燈、反光標(biāo)志、車前大燈，圖1（b）為圖1（a）的(R-B)灰度圖像，可以看到尾燈的灰度值較高，而其他的較低，基本呈雙峰分布。而R/(G+B)算子不能區(qū)分尾燈和背景，(R-B)及(R-G-B)的區(qū)分效果很差。為此選擇尾燈圖像的(R-G)色差特征作為圖像分割的輸入，把原來的三維處理問題轉(zhuǎn)化為一維問題。

圖1 尾燈圖像分割

3 圖像分割與尾燈粘連處理

3.1 基于(R-G)色差特征的自適應(yīng)閾值分割

Otsu最大類間方差法[8]是一種經(jīng)典的自動閾值分割方法，是通過計(jì)算圖像中目標(biāo)類和背景類的類內(nèi)方差最小、類間方差最大來進(jìn)行自動閾值求取的。由RGB顏色特征分析可知尾燈圖像的(R-G)色差圖像的灰度分布基本呈雙峰分布。這種灰度分布特點(diǎn)非常適合Otsu法進(jìn)行分割處理的要求。因此，本文提出的基于(R-G)色差特征的自適應(yīng)閾值分割，是利用RGB彩色圖像的(R-G)色差灰度特征結(jié)合Otsu最大類間方差法實(shí)現(xiàn)的。

具體算法：首先統(tǒng)計(jì)(R-G)圖像的灰度分布范圍獲得灰度最大值(R-G)max，然后使用Otsu最大類間方差法求(R-G)圖像的全局歸一化閾值RggrayThreshold，分割閾值被確定為：

對(R-G)色差灰度圖像作如下分割處理：

為了更好地分析該方法的尾燈識別準(zhǔn)確性和計(jì)算耗時(shí)，本文將其與文獻(xiàn)[6-7]的尾燈識別方法從尾燈識別準(zhǔn)確率和運(yùn)算耗時(shí)兩個(gè)方面進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。由這些數(shù)據(jù)可以得出，文獻(xiàn)[6]的方法系統(tǒng)耗時(shí)小，但尾燈識別準(zhǔn)確率較低；文獻(xiàn)[7]的準(zhǔn)確率較高，但系統(tǒng)耗時(shí)較大，而本文在耗時(shí)和識別準(zhǔn)確率兩方面都表現(xiàn)很好。

表1 尾燈識別方法對比實(shí)驗(yàn)

圖像分割結(jié)果見圖1（c），可以看到三個(gè)紅色車尾燈區(qū)域保留下來，那么為了區(qū)分不同的尾燈區(qū)域，計(jì)算不同區(qū)域的特征值以及下一步的尾燈配對，需要對連通區(qū)域進(jìn)行標(biāo)記。通過對比實(shí)驗(yàn)多種連通區(qū)域標(biāo)記算法，本文選用文獻(xiàn)[9]提出的算法來分組像素。該算法較其他算法的優(yōu)點(diǎn)是在對尾燈圖像進(jìn)行連通區(qū)域標(biāo)記時(shí)，能夠根據(jù)尾燈區(qū)域邊緣來分組像素并能去除部分夜晚圖像中的噪聲，且該算法計(jì)算量較小。

3.2 尾燈粘連處理方法

一般情況下，通過自適應(yīng)閾值分割方法可以很好地將尾燈與背景分離開，然而實(shí)際的尾燈識別結(jié)果中經(jīng)常出現(xiàn)不同車輛尾燈之間的粘連問題。如圖2（a）所示，這種情況會使尾燈的面積突然增大，并且將兩個(gè)尾燈識別為一個(gè)，因此需要將粘連區(qū)域分割成兩個(gè)或兩個(gè)以上的區(qū)域。為此，本文從最大抑制算法得到啟發(fā)，在上述自適應(yīng)閾值處理結(jié)果的基礎(chǔ)上，提出如下尾燈粘連問題解決方法，流程如圖3所示。

圖2 尾燈粘連情況及其處理

圖3 尾燈粘連處理流程圖

通過上述處理方法，如果存在尾燈粘連，該方法可以將其分割成兩個(gè)獨(dú)立連通區(qū)域；如果不存在尾燈粘連，所有連通區(qū)域都被刪除。如圖2（b）所示，通過該方法將尾燈粘連區(qū)域分割為兩個(gè)連通區(qū)域，并分別識別出來。根據(jù)非最大抑制算法，定義尾燈粘連區(qū)域判斷條件為：

其中，‖L‖為一個(gè)連通區(qū)域的大小，N為連通區(qū)域個(gè)數(shù)。

3.3 尾燈特征值提取

在進(jìn)行尾燈配對前，需要定義尾燈特征。本文根據(jù)尾燈的位置和形狀將其描述為：

這里(μx，μy)表示質(zhì)心，(σx，σy)表示區(qū)域的空間標(biāo)準(zhǔn)差。雖然車尾燈形狀多樣，但同車左右尾燈形狀對稱，面積相等，長寬相等。依此特性，本文將尾燈定義為中心點(diǎn)坐標(biāo)為(μx，μy)，寬和高分別為4σx和4σy的矩形，并根據(jù)矩形面積和寬高比分別定義尾燈的面積特征和形狀特征為：

4 尾燈配對與位置重疊處理

4.1 定義尾燈配對規(guī)則

在已有研究的基礎(chǔ)上，本文對夜間車輛視頻數(shù)據(jù)進(jìn)行了大量實(shí)驗(yàn)分析，總結(jié)出同車左、右尾燈之間的關(guān)系，即

（1）兩尾燈中心連線與水平線之間的夾角小于定值；

（2）兩尾燈形狀特征值之差小于定值；

（3）兩尾燈面積之差與兩尾燈平均面積之比小于定值。

顯然，對于N個(gè)尾燈存在N(N-1)/2種組合配對。為從中篩選同一車輛的尾燈配對，本文定義尾燈配對規(guī)則如下：

規(guī)則2如果配對不滿足?shape≤ζ，則它一定不是同一車輛的左右尾燈配對。

其中，?μx和?μy分別為兩區(qū)域之間的垂直距離和水平距離，?shape為兩區(qū)域的形狀特征值之差，即分別為兩區(qū)域之間的面積差和平均面積。

為了更好地檢驗(yàn)尾燈配對的實(shí)際效果，本文根據(jù)上述三規(guī)則定義了每個(gè)配對中兩尾燈之間的特征值差異度D1，D2，D3，并定義兩尾燈差異度D為D1，D2，D3的總和，其中：

如果尾燈配對滿足以上三個(gè)規(guī)則，則0≤D1，D2，D3≤1，顯然D越大，尾燈配對錯(cuò)誤的可能性越大。因此在滿足尾燈配對規(guī)則的基礎(chǔ)上，只需為差異度D設(shè)置合適的閾值E，便可從所有可能的尾燈配對中篩選出正確配對。本文根據(jù)大量實(shí)驗(yàn)，給出ε，ζ，E的經(jīng)驗(yàn)值分別為0.05，0.8，2。

4.2 車輛位置重疊處理方法

如圖4（b），通過上述尾燈配對方法，在輸入圖像中11個(gè)尾燈的55個(gè)配對中有5對被識別為同一車輛。但還存在問題是最右側(cè)車輛的副燈配對也被識別為車輛，即車輛位置重疊問題。為了避免車輛在豎直平面中的位置重疊，如圖5所示，本文定義了一個(gè)將車輛包圍起來的矩形包圍框：如果兩尾燈中心間距（本文使用像素個(gè)數(shù)）為d，則定義包圍框?yàn)檫呴L1.2d的正方形，兩尾燈中心連線與正方形底邊距離為0.7d，左右尾燈距離正方形左右兩邊距離皆為0.1d。于是給出車輛重疊處理方法如下：

如果兩包圍框的重疊部分與其中任一包圍框之間的比值超過最大重疊率時(shí)，則兩個(gè)車輛必有一個(gè)為假，將包圍框較小的車輛刪除。本文根據(jù)大量實(shí)驗(yàn)數(shù)據(jù)總結(jié)得到最大重疊率的經(jīng)驗(yàn)值為0.5。如圖4（c），通過上述方法可以將最右側(cè)車輛副燈的包圍框刪除掉，解決了由于副燈和主燈都被識別為車輛而產(chǎn)生的車輛重疊問題。

圖4 尾燈配對與位置重疊處理

圖5 車輛包圍框

5 實(shí)驗(yàn)和分析

實(shí)驗(yàn)數(shù)據(jù)采集方法：將愛國者DLC500攝像機(jī)放置于車輛前擋風(fēng)玻璃后，大致位于副駕駛的前上方，并調(diào)整攝像機(jī)中軸線與車輛前進(jìn)方向平行。將車輛行駛在不同的城市道路和高速公路上采集動態(tài)視頻共120 m in。

利用Matlab編寫車輛識別程序，對每個(gè)視頻處理分析，如圖6為兩種不同交通場景下的車輛識別結(jié)果。手工統(tǒng)計(jì)所有正確車輛識別次數(shù)、遺漏次數(shù)及錯(cuò)誤次數(shù)，統(tǒng)計(jì)結(jié)果見表2。從這些數(shù)據(jù)可以看出，本文算法的車輛正確識別率可以達(dá)到93%以上，而在高速公路上可以達(dá)到98%以上。

圖6 夜間車輛識別

表2 統(tǒng)計(jì)正確的車輛識別，遺漏識別和誤報(bào)

本文采用為主頻為3.1 GHz的酷睿i3雙核處理器，Matlab仿真環(huán)境，和一個(gè)不輸出圖像的程序版本對系統(tǒng)進(jìn)行性能評價(jià)。統(tǒng)計(jì)視頻每幀的處理時(shí)間，去掉最快的和最慢的，然后求出每幀平均處理時(shí)間。通過統(tǒng)計(jì)50個(gè)分辨率為640×480的視頻，得到平均處理時(shí)間為26 m s，可以達(dá)到行車安全預(yù)警系統(tǒng)的實(shí)時(shí)性要求。

夜間圖像處理是很復(fù)雜的過程，因此本文所采用的方法不免存在一些缺陷：（1）不能跟蹤摩托車或一個(gè)尾燈破碎的車輛；（2）不能處理被遮擋的車輛（該車輛對本車可能有間接威脅，另文處理），但是當(dāng)被遮擋車輛重新出現(xiàn)時(shí)會被重新識別。除以上情況之外，本方法用于夜間車輛識別時(shí)效果良好。

6 結(jié)束語

本文給出了夜間安全車距預(yù)警系統(tǒng)的車輛識別算法。該算法包括尾燈識別和尾燈配對兩個(gè)主要部分。其中尾燈識別采用了基于(R-G)色差特征的自適應(yīng)閾值分割算法，同時(shí)本文提出利用非最大抑制算法解決了尾燈粘連問題。尾燈配對是通過建立尾燈配對規(guī)則和設(shè)置兩區(qū)域差異度閾值E來完成燈對篩選，從而達(dá)到車輛識別目的。另外本文提出了解決車輛位置重疊問題的簡單方法。經(jīng)實(shí)驗(yàn)驗(yàn)證本文提出的車輛識別方法車輛漏檢、誤檢較少，計(jì)算量較小。需要提出的是，夜間車輛的轉(zhuǎn)向燈會對尾燈分割處理造成干擾，有降低車輛識別準(zhǔn)確率的風(fēng)險(xiǎn)。因此車輛轉(zhuǎn)向燈的識別是下一步需要完成的工作之一。

[1]Sergi M，Shankw itz C，Donath M.Lidar-based vehicle tracking for a virtual m irror[C]//Proceedings of the Intelligent Vehicles Symposium.USA：IEEE，2003：333-338.

[2]王孝蘭.基于紅外CCD的夜間前方車輛識別[D].吉林：吉林大學(xué)，2009.

[3]Alt N，Claus C，Stechele W.Hardware/software architecture of an algorithm for vision-based real-time vehicle detection in dark environments[C]//DATE’08：Proceedings of the Conference on Design，Automation and Test in Europe.New York：ACM，2008：176-181.

[4]Lin S，Chen Y，Wu B.A real-time multiple-vehicle detection and tracking system with prior occlusion detection and resolution[C]//Proceedings of the 18th International Conference on Pattern Recognition.Hong Kong：IEEE，2006：828-831.

[5]Bellutta P，M anduchi R，M aeehies L，et al.Terrain perception for DEMO III[C]//Proceedings of IEEE Intelligent Vehicles Sym posium.USA：IEEE，2000：326-331.

[6]劉勃，周荷琴，魏銘旭.基于顏色和運(yùn)動信息的夜間車輛檢測方法[J].中國圖象圖形學(xué)報(bào)，2005，10（2）：188-191.

[7]劉尊洋，葉慶，李菲，等.基于亮度與顏色四閾值的尾燈檢測算法[J].計(jì)算機(jī)工程，2010，36（21）：202-203.

[8]Otsu N.A threshold selection method from gray-level histograms[J].IEEE Transactions on System M an and Cybernetic，1979，9（1）：62-66.

[9]Suzuki K，Horiba I，Sugie N.Linear-time connected component labeling based on sequential local operations[J]. Computer Vision and Image Understanding，2003，89：1-23.

DU Tengzhou,CAO Kai

School of Traffic & Vehicle Engineering, Shandong University of Technology, Zibo, Shandong 255049, China

Fast and accurate vehicle identification is the key technology of safety early warning system for driving at night. The paper proposes a real-time vehicle identification method based on image of night taillights in the RGB color space. For analyzing and extracting color characteristics of taillights, the chromatic aberration characteristics of（R-G）image are selected as the input of image segmentation, for which the adaptive threshold algorithm is used. Solving the problem of taillights adhesions at nighttime, the adjoined taillights are cut apart by setting the judgment condition of adjoined taillights, which is inspired by the non-maximum suppression algorithm. According to the similar characteristics of the left and right taillight on a car, the taillights are paired by defining the rules of taillights pairing and the difference degree of taillights. And the overlapping image of vehicle is handled by defining vehicle bounding box and setting the maximum overlapping rate. The experimental results show that the method has small amount of calculation, average time-consuming per frame is about 26 ms, and the accuracy rate of vehicle identification is more than 93% under a mixed scenes containing taillights adhesion and overlapped vehicles.

color aberration characteristics of（R-G）image; taillights identification; vehicle identification; early warning system for driving security

DU Tengzhou, CAO Kai. Vehicle identification method in nighttime based on monocular vision. Computer Engineering and Applications, 2014, 50（17）：160-163.

A

TP391.41

10.3778/j.issn.1002-8331.1210-0038

國家自然科學(xué)基金（No.61074140）；山東省自然科學(xué)基金（No.ZR2010FM 007）。

杜滕州（1988—），男，碩士，研究領(lǐng)域?yàn)橹悄苘囕v自主導(dǎo)航、圖像處理；曹凱（1959—），男，博士，副教授，研究方向?yàn)橹悄苘囕v自主導(dǎo)航與控制、智能交通系統(tǒng)。E-mail：caokailiu@sdut.edu.cn

2012-10-08

2012-12-03

1002-8331（2014）17-0160-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-01-11,http://www.cnki.net/kcm s/detail/11.2127.TP.20130111.0951.004.htm l