基于投影特征值的交通信號(hào)燈檢測(cè)與識(shí)別方法

吳澤峰 張重陽(yáng) 許明文

摘 要： 針對(duì)常見的交通信號(hào)燈，提出了基于投影特征值的交通信號(hào)燈識(shí)別方法。該方法首先分割圖像中紅綠色區(qū)域，經(jīng)過(guò)多次過(guò)濾，篩選出交通信號(hào)燈區(qū)域，然后針對(duì)交通信號(hào)燈擴(kuò)散問(wèn)題，采用自適應(yīng)閾值分割對(duì)候選區(qū)域進(jìn)行分割，最后提取交通信號(hào)燈在水平和垂直方向的投影特征值，運(yùn)用最小距離分類器，得到交通信號(hào)燈的方向信息。實(shí)驗(yàn)結(jié)果表明，在不同的自然場(chǎng)景中檢測(cè)率達(dá)到95%以上，識(shí)別率達(dá)到96%以上。

關(guān)鍵詞： 多次過(guò)濾； 自適應(yīng)閾值分割； 投影特征值； 最小距離分類器

中圖分類號(hào)： TN911.73?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）09?0160?04

Abstract： The traffic lights recognizing method based on projection eigenvalue is proposed for the common traffic lights. This method is used to segment the red and green areas， and screen out the areas of traffic lights after multiple filtering. For the diffusion problem of the traffic lights， the adaptive threshold segmentation is adopted to segment the candidate areas. After that， the projection eigenvalue of the traffic lights in horizontal and vertical directions is extracted， and the minimum distance classifier is used to obtain the directional information of the traffic lights. The experimental results show that the detection rate can reach up to 95% and the recognition rate can reach up to 96% in different natural scenes.

Keywords： multiple filtering； adaptive threshold segmentation； projection eigenvalue； minimum distance classifier

近年來(lái)，無(wú)人駕駛和輔助駕駛研究受到廣泛的關(guān)注，而交通信號(hào)燈的檢測(cè)與識(shí)別是無(wú)人駕駛和輔助駕駛的重要組成部分。國(guó)內(nèi)外許多研究學(xué)者已經(jīng)提出了一些有效的檢測(cè)和識(shí)別交通信號(hào)燈的算法。Masako Omachi提出在RGB色彩空間分割交通信號(hào)燈[1]，使用HOUGH變換檢測(cè)興趣區(qū)域，該方法只能有效地檢測(cè)圓形交通信號(hào)燈，而且單一的RGB顏色分割受光照的影響比較大。Park等通過(guò)簡(jiǎn)單的圓形檢測(cè)法檢測(cè)交通信號(hào)燈[2]，通過(guò)K均值聚類算法識(shí)別交通信號(hào)燈。該算法在復(fù)雜環(huán)境下，缺乏穩(wěn)定性且誤檢率較高。Gong等采用HSV顏色空間的統(tǒng)計(jì)結(jié)果獲取分割閾值[3]，對(duì)圖像進(jìn)行分割，用基于CAMSHIFT的算法對(duì)交通信號(hào)燈進(jìn)行跟蹤，但該方法直接在HSV顏色空間進(jìn)行統(tǒng)計(jì)，時(shí)間開銷大而且難以在較復(fù)雜環(huán)境中檢測(cè)和識(shí)別交通信號(hào)燈。徐成等提出在Lab色彩空間分割交通信號(hào)燈[4]，使用模板匹配的方法識(shí)別交通信號(hào)燈的方向，雖然識(shí)別率很高，但是受限于水平方向交通信號(hào)燈，適用范圍窄。谷明琴等用圖像顏色分割和形態(tài)濾波定位交通信號(hào)燈的燈板位置再轉(zhuǎn)換到Y(jié)CbCr空間分割出交通信號(hào)燈[5]，用二維Gabor小波變換和二維獨(dú)立分量分析提取交通信號(hào)燈候選區(qū)域的特征；最后，用最近鄰分類器識(shí)別交通信號(hào)燈的箭頭方向，但對(duì)圖像直接分割燈板確定交通信號(hào)燈會(huì)受背景的影響，漏檢率很高。針對(duì)實(shí)時(shí)性差，漏檢率高，交通信號(hào)燈單一等問(wèn)題，提出了基于投影特征值的交通信號(hào)燈識(shí)別方法，該方法首先使用歸一化RGB顏色分割，然后根據(jù)交通信號(hào)燈的幾何特征和背板特征過(guò)濾噪聲，最后提取興趣區(qū)域的投影特征值，采用最小距離分類器進(jìn)行分類。

1 交通信號(hào)燈的檢測(cè)

自然場(chǎng)景下的交通信號(hào)燈，由于背景復(fù)雜，因此如何快速、準(zhǔn)確地檢測(cè)交通信號(hào)燈，并且濾除圖像中的噪聲是交通信號(hào)燈檢測(cè)與識(shí)別的關(guān)鍵。圖1是交通信號(hào)燈檢測(cè)的基本過(guò)程與結(jié)果。

1.1 顏色分割

智能車攝像頭到交通信號(hào)燈的距離范圍為50～100 m，面積大小有一定的范圍，所以取[S1]和[S2]分別為100 m2和600 m2。

1.3 交通信號(hào)燈背板過(guò)濾

交通信號(hào)燈的背板一般是黑色矩形框，交通信號(hào)燈背板通常有兩種類型，橫板和豎板。

常見的交通信號(hào)燈正常工作時(shí)，同一時(shí)刻通常只有一個(gè)交通信號(hào)燈發(fā)光。交通信號(hào)燈在背板的位置是固定的。經(jīng)過(guò)過(guò)濾可以確定興趣區(qū)域的顏色和位置信息而交通信號(hào)燈的安裝位置固定，可以通過(guò)判斷興趣區(qū)域是否在背板中，從而判斷是否為交通信號(hào)燈。

三種交通信號(hào)燈大小相同，嵌入在黑色背板中，只要將興趣區(qū)域向外延伸兩個(gè)區(qū)域，就可以判斷是否為交通信號(hào)燈。如圖2（a）所示，若為紅色信號(hào)燈，就向右和下分別延伸一個(gè)為興趣區(qū)域兩倍長(zhǎng)度和一倍寬度的區(qū)域，只要向右或者向下滿足使交通信號(hào)燈背板，則可以判斷興趣區(qū)域是紅色交通信號(hào)燈。

1.4 自適應(yīng)閾值分割

自適應(yīng)閾值分割與形態(tài)學(xué)處理的結(jié)果如圖3所示。觀察圖3（a）和圖3（b）可以發(fā)現(xiàn)，交通信號(hào)燈有時(shí)存在擴(kuò)散而導(dǎo)致其丟失了方向特征。由于交通信號(hào)燈和黑色背板類間方差是單峰，因此對(duì)興趣區(qū)域進(jìn)行自適應(yīng)閾值分割。自適應(yīng)閾值分割算法是最大類間方差法，當(dāng)取最佳閾值時(shí)即以類間方差最大來(lái)衡量背景和前景差別。

對(duì)興趣區(qū)域進(jìn)行自適應(yīng)閾值分割后會(huì)出現(xiàn)斷裂，可以使用形態(tài)學(xué)中膨脹和腐蝕進(jìn)行處理，使箭頭信息完整如圖3（d）所示。

2 交通信號(hào)燈的識(shí)別

2.1 特征提取

本文采用自適應(yīng)閾值分割后二值圖像在水平和垂直方向的投影值作為交通信號(hào)燈的形狀特征。

由于相機(jī)與交通信號(hào)燈的距離不同，所采集的交通信號(hào)燈的大小不同，所以在進(jìn)行特征提取前，需要將樣本進(jìn)行歸一化，本文將樣本歸一化為[30×30]。采用投影法提取形狀特征如圖4所示，設(shè)圖像某個(gè)像素點(diǎn)的坐標(biāo)為[（x，y），]二值圖像在[（x，y）]點(diǎn)處的像素值為Bin[（x，y），]首先水平方向投影即以高度為一個(gè)像素點(diǎn)的直線從上到下進(jìn)行掃描，統(tǒng)計(jì)這條直線上白色像素的數(shù)目，如圖4直線[l1，]把這條直線上的白色像素點(diǎn)的個(gè)數(shù)的統(tǒng)計(jì)結(jié)果作為一個(gè)特征值；然后進(jìn)行垂直方向投影即從左往右掃描，同樣是以高度為一個(gè)像素點(diǎn)的直線，統(tǒng)計(jì)這條直線上白色像素點(diǎn)的個(gè)數(shù)，如圖4直線[l2]從上到下進(jìn)行統(tǒng)計(jì)，將白色像素點(diǎn)個(gè)數(shù)進(jìn)行統(tǒng)計(jì)作為另一個(gè)特征值，投影完成后就生成一個(gè)以白色像素點(diǎn)個(gè)數(shù)為特征值的一個(gè)二維特征向量，用來(lái)表示一個(gè)箭頭方向特征。

3 實(shí)驗(yàn)分析

本文使用無(wú)人駕駛汽車平臺(tái)進(jìn)行試驗(yàn)，選用35 mm長(zhǎng)焦攝像頭和高分辨率的工業(yè)相機(jī)，采集得到的圖像分辨率為1 392×1 040，能很好地拍攝不同距離的交通信號(hào)燈。測(cè)試硬件為筆記本電腦，CPU為Intel M460 i5雙核處理器，主頻為2.53 GHz，內(nèi)存為4 GB。軟件環(huán)境為Windows 7 64位系統(tǒng)下的VS2010編譯環(huán)境。

本文選取兩個(gè)不同時(shí)間段的視頻序列，兩段視頻共有1 863幀圖像。一種是中午，光線較強(qiáng)，總數(shù)為1 032幀，另一種是傍晚，光線較暗，總數(shù)為831幀。分別從光線強(qiáng)的視頻序列中隨機(jī)選取300幀圖像共有563個(gè)交通信號(hào)燈樣本和從光線暗的視頻序列中隨機(jī)選取200幀圖像共有386個(gè)交通信號(hào)燈進(jìn)行訓(xùn)練。

圖6所示為本文所用方法的檢測(cè)與識(shí)別結(jié)果，圖6（a），（b）為中午采集的視頻序列中的2幀圖像，圖6（c），（d）為傍晚采集的視頻序列中的2幀圖像。如果為紅色信號(hào)燈，則使用紅色矩形框框出，并標(biāo)記方向；如果為綠燈則使用綠色矩形框框出，并標(biāo)記方向。把交通信號(hào)燈的檢測(cè)與識(shí)別結(jié)果放大顯示在每幅圖的下方。實(shí)驗(yàn)結(jié)果表明本文方法能夠有效地檢測(cè)出交通信號(hào)燈并識(shí)別其方向。

4 結(jié) 語(yǔ)

本文針對(duì)常見的圓形和箭頭型交通信號(hào)燈，提出了基于投影特征值的交通信號(hào)燈識(shí)別方法，首先通過(guò)歸一化RGB顏色分割方法從背景中分割出交通信號(hào)燈等區(qū)域，使用幾何特征過(guò)濾進(jìn)行第一次過(guò)濾，過(guò)濾掉長(zhǎng)寬比相差較大或者面積過(guò)大過(guò)小的噪聲，再使用交通信號(hào)燈燈板特征進(jìn)行第二次過(guò)濾，確定交通信號(hào)燈的位置。然后統(tǒng)計(jì)交通信號(hào)燈在水平和垂直方向的投影值，作為交通信號(hào)燈的形狀特征，最后采用最小距離分類器對(duì)交通信號(hào)燈進(jìn)行識(shí)別，實(shí)驗(yàn)結(jié)果證明該方法的穩(wěn)定性和有效性。

參考文獻(xiàn)

[1] OMACHI M， OMACHI S. Traffic light detection with color and edge information [C]// 2009 2nd IEEE International Conference on Computer Science and Information Technology. Washington DC： IEEE， 2009： 284?287.

[2] PARK J H， JEONG C S， Real?time signal light detection [C]// Proceedings of Second International Conference on Future Ge?neration Communication and Networking Symposia. [S.l.]： IEEE， 2008： 139?142.

[3] GONG Jianwei， JIANG Yanhua， XIONG Guangming， et al. The recognition and tracking of traffic lights based on color segmentation and CAMSHIFT for intelligent vehicles [C]// 2010 IEEE Intelligent Vehicles Symposium. San Diego： IEEE， 2010： 431?435.

[4] 徐成，譚乃強(qiáng)，劉彥.基于Lab色彩空間和模板匹配的實(shí)時(shí)交通信號(hào)燈識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2010，30（5）：1251?1254.

[5] 谷明琴，蔡自興，黃振威.城市環(huán)境箭頭型交通信號(hào)燈的實(shí)時(shí)識(shí)別算法[J].中南大學(xué)學(xué)報(bào)，2013，44（5）：55?60.

[6] 武瑩，張小寧，何斌.基于圖像處理的交通信號(hào)燈識(shí)別方法[J].交通信息與安全，2011，29（3）：51?55.

[7] 周宣汝，袁家政，劉宏哲，等.基于HOG特征的交通信號(hào)燈實(shí)時(shí)識(shí)別算法研究[J].計(jì)算機(jī)科學(xué)，2014，41（7）：313?317.

[8] 金濤，王春香，王冰，等.基于級(jí)聯(lián)濾波的交通信號(hào)燈識(shí)別方法[J].上海交通大學(xué)學(xué)報(bào)，2012，46（9）：1355?1360.

[9] 谷明琴，蔡自興，李儀.應(yīng)用圓形度和顏色直方圖的交通信號(hào)燈識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2012，33（1）：243?247.

[10] 彭祖勝.交通標(biāo)志和信號(hào)燈實(shí)時(shí)檢測(cè)與識(shí)別技術(shù)研究[D].重慶：重慶大學(xué)，2012：41?57.

[11] 黃振威.交通信號(hào)燈檢測(cè)與識(shí)別算法的研究[D].長(zhǎng)沙：中南大學(xué)，2012：20?34.

[12] YING Jie， CHEN Xiaomin， GAO Pengfei， et al. A new tra?ffic light detection and recognition algorithm for electronic travel aid [C]// Proceedings of 2013 Fourth International Conference on Intelligent Control and Information Processing. Beijing， China： IEEE， 2013： 644?648.

[13] 王廳列，徐紅霞，鄭龍.一種基于機(jī)器視覺識(shí)別交通燈的方法[J].福建電腦，2010，26（3）：12?13.

[14] CHIANG C C， HO M C， LIAO H S， et al. Detecting and re?cognizing traffic lights by genetic approximate ellipse detection and spatial texture layouts [J]. International journal of innovative computing， information and control， 2011， 7（12）： 6919?6934.

[15] FAIRFIELD N， URMOSN C. Traffic light mapping and detection [C]// Proceedings of 2011 IEEE International Conference on Robotics and Automation. Shanghai， China： IEEE， 2011： 5784?5791.