實時交通禁止標(biāo)志探測應(yīng)用的研究

羅雨欣　韓忠愿

摘要：交通標(biāo)志的檢測在智能汽車駕駛的系統(tǒng)中是一個十分重要的環(huán)節(jié)。在該文中，介紹一種有效的方法，在視頻或圖像中檢測到交通禁止標(biāo)志的存在，提取出確定包括標(biāo)志的圖像區(qū)域，為進一步的分類識別算法提供可靠的數(shù)據(jù)源。由于交通標(biāo)志通常在各地都擁有醒目的圖形和顏色，該文中首先利用顏色和形狀的經(jīng)驗?zāi)Ｐ蛯σ粠瑘D像進行預(yù)處理，分析出可能存在交通標(biāo)志的感興趣區(qū)域，作為候選（Candidate）。再對這一候選區(qū)域進行判斷是否是交通標(biāo)志，此處利用了圖像的HOG特征，和SVM分類器。實驗結(jié)果表明，這一方法有效地避免了光照條件、輕微遮擋等因素的干擾，準(zhǔn)確的檢測到圖像中的交通標(biāo)志所處的位置。

關(guān)鍵詞： 檢測；感興趣區(qū)域；特征提??；機器學(xué)習(xí)

中圖分類號：TP18 文獻標(biāo)識碼：A 文章編號：1009-3044（2014）32-7777-06

Abstract：Detection of Traffic Signs plays one of the most important roles in Intelligent Driving Systems. In this article， we introduce an efficient method to detect prohibitive traffic signs in images or videos. We extract convincing regions of the signs， providing reliable resources for further classification Algorithm. Traffic Signs usually possess regular shapes and eye-catching colors， which gives us strong hints on the establishment of experienced models in the previous stages of detection. We analyze every single frame of the video to find out the possible regions of interests as candidates， and decide whether the contents are traffic signs or not with features of HOG and tools of SVM. The results turn out to be accurate despite of various illumination and slight obstruction.

Key words： detection； region of interests； feature extraction； machine learning

1 概述

提高駕駛的安全性是汽車電子系統(tǒng)發(fā)展的一個重要方向，重要交通標(biāo)志的檢測和識別系統(tǒng)可以幫助駕駛員及時地對路況做出反應(yīng)，規(guī)避了潛在風(fēng)險，甚至可以在將來無人駕駛系統(tǒng)中發(fā)揮很大的作用。交通標(biāo)志被設(shè)計的醒目易懂，在道路環(huán)境中，可以較為清晰地出現(xiàn)在駕駛者的視野中，提供有用的信息。比如說禁止標(biāo)識，通常使用邊緣為紅色圓環(huán)的圓形標(biāo)識，告訴我們此路段的限速信息、禁停信息、禁鳴信息等等。然而，不同的光照，朝向，觀察（攝像機拍攝）的角度，甚至部分的遮擋都給交通標(biāo)志的檢測問題帶來了很大的挑戰(zhàn)。

本文使用的是GTSDB（德國交通標(biāo)志檢測數(shù)據(jù)庫），此數(shù)據(jù)庫收集了42種交通標(biāo)志的1213個實例，是在不同天氣，時段，光照，方位，角度使用同一車載攝像頭在道路駕駛時實時記錄中截取的視頻幀。該數(shù)據(jù)庫收集的圖片比較全面而且十分符合現(xiàn)實中遇到的實際情況，具有很強的研究價值和實際指導(dǎo)意義。

在本方法中，利用計算機對圖像中交通標(biāo)志的檢測，主要有3個需要解決的方向。一是對圖像中特定顏色的分析和提?。欢菍μ囟ㄐ螤畹淖R別和定位；三是對區(qū)域圖像的訓(xùn)練和判斷。下文大致就按照這樣的順序介紹和研究，提出相應(yīng)的算法，來解決這一系列的問題，并且需要兼顧到實時計算的要求，即對每一幅圖像的處理速度不應(yīng)過長。這樣，為下一步的具體分類識別提供了準(zhǔn)確性和穩(wěn)定性的保證，同樣也提供了一定的實際應(yīng)用價值。

2 基于顏色的分析

2.1 不同解決方案的比較與分析

對于顏色的預(yù)處理，研究者們也提出了很多針對性很強的算法，試圖在提取顏色區(qū)域的準(zhǔn)確性和時間復(fù)雜度之間尋求平衡（包括之后的圖形識別也是如此）。區(qū)域的提取，并不像其他有針對性的應(yīng)用中，比如交通燈、車牌的識別，可以在一個圖像特定的區(qū)域做篩選。交通標(biāo)志的安放位置更為靈活，不能對圖像做隨意的分割，對于感興趣區(qū)域的提取就顯得尤為重要和有意義，也是影響系統(tǒng)性能的關(guān)鍵一步。

HSI顏色空間反映了人們視覺系統(tǒng)感知彩色的方式，以色調(diào)、飽和度和強度這3種基本特征量來描述一種顏色。由于圖像在HSI空間有出色的抗光照特性，我們可以利用其中的色度來提取交通標(biāo)志的顏色信息，特別是在光照條件很差的情況下，此方法有一定的針對性。

但是，在這一空間中，我們不能對其中的紅色色調(diào)做精確的量化，當(dāng)交通標(biāo)志處于圖像中陰暗區(qū)域時，與其之后的暗色背景在色度空間上還是會有所重合，而且難以通過量化區(qū)分。這樣交通標(biāo)志還是易與背景混淆，在初始的預(yù)處理階段就導(dǎo)致了感興趣區(qū)域成為了一般區(qū)域，會對交通標(biāo)志的提取造成了遺漏。利用HSI空間另一缺點就是，對于圖像中的每一個像素點，都要做非線性的變換，無疑是較為耗時的。在最初的階段，耗費一定的時空代價，且不能精確的解決光照的問題和重要區(qū)域的劃分，并不能成為一個首要的選擇。

對于以上的困擾，有人利用人類觀察的感官作為啟發(fā)提出了基于醒目區(qū)域的提取方法。在彩色通道、灰色圖像和紋理圖像（灰度圖像經(jīng)Gabor濾波器卷積而得）上建立高斯金字塔，計算金字塔間的差值，再經(jīng)DoG濾波器濾波，按一定的權(quán)值疊加，得到視覺上顯著的區(qū)域。這里，高斯金字塔的差值得到了在不同通道上的顯著性的量化值，DoG濾波器是一個抑制局部極大值，放大全局最大值的濾波器，Winner-take-all的特性決定了我們可以將區(qū)域鎖定在最為顯著的候選區(qū)域。但是，交通標(biāo)志雖為顯著，可是并不一定是在一定特征上，最為顯著地區(qū)域，例如，在紅色通道上，我們并不是要比哪一片區(qū)域在圖像中是最紅的，況且正如上文所說的，標(biāo)志牌上的紅色在很多情況下，并不是在圖像中最為鮮艷的紅，其他如汽車尾燈，晚霞等都會在圖像最大值的競爭中勝出，也造成了判斷的錯誤和漏檢。而對于智能搜索算法，也并沒有什么很好的啟發(fā)式目標(biāo)，或者說優(yōu)化函數(shù)，可以對二位離散的數(shù)字圖像搜索到一個符合期望的數(shù)值較為平穩(wěn)的區(qū)域（感興趣區(qū)域）。

有的研究者想出了使用AdaBoost的強化學(xué)習(xí)方法來識別圖像中交通標(biāo)志上的紅色。其思想是收集交通標(biāo)志在不同天氣光照下的特定顏色，進行分類和訓(xùn)練。但是即使將顏色轉(zhuǎn)換成了其他空間，所能描述一個顏色的特征數(shù)實在是較少，而且交通標(biāo)志上的顏色與其他的近似顏色區(qū)別度并不大，在計算機中由于攝像和存儲精度的原因，也并不能作出很好的分類，所以說對于背景復(fù)雜的視頻或者圖像來說，也并不是一個精煉的方法。

在得到的二值圖像上，仍然存在一些零星的散點，肯定不失我們希望重點關(guān)心和研究的像素，不希望讓這些點占用之后的算法空間和時間。這些噪聲最符合的噪聲模型即為椒鹽噪聲，使用中值濾波，能很有效的濾除這些點。但這里需要注意的是，尤其是在禁止標(biāo)志的檢測中，紅色區(qū)域只占了交通標(biāo)志較小的一部分，是一個較窄的圓環(huán)，如果交通標(biāo)志在圖像中所占的區(qū)域十分小的情況下，例如14*15個像素，在增強過后的紅色通道中，其紅色的邊緣像素點往往呈現(xiàn)為鏈?zhǔn)降倪B接，而不是聚集的點，如果過大邊長的中值濾波掩膜算子，很可能就會將這些點也同時濾除了，造成了性能的下降。所以這里取中值濾波的掩膜邊長為3。

3 圖形識別算法

因為區(qū)域的輪廓信息往往即可以表達一個區(qū)域的覆蓋，所以在霍夫變換之前，需要對中值濾波之后的圖像做一次邊緣檢測，使用邊緣點來判斷圖像中存在的形狀。再一次減少圖中的有效像素個數(shù)，而同時又不失含有重要信息的有效像素點，因為邊緣檢測仍然保留了區(qū)域的形狀信息。

3.1霍夫變換檢圓

利用霍夫變換在數(shù)字圖像的圖形提取中，其實是一個離散化的搜索（[a0，b0，r0]）的過程，令r按一定的步長增加，在a-b平面對應(yīng)的每個像素點設(shè)立計數(shù)器，在圖像區(qū)域內(nèi)搜索有效像素點的圓心（在一定半徑下，像素點在參數(shù)空間水平面上的聚集點）。因為我們希望在車輛行駛的過程中，一旦攝像頭捕捉到可以分辨的交通標(biāo)志時，就識別出其位置信息，盡早地給予交通駕駛員提醒，所以在本例中，在1380*800的分辨率下，半徑的搜索起點以10個像素起；如果交通標(biāo)志的徑長達到較大長度時，系統(tǒng)才能檢測出交通標(biāo)志的位置，對于以較快速度通過的車輛中的人員來說，沒有很大的提醒意義了，所以r的搜索上限在本例中設(shè)為100個像素長。在一定半徑的情況下，我們搜索圓心，采用極坐標(biāo)更為方便。半徑的搜索步長為1，在已知半徑下，圓心的偏轉(zhuǎn)角度的步長為[π18]。

每按半徑r搜索完一次，就需要統(tǒng)計一次a-b平面上的計數(shù)器，當(dāng)某一些點上的計數(shù)大于某一閾值時，則可以認為是一個半徑為r的圓形的圓心。經(jīng)過大量的實驗，發(fā)現(xiàn)在濾波過后剩下的n個像素點時，計數(shù)器的閾值設(shè)為[countthresh=lnn*2]，擁有最佳的檢測性能。當(dāng)然，由于步長較小，實際圖像中的一個圓形可能會對應(yīng)到a-b-r參數(shù)空間上不同但是十分相近的點上，所以計算統(tǒng)計出的點之間的歐式距離，如果小于30，就把它們歸為同一個圓形的實例，也避免了檢測的重合。

3.2 性能優(yōu)化

Hough變換應(yīng)用廣泛，但其效率不高是需要注意的，特別是在這樣一個實時性較高的系統(tǒng)中。這樣對于一個有效的像素點，需要搜索的次數(shù)為91*36，則全局搜索的次數(shù)，設(shè)有n個需要驗證的像素點，則約需要3200*n次。在本次試驗中，n一般的數(shù)量級在[103]，則大約做了[106]數(shù)量級次的搜索。在計算a，b時，計算三角函數(shù)的非線性運算是十分耗時的，但我們注意到這些角度，因為步長恒定，都是固定的值，所以可以列出一個三角函數(shù)表，在實際運行時，程序計算三角函數(shù)，只需查表即可，縮減了時間復(fù)雜度。而一幅圖像的所有像素點也是[106]，所以說相當(dāng)于對圖像全局做了幾次線性的運算，其計算復(fù)雜度是可以承受的。

但通過實驗發(fā)現(xiàn)，上述的算法需耗時500ms左右，處理速度仍跟不上實時處理的要求，需要進一步的減少搜索空間。我們發(fā)現(xiàn)圓心一定是落于邊緣點的法線方向上的，這樣利用邊緣點的梯度信息，就可以控制參數(shù)空間的擴張方向。在一個二維空間中標(biāo)記出法線上的點，同樣采取統(tǒng)計方法選取出法線的交叉點作為圓心的候選，在其周邊的圖像空間中統(tǒng)計半徑為10-100像素的直方圖，即可以得出該圓心的半徑，從而檢測出一個圓形。通過如此算法的改進，使得搜索空間大大降低，減小了存儲空間，也使得在時間復(fù)雜度上滿足實時處理的要求，在VS2010的release編譯環(huán)境下，平均一幀圖像可以達到80ms的處理時間。（CPU：AMD A4-3400， 2.7GHz）

4 機器學(xué)習(xí)

通過之前的顏色和形狀的啟發(fā)式信息，可以提取出圖像中感興趣的區(qū)域。但是這些區(qū)域不一定就是交通標(biāo)志所在的區(qū)域，比如說車的尾燈或者一些其他的干擾物體也會有同樣的顏色、形狀特性。這里，我們希望的是可以通過一個分類器，先判斷這個提取的區(qū)域是不是交通標(biāo)志，如果是肯定的，可以做進一步分類，為今后的識別提供準(zhǔn)確的數(shù)據(jù)源；如果不是，則可以降低誤檢率。

4.1 HOG特征

在提取了我們關(guān)心的區(qū)域后，對于圖像的顏色和圖形信息不再感興趣，這就需要對于局部圖像提取可以描述其特征的算子（向量）。我們更關(guān)心的是圖像的紋理特征，結(jié)構(gòu)特征，通過這些特征向量可以區(qū)分內(nèi)容不同的圖像也可以識別出內(nèi)容相似的圖像。

HOG特征就是這樣一個針對圖像內(nèi)容的描述算子，它的提取需要把訓(xùn)練圖像和測試圖像統(tǒng)一到一個尺度下，這里都將它們重新調(diào)整到32*32個像素大小（pitch）的灰度圖像。以8*8個像素作為一個單元（cell），計算每個單元中的梯度方向直方圖，一般設(shè)為9個方向，凡是4個單元組成一個正方形16*16的塊（block）。這樣，一幅樣本圖像可以容納9個塊，每個塊中有4個單元，每個單元有9維特征，串聯(lián)在一起可以提取出一個324維的特征向量。

4.3 數(shù)據(jù)組織和參數(shù)尋優(yōu)

在使用SVM時，需要對數(shù)據(jù)歸一化處理，才能將數(shù)據(jù)統(tǒng)一到一定的范圍內(nèi)分類。值得注意的是，不同于一般的應(yīng)用在每一維度上歸一化，這里將每一個向量歸一化處理。因為其他的一般應(yīng)用中，每一個維度代表著物體的某一屬性，是相互獨立的；而本例中，我們關(guān)心的是圖像的結(jié)構(gòu)，HOG特征正是描述這樣結(jié)構(gòu)的算子，對每一個HOG向量而不是維度做歸一化處理，就不會破壞原有的結(jié)構(gòu)描述。

在程序上，SVM算法分為離線訓(xùn)練和在線識別2個部分。為了可以最大程度的規(guī)避誤檢，離線訓(xùn)練數(shù)據(jù)配比需要做到合理。因為在實際應(yīng)用中，非交通標(biāo)志的局部圖像千差萬別，所以在訓(xùn)練時，數(shù)據(jù)庫中有1213幅交通標(biāo)志樣本作為true數(shù)據(jù)（標(biāo)簽為1），而需要盡可能多的false數(shù)據(jù)（標(biāo)簽為-1），實際上，false的數(shù)據(jù)量越大，系統(tǒng)的性能就越優(yōu)秀，誤檢率越低，此次試驗的true，false數(shù)據(jù)比為1：100。

當(dāng)然，之前介紹的SVM支持向量[xi]是在高維空間中的，提取出的HOG特征需要經(jīng)歷向高維轉(zhuǎn)換并且內(nèi)積計算的過程，尤其是從低維到高維空間的轉(zhuǎn)換，是原始空間1-324階的所有組合，這一計算量是巨大的。支持向量機算法中核函數(shù)的作用就是計算兩個向量在隱式映射過后的空間中的內(nèi)積，先通過內(nèi)積，再進行核函數(shù)變換，不僅節(jié)省了相當(dāng)?shù)挠嬎懔?，也能達到相同的效果。

通常情況下，比較方便也運用最為廣泛的是徑向基核函數(shù)：[kx1，x2= e-x1-x222σ2]。這里將[12σ2]看做參數(shù)g，此外還有一個懲罰因子參數(shù)c，為了有更精確的分類準(zhǔn)確度，需要設(shè)置合理的g和c的值。另外采用交叉認證的方法，可以進一步地提高分類的精確度，即將訓(xùn)練數(shù)據(jù)分成k份，k-1份數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)訓(xùn)練，而剩下的一份用來檢驗精確度。所以利用網(wǎng)格化搜索，同時結(jié)合交叉認證的方法， 能得到使分類系統(tǒng)效果最好的參數(shù)值。在每一個g和c的取值下，計算和評價交叉認證中的精確度，選取平均準(zhǔn)確度高，且方差小的一組參數(shù)。如圖6，顯示了參數(shù)關(guān)于分類的平均準(zhǔn)確率的等高線和增長趨勢。

4.4 綜合測試

參考文獻：

[1] Stallkamp J，Schlipsing M，almen J S.The German Traffic Sign Recognition Benchmark：A multi-class classification competition[C].Proceedings of the IEEE International Joint Conference on Neural Networks，2011：1453-1460.

[2] Fatin Zaklouta，Bogdan Stanciulescu.Real-time traffic sign recognition in three stages[J].Robotics and Autonomous Systems，2014（62）：16-24.

[3] Yuan Xie.Unifying Visual Saliency with HOG Feature Learning for Traffic Sign Detection[R].Fujian：XiaMen University，2008.

[4] Nello Christianini，John Shawe-Taylor.An Introduction to Support Vector Machine and Other Kernel-based Learning Methods[M].London：Cambridge University Press，2000.

[5] Karla Brki'c.An overview of traffic sign detection methods.Zagreb， Croatia： Department of Electronics， Microelectronics， Computer and Intelligent Systems.

[6] Hasan Fleyeh.Road and Traffic Sign Color Detection and Segmentation[C]. IAPR Conference on Machine VIsion Applications，2005.

[7] Gary Overett and Lars Petersson.Large Scale Sign Detection using HOG Feature Variants[R].Baden-Baden， Germany，2011.

[8] 王剛毅. 交通標(biāo)志檢測與分類算法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2013：1-109.

[9] Laurent Itti，Christof Koch.A saliency-based search mechanism for overt and covert shifts of visual attention.Vision Research，2000（40）：1489—1506.

[10] Tao Zhang，Jingqin Lv，Jie Yang.Road Sign Detection Based on Visual Saliency and Shape Analysis.Institute of Image Processing and Pattern Recognition，Shanghai Jiaotong University.

[11] L.-W.Tsai.Road sign detection using eigen colour[J].IET Computer Vision，2008，2（3）：164-177.

[12] Yuen H K，Princen J，Illingworth J.A Comparative Study of Hough Transform Methods for Circle Finding.Department of Electronics and Electrical Engineering， University of Surrey， Guildford， U.K.