復(fù)雜環(huán)境中交通標(biāo)志的實(shí)時(shí)識(shí)別方法

繆小冬，李舜酩，沈 峘，余宏兵

(1.南京航空航天大學(xué)能源與動(dòng)力學(xué)院，江蘇南京210016;2.合肥通用機(jī)械研究院，安徽合肥230031)

道路交通標(biāo)志是重要的道路安全設(shè)施，在規(guī)范交通行為，引導(dǎo)車輛及行人順利通行，保障道路安全等方面具有重要作用.近年來，隨著社會(huì)經(jīng)濟(jì)的發(fā)展，交通環(huán)境變得愈加復(fù)雜，人們期望能夠出現(xiàn)一種智能化的視覺輔助導(dǎo)航設(shè)備，能夠自動(dòng)識(shí)別交通標(biāo)志信息，幫助駕駛員以及色弱人群對(duì)道路上的狀況做出預(yù)判，從而提高交通安全性.這也是智能車輛及智能交通的關(guān)鍵技術(shù)之一.如何有效地進(jìn)行交通標(biāo)志識(shí)別存在著很多問題，例如曝光不均、尺度變化、遮擋、角度、模糊等，其中光照帶來的亮度不均是最常見的影響因素，一般通過提高硬件性能和算法改進(jìn)來解決.由于圖像傳感器的高性能與成本息息相關(guān)，因此，采用性價(jià)比合理的硬件平臺(tái)，盡量提高算法在復(fù)雜光照環(huán)境下的魯棒性和實(shí)時(shí)性成為人們的研究重點(diǎn)［1］.迄今為止，前人已經(jīng)在此領(lǐng)域做了大量的研究，主要考慮了交通標(biāo)志的顏色和形狀差異，并通過關(guān)鍵點(diǎn)匹配以及神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行分類識(shí)別.Y.Y.Nguwi等［2］以顏色作為特征，采用 Resillient反向傳播神經(jīng)網(wǎng)絡(luò)和尺度共軛梯度算法，對(duì)自身數(shù)據(jù)庫(kù)的識(shí)別準(zhǔn)確率為95.96%，但對(duì)于光照差異大的目標(biāo)容易出現(xiàn)誤判，算法效率不理想.A.de la Escalera等［3］認(rèn)為交通標(biāo)志是由顏色能量，彩色能量，梯度能量和距離能量等先驗(yàn)知識(shí)組成的，他采用了遺傳算法和模擬退火算法.以他們課題組采集的數(shù)據(jù)為測(cè)試對(duì)象，遺傳算法的識(shí)別率為90.4%，退火算法的識(shí)別率為82.9%.X.W.Gao等［4］利用CIECAM97顏色空間，并結(jié)合形狀信息，設(shè)計(jì)了一種基于模板相似度匹配的識(shí)別方法.對(duì)英國(guó)交通標(biāo)志的識(shí)別率為95%，犧牲了一定的計(jì)算效率，對(duì)于曝光不均勻的目標(biāo)容易出現(xiàn)識(shí)別誤差.C.Bahlmann等［5］采用Harr小波提取特征，然后用Adaboost來訓(xùn)練，通過層次貝葉斯模型進(jìn)行樣本分類，在標(biāo)準(zhǔn)PC機(jī)上計(jì)算效率為10幀·s-1，但識(shí)別率受樣本質(zhì)量的影響較大.X.Baró等［6］提出了一種漸進(jìn)式的adaboost檢測(cè)方法和多類聚類糾錯(cuò)輸出編碼方法(Forest-ECOC)，對(duì)于不同類型的交通標(biāo)志識(shí)別率大概在90%左右，但對(duì)光線較暗以及形狀類似情況效果不理想.Fu Mengyin等［7］提供了一種基于有約束的快速二值徑向?qū)ΨQ檢測(cè)算法，并采用基于偽Zernike特征提取的支持向量機(jī)進(jìn)行目標(biāo)分類，算法在Lab顏色空間進(jìn)行，對(duì)徑向?qū)ΨQ以外的交通標(biāo)志缺乏測(cè)試數(shù)據(jù).由此可以看出，這些方法主要采用顏色和形狀特征，難以滿足復(fù)雜曝光情況下的交通標(biāo)志識(shí)別，如圖1所示.

圖1 GTSRB數(shù)據(jù)庫(kù)的隨機(jī)樣本

在實(shí)時(shí)性方面也不理想，而根據(jù)顏色恒常性理論，物體表面的顏色并不取決于刺激的物理特性和視網(wǎng)膜感受的特性，也就是說，在強(qiáng)曝光的情況下，顏色數(shù)值并不能完全反映其本質(zhì)性質(zhì).此外，在不同試驗(yàn)平臺(tái)上的結(jié)果也不具有可比性.針對(duì)以上問題，筆者提出一種能夠有效消除尺度影響和曝光的交通標(biāo)志識(shí)別方法，并在標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)中進(jìn)行測(cè)試.首先，提出一種基于Log Gabor小波的多分辨率特征提取方法，實(shí)現(xiàn)多尺度特征的提取，再將其與相位一致性相結(jié)合，提取出多尺度相位信息，然后選擇數(shù)據(jù)庫(kù)中的部分?jǐn)?shù)據(jù)進(jìn)行樣本學(xué)習(xí)，得到43個(gè)支持向量，最后將這些支持向量用于剩余數(shù)據(jù)的測(cè)試，輸出結(jié)果與原標(biāo)記進(jìn)行比較，通過將識(shí)別結(jié)果與其他幾種典型方法進(jìn)行對(duì)比，說明該方法的有效性.

1 特征提取

1.1 Log Gabor小波

Gabor濾波器已被廣泛應(yīng)用于圖像的紋理分析等方面，這是因?yàn)镚abor小波具有良好的方向和頻率選擇特性，同時(shí)它能夠達(dá)到空域和頻域聯(lián)合測(cè)不準(zhǔn)原理的下限.但是Gabor函數(shù)不是嚴(yán)格帶通，并且其最大帶寬被限制在1倍頻，因此A.Koncar［8］提出了Log-Gabor函數(shù)，并證明，對(duì)數(shù)頻率尺度上傳遞函數(shù)為高斯函數(shù)的濾波器可以對(duì)圖像進(jìn)行更有效地編碼，也就是說，對(duì)數(shù)Gabor函數(shù)能更真實(shí)反映自然圖像的頻率響應(yīng).在線性頻率尺度上，Log Gabor函數(shù)的傳遞函數(shù)為

式中:ω0為濾波器的中心頻率;為了保證濾波器的形狀恒定，對(duì)于不同的中心頻率必須保持不變，例如為0.74時(shí)，大致相當(dāng)于子濾波器為1倍頻的帶寬，為0.55時(shí)相當(dāng)于2倍頻，0.41相當(dāng)于3倍頻.

與Gabor函數(shù)相比，Log Gabor函數(shù)有2個(gè)重要特征:①?zèng)]有直流分量，因此，圖像處理時(shí)不受亮度條件的影響;②Log函數(shù)的傳遞函數(shù)在高頻段有較長(zhǎng)的冗余量，可以填補(bǔ)普通Gabor函數(shù)低頻信息冗余.D.J.Field等［9］關(guān)于自然圖像統(tǒng)計(jì)的研究顯示，自然圖像的幅度大約在1/ω處逐漸衰落，對(duì)具有這種譜特征的圖像編碼，必須使用具有相似譜的濾波器，存在延拓的Log Gabor函數(shù)能夠更有效地對(duì)自然圖像進(jìn)行編碼，并且Log Gabor更符合人的多尺度視覺模型，圖2為L(zhǎng)og Gabor的實(shí)部和虛部.

圖2 Log Gabor(8個(gè)方向，5個(gè)尺度)

1.2 相位一致性

雖然Log Gabor能夠很好地模擬出類似人眼的多尺度模型，但是實(shí)際環(huán)境中，克服光照不均對(duì)于目標(biāo)的識(shí)別是最需要解決的問題.由于相位一致性的模型不是基于局部亮度梯度，而是假定圖像相位中極大值的點(diǎn)被感知，因此其能有效地遏制曝光不均對(duì)交通標(biāo)志的影響［10］.

以某一維信號(hào)I的傅立葉展開為例.

式中:An為第n個(gè)余弦分量的振幅;ωx為常數(shù)，一般取2π;φn0為第n個(gè)分量的相位偏移量;φn(x)表示在x位置傅立葉變換的局部相位.

將相位一致性定義為

式中:ˉφ(x)為相位的加權(quán)平均值.

為了簡(jiǎn)化，可從能量角度求解PC函數(shù)，令

式中:I為實(shí)部;H為虛部.

而PC函數(shù)與能量函數(shù)的關(guān)系可以表示為

將原始信號(hào)和Gabor進(jìn)行卷積可以完成信號(hào)的特征提取.如果Men表示偶小波，Mon表示奇小波，則信號(hào)I的振幅為

相位表達(dá)為

用偶小波和信號(hào)的卷積的結(jié)果近似表示去掉DC分量的信號(hào)F(x)，相應(yīng)地，F(xiàn)(x)的希爾伯特變換H(x)可近似用信號(hào)和奇小波卷積之和表示:

根據(jù)上式可以求出PC函數(shù)為

式中ε可以防止分母為0.

由式(9)可知:局部能量的峰值與PC函數(shù)峰值相對(duì)應(yīng);PC函數(shù)是能量和幅值的比值，量綱為1，因此不受圖像亮度變化的影響.

1.3 Log Gabor小波對(duì)相位一致性的表達(dá)

由于在相位一致性中，能量E與相位角的余弦有關(guān)，而當(dāng)φn(x)和ˉφ(x)相等時(shí)，余弦函數(shù)最大，即能量最大，只有在ˉφ(x)±25°時(shí)，無(wú)論ˉφ(x)取何值，都為常量，從而使 PC對(duì)相位差的余弦值不敏感［11］.為此，構(gòu)造了PC函數(shù)對(duì)相位角敏感的函數(shù)，使相位角的差值分布在0～±π/2之間，計(jì)算公式表示為

結(jié)合式(1)和式(10)提取出來的Log Gabor小波的相位一致性特征可以用來有效地描述交通標(biāo)志，抑制曝光和尺度變化的影響［12］.

采用不同方法對(duì)目標(biāo)提取的結(jié)果如圖3所示，圖3a為曝光不均情況下采集到的交通標(biāo)志圖，圖3b，c，d 分別為采用 Gabor，Log Gabor以及融合 Log Gabor和相位一致性的檢測(cè)方法，可以看出，第3種方法要優(yōu)于直接用前2種方法，較好地抑制了光照不均對(duì)目標(biāo)特征提取的影響.

圖3 采用不同方法對(duì)目標(biāo)提取的結(jié)果

2 分類器設(shè)計(jì)

分類器的種類比較多，目前能夠滿足工程應(yīng)用的主要有基于模板匹配和機(jī)器學(xué)習(xí)的方法，由于模板匹配的計(jì)算難以兼顧計(jì)算量和魯棒性的要求，因此機(jī)器學(xué)習(xí)是目前交通標(biāo)志識(shí)別應(yīng)用的主流.其中，SVM，神經(jīng)網(wǎng)絡(luò)，決策樹，貝葉斯分類，Adaboost，隱馬爾可夫過程等理論被廣泛地研究及應(yīng)用［13］.由于支持向量機(jī)具有完善的理論基礎(chǔ)和更為出眾的性能，在許多領(lǐng)域得到了更廣泛的關(guān)注.

2.1 支持向量機(jī)

支持向量分類機(jī)由Vapnik等提出，是由線性可分情況下最優(yōu)分類器發(fā)展而來，基本思想為對(duì)2類不同的數(shù)據(jù)樣本，找出1個(gè)分類線，同時(shí)滿足將2類正確分開，使訓(xùn)練錯(cuò)誤率最小，且分類間隔最大.

設(shè)樣本集合S={(xi，di)}Ni=1，xi∈Rn，di∈{+1，-1}，將輸入向量非線性的映射到高維特征空間，通過定義特征空間的維數(shù)，即可定義向量使之對(duì)未訓(xùn)練樣本具有同樣的分類效果.線性判別函數(shù)的一般形式為

對(duì)應(yīng)的分類面方程為

將判別函數(shù)進(jìn)行歸一化，使2類所有的樣本都滿足|f(x)|≥1，此時(shí)離分類面最近的樣本滿足|f(x)|=1，如果要求分類面對(duì)所有樣本都能正確分類，需要滿足:

因此，滿足上式且使‖w‖2最小的分類面就是最優(yōu)分類面，應(yīng)用拉格朗日乘子法，構(gòu)造拉格朗日函數(shù):

式中:α為拉格朗日乘子.

為了求取式(14)的最小值，可根據(jù)KKT(Karush-Kuhn-Tucker)條件，即

求得最優(yōu)超平面的決策函數(shù)為

式中:b*為分類閾值.

式中:x(+)代表“+”類中1個(gè)支持向量;x(-)代表“-”類中1個(gè)支持向量.

在線性不可分的情況下，需要通過1個(gè)非線性映射把線性不可分的樣本空間映射到1個(gè)高維的Hilbert空間，使得在原來空間中非線性不可分的問題轉(zhuǎn)化為在特征空間中的線性可分的問題.SVM方法應(yīng)用核函數(shù)解決了計(jì)算復(fù)雜性的問題，在某種程度上避免了維數(shù)災(zāi)難.常用的核函數(shù)主要有n次多項(xiàng)式函數(shù)，Gauss徑向基函數(shù)，Sigmoid函數(shù).根據(jù)經(jīng)驗(yàn)，選擇Gauss徑向基函數(shù).

在進(jìn)行交通標(biāo)志分類時(shí)，給的每個(gè)樣本由1個(gè)向量和1個(gè)標(biāo)記，表示為(xi，yi)，其中xi就是交通標(biāo)志的特征向量，其維數(shù)表示問題的復(fù)雜度;yi表示分類標(biāo)志，只能選擇1或者-1，分別意味著屬于還是不屬于這個(gè)類.對(duì)于線性分類的問題，SVM分類器通過輸入向量的線性函數(shù)來實(shí)現(xiàn).

2.2 多分類問題

前文介紹了2分類的情況，在多分類情況下(數(shù)量為N)，主要有2種方式:①1對(duì)多，②1對(duì)1.方法①需要訓(xùn)練N個(gè)分類器，第i個(gè)分類器是觀察屬于分類i還是分類i的補(bǔ)集(除去i的N-1個(gè)分類).方式②需訓(xùn)練N*(N-1)/2個(gè)分類器，分類器(i，j)能夠判斷某個(gè)點(diǎn)是屬于i還是屬于j，顯然前者在檢測(cè)中的效率更高，因此采用1對(duì)多的方法.

由于隨意采集的數(shù)據(jù)不具有可比性，處理的交通標(biāo)志來源于German Traffic Sign Recognition Benchmark(GTSRB)，這是目前國(guó)際上普遍認(rèn)可的交通標(biāo)志數(shù)據(jù)庫(kù)，能夠進(jìn)行不同識(shí)別算法的性能對(duì)比，具有43個(gè)大類，共144 769個(gè)樣本［14］.圖4為具有代表性的12類，包括速度限制、禁行、取消限制、轉(zhuǎn)向指示、危險(xiǎn)警示和特有標(biāo)志6大項(xiàng).每一類型的交通標(biāo)志至少包括200種以上的數(shù)據(jù)，涵蓋了不同尺度，光照，角度，遮擋等情況.

圖4 GTSRB數(shù)據(jù)庫(kù)中主要的交通標(biāo)志

測(cè)試硬件平臺(tái)為Intel Core 2.4 GHz CPU，內(nèi)存2 GB的臺(tái)式計(jì)算機(jī)上，軟件平臺(tái)為Matlab 7.0和Libsvm 1.8.由于每一類的樣本數(shù)并不一致，為了統(tǒng)一測(cè)試結(jié)果，僅選擇每一類的前200個(gè)樣本，將剩下的前100個(gè)樣本作為測(cè)試對(duì)象，識(shí)別的結(jié)果如果與標(biāo)定數(shù)值相同表明識(shí)別正確，如果不同則意味著識(shí)別錯(cuò)誤.

表1為幾種典型方法的識(shí)別率，分類器都是SVM.很明顯，進(jìn)行Log Gabor與相位一致性計(jì)算后的識(shí)別效果要明顯好于單獨(dú)采用Gabor或者Log Gabor的方法，且能很好地保證實(shí)時(shí)性.

表1 文中方法與傳統(tǒng)方法的比較

3 結(jié)論

文中方法對(duì)6大類主要交通標(biāo)志樣本的平均識(shí)別率達(dá)到98%;在Intel雙核CPU 2.4 GHz硬件平臺(tái)上，對(duì)于數(shù)據(jù)庫(kù)中不同尺度的圖片處理速度達(dá)到28幀·s-1，滿足了實(shí)時(shí)性的要求;很好地克服了光照不均的問題，魯棒性強(qiáng)，適用于不同曝光條件下的交通標(biāo)志識(shí)別，能夠滿足實(shí)際需求.

References)

［1］ 王 進(jìn)，康 雄.基于演化硬件的道路限速標(biāo)志識(shí)別方法［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2011，32(6):689-694.Wang Jin，Kang Xiong.Recognition method of road speed limit sign based on evolvable hardware［J］.Journal of Jiangsu University:Natural Science Edition，2011，32(6):689-694.(in Chinese)

［2］ Nguwi Y Y，KouzaniA Z.Detection and classification of road signs in natural environments［J］.Neural Computation and Application，2008，17(3):265-289.

［3］ de la Escalera A，Armingol JM，Pastor JM.Visual sign information extraction and identification by deformable models for intelligent vehicles［J］.Transaction of Intelligent Transportation System，2004，5(2):57-68.

［4］ Gao XW，Podladchikova L，Shaposhnikov D.Recognition of traffic signs based on their colour and shape features extracted using human vision models［J］.Journal of Vision Communication and Image Representation，2006，17(4):675-685.

［5］ Bahlmann C，Zhu Y，Ramesh V，et al.A system for traffic sign detection，tracking and recognition using color，shape，and motion information［C］∥IEEE Intelligent Vehicles Symposium.Piscataway，USA:IEEE Press，2005:255-260.

［6］ BaróX，Escalera S，VitriáJ，et al.Traffic sign recognition using evolutionary adaboost detection and forest-ECOC classification ［J］.IEEE Transaction of IntelligentTransportation Systems，2009，10(1):113-126.

［7］ Fu Mengyin，Huang Yuanshui，Ma Hongbin.New method for recognition of circular traffic sign based on radial symmetry and pseudo-zernike moments［J］.Journal of Beijing Institute of Technology，2011，20(4):520-526.

［8］ Koncar A，JanBen H，Halgamuge S.Gabor wavelet similaritymaps for optimizing hierarchical road sign classifiers［J］.Pattern Recognition Letters，2007，28:260-267.

［9］ Field D J，Chandler D M.Method for estimating the relative contribution of phase and power spectra to the total information in natural-scene patches ［J］.Journal of the Optical Society of America A:Optics，Image Science，and Vision，2012，29(1):55-67.

［10］ Fischer S，?roubek F，Perrinet L，et al.Self invertible 2D Log-Gabor wavelets［J］.International Journal of Computer Vision，2007，75(2):231-246.

［11］ Wang Ke，Xiao Pengfeng，F(xiàn)eng Xuezhi，et al.Image feature detection from phase congruency based on two dimensional Hilbert transform［J］.Pattern Recognition Letters，2011，32(15):2015-2024.

［12］ 許廷發(fā)，倪國(guó)強(qiáng).基于Log Gabor小波相位一致不變量的目標(biāo)識(shí)別［J］.光電子·激光，2006，17(2):222-225.Xu Tingfa，Ni Guoqiang.Target recognition based on Log Gabor wavelet phase congruency feature invariant［J］.Journal of Optoelectronics·Laser，2006，17(2):222-225.(in Chinese)

［13］ Maldonado-Bascón S，Acevedo-Rodríguez J，Lafuente-Arroyo S，et al.An optimization on pictogram identification for the road-sign recognition task using SVMs［J］.Computer Vision and Image Understanding，2010，114(3):373-383.

［14］ Stallkamp J，Schlipsing M，Salmen J，et al.Man vs.computer:benchmarking machine learning algorithms for traffic sign recognition［J］.Neural Networks，2012，32:323-332.