形狀標(biāo)記圖和Gabor小波的交通標(biāo)志識別

谷明琴，蔡自興，何芬芬

(中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙 410083)

形狀標(biāo)記圖和Gabor小波的交通標(biāo)志識別

谷明琴，蔡自興，何芬芬

(中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙 410083)

交通標(biāo)志識別為智能車輛行駛提供了有價值的道路環(huán)境信息.提出一種結(jié)合形狀標(biāo)記圖和Gabor波的交通標(biāo)志識別方法，交通標(biāo)志識別過程如下:1)變換圖像的RGB像素值來增強交通標(biāo)志主特征顏色(紅，藍(lán)，黃)區(qū)域并進行分割，用形態(tài)學(xué)操作消除噪聲點的影響;2)提取感興趣區(qū)域的標(biāo)記圖作為其形狀特征，用Euclidean距離來對其進行初分類;3)對交通標(biāo)志感興趣區(qū)域的灰度圖像進行Gabor小波變換，獲得其不同角度和尺度的小波圖像，用二維獨立分量分析法提取其主特征，并送入線性支持向量機來判斷感興趣區(qū)域所屬的交通標(biāo)志類型.實驗結(jié)果表明，提出的算法能夠穩(wěn)定、有效地檢測和識別智能車輛行駛環(huán)境中的多類交通標(biāo)志.

交通標(biāo)志識別;標(biāo)記圖;Gabor小波;支持向量機

近年來，智能車輛研究受到越來越多的重視.2007年美國國防部高級計劃研究署(Defense Advanced Research Projects Agency，DARPA)舉辦了智能車輛城市挑戰(zhàn)賽，期間智能車輛僅依靠傳感和視覺系統(tǒng)成功完成了道路環(huán)境的感知.在我國，2009和2010年由國家自然科學(xué)基金委組織的未來挑戰(zhàn)智能車比賽在西安成功舉行，比賽包括靜態(tài)和動態(tài)交通標(biāo)志的檢測與識別.可見交通標(biāo)志的檢測與識別是智能車輛研究的一個重要研究方向.

從20世紀(jì)80年代開始，國內(nèi)外研究人員提出了多種交通標(biāo)志檢測和識別算法.檢測算法通常在不同的顏色空間中對交通標(biāo)志圖像進行分割，獲得感興趣區(qū)域，然后用形狀特征對其進行檢測.所用到的顏色空間主要有 RGB、HSV、HIS、YCbCr、CIECAM97、IHLS等.而對交通標(biāo)志感興趣區(qū)域形狀判別的方法有:利用圖像邊緣信息進行Hough變換［1］能夠較精確地獲得交通標(biāo)志區(qū)域，但該方法計算復(fù)雜度較高且占用較大的內(nèi)存資源，實時性較差.文獻(xiàn)［2－4］使用快速徑向?qū)ΨQ檢測算子，對光照變化和遮擋具有一定的魯棒性，但只能對圓形交通標(biāo)志進行檢測.文獻(xiàn)［5］利用自組織映射算法，以及文獻(xiàn)［6］用感興趣區(qū)域的邊緣到邊界距離作為形狀識別的特征，分別檢測交通標(biāo)志.文獻(xiàn)［7］用快速傅里葉變換的絕對值作為形狀識別特征，對旋轉(zhuǎn)、縮放、遮擋、投影形變和噪聲等有較好的魯棒性，但計算復(fù)雜度高;文獻(xiàn)［8］用擴展的 FOSTS(foveal system for traffic signs)模型、人類視覺行為模型來提取形狀特征.文獻(xiàn)［9］使用模糊推理方法生成檢測窗口來檢測交通標(biāo)志，時間復(fù)雜度較高.Qin等［10］利用邊緣到邊界的分割塊特征獲取候選區(qū)域的形狀信息，通過顏色幾何模型和基于徑向基函數(shù)核的支持向量機分別進行粗分類和細(xì)分類.Xie等［11］利用方向梯度特征直方圖和支持向量機算法搜索交通標(biāo)志顯著性區(qū)域內(nèi)的交通標(biāo)志目標(biāo).

在交通標(biāo)志識別方面，A.Ruta等［12］利用關(guān)鍵局部特征和顏色距離變換來進行交通標(biāo)志識別.J.F.Khan等［13］用Gabor濾波提取與亮度和顏色相關(guān)的穩(wěn)定局部特征點與模板庫進行匹配.Bahlmann等［14］針對幾種簡單的圓形標(biāo)志采用Harr小波特征和 AdaBoost分類器進行識別.M.Meuter等［3］用粒子濾波器來跟蹤多目標(biāo)，融合每一幀的分類結(jié)果，最終由推理系統(tǒng)選擇給駕駛員提供哪個標(biāo)志的信息.K.H.Lim等［9］用基于李雅普諾夫穩(wěn)定性理論的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)進行分類.

本文提出在原始圖像上進行顏色分割，獲取交通標(biāo)志感興趣區(qū)域，以形狀標(biāo)記圖作為交通標(biāo)志的形狀分類特征，對交通標(biāo)志進行初分類.識別算法則選擇了Gabor小波、二維獨立分量分析(2DICA)、線性支持向量機(SVM)的綜合處理技術(shù)，實驗結(jié)果表明該算法能夠穩(wěn)定、有效地檢測和識別智能車輛行駛環(huán)境中存在的多類交通標(biāo)志.

1 交通標(biāo)志檢測

我國的交通標(biāo)志一般如圖1所示［15］.

圖1 交通標(biāo)志的分層遞階結(jié)構(gòu)Fig.1 Hierarchical structure of traffic signs

1.1 交通標(biāo)志顏色分割

圖像RGB顏色空間的顏色值隨亮度和飽和度變化較大，很難直接對其應(yīng)用閾值選擇算法分割出期望的圖像區(qū)域.因此，本文對RGB空間的每個像素v=［vR，vG，vB］進行如下變換:

式中:S=vR+vG+vB為RGB通道顏色值之和.通過該變換，每種交通標(biāo)志的特征顏色只用一個閾值便可將其與周圍環(huán)境分開，即:

式中:c∈{red，blue，yellow}，(x，y)為像素點坐標(biāo)，閾值thresholdc隨交通標(biāo)志的不同顏色而定.分割后，可得對應(yīng)交通標(biāo)志的3種特征顏色(如圖2所示的3幅二值圖像).從圖2中可以看出，顏色分割后的二值圖像會有較多的噪聲點，將影響后續(xù)的交通標(biāo)志形狀分類和識別.因此采用二值圖像的腐蝕及膨脹形態(tài)學(xué)操作，消除干擾的噪聲點，并恢復(fù)交通標(biāo)志區(qū)域的大小.

圖2 顏色分割圖Fig.2 Color-based segmentation image

對3種不同特征顏色分割后的二值圖像，標(biāo)記面積大于Tarea的小區(qū)域 Regioni，c，i∈{1，2，…，N}，送入感興趣區(qū)域形狀分類處理中，判斷形狀是否符合交通標(biāo)志.

1.2 興趣區(qū)域形狀分類

為了能對獲得的感興趣區(qū)域進行形狀分類，首先要建立交通標(biāo)志的形狀:圓形、倒等邊三角形、八角形、矩形、正等邊三角形的模板數(shù)據(jù)庫.

本文選用標(biāo)記圖作為交通標(biāo)志形狀分類特征.標(biāo)記圖是形狀邊界的一維表達(dá)，以重心到邊界的距離作為角度的函數(shù)來描述形狀的特征，不同形狀的標(biāo)記圖如圖3所示.

圖3 形狀的標(biāo)記圖Fig.3 Signature of sharp

為了獲得形狀的標(biāo)記圖特征，首先提取形狀的順時針邊界，記為(xi，yi)，i=1，2，…，Num.求取其重心:

然后把邊界序列(xi，yi)轉(zhuǎn)換到以重心為原點的坐標(biāo)系中，得到新邊界序列:

將邊界序列點到重心原點的半徑作為其與正向水平軸夾角的函數(shù)，進而獲得一個半徑隨角度變化的序列 ri(θ)，θ∈［0，2π］.對其進行歸一化處理:

式(1)即可以度量向量v1、v2之間的差異程度.向量間的相似性隨Euclidean距離的增大而降低.

為了獲得形狀的特征庫，把形狀模板庫中的二值圖像用雙線性插值算法歸一化為30×30的圖像，然后用上述形狀標(biāo)記圖特征提取算法提取其特征.考慮到形狀的邊界點數(shù)量不同，各模板的特征數(shù)也不一致.因此需用插值算法把每個模板的特征序列長度變?yōu)?60，可進而得到不同形狀類的特征集合ˉris(θ)，i=1，2，…，SampleNums，其中 SampleNums是形狀類中模板個數(shù)，s∈{圓形、倒等邊三角形、八角形、矩形、正等邊三角形}，用于不同顏色通道中的感興趣區(qū)域形狀的分類.

圖4 2個交通標(biāo)志形狀的標(biāo)記圖Fig.4 Signature of two traffic signs shapes

對不同顏色通道中感興趣區(qū)域重構(gòu)后的二值圖像，查找其連通區(qū)域，記為 ConnRegionj，c，j=1，2，…，RegionNum，c∈{red，blue，yellow}.并用提取形狀特征數(shù)據(jù)庫中特征相同的方法提取ComRegionj，c的形狀標(biāo)記圖，記特征為(θ).由圖1的分層遞階結(jié)構(gòu)可知，紅色通道中的感興趣區(qū)域形狀特征(θ)只需與(θ)(s∈{圓形，倒等邊三角形，八角形})進行比較;黃色通道中的感興趣區(qū)域形狀特征(θ)只需與(θ)，s∈{正等邊三角形，矩形}進行比較;而藍(lán)色通道中的感興趣區(qū)域形狀特征(θ)只需與(θ)，s∈{圓形，矩形}進行比較.進而通過式(2)求取感興趣區(qū)域形狀特征(θ) 與對應(yīng)樣本庫特征(θ) 之間的最小Euclidean距離:

完成上述操作后，對形狀類別進行判斷:

式中:s是EDmin值對應(yīng)的標(biāo)志形狀類別.若EDmin大于距離閾值DisTheshold，則判斷此區(qū)域為非交通標(biāo)志區(qū)域，可以過濾掉該區(qū)域;反之認(rèn)為其形狀屬于s類.

2 交通標(biāo)志識別

由圖1的分層遞階結(jié)構(gòu)，建立紅色圓形、紅色倒等邊三角形、紅色八邊形、藍(lán)色圓形、藍(lán)色矩形、黃色矩形、黃色正等邊三角形7類32種交通標(biāo)志的模板庫.

對獲得的感興趣區(qū)域和模板庫中的交通標(biāo)志圖像用二維Gabor小波變換，獲得其不同方向和尺度的小波圖像，然后用二維獨立分量分析(2DICA)［16］提取其小波圖像的主特征，用線性支持向量機離線訓(xùn)練各類特征庫，在線分類感興趣區(qū)域的交通標(biāo)志.

2.1 交通標(biāo)志特征提取

二維Gabor小波核函數(shù)定義為

式中:i為復(fù)數(shù)算子;σ為小波濾波器的帶寬，一般取σ=2π;kj為小波矢量，其不同取值構(gòu)成了小波簇中不同的小波函數(shù)，kj=kv(cosj，sinj)T，表示小波的不同核頻率，在本文中取v=0，1，…，5;φ表示小波方向，每種核頻率的小波可進一步衍生出6個不同方向的小波，其中

這樣定義了一個6×6的Gabor小波簇與交通標(biāo)志灰度圖像進行卷積，可獲得6個方向，6個尺度共36幅小波圖像.

首先把獲取的彩色圖像轉(zhuǎn)換為灰度圖像，并用雙線性插值法把灰度圖像歸一化為30×30大小.然后用二維Gabor小波變換，獲取6個方向6個尺度的36幅Gabor小波圖像.由于這些圖像較多，冗余信息量大，為了降低計算的復(fù)雜度，用降采樣方法采集Gabor小波圖像的主要信息，作為二維獨立分量分析算法的輸入信息.

對每類交通標(biāo)志，用二維獨立分量分析(2DICA)離線提取其小波圖像主特征作為特征庫.在交通標(biāo)志實時識別中，對檢測到的交通標(biāo)志感興趣區(qū)域的小波圖像提取其主特征.

2.2 交通標(biāo)志分類

在交通標(biāo)志實時識別時，把提取的交通標(biāo)志感興趣區(qū)域特征送入對應(yīng)的支持向量機中進行分類，得到感興趣區(qū)域的交通標(biāo)志類別.

支持向量機首先要對特征庫2類之間進行分離，訓(xùn)練數(shù)據(jù)集記為{xi，yi}，其中，i=1，2，…，l，yi∈{ －1，1}，xi∈Rd.向量xi是2DICA 算法提取的圖像特征，yi對一類為1，另一類為－1，d是向量xi的維數(shù)，l是訓(xùn)練樣本數(shù)量.如果用超平面(w，b)來分離2類，超平面上的點滿足〈x·w〉+b=0，b/‖w‖ 是從原點到超平面的垂直距離，‖w‖是歐式空間的2－范數(shù).在可分的2類中，對任意的i，均滿足約束條件:

滿足式(1)的點可求得w、b的尺度因子.這些落點在2個超平面H1∶＜xi·w＞+b=1和H2∶＜xi·w＞+b=－1.2個數(shù)據(jù)集的間隔可簡化為2/‖w‖，2個數(shù)據(jù)集最大間隔可由‖w‖2/2的最小化獲得.引入正拉格朗日乘子ai，i=1，2，…，l.目標(biāo)函數(shù)的最小化值為

得到了優(yōu)化函數(shù)，就可確定測試向量在超平面的哪一邊.系統(tǒng)的判別函數(shù)為

3 實驗結(jié)果與分析

試驗選擇在校內(nèi)一條帶轉(zhuǎn)彎的路上，每隔30 m擺放一個交通標(biāo)志.車速為30 km/h，用車載攝像機以15幀/s的速率，采集包括禁令、警告、指示和限速的32種交通標(biāo)志在不同天氣和光照條件下的視頻圖像.對交通標(biāo)志進行檢測和識別，結(jié)果如表1所示，本文算法可以有效地檢測和識別交通標(biāo)志，檢測率和檢測率均達(dá)到95%以上，明顯地優(yōu)于文獻(xiàn)［6］的算法.

圖5為試驗中3段視頻的交通標(biāo)志的識別結(jié)果.每行圖像對應(yīng)不同的視頻序列，識別結(jié)果顯示在圖像的左上角.從中可以看出，本文算法能夠有效地識別出多種交通標(biāo)志.

圖5 3段視頻中交通標(biāo)志的識別結(jié)果Fig.5 Recognition results of traffic signs in 3 videos

表1 交通標(biāo)志實時檢測率和識別率Table 1 Detection and recognition rate of traffic signs %

4 結(jié)束語

本文提出一種用于智能車輛行駛中感知交通標(biāo)志信息的算法.首先對獲取的圖像用顏色分割和形態(tài)學(xué)操作獲得交通標(biāo)志的感興趣區(qū)域，并提取其標(biāo)記圖作為形狀特征，用Euclidean距離來對候選交通標(biāo)志進行初分類.在交通標(biāo)志識別中，結(jié)合Gabor小波和二維獨立分量分析法提取交通標(biāo)志感興趣區(qū)域的主特征，用線性支持向量機來分類交通標(biāo)志.在不同天氣、光照等情況下，采集了包括禁令、警告、指示和限速等32種交通標(biāo)志視頻圖像，并用本文算法來檢測和識別交通標(biāo)志，檢測率和識別率均在95%以上，說明該算法能夠有效地檢測和識別交通標(biāo)志.

［1］GARC I A，GARRIDO M，SOTELO M.Fast road sign detection using Hough transform for assisted driving of road vehicles［C］//Computer Aided Systems Theory—EUROCAST 2005.Las Paimas de Gran Canaria，Spain，2005:543－548.

［2］BARNES N，ZELINSKY A，F(xiàn)LETCHER L S.Real－time speed sign detection using the radial symmetry detector［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9(2):322－332.

［3］MEUTER M，MULLER S S，NUNNY C，et al.Decision fusion and reasoning for traffic sign recognition［C］//The International IEEE Conference on Intelligent Transportation Systems，F(xiàn)unchal，Portugal，2010:324 －329.

［4］LIU Wei，LIU Yujie，YU Hongfei，et al.Real－time speed limit sign detection and recognition from image sequences［C］//Artificial Intelligence and Computational Intelligence(AICI).Sanya，China，2010，1:262－267.

［5］PRIETO M S，ALLEN A R.Using self－organising maps in the detection and recognition of road signs［J］.Image and Vision Computing，2009，27(6):673－683.

［6］MALDONADO－BASCON S，LAFUENTE－ARROYO S，GILJIMENEZ P，et al.Road－sign detection and recognition based on support vector machines［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8(2):264－278.

［7］GIL J E，NEZ P，BASC O N S M，et al.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2－D homographies［J］.Signal Processing，2008，88(12):2943－2955.

［8］GAO X W，PODLADCHIKOVA L，SHAPOSHNIKOV D，et al.Recognition of traffic signs based on their colour and shape features extracted using human vision models［J］.Journal of Visual Communication and Image Representation，2006，17(4):675－685.

［9］LIM K H，SENG K P，ANG L M.Intra color－shape classification for traffic sign recognition［C］//2010 International Computer Symposium(ICS).Tainan，China，2010:642－647.

［10］QIN Fei，F(xiàn)ANG Bin，ZHAO Hengjun.Traffic sign segmentation and recognition in scene images［C］//2010 International Conference on Artificial Intelligence and Computational Intelligence(AICI).Chongqing，China，2010:262－267.

［11］XIE Yuan，LIU Lifeng，LI Cuihua，et al.Unifying visual saliency with HOG feature learning for traffic sign detection［C］//IntelligentVehiclesSymposium，2009 IEEE.Xi’an，China，2009:24－29.

［12］RUTA A，LI Y，LIU X.Robust class similarity measure for traffic sign recognition［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11(4):846－855.

［13］KONCAR A，JANBN H，HALGAMUGE S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers［J］.Pattern Recognition Letters，2007，28(2):260－267.

［14］BAHLMANN C，ZHU Y，RAMESH V，et al.A system for traffic sign detection，tracking，and recognition using color，shape，and motion information［C］//Proceedings on Intelligent Vehicles Symposium 2005.Las Vegas，USA，2005:255－260.

［15］GB 5768.2.道路交通標(biāo)志和標(biāo)線［S］.北京:中國國家標(biāo)準(zhǔn)化管理員會，2009.

［16］楊福生，洪波著.獨立分量分析的原理與應(yīng)用［M］.北京:清華大學(xué)出版社，2006:33－46.

谷明琴，女，1981年生，博士研究生，主要研究方向為圖像處理、模式識別.

蔡自興，男，1938年生，教授，博士生導(dǎo)師，國際導(dǎo)航與運動控制科學(xué)院院士、中國自動化學(xué)會理事.主要研究方向為人工智能、機器人、智能控制，發(fā)表學(xué)術(shù)論文500余篇.

何芬芬，女，1987年生，碩士研究生，主要研究方向為圖像處理、模式識別.

Traffic sign recognition based on shape signature and Gabor wavelets

GU Mingqin，CAI Zixing，HE Fenfen
(School of Information Science and Engineering，Central South University，Changsha 410083，China)

Traffic sign recognition provides valuable information on road conditions for intelligent vehicles.The traffic sign recognition process was outlined as follows:1)The main colors of traffic signs were enhanced by transforming the RGB pixel values of the image and then segmented by a threshold.Noise points of the binary image were filtered by morphological image processing.2)The signature of the region of interest(RoI)was extracted as a shape feature，and the shape of the RoI was primarily classified by Euclidean distance.3)The gray images of traffic signs was transformed into various orientations and scale wavelet images by the Gabor wavelet，and the main features were extracted by a 2－dimensional independent component analysis(2DICA)algorithm while the linear support vector machine was applied to judge the type of traffic signs.Experimental results show that the proposed algorithm may stably and effectively detect and identify the roadside traffic signs.

traffic sign recognition;signature;Gabor wavelet;support vector machine

TP391

A

1673－4785(2011)06－0526－05

10.3969/j.issn.1673－4785.2011.06.008

2011－08－15.

國家自然科學(xué)基金資助項目(90820302，60805027);國家博士點基金資助項目(200805330005);湖南省院士基金資助項目(20010FJ4030).

谷明琴.E－mail:gu_mingqin@hotmail.com.