基于ROI和CNN的交通標(biāo)志識別研究

黃娜君，汪慧蘭，朱強(qiáng)軍，洪名佳

(安徽師范大學(xué) 物理與電子信息學(xué)院，安徽 蕪湖 241000 )

0 引言

隨著社會經(jīng)濟(jì)的發(fā)展，現(xiàn)代交通已經(jīng)非常發(fā)達(dá)，交通安全和交通阻塞隨之成了日益嚴(yán)重的社會問題，同時也造成了驚人的經(jīng)濟(jì)損失，這使得道路交通問題的解決不得不求助于智能技術(shù)?；诖酥悄芙煌ㄏ到y(tǒng)(Intelligent Transportation System ,ITS)這一研究領(lǐng)域迅速發(fā)展起來，道路交通標(biāo)志識別(Traffic Sign Recognition ,TSR) 是ITS領(lǐng)域中難度較大的問題之一。現(xiàn)今車載系統(tǒng)中，交通標(biāo)志的提示信息大多通過數(shù)字地圖數(shù)據(jù)獲知，但是該方法只限于作為地圖數(shù)據(jù)的一部分的道路，而在其他情況下則無法獲知，因此基于視覺交通標(biāo)志識別系統(tǒng)應(yīng)運而生，經(jīng)過幾十年的不斷發(fā)展，特別近年來隨著移動互聯(lián)網(wǎng)、高性能計算機(jī)和智能移動終端的普及，圖像采集設(shè)備和處理能力的提高，交通標(biāo)志識別已經(jīng)成為實景圖像識別中熱點研究問題。

現(xiàn)今，交通標(biāo)志識別方法主要有以下兩種。一種是采用“人工特征提取+機(jī)器學(xué)習(xí)”的識別方法，如支持向量機(jī)(Support Vector Machine，SVM)、基于淺層神經(jīng)網(wǎng)絡(luò)的特征識別等。這種方法，機(jī)器學(xué)習(xí)僅負(fù)責(zé)最后特征的分類或識別，而人工通過先驗知識設(shè)計的特征好壞，直接影響到整個系統(tǒng)的性能，且復(fù)雜的特征提取花費了大量的人力和時間。另一種是近些年發(fā)展起來的Deep learning模型，如基于限制波爾茲曼機(jī)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network ,CNN)等。其無需構(gòu)造任何的人工特征，而是直接將圖像像素作為網(wǎng)絡(luò)輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。但整幅圖像作為輸入，由于運動模糊、背景干擾、光照以及交通標(biāo)志局部遮擋破損等因素的影響，使得網(wǎng)絡(luò)的識別率和識別速度往往不高。

針對這一問題，本文采用基于ROI和CNN的方法進(jìn)行交通標(biāo)志識別。首先為了消除天氣等因素影響，對獲取的一幅圖像先進(jìn)行光照均衡化處理；然后，充分利用交通標(biāo)志的自身特點進(jìn)行顏色閾值分割，再用MSER算法進(jìn)行濾除，提取出交通標(biāo)志所在的感興趣區(qū)域(Region of Interest，ROI)；緊接著把分割結(jié)果輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行一系列的卷積和池化處理,形成交通標(biāo)志圖像的特征子圖，將特征子圖轉(zhuǎn)化成為一維的特征矢量；最后可以通過一個全連接的BP網(wǎng)絡(luò)完成一維特征矢量的分類識別，并輸出結(jié)果。實驗結(jié)果表明本文方法與其他方法相比，對于實景拍攝圖像的識別率和識別速度不高的問題有了明顯的改進(jìn)。

1 感興趣區(qū)域(ROI)的提取

為了提高網(wǎng)絡(luò)的識別率和識別速度，對獲取的一幅圖像，首先提取感興趣區(qū)域，這樣大大縮小了網(wǎng)絡(luò)識別的范圍。

1.1 亮度均衡化

提取交通標(biāo)志ROI的流程如圖1所示。對于采集來的一幅圖像，為了消除天氣等因素影響，首先要進(jìn)行光照均衡化處理。本文采用直方圖均衡化的思想。先將采集的RGB圖像轉(zhuǎn)換為YCbCr顏色模型下；然后對亮度分量Y進(jìn)行直方圖均衡化處理；最后將處理后的圖像再轉(zhuǎn)為RGB模型。光照均衡化公式如下：

(1)

式中，Sk為處理后的灰度值，nj為灰度色階j的像素數(shù)量，N為圖像像素總和。

圖1 交通標(biāo)志ROI提取的流程圖

1.2 采用MSER算法進(jìn)行濾除

根據(jù)交通標(biāo)志顏色特點，光照均衡化處理后，用MSER算法檢測提取交通標(biāo)志ROI，具有很好的穩(wěn)定性、仿射不變性和計算高效快捷等特點。

MSER算法的思想是當(dāng)使用不同的灰度閾值對圖像進(jìn)行二值化時得到的最穩(wěn)定的區(qū)域。MSER提取過程如下：① 使用一系列灰度閾值對交通標(biāo)志圖像進(jìn)行二值化處理；② 對于每個閾值得到的二值圖像，得到相應(yīng)的黑色區(qū)域與白色區(qū)域；③ 在比較寬的灰度閾值范圍內(nèi)保持形狀穩(wěn)定的區(qū)域是MSERs；④ 評判標(biāo)準(zhǔn)： dA/dt。其中A: 二值圖像區(qū)域面積，t: 灰度閾值。

通過MSER算法提取MSERs得到交通標(biāo)志ROI。圖2是給出禁令標(biāo)志交通標(biāo)志ROI提取的過程。首先禁令標(biāo)志是紅色，對紅色進(jìn)行分割，公式如下：

(2)

在RGB模型下分割結(jié)果如圖2(b)所示，再對CA進(jìn)行膨脹處理，如圖2(c)所示，最后通過MSER算法對圖2(c)單通道圖像進(jìn)行濾除，得到交通標(biāo)志ROI如圖2(d)所示。

圖2 檢測提取交通標(biāo)志ROI

1.3 歸一化處理

將MSER算法濾除后的交通標(biāo)志ROI提取分割出來，然后利用鄰近插值法將ROI規(guī)格化得到固定大小(32*32)的圖像。從機(jī)器視覺的角度分析，與顏色相比，形狀或圖形是交通標(biāo)志識別的關(guān)鍵。因此，最后對固定大小的圖像利用最大類間方差將其二值化，得到適合網(wǎng)絡(luò)輸入的圖像。

2 交通標(biāo)志識別

2.1 CNN基本結(jié)構(gòu)

CNN是Deep Learning的一個重要算法，最早是1962年Hubel和Wiesel通過對貓視覺皮層細(xì)胞的研究，提出了感受野的概念[12]。其是輸入到輸出的非線性映射，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程，是在空間或時間上的采樣，具有權(quán)重共享，減少了權(quán)值的數(shù)量，降低了計算量、局部區(qū)域感知等特點。這種結(jié)構(gòu)類似于生物神經(jīng)網(wǎng)絡(luò)，簡化了網(wǎng)絡(luò)模型的復(fù)雜度，對輸入數(shù)據(jù)在空間上和時間上的扭曲，具有很強(qiáng)的魯棒性，在輸入是多維圖像時表現(xiàn)的最為明顯[13]。

根據(jù)交通標(biāo)志圖像的特點，這里的CNN是由一層卷積層接一層池化層后再加一層卷積層與池化層構(gòu)建而成的網(wǎng)絡(luò)結(jié)構(gòu)，通過其對輸入(32*32)的交通標(biāo)志圖像特征進(jìn)行提取形成特征子圖，然后把特征子圖全部展開，形成一維的特征子集，最后可以加一個全連接的BP網(wǎng)絡(luò)對一維的特征矢量分類識別，并輸出結(jié)果，網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖3 所示。

圖3 CNN網(wǎng)絡(luò)的基本結(jié)構(gòu)圖

2.2 網(wǎng)絡(luò)訓(xùn)練

要實現(xiàn)交通標(biāo)志ROI的識別，首先要對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，主要的過程是通過前向傳遞與反向傳播的交替，反復(fù)調(diào)整權(quán)值和閾值，直到達(dá)到訓(xùn)練次數(shù)或要求的收斂條件為止。

具體步驟如下：

① 首先，要建立訓(xùn)練庫，本文通過現(xiàn)實場景拍攝圖像和德國交通標(biāo)志基準(zhǔn)庫(German Traffic Sign Benchmark，GTSDB)共同構(gòu)成網(wǎng)絡(luò)訓(xùn)練樣本集與測試庫。其中GTSDB是2013年在IJCNN會議上，Stallkamp J 等人針對沒有公開的交通標(biāo)志數(shù)據(jù)集問題，提出來的標(biāo)準(zhǔn)的交通標(biāo)志數(shù)據(jù)庫[14]，并對2011年提出的GTSRB數(shù)據(jù)集進(jìn)行了繼承與優(yōu)化。

② 然后，充分利用交通標(biāo)志的自身特點進(jìn)行顏色閾值分割，再用MSER算法進(jìn)行濾除，提取出交通標(biāo)志所在的感興趣區(qū)域。

③ 網(wǎng)絡(luò)權(quán)值和閾值的初始化：利用隨機(jī)分布函數(shù)將權(quán)值W初始化為-1～1之間的隨機(jī)數(shù)；而將閾值b初始化為0。

④ 網(wǎng)絡(luò)訓(xùn)練與權(quán)值和閾值的調(diào)整：用訓(xùn)練樣本集，對CNN進(jìn)行訓(xùn)練，將輸出矢量中的元素與目標(biāo)矢量中的元素進(jìn)行比較，計算輸出誤差：

δk=(Tk-Yk)Yk(1-Yk)。

(3)

對中間層的隱單元也計算誤差：

(4)

卷積層的權(quán)值和閾值的導(dǎo)數(shù)：

(5)

(6)

再依次調(diào)整權(quán)值和閾值，公式如下：

(7)

Wij(k+1)=Wij(k)+ΔWij(k+1) ，

(8)

(9)

bj(k+1)=bj(k)+Δbj(k+1)，

(10)

式中，k表示迭代次數(shù)；ΔWij、Δbj分別表示權(quán)值和閾值的調(diào)整值；Wij、bj分別表示權(quán)值和閾值調(diào)整后的值；α為學(xué)習(xí)效率；η為動量因子。

⑤ 判斷指標(biāo)是否滿足精度要求E≤ε，或訓(xùn)練已達(dá)到預(yù)先設(shè)定好的最大訓(xùn)練次數(shù)，進(jìn)行下一步；否則，返回步驟④。其中E為總誤差，ε表示精度要求。

2.3 網(wǎng)絡(luò)測試

網(wǎng)絡(luò)訓(xùn)練好以后，用GTSDB數(shù)據(jù)集與現(xiàn)實場景拍攝的大量圖像組成測試庫，然對庫中圖像進(jìn)行歸一化處理，得到適合網(wǎng)絡(luò)輸入標(biāo)準(zhǔn)的圖像，然后網(wǎng)絡(luò)測試參數(shù)配置，最后進(jìn)行測試，輸出結(jié)果。

3 結(jié)果分析

為了驗證本文基于ROI和卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志識別方法的有效性，將提出的方法在現(xiàn)實場景拍攝和GTSDB數(shù)據(jù)集上進(jìn)行了一系列的實驗。充分利用CNN的海量學(xué)習(xí)能力，選取了GTSDB數(shù)據(jù)集中850張和現(xiàn)實場景拍攝的150張，共1 000張圖像作為訓(xùn)練庫，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練；再在GTSDB數(shù)據(jù)集中取150張和現(xiàn)實場景拍攝的50張，包含運動模糊、背景干擾、光照以及交通標(biāo)志局部遮擋破損等不同情況和同一環(huán)境由遠(yuǎn)及近等圖像，對網(wǎng)絡(luò)進(jìn)行測試，如圖4所示。

圖4 測試樣本集截選

每個樣本通過顏色和MSER算法提取交通標(biāo)志ROI，再利用鄰近插值法將ROI規(guī)格化，最后將固定大小的交通標(biāo)志ROI二值化得到適合網(wǎng)絡(luò)輸入的標(biāo)準(zhǔn)圖像。

實驗中基于相同的數(shù)據(jù)集，分別對SVM方法、傳統(tǒng)的整幅圖直接輸入CNN的方法以及本文基于ROI和CNN的交通標(biāo)志識別方法進(jìn)行了訓(xùn)練和測試，測試結(jié)果如表1所示。

表1 測試結(jié)果識別率/%

名稱SVMCNNROI-CNNGTSDB數(shù)據(jù)集95．7397．1297．27現(xiàn)實場景拍攝85．0160．5899．81平均識別率90．3778．8598．54

由表1可見，本文的ROI-CNN交通標(biāo)志識別方法識別率最高，平均為98.54%，在GTSDB數(shù)據(jù)集上97.27%，在現(xiàn)實場景拍攝的識別率為99.81%；SVM識別方法，平均識別率為90.37%，現(xiàn)實場景拍攝的識別率不是很高,只有85.01%，且需要復(fù)雜的特征提取和數(shù)據(jù)重建過程；傳統(tǒng)CNN識別的方法在GTSDB數(shù)據(jù)集上略高于SVM識別方法，為97.12%，但是在復(fù)雜背景干擾的現(xiàn)實場景拍攝的數(shù)據(jù)集下識別率僅有60.58%。ROI-CNN的識別結(jié)果如圖5所示，在運動模糊、背景干擾、光照以及交通標(biāo)志局部遮擋破損等因素的干擾下，其仍然有很好的識別結(jié)果。因此，ROI-CNN的方法無論是現(xiàn)實場景拍攝下的，還是在GTSDB數(shù)據(jù)集上的識別率都是最高的，特別適用于復(fù)雜背景干擾的現(xiàn)實場景圖像，驗證了基于ROI和CNN交通標(biāo)志識別方法具有更好的識別與分類的能力。

圖5 識別結(jié)果

算法方面對比分析，在SVM方法中，機(jī)器學(xué)習(xí)模型僅負(fù)責(zé)特征的分類，前期需要復(fù)雜的HOG特征提取和數(shù)據(jù)重建過程，特征設(shè)計的好壞直接影響到整個系統(tǒng)的性能。而CNN是輸入到輸出的非線性映射，無需復(fù)雜的特征提取和數(shù)據(jù)重建過程，具有海量學(xué)習(xí)能力，權(quán)值共享，由多層特征卷積、池化、局部響應(yīng)歸一化以及產(chǎn)生億萬級參數(shù)來表達(dá)特征，這些都是任意傳統(tǒng)特征提取方法所不能及的，且這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性，對輸入數(shù)據(jù)在空間上和時間上的扭曲有很強(qiáng)的魯棒性[15]。但是直接一整幅圖像作為輸入，由于存在復(fù)雜的背景干擾，需要花費大量的時間進(jìn)行學(xué)習(xí)，且識別率往往不高，如表1所示。鑒于此，再次驗證了基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志識別方法是較優(yōu)的。

由圖6可見，batchsize為10，學(xué)習(xí)率為1，隨著迭代的進(jìn)行誤差不斷變小。傳統(tǒng)的把整幅圖作為CNN輸入的交通標(biāo)志識別方法迭代100次，收斂的速度才趨于平緩如圖6(a)所示，耗時較長，需359.083 s；本文基于ROI和CNN交通標(biāo)志識別的方法40次迭代就有很好的收斂效果，耗時只需144.955 s。由此可以看出，本文方法提高了交通標(biāo)志識別速度。

圖6 CNN與ROI-CNN結(jié)果對比

4 結(jié)束語

針對采集過程中由于運動模糊、背景干擾、光照以及交通標(biāo)志局部遮擋破損等因素影響交通標(biāo)志識別的現(xiàn)狀，采取檢測提取ROI作為CNN輸入，實現(xiàn)交通標(biāo)志的識別。并在現(xiàn)實場景拍攝與GTSDB數(shù)據(jù)集所組成的樣本庫上，分別對SVM方法、傳統(tǒng)的CNN方法以及本文基于ROI和CNN交通標(biāo)志識別方法進(jìn)行了一系列的訓(xùn)練與測試。實驗結(jié)果表明利用本文方法，耗時最短、準(zhǔn)確率最高，平均識別率能達(dá)到98.54%。為了使其具有廣泛的適應(yīng)性，研制一個能夠在移動客戶端上進(jìn)行實時監(jiān)測的系統(tǒng)是下一階段的工作重點。

[1] Zhao N,Yuan J B,Han XU.Survey on Intelligent Transportation System[J].Computer Science,2014,28(1):1-5.

[2] Juan Zhicai,CAO Wenjing.Study on Driver Traffic Signs Comprehension Basedon Cognitive Psychology [J].China Safety Science Journal,2005,15 (8):8-11.

[3] Gudigar A,Chokkadi S,Raghavendra U .A Review on Automatic Detection and Recognition of Traffic Sign[J].Multimedia Tools and Applications,2016,75(1):333-364.

[4] 鄭文貴，李向云.1996-2003年全國交通事故傷害的時間序列分析[J].中國衛(wèi)生事業(yè)管理,2006,22(2)：105-107.

[5] Wang Xiaogang.Deep Learning in Image Recognition [J].Communications of the CCF,2015,11(8): 15-23.

[6] Saha S K,Dulal C M ,Bhuiyan A A.Neural Network Based Sign Recognition [J].International Journal of Computer Application,2012,50 (5) :35-41.

[7] Yuan Xue,Guo Jiaqi,Hao Xiaoli,et al.Traffic Sign Detection Via Graph-based Ranking and Segmentation Algorithms [J].IEEE Traffic on Systems,Man,and Cybernetics: Systems,2015,45 (12) : 1509-1521.

[8] Schmidhuber J.Deep Learning in Neural Networks: An Overview[J].Neural Networks,2014,61(9):85-117.

[9] He K M,Zhang X Y,Ren S Q,et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.

[10] Matas J,Chum O,Urban M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions [J].Image and Vision Computing,2004,22 (10) : 761-767.

[11] Greenhalgh J,Mirmehdi M.Real-Time Detection and Recognition of Road Traffic Signs [J].IEEE Transactions on Intelligent Transportation Systems,2012 ,13 (4) :1498-1506.

[12] Seokwoo Jung,Unghui Lee,Jiwon Jung,et al.Real-time Traffic Sign Recognition System with Deep Convolutional Neural Network[C]∥Xian: 2016 13th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI),2016：31-34.

[13] Hossain M S,Hyder Z.Traffic Road Sign Detection and Recognition for Automotive Vehicles [J].International Journal of Computer Applications,2015,120 (24) :10-15.

[14] Houben S,Stallkamp J,Salmen J,et al.Detection of Traffic Signs in Real-world Images: The German Traffic Sign Detection Benchmark[C]∥ International Joint Conference on Neural Networks.IEEE,2014:1-8.

[15] Szegedy C,Liu Wei,Jia Yangqing,et al.Going Deeper with Convolutions[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition.New York,2015: 1-9.