逐級(jí)細(xì)化的交通標(biāo)志識(shí)別算法

徐 丹 張絳麗 于化龍 左 欣 高 尚

(江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，鎮(zhèn)江，212003)

引 言

交通標(biāo)志分類的任務(wù)是對(duì)檢測(cè)階段產(chǎn)生的感興趣區(qū)域進(jìn)行進(jìn)一步處理：一方面排除被誤檢為交通標(biāo)志的區(qū)域、降低虛警率；另一方面，將交通標(biāo)志區(qū)域進(jìn)一步細(xì)分，得到其具體的語(yǔ)義信息。交通標(biāo)志分為主標(biāo)志和輔助標(biāo)志，總數(shù)多達(dá)上百種，是復(fù)雜的多分類問(wèn)題。自20世紀(jì)90年代，日本研究者對(duì)交通標(biāo)志識(shí)別進(jìn)行開創(chuàng)性的研究以來(lái)，針對(duì)交通標(biāo)志的分類算法大量涌現(xiàn)，但已有算法在分類正確率和速度方面仍需改進(jìn)[1-2]。

特征提取和分類器設(shè)計(jì)是交通標(biāo)志識(shí)別的兩個(gè)關(guān)鍵步驟。在特征提取中常用的方法有特征點(diǎn)提取、Haar特征、類別顯著性特征等[3-4]。特征點(diǎn)提取方法通過(guò)提取圖像中滿足特定要求的特征點(diǎn)組成特征向量，該方法優(yōu)點(diǎn)是速度快，對(duì)仿射變換不敏感；缺點(diǎn)是算法效果過(guò)于依賴圖像質(zhì)量的優(yōu)劣，圖像質(zhì)量較差時(shí)特征點(diǎn)提取困難。Haar特征反映了圖像的灰度變化，單個(gè)Haar特征的分類能力較弱，故經(jīng)常和Adaboost一起使用，級(jí)聯(lián)成強(qiáng)分類器。其優(yōu)點(diǎn)是分類速度快、對(duì)光照不敏感，但當(dāng)待分類類別過(guò)多時(shí)，分類精度明顯下降。類別顯著性特征適用于多類別分類，在各類別相似的情況下也能夠產(chǎn)生較好的分類結(jié)果，然而其對(duì)平移和旋轉(zhuǎn)變化較為敏感，需要進(jìn)行相應(yīng)的預(yù)處理。分類器設(shè)計(jì)方面，在IJCNN(International joint conference on neural networks)舉辦的交通標(biāo)志識(shí)別競(jìng)賽中，支持向量機(jī)和卷積神經(jīng)網(wǎng)絡(luò)被廣泛采用，其中卷積神經(jīng)網(wǎng)絡(luò)的分類正確率是IJCNN目前最好的結(jié)果[5-6]。然而其將多個(gè)神經(jīng)網(wǎng)絡(luò)聯(lián)合的算法復(fù)雜度很高，需較長(zhǎng)的訓(xùn)練和測(cè)試時(shí)間。

中國(guó)交通標(biāo)志主要包括禁令、警告、指示3大類。解除禁令標(biāo)志在語(yǔ)義上屬于禁令標(biāo)志類，但由于其顏色的特殊性，將其單獨(dú)列為一類。其他標(biāo)志類包括一些顏色和形狀與以上4類標(biāo)志明顯不同的交通標(biāo)志。本文針對(duì)中國(guó)交通標(biāo)志的特點(diǎn)提出一種逐級(jí)細(xì)化的交通標(biāo)志分類方法，其流程如圖1所示。先根據(jù)顏色和形狀特征將感興趣區(qū)域劃分為5大類，然后再對(duì)每個(gè)大類進(jìn)行細(xì)分，得到感興趣區(qū)域的類別標(biāo)記。各大類交通標(biāo)志間的顏色和形狀差異很明顯，可采用比較簡(jiǎn)單的分類算法。本文構(gòu)建顏色屬性-梯度直方圖(Color name-histogram of gradient，CN-HOG)特征描述子、采用線性支持向量機(jī) (Support vector machine，SVM)完成交通標(biāo)志大類劃分。細(xì)分類的難點(diǎn)在于同一大類中的一些子類間只存在細(xì)微差別，需要更加精確的特征描述子和更加穩(wěn)定的分類算法。HOG特征可有效描述具有顯著形狀特征的目標(biāo)，但當(dāng)不同類別的形狀非常類似時(shí)，其區(qū)分能力稍差。因此，在細(xì)分類中，本文采用CN和尺度不變特征變換 (Scale-invariant feature transform，SIFT)描述子進(jìn)行特征提取，用詞袋模型進(jìn)行圖像表示，分類器選擇高斯核SVM。

圖1 逐級(jí)細(xì)化的交通標(biāo)志分類流程圖Fig.1 Flowchart of coarse-to-fine traffic sign classification

本文的創(chuàng)新之處在于：(1) 在粗分類階段提出CN-HOG特征描述子，在傳統(tǒng)HOG特征的基礎(chǔ)上增加顏色特征，并和RGB-HOG特征進(jìn)行比較；(2) 針對(duì)交通標(biāo)志顏色-形狀相關(guān)的特點(diǎn)，采用詞袋模型中顏色和形狀特征早融合的方式對(duì)交通標(biāo)志進(jìn)行細(xì)分類，并對(duì)兩者在分類過(guò)程中所起的作用進(jìn)行定量的比較分析。

1 算法描述

1.1 交通標(biāo)志粗分類

(1) 顏色屬性CN。中國(guó)禁令標(biāo)志以紅、黑、白為主，指示標(biāo)志以藍(lán)、白為主，警告標(biāo)志以黃、黑為主，解除禁令以黑、白為主。各大類均有特定的顏色分布，通過(guò)分析感興趣區(qū)域中顏色出現(xiàn)的概率可得到區(qū)域的大類標(biāo)記。顏色屬性是人類為自然界中存在的11種基本顏色賦予的名稱：黑色，藍(lán)色，棕色，灰色，綠色，橙色，粉色，紫色，紅色，白色以及黃色[7]。CN描述子是一個(gè)11維的向量，代表給定像素值的條件下，11種顏色屬性出現(xiàn)的概率。區(qū)域R的CN描述子是區(qū)域中所有像素的顏色屬性的平均值，描述了該區(qū)域中11種顏色出現(xiàn)的概率，定義如下

CN={p(cn1|R),p(cn2|R),…,p(cn11|R)}

(1)

(2)

式中：x為區(qū)域R中的像素；f(x)為其在Lab空間的像素值，像素總數(shù)為N；p(cni|f(x))為給定f(x)時(shí)顏色屬性i出現(xiàn)的條件概率，這種顏色屬性和像素值之間對(duì)應(yīng)關(guān)系的訓(xùn)練過(guò)程詳見文獻(xiàn)[8]。

(2) CN-HOG特征。交通標(biāo)志有明顯的顏色和形狀特征，將CN與HOG特征組合起來(lái)將會(huì)提高交通標(biāo)志分類的正確率。傳統(tǒng)顏色信息和HOG特征結(jié)合的方式是分別在R、G、B三個(gè)通道上提取HOG特征，將其連接起來(lái)作為一個(gè)特征向量，稱為RGB-HOG[9]。連接之后的HOG特征長(zhǎng)度是原來(lái)的3倍，此外，這種連接方式產(chǎn)生的特征比較松散，缺乏緊致性。

本文構(gòu)建CN-HOG特征描述子，將一幅圖像密集地劃分為若干無(wú)重疊的、8×8的像素區(qū)域，計(jì)算每個(gè)區(qū)域的HOG和CN特征，得到一個(gè)直方圖表示。在HOG特征的基礎(chǔ)上擴(kuò)展了11維顏色向量，形成CN-HOG特征。這樣得到的顏色-形狀特征維數(shù)遠(yuǎn)少于RGB-HOG特征。因?yàn)樵趨^(qū)域級(jí)(Cell)就將顏色和形狀特征結(jié)合起來(lái)，比3個(gè)通道分別獲得HOG特征再連接更加緊致。表1給出了標(biāo)準(zhǔn)HOG特征[10]，RGB-HOG以及CN-HOG在PASCAL VOC 2007上的分類正確率比較?？梢钥闯觯珻N-HOG在多數(shù)類別上取得了最高的正確率，其平均分類正確率比標(biāo)準(zhǔn)HOG特征高出2.5%。RGB-HOG特征在該數(shù)據(jù)集上的分類結(jié)果并不理想，平均正確率低于標(biāo)準(zhǔn)HOG。這是因?yàn)镻ASCAL VOC 2007 是一個(gè)形狀主導(dǎo)的數(shù)據(jù)集，RGB-HOG特征的優(yōu)勢(shì)沒有完全體現(xiàn)。

(3) 線性支持向量機(jī)。交通標(biāo)志各大類之間差異明顯，采用線性分類器即可獲得較好的分類效果。線性核函數(shù)是在原特征空間中進(jìn)行線性分類，分類速度與支持向量的個(gè)數(shù)無(wú)關(guān)。

表1 標(biāo)準(zhǔn)HOG，RGB-HOG以及CN-HOG在PASCAL VOC 2007 20種物體上的分類正確率比較

1.2 交通標(biāo)志細(xì)分類

(3)

(4)

圖2 早融合和晚融合算法在PASCAL VOC 2007數(shù)據(jù)集上的比較結(jié)果Fig.2 Comparison of early and late fusion methods on PASCAL VOC 2007

2 實(shí)驗(yàn)結(jié)果與分析

2.1 在TSR_IIR數(shù)據(jù)集上的實(shí)驗(yàn)

為了驗(yàn)證本文方法對(duì)中國(guó)交通標(biāo)志的有效性，構(gòu)建數(shù)據(jù)集TSR_IIR(Traffic sign recognition dataset of institute of intelligent robot)。其中的數(shù)據(jù)主要來(lái)自于自行采集的中國(guó)交通標(biāo)志圖像，對(duì)于通用的交通標(biāo)志(如禁令、指示等)，則部分來(lái)自于西班牙研究者提供的交通標(biāo)志數(shù)據(jù)集[12]和IJCNN提供的交通標(biāo)志識(shí)別數(shù)據(jù)集GTSRB(German Traffic Sign Recognition Benchmark)[5]。TSR_IIR包括5大類、41小類共1 335個(gè)交通標(biāo)志，訓(xùn)練和測(cè)試樣本數(shù)量分別為670和665個(gè)。

2.1.1 粗分類結(jié)果

首先將交通標(biāo)志區(qū)域統(tǒng)一為40×40大小，對(duì)訓(xùn)練集中的圖像進(jìn)行隨機(jī)平移和旋轉(zhuǎn)變換。然后，提取其CN-HOG特征，得到每個(gè)感興趣區(qū)域的向量表示，用來(lái)訓(xùn)練線性支持向量機(jī)。最后，提取待測(cè)試交通標(biāo)志區(qū)域的CN-HOG特征，輸入分類器，得到類別標(biāo)記。在實(shí)驗(yàn)過(guò)程中HOG特征的參數(shù)為：每個(gè)Cell的大小為8×8，直方圖通道數(shù)為9，角度范圍為0～2π。CN特征：根據(jù)文獻(xiàn)[8]中訓(xùn)練所得的顏色屬性在像素值上的分布概率得到像素值f(x)和11種顏色屬性之間的對(duì)應(yīng)關(guān)系，進(jìn)而得到每個(gè)區(qū)域的顏色屬性特征。

本文比較了標(biāo)準(zhǔn)HOG，RGB-HOG以及CN-HOG在TSR_IIR數(shù)據(jù)集上粗分類的結(jié)果，如表2所示?？梢钥闯鰳?biāo)準(zhǔn)HOG特征在該數(shù)據(jù)集上取得了95.53%的正確率，而僅使用顏色信息，即CN特征進(jìn)行分類取得了92.36%的正確率，這說(shuō)明各大類交通標(biāo)志在顏色和形狀上均有明顯的差異。CN-HOG特征在TSR_IIR數(shù)據(jù)集上的粗分類正確率達(dá)到99.40%。此外，CN-HOG和RGB-HOG相比具有明顯的時(shí)間優(yōu)勢(shì)，因?yàn)槠渚S數(shù)遠(yuǎn)低于RGB-HOG，而且其支持向量個(gè)數(shù)也少于RGB-HOG。

表2 HOG，RGB-HOG，CN-HOG在TSR_IIR數(shù)據(jù)集上的粗分類結(jié)果

2.1.2 細(xì)分類結(jié)果

經(jīng)過(guò)粗分類后，交通標(biāo)志被分為5大類。采用密集采樣的方法將每個(gè)40×40的交通標(biāo)志區(qū)域劃分為圖像塊。這里取圖像塊的大小為8×8，圖像塊間的采樣間隔為4個(gè)像素，則對(duì)于每個(gè)輸入的交通標(biāo)志區(qū)域可得到81個(gè)圖像塊，禁令標(biāo)志有200個(gè)訓(xùn)練圖像，最終得到16 200個(gè)圖像塊。然后，使用k-means方法得到大小為70的視覺詞典。警告標(biāo)志和指示標(biāo)志的詞典大小與禁令標(biāo)志相同，解除禁令標(biāo)志視覺單詞個(gè)數(shù)為30，其他標(biāo)志的單詞個(gè)數(shù)為40。其他標(biāo)志類中，種類雖然不多，但種類之間的差異較大，故其單詞數(shù)量明顯大于解除禁令標(biāo)志。本文算法在TSR_IIR數(shù)據(jù)集上的總體正確分類率(包括粗分類和細(xì)分類)為98.05%，細(xì)分類的具體結(jié)果如表3所示。

圖3 警告標(biāo)志細(xì)分類結(jié)果Fig.3 Fine classification of warning signs

表3 本文算法在TSR_IIR數(shù)據(jù)集各類交通標(biāo)志上的細(xì)分類結(jié)果

圖4 指示標(biāo)志細(xì)分類結(jié)果 Fig.4 Fine classification of mandatory signs

(1) 警告標(biāo)志分類。圖3給出了警告標(biāo)志細(xì)分類的結(jié)果，混合矩陣對(duì)角線上的元素表示相應(yīng)的交通標(biāo)志被正確分類的概率。以第4行注意村莊標(biāo)志為例，其正確分類率為93%，被識(shí)別為注意行人標(biāo)志的概率為7%。

圖5 相似指示標(biāo)志的SIFT特征匹配Fig.5 Matching of SIFT features among similar mandatory signs

(2) 指示標(biāo)志分類。在TSR_IIR數(shù)據(jù)集中涉及10種指示標(biāo)志，其中一些標(biāo)志圖案簡(jiǎn)單但識(shí)別度并不高。指示標(biāo)志細(xì)分類結(jié)果如圖4所示。從圖4可以看出，內(nèi)部圖案過(guò)于簡(jiǎn)單且相似度高的交通標(biāo)志分類正確率較低，內(nèi)部圖案復(fù)雜的標(biāo)志分類正確率高一些。這是因?yàn)閺?fù)雜的圖案能提取到更多的特征點(diǎn)。指示標(biāo)志中的直行、靠右則行駛、靠左側(cè)行駛3種標(biāo)志沒有本質(zhì)區(qū)別，只是旋轉(zhuǎn)角度不同。其SIFT特征的匹配情況如圖5所示：不同標(biāo)志之間有少數(shù)SIFT特征點(diǎn)能夠匹配，同一類型的標(biāo)志之間的匹配點(diǎn)明顯增加。在輸入的交通標(biāo)志圖像沒有明顯旋轉(zhuǎn)和傾斜的情況下，本文分類算法能夠?qū)?種標(biāo)志正確分類。

(3) 解除禁令和其他標(biāo)志分類。解除禁令標(biāo)志包括解除禁止超車和解除限速兩種，解除限速標(biāo)志有一些派生標(biāo)志，如解除限速40、解除限速50等。解除禁令標(biāo)志的細(xì)分類正確率為93.33%，主要的錯(cuò)分類產(chǎn)生于不同的解除限速標(biāo)志之間。其他標(biāo)志的細(xì)分類正確率達(dá)到98.33%，這是因?yàn)榇祟惖念悆?nèi)差異較大，錯(cuò)分的概率很小，錯(cuò)分主要出現(xiàn)在禁止停車和禁止長(zhǎng)時(shí)間停車兩種標(biāo)志間。

(4) 禁令標(biāo)志分類。為了比較顏色和形狀信息在交通標(biāo)志細(xì)分類中的作用，本文分別給出使用CN，SIFT和CN-SIFT特征時(shí)禁令標(biāo)志的細(xì)分類結(jié)果。采用CN-SIFT特征的算法在禁令標(biāo)志上的細(xì)分類正確率為99%，單獨(dú)采用SIFT特征作為描述子的分類正確率下降不多，僅采用CN特征作為描述子時(shí)分類精度明顯降低?？梢姡诮煌?biāo)志的細(xì)分類中，形狀特征占有絕對(duì)的優(yōu)勢(shì)。不同特征在禁令標(biāo)志上的分類結(jié)果如圖6所示。對(duì)比圖6 (b,c)可以看出，如果一種交通標(biāo)志在形狀特征分類中被錯(cuò)分為另外一種標(biāo)志，則其在顏色特征分類中也往往被錯(cuò)分為同一種標(biāo)志。這也說(shuō)明了交通標(biāo)志是顏色-形狀相關(guān)的物體。

圖6 不同特征在禁令標(biāo)志上的分類結(jié)果比較Fig.6 Comparison of classification results of different features on prohibitory signs

2.2 與其他算法的比較

2.2.1 數(shù)據(jù)集

為了方便和其他算法比較，本文在公開數(shù)據(jù)集GTSRB上進(jìn)行實(shí)驗(yàn)。GTSRB數(shù)據(jù)集包含43類、共計(jì)51 839 幅采自真實(shí)交通環(huán)境下的交通標(biāo)志圖像組成，其中訓(xùn)練和測(cè)試圖像分別為39 209和12 630幅。

在GTSRB數(shù)據(jù)集上的實(shí)驗(yàn)設(shè)置和2.1節(jié)基本相同，參數(shù)略有不同。在粗分類中本文使用大賽提供的HOG2特征[5]，構(gòu)造CN-HOG2特征向量。HOG2的參數(shù)設(shè)置如下：每個(gè)Cell的大小為5×5個(gè)像素，每個(gè)Block的大小為2×2個(gè)Cell，直方圖通道數(shù)為8，角度范圍為0～2π，得到維數(shù)為1 568的HOG特征。GTSRB數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)遠(yuǎn)遠(yuǎn)多于TSR_IIR，細(xì)分類中視覺詞典中的單詞數(shù)量也大大增加，禁令、警告、指示、解除禁令和其他標(biāo)志的詞典分別包含350，352，333，125和200個(gè)視覺單詞。

2.2.2 實(shí)驗(yàn)結(jié)果

在粗分類中，12 630個(gè)測(cè)試圖像中僅有11個(gè)被錯(cuò)分，分類準(zhǔn)確率為99.91%。細(xì)分類結(jié)果統(tǒng)計(jì)如表4所示。

表4 GTSRB數(shù)據(jù)集上細(xì)分類錯(cuò)分統(tǒng)計(jì)

2.2.3 算法比較

表5給出了本文算法與幾種代表性分類算法的對(duì)比結(jié)果，其中包括在IJCNN大賽中排名前4位的算法以及人工分類結(jié)果[13-15]。本文算法在測(cè)試數(shù)據(jù)集上的分類正確率為99.15%，在所有公布的結(jié)果中排名第2，高于人工分類結(jié)果。

在效率方面，本文提出的逐級(jí)細(xì)化的分類算法在GTSRB 測(cè)試集上的運(yùn)行時(shí)間為830 s，平均每個(gè)交通標(biāo)志耗時(shí)65 ms(硬件平臺(tái) Core i5 2.5 GHz，4 GB，軟件MATLAB 2009R)。而分類正確率最高的Committee of CNNs算法在相同測(cè)試集上需運(yùn)行數(shù)小時(shí)[15]。

表5 本文算法和現(xiàn)有算法的分類結(jié)果比較

3 結(jié) 論

本文主要針對(duì)交通標(biāo)志分類問(wèn)題提出了一種逐級(jí)細(xì)化的交通標(biāo)志分類算法。算法首先按照顏色及形狀進(jìn)行粗分類，分為禁令標(biāo)志、警告標(biāo)志、指示標(biāo)志、解除禁令標(biāo)志以及其他標(biāo)志5大類；然后采用詞袋模型對(duì)每大類中的交通標(biāo)志進(jìn)行細(xì)分類，得到最終的分類結(jié)果。本文算法在自行構(gòu)建的交通標(biāo)志數(shù)據(jù)集TSR_IIR上的分類正確率達(dá)到98.05%，在公開數(shù)據(jù)集GTSRB上的分類正確率為99.15%。通過(guò)本文的研究和實(shí)驗(yàn)可得出以下結(jié)論：(1) CN-HOG特征描述子比傳統(tǒng)的RGB-HOG具有更強(qiáng)的表達(dá)能力；(2) 交通標(biāo)志是顏色-形狀相關(guān)的物體，采用早融合的詞袋模型能夠取得更好的分類結(jié)果；(3) 與現(xiàn)有算法相比，本文提出的逐級(jí)細(xì)化的交通標(biāo)志識(shí)別算法能夠在滿足實(shí)時(shí)應(yīng)用的同時(shí)達(dá)到較高的分類精度。進(jìn)一步分析錯(cuò)分圖像可知，多數(shù)錯(cuò)誤源于以下幾個(gè)原因：(1) 輸入圖像分辨率較低，缺少有效的細(xì)節(jié)信息；(2) 圖像對(duì)比度低，交通標(biāo)志主要顏色的辨識(shí)度下降；(3) 圖像采集中存在的視角傾斜和運(yùn)動(dòng)模糊?？煽紤]加入一些針對(duì)性的預(yù)處理步驟，如對(duì)比度增強(qiáng)和形狀校正等，提高算法對(duì)低質(zhì)量圖像的適應(yīng)能力。

參考文獻(xiàn):

[1] 王剛毅. 交通標(biāo)志檢測(cè)和分類算法研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué), 2013.

Wang Gangyi. Research on traffic sign detection and classification algorithms[D]. Harbin: Harbin Institute of Technology, 2013.

[2] Zaklouta F, Stanciulescu B. Real-time traffic sign recognition in three stages[J]. Robotics and Autonomous Systems, 2014, 62(1): 16-24.

[3] Greenhalgh J, Mirmehdi M. Real-time detection and recognition of road traffic signs[J]. Intelligent Transportation Systems, IEEE Transactions on, 2012, 13(4): 1498-1506.

[4] Liu F, Tang Z, Tang J. WLBP: Weber local binary pattern for local image description[J]. Neurocomputing, 2013, 120: 325-335.

[5] Stallkamp J, Schlipsing M, Salmen J, et al. Man vs. computer: Benchmarking machine learning algorithms for traffic sign recognition[J]. Neural Networks, 2012, 32: 323-332.

[6] Liu H, Liu Y, Sun F. Traffic sign recognition using group sparse coding[J]. Information Sciences, 2014, 266: 75-89.

[7] Berlin B, Kay P. Basic color terms: Their universality and evolution[M]. California: University of California Press, 1991: 20-24.

[8] Xu D, Tang Z, Xu W. Salient object detection based on regional contrast and relative spatial compactness[J]. KSII Transactions on Internet and Information Systems (TIIS), 2013, 7(11): 2737-2753.

[9] Creusen I M, Wijnho ven R G J, Herbschleb E, et al. Color exploitation in hog-based traffic sign detection[C]∥ Proceedings of the IEEE International Conference on Image Processing. Hong Kong: IEEE Press, 2010: 2669-2672.

[10] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[11] 葉繼華, 萬(wàn)葉晶, 劉長(zhǎng)紅, 等. 基于多子空間直和特征融合的人臉識(shí)別算法[J]. 數(shù)據(jù)采集與處理, 2016, 31(1): 102-107.

Ye Jihua, Wang Yejing, Liu Changhong, et al. Face recognition algorithm of feature fusion base on multi-subspaces direct sum [J]. Journal of Data Acquisition and Processing, 2016, 31(1): 102-107.

[12] Maldonado-Bascon S, Lafuente-Arroyo S, Gil-Jimenez P, et al. Road-sign detection and recognition based on support vector machines[J]. Intelligent Transportation Systems, IEEE Transactions on, 2007, 8(2): 264-278.

[13] Zaklouta F, Stanciulescu B, Hamdoun O. Traffic sign classification using K-d trees and Random Forests[C]∥Proceedings of the International Joint Conference on Neural Networks. San Francisco, CA, United States: IEEE, 2011: 2151-2155.

[14] Sermanet P, LeCun Y. Traffic sign recognition with multi-scale convolutional networks[C]∥Proceedings of the International Joint Conference on Neural Networks. San Francisco, CA, United States: IEEE, 2011: 2809-2813.

[15] Ciresan D, Meier U, Masci J, et al. Multi-column deep neural network for traffic sign classification[J]. Neural Networks, 2012, 32(8): 333-338.