基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別

薛之昕,鄭英豪,肖 建,魏玲玲

(1.南昌大學(xué) 信息工程學(xué)院,南昌 330029; 2.江西科技學(xué)院 信息工程學(xué)院,南昌 330029)

0 概述

交通標(biāo)志可以為司機(jī)提供重要的交通信息,同時(shí)還能大幅提高道路通行效率。通過使用人工智能(Artificial Intelligence,AI)算法高效、快速地檢測(cè)交通標(biāo)志,并將檢測(cè)到的道路信息傳遞給無人車的控制系統(tǒng)進(jìn)行決策,對(duì)提升自動(dòng)駕駛的安全性具有重大意義[1]。由于角度變化、遮擋、運(yùn)動(dòng)模糊等因素都會(huì)給交通標(biāo)志圖像帶來極大的變化,因此高精度交通標(biāo)志識(shí)別是目前的研究熱點(diǎn)。

深度網(wǎng)絡(luò)模型具有不依賴于復(fù)雜的特征工程、可充分挖掘圖像的特征信息等特點(diǎn),研究者將其應(yīng)用于圖像識(shí)別領(lǐng)域取得了具有重大突破的科研成果,總體分為基于單級(jí)和基于兩級(jí)網(wǎng)絡(luò)2類[2]。目前基于單級(jí)網(wǎng)絡(luò)的研究成果有YOLO[3]、SSD[4]、YOLO9000[5]等圖像識(shí)別方法,此類方法利用整張圖像作為網(wǎng)絡(luò)的輸入,均勻地在圖片的不同位置進(jìn)行密集抽樣,然后利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)提取特征后直接進(jìn)行分類與回歸,整個(gè)過程只需要一步,優(yōu)勢(shì)在于速度快。基于兩級(jí)網(wǎng)絡(luò)的方法有R-CNN[6]系列算法,其設(shè)計(jì)思想是先通過選擇性搜索算法(Selective Search,SS)[7]或CNN產(chǎn)生一系列稀疏的候選框,然后對(duì)這些候選框進(jìn)行分類與回歸,此類方法的優(yōu)勢(shì)在于準(zhǔn)確度高。R-CNN[6]系列算法包括在R-CNN基礎(chǔ)上進(jìn)行改進(jìn)的Fast RCNN[8]、基于空間金字塔池化網(wǎng)絡(luò)的SPP-NET[9],以及在Faster RCNN[10]基礎(chǔ)上進(jìn)行改進(jìn)的Mask RCNN[11]等,這些方法能夠使圖像識(shí)別速度和準(zhǔn)確率得到有效提升。

為實(shí)現(xiàn)高精度的交通標(biāo)志識(shí)別,研究者提出多種基于卷積神經(jīng)網(wǎng)絡(luò)的方法。文獻(xiàn)[12]建立了多縱卷積神經(jīng)網(wǎng)絡(luò)模型,雖然提高了識(shí)別率,但同時(shí)也增加了識(shí)別和訓(xùn)練時(shí)間,模型的實(shí)用性較差。文獻(xiàn)[13]提出了基于聯(lián)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別算法,雖然有效減少了訓(xùn)練時(shí)長(zhǎng),但是算法識(shí)別率不理想。文獻(xiàn)[1]提出使用101層的殘差網(wǎng)絡(luò)[14]作為特征提取基礎(chǔ)網(wǎng)絡(luò)的方法,但訓(xùn)練該網(wǎng)絡(luò)識(shí)別時(shí)間并不理想且識(shí)別率也未能超過基于多縱卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別算法。文獻(xiàn)[15]通過綜合批量歸一化方法和逐層貪婪預(yù)訓(xùn)練方法并將分類器替換為SVM,提出一種改進(jìn)的識(shí)別算法,但其識(shí)別率也不理想。

上述道路標(biāo)志識(shí)別算法均基于單尺度卷積神經(jīng)網(wǎng)絡(luò),僅利用端層特征進(jìn)行分類,從而導(dǎo)致提取特征不全面,不能滿足實(shí)際應(yīng)用需求。文獻(xiàn)[16]從可視化的角度說明卷積神經(jīng)網(wǎng)絡(luò)不同層級(jí)的表征分別對(duì)應(yīng)識(shí)別對(duì)象不同的特征屬性,如果充分利用這些具有多尺度的特征,將能有效提升模型識(shí)別效果以及特征的表達(dá)能力?；诖?文獻(xiàn)[17]提出多尺度卷積神經(jīng)網(wǎng)絡(luò)模型以改進(jìn)單尺度卷積神經(jīng)網(wǎng)絡(luò)中特征提取的基網(wǎng)絡(luò),取得了較高的識(shí)別率,但其未充分利用多尺度特征。

本文在單尺度卷積網(wǎng)絡(luò)的基礎(chǔ)上,通過構(gòu)造多特征結(jié)構(gòu)改進(jìn)用于特征提取的基網(wǎng)絡(luò),同時(shí)設(shè)計(jì)多尺度卷積神經(jīng)網(wǎng)絡(luò)以挖掘更多隱藏特征,從而在提高模型識(shí)別率的同時(shí)增強(qiáng)實(shí)用性。

1 多尺度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

1.1 多特征融合結(jié)構(gòu)

單尺度卷積神經(jīng)網(wǎng)絡(luò)采用嚴(yán)格的前饋分層結(jié)構(gòu),每一層的輸出僅輸送到下一層,而本文所設(shè)計(jì)的多尺度卷積神經(jīng)網(wǎng)絡(luò),除了將卷積神經(jīng)網(wǎng)絡(luò)最后一個(gè)卷積層提取出的特征輸出到分類器外,其他卷積層所提出的特征也會(huì)被分支并直接饋送到分類器。

將網(wǎng)絡(luò)不同層級(jí)所產(chǎn)生的特征融合成多尺度特征提供給分類器,其目的是向分類器提供具有不同尺度的感受域。因?yàn)楦畹木W(wǎng)絡(luò)結(jié)構(gòu)往往能夠提取出更能代表全局的特征,而淺層的卷積網(wǎng)絡(luò)提取出的特征則能更好地代表局部的細(xì)節(jié)特征,所以,在本文模型中,第二階段提取出的特征是“全局”和不變的形狀和結(jié)構(gòu)的,而第一階段提取出來的特征是具有更加精確細(xì)節(jié)的“局部”特征。其中,第一階段特征,是第一階段子采樣完成后輸出的特征。采用多尺度卷積神經(jīng)網(wǎng)絡(luò)可以得到包含圖像低層、更多局部特征的組合特征,因此能有效提升特征的表達(dá)能力及最終的模型識(shí)別效果。

圖1是本文所設(shè)計(jì)的多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。定義S={F2∪F3}為由F2和F3融合形成的具有多尺度特征的向量集合。其中,集合S中的F2、F3分別代表圖1模型中第2個(gè)subsamping層和第3個(gè)subsamping層的輸出。subsamping層的輸出大小為n×c×h×w,其中,n為卷積核個(gè)數(shù),c為卷積核深度,h、w為卷積核大小。Fi函數(shù)表示為:對(duì)第i個(gè)subsamping層輸出的多維特征降維成n×(c×h×w)的形式。該網(wǎng)絡(luò)模型最后將F2和F3聯(lián)合成一個(gè)具有多尺度特征的向量集合S直接送入到分類器中進(jìn)行分類操作。

圖1 多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Multi-scale convolutional neural network structure

1.2 網(wǎng)絡(luò)參數(shù)

本文分別設(shè)計(jì)了7層和12層的卷積神經(jīng)網(wǎng)絡(luò)模型,均使用Relu激活函數(shù)[18]以及Softmax分類器進(jìn)行分類操作。表1是本文采用的多尺度卷積神經(jīng)網(wǎng)絡(luò)的具體參數(shù)。此多尺度卷積神經(jīng)網(wǎng)絡(luò)共12層,其中包括1個(gè)輸入層、5個(gè)卷積層、3個(gè)全連接層和3個(gè)池化層。

表1 多尺度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)Table 1 Multi-scale convolutional neural networkparameters

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

The German Traffic Sign Recognition Benchmark是IJCNN2011舉辦的一個(gè)圖像分類挑戰(zhàn)賽,其提供了GTSRB數(shù)據(jù)集,共包含43類交通標(biāo)志。其中,訓(xùn)練樣本39 209張,測(cè)試樣本12 630 張?？紤]到采用邊緣方法的參賽者,該挑戰(zhàn)賽提供的樣本圖像中包含了標(biāo)志區(qū)域及其周圍10%的區(qū)域,樣本圖像尺寸范圍為15像素×15像素～250像素×250像素,樣本的圖片不全為正方形。圖2展示了部分具有典型代表的樣本實(shí)例。該數(shù)據(jù)集的樣本數(shù)據(jù)均來自于歐洲,國內(nèi)大部分交通標(biāo)志的研究者都是在該數(shù)據(jù)集上進(jìn)行擴(kuò)充處理。

圖2 訓(xùn)練樣本

2.2 數(shù)據(jù)預(yù)處理

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練,網(wǎng)絡(luò)模型的層次越深,模型就越復(fù)雜,越具有表達(dá)力,但同時(shí)越容易失去解析測(cè)試數(shù)據(jù)的能力,從而專注于解析訓(xùn)練數(shù)據(jù),造成過擬合現(xiàn)象。卷積神經(jīng)網(wǎng)絡(luò)相比傳統(tǒng)模型具有更強(qiáng)大的表達(dá)能力,因此,也需要更多的數(shù)據(jù)來避免過擬合現(xiàn)象的出現(xiàn)。同時(shí),拍攝角度變化、照明條件(飽和度、低對(duì)比度)、運(yùn)動(dòng)模糊、陽光耀眼、顏色褪色等外部因素都會(huì)導(dǎo)致交通標(biāo)志變形或失真。

為保證訓(xùn)練集足夠大,訓(xùn)練數(shù)據(jù)更真實(shí),避免出現(xiàn)過擬合現(xiàn)象,主要的應(yīng)對(duì)措施是數(shù)據(jù)增強(qiáng)。增強(qiáng)的方法主要是從原始數(shù)據(jù)集中隨機(jī)選取圖片,并應(yīng)用仿射變換法。通過對(duì)圖像進(jìn)行幾何變換等圖像處理手段來增加樣本數(shù)據(jù)量。此處數(shù)據(jù)增強(qiáng)主要是增加訓(xùn)練集的大小以及調(diào)整類別分布(類別分布是不均衡的,因?yàn)闇y(cè)試集可能相較于訓(xùn)練集有不同的分布,所以筆者希望在類別分布均衡的數(shù)據(jù)集上訓(xùn)練,給予不同類別相同的權(quán)重,然后在不均衡的數(shù)據(jù)集上測(cè)試時(shí)可以有更好的效果)。數(shù)據(jù)增強(qiáng)后得到每個(gè)類別各有4 000張樣本數(shù)據(jù)的數(shù)據(jù)集。本文使用以下數(shù)據(jù)增強(qiáng)方法:

1)旋轉(zhuǎn)角度:旋轉(zhuǎn)角度范圍限制為-10°～10°,因?yàn)槿绻D(zhuǎn)角度過大,有些交通標(biāo)志的含義就會(huì)發(fā)生變化。

2)水平、垂直移動(dòng):移動(dòng)范圍限制為-3像素～3像素。

3)伸縮變換:伸縮變換范圍限制為0.8～1.2。

由于數(shù)據(jù)集中的原始圖像每幅圖像只包含一個(gè)交通標(biāo)志,而且有10%的冗余邊,每個(gè)圖像大小尺寸并不一樣,為提高識(shí)別率,需對(duì)其進(jìn)行預(yù)處理,即先參考交通標(biāo)志說明文件把圖片10%的冗余邊剪除,使交通標(biāo)志充滿整個(gè)圖像;再將所有圖像下采樣或者上采樣成32像素×32像素的格式,并將所有的訓(xùn)練樣本轉(zhuǎn)換成灰度圖。圖3展示了預(yù)處理后的樣本。

圖3 預(yù)處理后的樣本

2.3 實(shí)驗(yàn)參數(shù)設(shè)置

本文實(shí)驗(yàn)采用的計(jì)算機(jī)處理器為英特爾i5-4210H(2.90 GHz雙核),運(yùn)行內(nèi)存為4 GB,使用GPU加速,GPU為英偉達(dá)GTX860M,顯存為2 GB。為驗(yàn)證本文模型的性能,筆者在GTSRB數(shù)據(jù)集上進(jìn)行了多次實(shí)驗(yàn),其中訓(xùn)練樣本39 209張,測(cè)試樣本12 630 張,共包含43 類交通標(biāo)志。同時(shí)通過數(shù)據(jù)增強(qiáng)的方式,分別將每類交通標(biāo)志增強(qiáng)到3 000張和4 000張。本文實(shí)驗(yàn)參數(shù)設(shè)置為:初始學(xué)習(xí)率為0.001,當(dāng)epoch次數(shù)超過40后,學(xué)習(xí)率變?yōu)?.000 1。BatchSize為200,epoch總次數(shù)為150 次,動(dòng)量參數(shù)0.9。在全連接層中使用dropout的keep_prob參數(shù)為0.5。

2.4 不同模型參數(shù)下的性能對(duì)比

本文通過對(duì)模型進(jìn)行不同設(shè)置,包括是否使用多尺度特征、卷積層層數(shù)、是否使用灰度圖、全連接層隱藏單元個(gè)數(shù)以及訓(xùn)練集中每類交通標(biāo)志增強(qiáng)后的數(shù)量等,來觀察其對(duì)實(shí)驗(yàn)結(jié)果的影響,比較結(jié)果如表2所示。采用多尺度網(wǎng)絡(luò)結(jié)構(gòu)并且卷積層數(shù)為2的模型(第2組實(shí)驗(yàn))將第1個(gè)卷積層輸出池化后的結(jié)果同第2個(gè)卷積層輸出池化后的結(jié)果聯(lián)合送入到分類器中進(jìn)行分類,這兩個(gè)卷積層中均包含108個(gè)3×3的卷積核;在卷積層數(shù)為5的模型中(第2組實(shí)驗(yàn)～第7組實(shí)驗(yàn)),這5個(gè)卷積層的卷積核的個(gè)數(shù)分別為80、120、180、200、200。其中,除了第3個(gè)卷積層使用的是4×4大小的卷積核,其余4個(gè)卷積層均使用3×3的卷積核。在采用多尺度網(wǎng)絡(luò)結(jié)構(gòu)的情況下,卷積層數(shù)為5的模型(第3組、第6組和第7組實(shí)驗(yàn))將第4個(gè)卷積層輸出池化后的結(jié)果同第5個(gè)卷積層輸出池化后的結(jié)果聯(lián)合送入到分類器中進(jìn)行分類。所有實(shí)驗(yàn)均采用GTSRB數(shù)據(jù)集,且默認(rèn)將訓(xùn)練集中各類交通標(biāo)志樣本數(shù)量統(tǒng)一增強(qiáng)至4 000張。

表2 不同模型參數(shù)下的實(shí)驗(yàn)結(jié)果比較Table 2 Experimental results comparison under different model parameters

通過單獨(dú)對(duì)比表2中第1組和第2組實(shí)驗(yàn)以及單獨(dú)對(duì)比第4組和第7組實(shí)驗(yàn)后發(fā)現(xiàn),多尺度卷積神經(jīng)網(wǎng)絡(luò)相比單尺度卷積神經(jīng)網(wǎng)絡(luò),準(zhǔn)確識(shí)別率分別提升了1.82%、0.08%。因?yàn)閱纬叨忍卣鞑⒉荒艹浞直磉_(dá)特征的多屬性,所以單尺度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別率不如多尺度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別率高。因?yàn)槎喑叨染矸e神經(jīng)網(wǎng)絡(luò)可以充分利用特征的多屬性,所以顯著提升了模型的識(shí)別率。相比使用2層卷積層的模型,使用5層卷積層的模型能更有效地利用多尺度特征,達(dá)到更好識(shí)別效果。通過將第1組、第2組實(shí)驗(yàn)結(jié)果對(duì)比第3組～第7組實(shí)驗(yàn)結(jié)果后發(fā)現(xiàn),使用2層卷積層的模型最高識(shí)別率為95.85%,而使用5層卷積層的模型最低識(shí)別率為98.25%,這表明使用5層卷積層的網(wǎng)絡(luò)要比僅使用2層卷積層的網(wǎng)絡(luò)識(shí)別率明顯要高。通過觀察第4組和第5組實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),使用灰度圖作為訓(xùn)練樣本訓(xùn)練出來的模型比使用RGB圖作為訓(xùn)練樣本訓(xùn)練出來的模型,識(shí)別率要高0.12%。通過第3組和第6組實(shí)驗(yàn)可以發(fā)現(xiàn),全連接層使用100個(gè)隱藏單元,比使用50個(gè)隱藏單元的識(shí)別率高0.25%。

對(duì)比表2中的第6組和第7組實(shí)驗(yàn)可以發(fā)現(xiàn),通過將每類交通標(biāo)志樣本數(shù)量增加到2 000的訓(xùn)練集訓(xùn)練出的模型,反而比通過將每類交通標(biāo)志樣本數(shù)量增加到4 000的訓(xùn)練集訓(xùn)練出來的模型識(shí)別率更高。數(shù)據(jù)增強(qiáng)至不同的數(shù)量對(duì)模型識(shí)別率的影響如表3所示,可以看出,在相同的模型下,將每類交通標(biāo)志樣本數(shù)量增加到2 000個(gè),比將每類交通標(biāo)志樣本數(shù)量增加到3 000個(gè)、4 000個(gè)的識(shí)別率要分別高出0.36%、0.58%,這表明訓(xùn)練數(shù)據(jù)并非增強(qiáng)得越多越好。

表3 數(shù)據(jù)增強(qiáng)至不同數(shù)量對(duì)實(shí)驗(yàn)結(jié)果的影響

Table 3 Effect of data enhancement to different quantities on experimental results

方法準(zhǔn)確識(shí)別率/%樣本數(shù)量增加至4 000個(gè)98.67樣本數(shù)量增加至3 000個(gè)98.89樣本數(shù)量增加至2 000個(gè)99.25

通過觀察表2的第4組和第5組實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),使用灰度圖可以提高模型的識(shí)別率。本文通過進(jìn)一步實(shí)驗(yàn)研究使用灰度圖對(duì)模型識(shí)別率的影響,結(jié)果如表4所示。可以看出,使用灰度圖比使用RGB圖模型識(shí)別率提升了0.12%,這表明使用灰度圖訓(xùn)練模型可以有效提升模型的識(shí)別率。

表4 使用灰度圖對(duì)實(shí)驗(yàn)結(jié)果的影響Table 4 Effect of using grey-scale map on experimental results

2.5 不同方法的性能對(duì)比

在GTSRB數(shù)據(jù)集下不同方法的性能比較如表5所示。其中,本文模型的實(shí)驗(yàn)結(jié)果是在本文實(shí)驗(yàn)平臺(tái)下得到的,其他方法的實(shí)驗(yàn)結(jié)果均是參考相關(guān)文獻(xiàn),但這些文獻(xiàn)均使用了與本文相同的數(shù)據(jù)集。由表5可見,本文方法優(yōu)于人類表現(xiàn),而在優(yōu)于人類表現(xiàn)的3個(gè)方法中,本文方法的性能在文獻(xiàn)[17]方法98.89%識(shí)別率的基礎(chǔ)上提升到99.25%,而略低于文獻(xiàn)[12]模型99.46%的識(shí)別率。隨機(jī)森林、SVM、ANN等算法,雖然訓(xùn)練時(shí)間短,但是識(shí)別率不是很高。而文獻(xiàn)[13]提出的基于聯(lián)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)的方法、文獻(xiàn)[15]提出的基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)方法和文獻(xiàn)[19]提出的基于CNN多層特征和ELM的方法,識(shí)別率均沒有達(dá)到人類的表現(xiàn),并且在模型訓(xùn)練的時(shí)耗方面也不占優(yōu)勢(shì)。

表5 不同模型的準(zhǔn)確識(shí)別率對(duì)比Table 5 Accurate recognition rates comparison ofdifferent models

表6展示了3個(gè)不同模型在本實(shí)驗(yàn)平臺(tái)下的訓(xùn)練時(shí)間與識(shí)別時(shí)間?？梢钥闯?在識(shí)別時(shí)間幾乎相同的情況下,本文所設(shè)計(jì)模型的識(shí)別率達(dá)到99.25%,超過了文獻(xiàn)[17]模型的98.89%。盡管文獻(xiàn)[12]所設(shè)計(jì)的多縱卷積神經(jīng)網(wǎng)絡(luò)模型的識(shí)別率最高,但存在識(shí)別時(shí)間過長(zhǎng),在需要大量預(yù)處理的情況下,還需要151 h才能完成模型的訓(xùn)練任務(wù)的問題。因此,文獻(xiàn)[12]提出的多縱卷積神經(jīng)網(wǎng)絡(luò)模型存在實(shí)用性不強(qiáng)的問題。而本文模型無需需要很多工程技巧的全局變量訓(xùn)練,僅花費(fèi)7 h就完成了模型的訓(xùn)練任務(wù)。同時(shí),在識(shí)別率僅比多縱卷積神經(jīng)網(wǎng)絡(luò)低0.21%的情況下,本文模型的識(shí)別和訓(xùn)練時(shí)間的縮幅均超過90%。因此,從實(shí)用性的角度出發(fā),本文模型更具優(yōu)勢(shì)。

表6 3種模型的訓(xùn)練時(shí)間與識(shí)別時(shí)間Table 6 Training time and recognition time of three models

3 結(jié)束語

本文運(yùn)用多尺度思想,設(shè)計(jì)一個(gè)基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別模型。該網(wǎng)絡(luò)模型包含1個(gè)輸入層、5個(gè)卷積層、3個(gè)全連接層和3個(gè)池化層,結(jié)構(gòu)簡(jiǎn)單,網(wǎng)絡(luò)規(guī)模較小,其使用Relu激活函數(shù),并采用Softmax分類器進(jìn)行分類操作,能夠綜合網(wǎng)絡(luò)多層特征并充分利用這些具有多尺度的特征,在保證高精度識(shí)別的同時(shí)具有速度快和實(shí)用性強(qiáng)的優(yōu)點(diǎn)。與多縱卷積神經(jīng)網(wǎng)絡(luò)模型相比,本文模型在保證99.25%高識(shí)別率的同時(shí),識(shí)別和訓(xùn)練時(shí)間的降幅均超過90%。下一步將在更復(fù)雜的背景中準(zhǔn)確檢測(cè)出交通標(biāo)志后再進(jìn)行識(shí)別,以實(shí)現(xiàn)交通標(biāo)志的實(shí)時(shí)檢測(cè)與識(shí)別。