基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別算法*

孔月瑤， 嚴(yán) 群， 姚劍敏， 林志賢

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

0 引 言

交通標(biāo)志識別與先進駕駛輔助系統(tǒng)(advanced driver assistance system,ADAS)和無人駕駛緊密相關(guān)，該領(lǐng)域一直是國內(nèi)外專家研究的熱門課題[1]。然而計算機在對自然場景下交通標(biāo)志圖像的采集過程中會受到很多因素的干擾，導(dǎo)致采集到的圖像不清晰甚至變形從而影響識別。同時，交通識別系統(tǒng)必須快速識別并及時反饋給駕駛員，否則不但起不到輔助作用還會造成危險。因此，如何在復(fù)雜的自然場景下快速并準(zhǔn)確地識別交通標(biāo)志非常重要。

隨著深度學(xué)習(xí)算法發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convliutional neural network,CNN)已成為人工智能領(lǐng)域中用于對象分類和模式識別應(yīng)用的突破性技術(shù)[2]，如車型識別[3]，語音識別[4]等。越來越多研究學(xué)者將其用于交通標(biāo)志識別系統(tǒng)。Ciresan D等人提出使用多列CNN進行組合[5]，獲得99.46 %的準(zhǔn)確率，但需要4塊圖形處理單元(graphics processing unit,GPU)訓(xùn)練37 h。文獻[6]提出將分割出的交通標(biāo)志感興趣區(qū)域(region of interest,RoI)輸入到CNN進行識別，雖然減小了天氣等因素的影響，但穩(wěn)定性較差。文獻[7]提出使用逐層貪婪預(yù)訓(xùn)練和支持向量機(support vector machine,SVM)作為分類器來優(yōu)化CNN，但是不能保證其泛化性能。

針對上述算法的不足，本文提出一種新的網(wǎng)絡(luò)模型，結(jié)合單通道卷積神經(jīng)網(wǎng)絡(luò)中特征單一及梯度彌散的問題，提出采用非對稱雙通道作為輸入，兩通道采用不同的網(wǎng)絡(luò)結(jié)構(gòu)來獲取豐富的特征；同時在上層通路采用躍層連接，將淺層和深層特征進行融合，防止信息丟失；最后在全連接層將兩通道的輸出特征進行融合。實驗結(jié)果表明，本文算法能有效減少訓(xùn)練時間并提高準(zhǔn)確率。

1 CNN

CNN本質(zhì)上是一個多層感知機[8]，可以通過某種方式將輸入的非線性可分?jǐn)?shù)據(jù)映射到高維空間，再使用線性分類器完成分類。它采用局部連接和共享權(quán)值的方式，一方面減少權(quán)值的數(shù)量使網(wǎng)絡(luò)更易于優(yōu)化，另一方面降低了網(wǎng)絡(luò)的復(fù)雜度。CNN包括卷積層、池化層和全連接層。

卷積層主要用來進行特征提取。卷積層通過可訓(xùn)練的卷積核K，對輸入的二維圖像I進行卷積操作，并通過激活函數(shù)得到該層的輸出特征圖S。對圖像進行卷積操作的數(shù)學(xué)表達(dá)式為

S(i,j)=(I×K)(i,j)=∑∑I(m,n)K(i-m,j-n)

(1)

(2)

式中p為池化窗口大小，s為步長。全連接層在卷積網(wǎng)絡(luò)中起到分類器的作用，卷積層和池化層等操作將多維的低級特征組合成高級特征，并映射到隱層特征空間后，全連接層將學(xué)到的分布式特征表示映射到樣本標(biāo)記空間，最后對這些特征進行分類，以達(dá)到對圖像分類的效果。

2 交通標(biāo)志識別算法

2.1 圖像增強

由于自然場景下的交通標(biāo)志極易受到天氣、光照和環(huán)境等影響，因此，采用合適的圖像增強算法來突出圖像的特征信息是非常必要的，本文采用直方圖均衡化對圖像進行增強。首先對圖像中像素灰度級ri進行歸一化處理,則0≤ri≤1,i=0, 1, 2, …,n-1，其中ri=0時表示黑,ri=1時表示白。每個像素值在[0，1]的灰度級是隨機的，用P(ri)來表示圖像灰度級的分布情況，則第i個灰度級出現(xiàn)的概率為P(ri)=ni/n，其中ni為圖像中灰度為ri的像素數(shù)，n為圖像的像素總數(shù)，圖像進行直方圖均衡化的函數(shù)表達(dá)式為

0≤ri≤1,i=0, 1, …,n-1

(3)

由此可見，si在其定義域范圍內(nèi)的概率密度是均勻分布的，即圖像經(jīng)增強后可達(dá)到均衡。

2.2 非對稱雙通道CNN

在CNN中，較淺的卷積層通常學(xué)到的是圖像局部邊緣特征，如邊緣和顏色等，有助于在復(fù)雜背景下區(qū)分出目標(biāo)，而更深的卷積層則捕獲更高級的抽象特征，這些抽象特征對目標(biāo)分類非常有利。在網(wǎng)絡(luò)中，提取的淺層特征信息在經(jīng)過多個卷積層和池化層后，逐層映射為深層特征信息，但部分淺層特征信息丟失，僅使用這些抽象特征進行分類，構(gòu)造的不是最優(yōu)的分類器；另外，隨著網(wǎng)絡(luò)層數(shù)的加深，神經(jīng)網(wǎng)絡(luò)易產(chǎn)生梯度彌散問題，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練困難[9]。針對上述單通道CNN的問題，本文提出非對稱雙通道CNN結(jié)構(gòu)，可以避免梯度彌散問題，并加入DenseNet[10]中躍層連接的方式，對底層得到的淺層特征進行復(fù)用。兩通路最后得到的特征在全連接層進行融合，并通過SoftMax分類器進行分類。圖1為非對稱雙通道CNN結(jié)構(gòu)。其中,C代表卷積層，p代表池化層。

圖1 非對稱雙通道CNN結(jié)構(gòu)

通路1主要用來提取圖像的淺層特征，大卷積核可以提取更具全局特性的特征，避免重要的邊緣、顏色等特征信息丟失，通路1輸出一維特征向量：P2=[1，A2×A2×M2]，并且通路1中的p1層的連接方式與其他層不同，它繼續(xù)進行卷積計算的同時也將提取的特征信息展開為一維向量P1=[1，A1×A1×M1]，并使用躍層連接的方式，跨越中間層直接輸入到全連接層，使其提取的淺層特征與fv層輸出的深層特征在全連接層進行融合，防止淺層信息丟失。

此外，本文采用LReLUs(Leak ReLUs)代替常用的ReLU激活函數(shù)。雖然使用ReLU進行訓(xùn)練比tanh或Sigmoid單位更快，但ReLU很脆弱，在訓(xùn)練期間可能會死亡。由圖2(a)可知，對于小于0的值，這個神經(jīng)元的梯度一直是0，如果學(xué)習(xí)率很大時，很可能會造成網(wǎng)絡(luò)中較多的神經(jīng)元‘dead’。而LReLUs正可以修復(fù)這個的問題。LReLUs的數(shù)學(xué)表達(dá)式如(4)所示，這里α是一個很小的常數(shù)，這樣保留了一些負(fù)軸的值，使負(fù)軸的信息不會全部丟失。文獻[11]也證明了在CNN中使用LReLUs的性能優(yōu)于ReLU。實驗結(jié)果發(fā)現(xiàn)，使用LReLUs在GTSRB數(shù)據(jù)集上實現(xiàn)了比ReLU約高2 %的準(zhǔn)確度。圖2顯示了ReLU和LReLUs的功能公式(4)如下

圖2 ReLU和LReLUs的功能

y=max(0,x)+αmin(0,x)

(4)

3 實 驗

3.1 數(shù)據(jù)集準(zhǔn)備

本實驗使用德國交通標(biāo)志識別基準(zhǔn)(German Traffic Sign Recognition Benchmark，GTSRB)，該數(shù)據(jù)集包括43類交通標(biāo)志，其中訓(xùn)練集圖片39 209張，測試集圖片12 630張。圖3為GTSRB中隨機抽取每類的圖片。通過研究數(shù)據(jù)集的特性，選擇不同的數(shù)據(jù)增強方式，對數(shù)量少的類別采用旋轉(zhuǎn)(-15°,15°)及左右平移的方式，數(shù)量多的類別僅進行旋轉(zhuǎn)，使所有的類別在增加數(shù)量的同時達(dá)到平衡。使用數(shù)據(jù)增強后，訓(xùn)練集達(dá)到100 469張，測試集保持不變。

圖3 GTSRB中隨機抽取每類的圖片

3.2 實驗結(jié)果與分析

實驗使用的計算機配置為i5—8500U處理器，GTX 1080顯卡，內(nèi)存16 G。使用TensorFlow訓(xùn)練網(wǎng)絡(luò)，其中優(yōu)化器采用Adam Optimizer，學(xué)習(xí)率設(shè)為0.000 1，最大迭代次數(shù)設(shè)為200。

為了驗證本文提出的網(wǎng)絡(luò)結(jié)構(gòu)在交通標(biāo)志識別上的性能，本文設(shè)置了4組實驗進行分析：

1)選取輸入網(wǎng)絡(luò)的最佳尺寸。GTSRB數(shù)據(jù)集中的圖片大小不一，但是對于神經(jīng)網(wǎng)絡(luò)來說，輸入節(jié)點個數(shù)是固定的，因此，需要將圖片統(tǒng)一尺寸后再輸入到網(wǎng)絡(luò)中。為了確定輸入的最佳尺寸，實驗保持其他參數(shù)不變，并使用4個不同尺寸的GTSRB數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練及測試，最后通過對比分析，確定輸入網(wǎng)絡(luò)的最佳尺寸為48×48。實驗結(jié)果如表1所示。

表1 不同輸入尺寸的準(zhǔn)確率

2)驗證使用激活函數(shù)LReLUs是否能有效提高準(zhǔn)確率。主要將其與ReLU在訓(xùn)練時間及準(zhǔn)確率方面進行對比。表2表明，LReLUs代替ReLU激活函數(shù)能有效的提高交通標(biāo)志識別準(zhǔn)確率。

表2 ReLU與LReLUs的效果

3)驗證雙通道網(wǎng)絡(luò)模型在GTSRB上的效果。首先，通過對訓(xùn)練過程中的精度和損失曲線可視化，分析其訓(xùn)練的動態(tài)過程。圖4分別表示單通道網(wǎng)絡(luò)模型(參數(shù)一致)和雙通道網(wǎng)絡(luò)模型在訓(xùn)練過程中對應(yīng)的識別率和損失曲線。兩組模型的最大迭代次數(shù)都為200，由圖4可看出，兩組模型都在迭代一定次數(shù)后趨于平穩(wěn)，其中單通道網(wǎng)絡(luò)模型在迭代120～130次達(dá)到平穩(wěn)狀態(tài)，此時損失值接近0，準(zhǔn)確率約為96 %；而提出的模型在迭代70～80次后損失值接近0，準(zhǔn)確率趨近1，網(wǎng)絡(luò)達(dá)到平穩(wěn)。由此可以看出提出的模型收斂速度更快，并且達(dá)到更高的準(zhǔn)確率。

圖4 準(zhǔn)確率和損失曲線對比

表3列舉了不同算法在GTSRB數(shù)據(jù)集上的訓(xùn)練時間及準(zhǔn)確率。由表3可知，本文提出的算法比人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)、AlexNet算法的識別率都要高，訓(xùn)練時間也大大減少，雖然識別率比文獻[7]略低，但是其識別單張圖片的時間是它的0.1倍左右。本文提出的算法準(zhǔn)確率達(dá)到97.89 %，且識別單張圖片只要14 ms，相比其他算法有一定的優(yōu)勢。

表3 不同算法在GTSRB上的效果對比

4)驗證本文算法在實際情況下的識別效果。選取實際場景中質(zhì)量差的交通標(biāo)志圖像進行測試。本文通過復(fù)現(xiàn)

AlexNet網(wǎng)絡(luò)和文獻[12]提出的改進CNN算法，對下面4種情況下的圖片進行測試，并與本文提出的算法進行對比,實驗結(jié)果如表4所示

表4 不同算法在復(fù)雜環(huán)境下的識別率

由表4的測試結(jié)果可以看出，在這四種實際的復(fù)雜環(huán)境下，本文提出的算法的識別準(zhǔn)確率比另外兩種算法的表現(xiàn)都要好，且能達(dá)到較高的識別水平，其中，在光照不足條件下表現(xiàn)的最佳，但對模糊的圖像識別能力略差，還有待提高。總體來說，該算法具有良好的分類能力。

4 結(jié)束語

本文設(shè)計并實現(xiàn)了基于雙通道CNN的交通標(biāo)志識別算法，主要通過兩個不同的網(wǎng)絡(luò)通道來提取不同的特征，并在全連接層進行融合以提取更豐富的特征信息，同時在提取邊緣信息的上層通道添加躍層連接避免淺層特征丟失，最后使用LReLUs代替ReLU，提高準(zhǔn)確率。

多次實驗結(jié)果表明：本文算法在GTSRB上和實際環(huán)境下都能取得較好的識別率，具有一定的魯棒性；算法在保證準(zhǔn)確率的同時提高了訓(xùn)練速度，符合交通標(biāo)志識別系統(tǒng)的準(zhǔn)確性和實時性。