一種結(jié)合ResNet和遷移學(xué)習(xí)的交通標(biāo)志識別方法

徐慧智,閆卓遠(yuǎn),常夢瑩

(東北林業(yè)大學(xué) 交通學(xué)院, 哈爾濱 150040)

交通標(biāo)志識別是自動駕駛技術(shù)和智能駕駛系統(tǒng)的關(guān)鍵組成部分,對于智能交通系統(tǒng)的發(fā)展具有重要作用?？焖贉?zhǔn)確地識別交通標(biāo)志可以為駕駛員或車輛自動控制系統(tǒng)提供行車指示信息,有助于行車安全,同時提高道路通行效率[1]。在現(xiàn)實(shí)中,往往需要在多變的自然場景下識別交通標(biāo)志,雨雪天氣、障礙物遮擋、交通標(biāo)志傾斜等情況都會影響識別效果[2],因此實(shí)時高效的交通標(biāo)志識別方法是目前的研究熱點(diǎn)[3]。

交通標(biāo)志識別常用的方法有基于模板匹配的方法、基于機(jī)器學(xué)習(xí)的方法、基于深度學(xué)習(xí)的方法[4]。由于每類交通標(biāo)志都有獨(dú)特的顏色、形狀和字符等特征,馮春貴等[5]提出了一種模塊匹配方法對限速標(biāo)志進(jìn)行識別,通過抽取限速標(biāo)志字符的特征,利用邊緣模板匹配限速標(biāo)志,識別率提高到95%以上。谷明琴等[6]通過變換RGB顏色空間分割交通標(biāo)志圖像,利用模塊匹配分類,整體識別率超過91%。簡單的基于交通標(biāo)志特征的算法局限于標(biāo)志的磨損、遮擋等情況,很難對交通標(biāo)志準(zhǔn)確識別,為此,Ahmed等[7]采用自適應(yīng)閾值分割算法提取標(biāo)志的邊界和顏色,利用模塊匹配方法和SVM檢測識別交通標(biāo)志,識別率達(dá)到98.23%。隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展,LeNet-5[8]、AlexNet[9]、VGG[10]、ResNet[11]等經(jīng)典的CNN模型被相繼提出,并且在圖像識別領(lǐng)域得到了廣泛應(yīng)用。汪貴平等[12]將inception卷積模塊組引入傳統(tǒng)LeNet-5 CNN,同時增加網(wǎng)絡(luò)深度,改進(jìn)的LeNet-5網(wǎng)絡(luò)交通標(biāo)志識別的準(zhǔn)確率達(dá)到98.51%。張佳達(dá)等[13]利用ResNet,堆疊不同尺寸的殘差模塊,構(gòu)建了具有100層卷積層的網(wǎng)絡(luò)模型,該模型在比利時交通標(biāo)志數(shù)據(jù)集(BTSC)上的精度高達(dá)99.34%。趙樹恩等[14]通過設(shè)定相關(guān)閾值,在HSV空間分離出交通標(biāo)志的顏色來定位交通標(biāo)志,然后使用改進(jìn)的VGG模型識別交通標(biāo)志,該方法的識別準(zhǔn)確率達(dá)到94.12%。Li等[15]結(jié)合faster R-CNN和MobileNet網(wǎng)絡(luò)檢測交通標(biāo)志,再使用非對稱卷積的高效CNN分類,該方法的識別精度高達(dá)99.66%。

基于模塊匹配和機(jī)器學(xué)習(xí)的交通標(biāo)志識別方法需要對圖像進(jìn)行預(yù)處理,然后人工提取圖像特征,工作量較大,該類方法容易受到識別環(huán)境的影響,且識別準(zhǔn)確率不高。使用CNN可以在一定程度上減少前期工作,提高識別率,但是訓(xùn)練模型耗時長,硬件設(shè)施要求高,且需要大量的數(shù)據(jù)樣本,制作數(shù)據(jù)集工作量較大。針對以上問題,采用遷移學(xué)習(xí)的方法,基于預(yù)訓(xùn)練網(wǎng)絡(luò)模型權(quán)重建立交通標(biāo)志識別模型,將已經(jīng)在ImageNet圖像數(shù)據(jù)集上訓(xùn)練好的ResNet模型權(quán)重遷移到交通標(biāo)志識別模型上,再使用交通標(biāo)志樣本數(shù)據(jù)訓(xùn)練模型。

1 試驗(yàn)數(shù)據(jù)

1.1 交通標(biāo)志數(shù)據(jù)集

以3類典型交通標(biāo)志:指示標(biāo)志(mandatory)、警告標(biāo)志(warning)和禁令標(biāo)志(prohibition)作為研究對象。試驗(yàn)所需要的交通標(biāo)志樣本數(shù)據(jù)部分人工拍攝于哈爾濱市香坊區(qū)和興路路段,部分來源于中國交通標(biāo)志檢測數(shù)據(jù)集(CCTSDB),所有圖像樣本數(shù)據(jù)均拍攝于道路實(shí)景且由人工分類標(biāo)注。

本次試驗(yàn)的交通標(biāo)志數(shù)據(jù)集由7 200張圖像組成,每類圖像均有2 400張。以7∶3的比例將交通標(biāo)志數(shù)據(jù)集分為訓(xùn)練集和測試集2部分,訓(xùn)練集數(shù)量為5 040張,測試集數(shù)量為2 160張。數(shù)據(jù)集的樣本數(shù)量分布如表1所示,部分交通標(biāo)志圖像如圖1所示。

表1 交通標(biāo)志圖像樣本數(shù)量分布

圖1 部分交通標(biāo)志圖像

1.2 數(shù)據(jù)預(yù)處理

訓(xùn)練模型需要大量的數(shù)據(jù)樣本,在訓(xùn)練樣本不足的情況下,數(shù)據(jù)擴(kuò)充能夠增加樣本的數(shù)量和多樣性,避免模型訓(xùn)練時產(chǎn)生過擬合的現(xiàn)象,在一定程度上提升模型的性能。因此利用PIL和skimage圖像處理庫對采集到的交通標(biāo)志進(jìn)行隨機(jī)旋轉(zhuǎn)、平移、添加噪聲、對比度增減等操作實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充。其中1張圖像的數(shù)據(jù)擴(kuò)充效果如圖2所示。

在使用不同的CNN模型進(jìn)行遷移學(xué)習(xí)時,需要根據(jù)模型結(jié)構(gòu)調(diào)整輸入圖像的尺寸大小,而對數(shù)據(jù)進(jìn)行歸一化處理(均值變?yōu)?,標(biāo)準(zhǔn)差變?yōu)?)能夠降低模型過擬合,加快模型的收斂速度。因此在使用ResNet模型訓(xùn)練時,利用transforms將輸入圖像尺寸調(diào)整為224 pixel×224 pixel,之后使用normalize函數(shù)對數(shù)據(jù)進(jìn)行批量歸一化處理。

圖2 數(shù)據(jù)擴(kuò)充效果圖像

2 試驗(yàn)方法

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是深度學(xué)習(xí)中的一種方法,其思想是在新模型中引入經(jīng)大型數(shù)據(jù)集充分訓(xùn)練的模型權(quán)重,將某個領(lǐng)域上學(xué)習(xí)到的知識遷移到目標(biāo)領(lǐng)域的任務(wù)中[16]?？紤]到大部分任務(wù)都具有一定的相關(guān)性,通過遷移學(xué)習(xí)能夠提高模型的訓(xùn)練效率并減少網(wǎng)絡(luò)對數(shù)據(jù)集樣本量的需求。遷移學(xué)習(xí)的2種常用方法為:① 固定特征提取器:利用經(jīng)過充分訓(xùn)練的CNN模型,移除網(wǎng)絡(luò)最后一個全連接層,凍結(jié)網(wǎng)絡(luò)的其他部分,并將其視為新數(shù)據(jù)集的特征提取器,再基于新的數(shù)據(jù)集訓(xùn)練一個分類器。② 微調(diào)卷積網(wǎng)絡(luò):不僅在新數(shù)據(jù)集上替換和重新訓(xùn)練分類器,還通過反向傳播微調(diào)網(wǎng)絡(luò)參數(shù),通常是凍結(jié)靠近輸入的卷積層,微調(diào)靠近輸出的卷積層。

AlexNet、VGG、ResNet等經(jīng)典的CNN模型在圖像識別分類領(lǐng)域中得到了廣泛應(yīng)用,且均在 ImageNet、CIFAR-10等大型圖像數(shù)據(jù)集上進(jìn)行充分訓(xùn)練,測試效果良好。基于遷移學(xué)習(xí)方法在小樣本數(shù)據(jù)集上的優(yōu)勢,以在大型圖像數(shù)據(jù)集上訓(xùn)練好的ResNet預(yù)訓(xùn)練網(wǎng)絡(luò)模型權(quán)重為基礎(chǔ),基于第一種固定特征提取器的方法,構(gòu)建交通標(biāo)志識別模型,之后通過訓(xùn)練比選得出精度最高的模型權(quán)重,并在測試集上測試,最后輸出分類結(jié)果,實(shí)現(xiàn)對交通標(biāo)志的準(zhǔn)確識別。

2.2 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)層數(shù)加深會引起梯度消失或梯度爆炸,導(dǎo)致網(wǎng)絡(luò)模型的學(xué)習(xí)效率降低。2016年He等[11]提出了ResNet網(wǎng)絡(luò)模型,引入殘差結(jié)構(gòu)。通過shortcut連接2個權(quán)重層的輸入和輸出,傳遞自身映射,使得淺層網(wǎng)絡(luò)直接向深層網(wǎng)絡(luò)傳遞特征,解決了深層網(wǎng)絡(luò)退化的問題,實(shí)現(xiàn)在神經(jīng)網(wǎng)絡(luò)不斷加深的同時提升學(xué)習(xí)效率。ResNet殘差結(jié)構(gòu)如圖3所示,輸入x經(jīng)過第一個權(quán)重層和激活層得到F(x),經(jīng)過第二個權(quán)重層時將F(x)與x相加得到輸出H(x):

H(x)=F(x)+x

(1)

當(dāng)殘差F(x)=0時,

H(x)=x

(2)

即輸入x等于輸出x,此時網(wǎng)絡(luò)構(gòu)成恒等映射,保證了網(wǎng)絡(luò)性能不會隨網(wǎng)絡(luò)層數(shù)加深而下降。

圖3 ResNet殘差結(jié)構(gòu)

ResNet有層數(shù)不同的網(wǎng)絡(luò)結(jié)構(gòu),常用的有ResNet18、ResNet34和ResNet50,均由5個卷積塊和1個全連接層組成,其中卷積塊由不同數(shù)量的殘差結(jié)構(gòu)堆疊組成。不同層數(shù)的ResNet的區(qū)別在于各個卷積塊的卷積層數(shù)和通道數(shù)不同。ResNet34網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,輸入大小為224×224,通道數(shù)為3的圖像,經(jīng)過5個卷積塊提取圖像特征,輸出大小為7×7,通道數(shù)為512的特征圖,之后輸入平均池化層取平均值,最后輸入全連接層,由softmax函數(shù)將圖像分為1 000類。

圖4 ResNet34網(wǎng)絡(luò)結(jié)構(gòu)框圖

2.3 模型結(jié)構(gòu)及優(yōu)化

2.3.1模型結(jié)構(gòu)

基于ResNet模型進(jìn)行遷移學(xué)習(xí),首先凍結(jié)模型的卷積層,停止網(wǎng)絡(luò)模型權(quán)重和偏置值的更新,將卷積層視為新模型的特征提取器。由于該模型已在具有1 000個圖像類別的ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,而采集3類交通標(biāo)志作為樣本數(shù)據(jù),故去除模型原本的全連接層,為模型設(shè)計輸出維度為3的新全連接層,最后使用樣本數(shù)據(jù)訓(xùn)練模型?；赗esNet34的交通標(biāo)志識別模型結(jié)構(gòu)如圖5所示,輸入經(jīng)過標(biāo)準(zhǔn)化處理的交通標(biāo)志圖像,通過1個卷積層和4個由殘差結(jié)構(gòu)堆疊組成的卷積塊提取圖像特征,再由平均池化層計算圖像區(qū)域的平均值,之后利用flatten將多維輸入展平降維,最后由全連接層對交通標(biāo)志圖像分類。

2.3.2模型優(yōu)化

優(yōu)化器沿梯度下降方向調(diào)整模型參數(shù),使其逼近或達(dá)到最優(yōu)值,并使損失值不斷降低,實(shí)現(xiàn)對模型的優(yōu)化。本文模型的優(yōu)化器采用帶動量的隨機(jī)梯度下降法(stochastic gradient descent with momentum,SGDM),與SGD相比,加入一階動量,使參數(shù)更新能夠保持前一時刻的趨勢,解決了使用SGD容易卡在梯度較小點(diǎn)的問題,加快了模型的收斂速度,SGDM的參數(shù)更新如下:

mt=βmt-1+(1-β)gt

(3)

(4)

wt+1=wt-lr×(βmt-1+(1-β)gt)

(5)

式中:mt為t時刻的一階動量;β為動量參數(shù),一般取0.9;gt為t時刻的梯度;wt為t時刻的參數(shù);lr為學(xué)習(xí)率;vt為二階動量,取1。

圖5 基于ResNet34的交通標(biāo)志識別模型

在梯度下降算法中需要設(shè)置學(xué)習(xí)率來控制參數(shù)更新的步幅大小,學(xué)習(xí)率不是固定值,一般在訓(xùn)練初期設(shè)置較大的學(xué)習(xí)率加速網(wǎng)絡(luò)收斂,在訓(xùn)練后期設(shè)置較小的學(xué)習(xí)率使網(wǎng)絡(luò)更好地趨向最優(yōu)解。采用固定步長衰減法更新學(xué)習(xí)率,即每隔固定的訓(xùn)練輪次對學(xué)習(xí)率進(jìn)行衰減,避免了訓(xùn)練后期因?qū)W習(xí)率較大導(dǎo)致參數(shù)在最小值附近波動的問題。

損失函數(shù)用來衡量模型訓(xùn)練效果的好壞,損失函數(shù)越小,說明訓(xùn)練的效果越好。本文模型選擇交叉熵?fù)p失函數(shù)計算分類損失,交叉熵?fù)p失函數(shù)在分類問題中得到了廣泛的應(yīng)用,在多分類問題中,其表達(dá)式為:

(6)

式中:Loss為損失函數(shù);N為樣本數(shù)量;K為分類標(biāo)簽數(shù)量;yi,k為第i個樣本的真實(shí)標(biāo)簽為k;pi,k為第i個樣本預(yù)測為第k個標(biāo)簽的概率。

2.4 試驗(yàn)流程

使用采集的3類交通標(biāo)志樣本作為數(shù)據(jù)集,劃分為訓(xùn)練集和測試集2部分,并對數(shù)據(jù)進(jìn)行預(yù)處理。將已經(jīng)在ImageNet圖像數(shù)據(jù)集上訓(xùn)練好的ResNet模型權(quán)重遷移到新的網(wǎng)絡(luò)模型,并凍結(jié)卷積層,將其作為新模型的特征提取器,之后為新模型重新設(shè)計全連接層,構(gòu)建交通標(biāo)志識別模型,最后用訓(xùn)練集訓(xùn)練模型并用測試集檢驗(yàn)?zāi)Ｐ偷淖R別精度。試驗(yàn)流程如圖6所示。

圖6 試驗(yàn)流程框圖

3 結(jié)果與分析

3.1 試驗(yàn)環(huán)境及參數(shù)設(shè)定

本次試驗(yàn)的硬件環(huán)境為AMD Ryzen 7 5800H with Radeon Graphics @3.20 GHz CPU,16 GB內(nèi)存;NVIDIA GeForce RTX 3060 Laptop GPU,6 GB顯存。軟件環(huán)境為Windows 10 64bit操作系統(tǒng);Python 3.8語言;Pytorch 1.10.0深度學(xué)習(xí)框架。模型的訓(xùn)練和測試均使用GPU加速,綜合硬件條件和模型訓(xùn)練效果,batch size設(shè)置為32(即每個批次取32個樣本訓(xùn)練),迭代次數(shù)設(shè)置為100輪次,初始學(xué)習(xí)率設(shè)置為0.01。

3.2 評價指標(biāo)

通過準(zhǔn)確率(accuracy)、查準(zhǔn)率(precision,P)、查全率(recall,R)、F1分?jǐn)?shù)(F1-score)和訓(xùn)練耗時等指標(biāo)評估模型的性能。準(zhǔn)確率是模型正確分類的樣本數(shù)與總樣本數(shù)之比,查準(zhǔn)率、查全率和F1分?jǐn)?shù)的計算見下式:

(7)

(8)

(9)

式中:TP和FP分別表示識別正確和錯誤的交通標(biāo)志樣本數(shù),FN表示未被識別到的交通標(biāo)志樣本數(shù)。

3.3 訓(xùn)練結(jié)果及性能分析

3.3.1數(shù)據(jù)擴(kuò)充對模型性能的影響

為驗(yàn)證數(shù)據(jù)擴(kuò)充對本文模型性能的影響,在保證模型優(yōu)化方式和試驗(yàn)參數(shù)相同的條件下,使用本文模型分別對數(shù)據(jù)擴(kuò)充前的數(shù)據(jù)集和經(jīng)過旋轉(zhuǎn)、平移、添加噪聲等數(shù)據(jù)增強(qiáng)方法擴(kuò)充的數(shù)據(jù)集進(jìn)行訓(xùn)練,并記錄測試集準(zhǔn)確率的最大值和訓(xùn)練耗時。訓(xùn)練結(jié)果如表2所示,由表可知,數(shù)據(jù)擴(kuò)充策略對模型的訓(xùn)練結(jié)果有影響,使用經(jīng)數(shù)據(jù)擴(kuò)充后的數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí),準(zhǔn)確率比數(shù)據(jù)擴(kuò)充前提高了2.39%。由于數(shù)據(jù)擴(kuò)充策略增加了訓(xùn)練樣本的數(shù)量,訓(xùn)練耗時也會相應(yīng)增多。

表2 數(shù)據(jù)擴(kuò)充前后訓(xùn)練結(jié)果

圖7為數(shù)據(jù)集擴(kuò)充前后的準(zhǔn)確率曲線,可以看出,采用數(shù)據(jù)擴(kuò)充前的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練,準(zhǔn)確率曲線波動幅度較大;采用經(jīng)數(shù)據(jù)擴(kuò)充后的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練,準(zhǔn)確率曲線較為平穩(wěn)。說明數(shù)據(jù)擴(kuò)充策略能夠提高小樣本數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)的模型精度和穩(wěn)定性。

圖7 數(shù)據(jù)擴(kuò)充前后的準(zhǔn)確率曲線

3.3.2數(shù)據(jù)集大小對模型性能的影響

數(shù)據(jù)集大小在一定程度上影響模型的性能,為研究其對交通標(biāo)志識別效果的影響,在原數(shù)據(jù)集中隨機(jī)選取6 000、4 800、3 600張樣本圖像組成新數(shù)據(jù)集,使用原數(shù)據(jù)集和3種不同大小的數(shù)據(jù)集訓(xùn)練模型,記錄測試集準(zhǔn)確率的最大值和訓(xùn)練耗時如表3所示。由表可知,模型的準(zhǔn)確率隨著數(shù)據(jù)集的增大而提高,數(shù)據(jù)集大小減半的情況下,模型仍有97.03%的準(zhǔn)確率,說明使用遷移學(xué)習(xí)方法訓(xùn)練的本文模型,對于小樣本數(shù)據(jù)集具有良好的識別效果,而增加數(shù)據(jù)集樣本量進(jìn)行遷移學(xué)習(xí)能夠使模型充分學(xué)習(xí)交通標(biāo)志的特征,達(dá)到更高的精度。

表3 不同大小數(shù)據(jù)集的訓(xùn)練結(jié)果

3.3.3學(xué)習(xí)率對模型性能的影響

為驗(yàn)證學(xué)習(xí)率設(shè)置大小和學(xué)習(xí)率衰減策略對本文模型性能的影響,在其他試驗(yàn)參數(shù)相同的情況下,設(shè)置0.05、0.01、0.001共3組初始學(xué)習(xí)率,采用學(xué)習(xí)率固定和學(xué)習(xí)率衰減2種訓(xùn)練策略訓(xùn)練本文模型,并記錄測試集準(zhǔn)確率的最大值。訓(xùn)練結(jié)果如表4所示,由表可知,初始學(xué)習(xí)率設(shè)置為0.01,且采用學(xué)習(xí)率衰減策略時模型的準(zhǔn)確率最高,達(dá)到97.60%。初始學(xué)習(xí)率設(shè)置相同的情況下,學(xué)習(xí)率衰減的模型準(zhǔn)確率略高于學(xué)習(xí)率固定的模型。不同學(xué)習(xí)率設(shè)置的準(zhǔn)確率曲線如圖8所示。

表4 不同學(xué)習(xí)率設(shè)置的訓(xùn)練結(jié)果

圖8 不同學(xué)習(xí)率設(shè)置的準(zhǔn)確率曲線

圖8(a)為初始學(xué)習(xí)率設(shè)置為0.01時2種訓(xùn)練策略的準(zhǔn)確率曲線,由圖8(a)可知,采用固定學(xué)習(xí)率訓(xùn)練,模型難以收斂,且準(zhǔn)確率較低。圖8(b)為3組初始學(xué)習(xí)率采用學(xué)習(xí)率衰減策略訓(xùn)練模型的準(zhǔn)確率,可以看出初始學(xué)習(xí)率設(shè)置為0.05時,模型收斂最快,但學(xué)習(xí)率較大會跳過最優(yōu)解;初始學(xué)習(xí)率設(shè)置為0.001時,模型收斂緩慢,且達(dá)不到最優(yōu)解。說明將初始學(xué)習(xí)率設(shè)置為0.01,且使用衰減的學(xué)習(xí)率更適合本文模型進(jìn)行遷移學(xué)習(xí)。

3.3.4不同模型的訓(xùn)練結(jié)果

為驗(yàn)證所提出的模型在交通標(biāo)志識別問題上的有效性,選取AlexNet、VGG16和ResNet18這3種CNN模型與本文模型進(jìn)行對比試驗(yàn),在相同的試驗(yàn)參數(shù)設(shè)置條件下采用遷移學(xué)習(xí)的方法對模型進(jìn)行訓(xùn)練與測試,均迭代100輪次后,以測試集準(zhǔn)確率的最大值為評價指標(biāo)對模型的性能進(jìn)行評估。4種模型的訓(xùn)練結(jié)果如表5所示。

表5 4種模型訓(xùn)練結(jié)果對比

由表5可知,4種模型經(jīng)過100輪次訓(xùn)練均達(dá)到90%以上的準(zhǔn)確率,且訓(xùn)練耗時均控制在50 min以內(nèi),說明利用遷移學(xué)習(xí)方法可以在短時間內(nèi)訓(xùn)練出精度較高的交通標(biāo)志識別模型。相較于AlexNet、VGG16這2種網(wǎng)絡(luò)模型,ResNet網(wǎng)絡(luò)結(jié)構(gòu)中引入了殘差結(jié)構(gòu)塊,在增加網(wǎng)絡(luò)層數(shù)、降低模型參數(shù)的同時提高了模型的精度,因此訓(xùn)練結(jié)果表明了遷移學(xué)習(xí)方法的優(yōu)越性和殘差結(jié)構(gòu)的有效性。4種模型的準(zhǔn)確率和損失值如圖9所示。

準(zhǔn)確率曲線表示隨著迭代訓(xùn)練次數(shù)的增加,模型預(yù)測數(shù)據(jù)集樣本精度的變化情況。由圖9(a)可知,本文模型與AlexNet、VGG16和ResNet18相比收斂速度更快,且預(yù)測精度更高,最終模型的準(zhǔn)確率達(dá)到97.60%。損失曲線表示隨著迭代次數(shù)的增加,模型的預(yù)測值和真實(shí)值之間差距的變化情況。由圖9(b)可知,本文模型的損失值率先收斂,且損失值最小。

相較于AlexNet,VGG減小卷積核大小,增加網(wǎng)絡(luò)深度,而ResNet是在VGG的網(wǎng)絡(luò)基礎(chǔ)上增加網(wǎng)絡(luò)深度,引入shortcut連接機(jī)制來提升網(wǎng)絡(luò)性能,因此與其他經(jīng)典的CNN模型相比,基于ResNet34的遷移學(xué)習(xí)模型對交通標(biāo)志的識別率最高,更適用于識別交通標(biāo)志。

圖9 4種模型測試的準(zhǔn)確率曲線與損失值曲線

3.4 測試結(jié)果分析

3.4.1分類結(jié)果

數(shù)據(jù)集包括指示、警告、禁令3類交通標(biāo)志,各類交通標(biāo)志包含不同的顏色、形狀等要素。從顏色上看,紅色用于禁令標(biāo)志;黃色用于警告標(biāo)志的底色;藍(lán)色用于指示標(biāo)志的底色。從形狀上看,三角形用于警告標(biāo)志;方形用于部分指示標(biāo)志;圓形用于禁令和指示標(biāo)志。

使用訓(xùn)練好的交通標(biāo)志識別模型對測試集樣本進(jìn)行識別分類,模型識別各類交通標(biāo)志的查準(zhǔn)率、查全率、F1分?jǐn)?shù)如表6所示,以F1分?jǐn)?shù)為最終評價指標(biāo),模型的分類性能從高到低依次是警告標(biāo)志、指示標(biāo)志、禁令標(biāo)志。

表6 模型的分類結(jié)果

對被錯誤識別的樣本圖像分析可知,造成交通標(biāo)志未被識別或識別錯誤的原因有以下幾種:① 交通標(biāo)志顏色溫和,與背景顏色相似(圖10(a));② 交通標(biāo)志圖像模糊(圖10(b));③ 交通標(biāo)志傾斜一定角度,特征表達(dá)不明顯(圖10(c));④ 交通標(biāo)志被遮擋(圖10(d));⑤交通標(biāo)志磨損(圖10(e))。

圖10 容易識別錯誤的交通標(biāo)志圖像

利用混淆矩陣將交通標(biāo)志識別模型的分類結(jié)果可視化,如圖11所示,x軸表示交通標(biāo)志的真實(shí)標(biāo)簽,y軸表示其預(yù)測標(biāo)簽,矩陣中的值nij表示將第i類交通標(biāo)志識別為第j類的次數(shù)。主對角線上的值越大,說明模型的識別效果越好。

圖11 分類結(jié)果混淆矩陣示意圖

由表6可知,模型對警告標(biāo)志的F1分?jǐn)?shù)最高,達(dá)到99.37%,因其顏色鮮艷,形狀不同于指示和禁令標(biāo)志;對指示和禁令標(biāo)志的F1分?jǐn)?shù)分別為96.86%和96.53%,因指示和禁止標(biāo)志均為圓形,且指示標(biāo)志顏色相對溫和。說明交通標(biāo)志的顏色、形狀等特征對識別結(jié)果有影響,顏色鮮艷、形狀獨(dú)特的交通標(biāo)志更易于識別。

3.4.2多場景下測試結(jié)果

從測試集中隨機(jī)選取1 200張交通標(biāo)志圖像,每類交通標(biāo)志均選取400張,然后利用imgaug圖像處理庫增強(qiáng)圖像,分別模擬低照度環(huán)境、霧霾天氣、雨雪天氣,部分處理效果圖像如圖12。

圖12 4種場景下的部分交通標(biāo)志圖像

使用本文模型對4種場景下的交通標(biāo)志進(jìn)行識別分類,記錄測試準(zhǔn)確率如表7所示。由表可知,本文模型在原始環(huán)境下對交通標(biāo)志的識別準(zhǔn)確率最高,達(dá)到97.67%。其次為低照度環(huán)境,識別準(zhǔn)確率為96.75%,說明光照條件對交通標(biāo)志識別的影響較小。霧霾天氣和雨雪天氣2種場景下的識別準(zhǔn)確率較低,說明惡劣天氣對交通標(biāo)志識別有較大影響。模型在4種場景下均達(dá)到92%以上的識別準(zhǔn)確率,表明本文模型能夠滿足多場景下的交通標(biāo)志識別要求。

表7 4種場景下的模型測試結(jié)果

4 結(jié)論

1) 使用經(jīng)過數(shù)據(jù)擴(kuò)充的數(shù)據(jù)集對模型進(jìn)行遷移學(xué)習(xí),能夠在一定程度上提高模型的精度和魯棒性。增多數(shù)據(jù)集的樣本量能夠提高模型的精度。

2) 學(xué)習(xí)率衰減策略在訓(xùn)練前期以較大的學(xué)習(xí)率加速模型收斂,后期衰減為較小的學(xué)習(xí)率使模型更好地趨向最優(yōu)解。將初始學(xué)習(xí)率設(shè)置為0.01,使用衰減的學(xué)習(xí)率進(jìn)行遷移學(xué)習(xí)時,本文模型的精度最高。

3) 利用遷移學(xué)習(xí)方法可以在較短時間內(nèi)訓(xùn)練出精度較高的交通標(biāo)志識別模型。在相同的試驗(yàn)參數(shù)下進(jìn)行遷移學(xué)習(xí),相較于AlexNet、VGG16和ResNet18,本文模型精度最高,更適用于識別交通標(biāo)志。

4) 交通標(biāo)志的顏色、形狀、字符等特征和交通標(biāo)志所處的自然環(huán)境對識別效果有較大影響,特征表達(dá)明顯的交通標(biāo)志更易于識別。

試驗(yàn)結(jié)果表明,使用遷移學(xué)習(xí)方法訓(xùn)練的本文模型泛化能力較好,能夠滿足多場景下的交通標(biāo)志識別需求,在解決交通標(biāo)志識別問題上有一定的可行性。在未來的研究中應(yīng)豐富交通標(biāo)志數(shù)據(jù)集,加入不同自然環(huán)境下的交通標(biāo)志樣本圖像,使模型充分學(xué)習(xí)多尺度特征,以進(jìn)一步提高模型的性能。