基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別研究綜述

安徽理工大學(xué)電氣與信息工程學(xué)院 張 狀

交通標(biāo)志識(shí)別是智能交通系統(tǒng)的一個(gè)重要研究方向，也是未來(lái)無(wú)人駕駛發(fā)展的關(guān)鍵一環(huán)。特別是針對(duì)存在外部因素影響的情況下，比如光照、遮擋等，一個(gè)準(zhǔn)確性高、魯棒性強(qiáng)的交通標(biāo)志識(shí)別系統(tǒng)急需出現(xiàn)，可以有效的減少交通事故的發(fā)生，保障人身安全和社會(huì)財(cái)產(chǎn)。本文介紹了交通標(biāo)志識(shí)別技術(shù)的發(fā)展背景，交通標(biāo)志相關(guān)數(shù)據(jù)集的介紹，和利用深度學(xué)習(xí)關(guān)于交通標(biāo)志識(shí)別的技術(shù)研究，最后總結(jié)了交通標(biāo)志識(shí)別技術(shù)的前景和發(fā)展趨勢(shì)。

現(xiàn)如今社會(huì)經(jīng)濟(jì)發(fā)展蓬勃，以汽車為代表的制造業(yè)蒸蒸日上，自動(dòng)駕駛、無(wú)人駕駛也逐步出現(xiàn)并且進(jìn)入商業(yè)應(yīng)用，交通標(biāo)志識(shí)別對(duì)行車安全至關(guān)重要，因此必須解決交通標(biāo)志的識(shí)別問(wèn)題。在智能交通系統(tǒng)中交通標(biāo)志識(shí)別系統(tǒng)發(fā)揮著無(wú)可替代的作用，其可以在駕駛員安全行駛中起到保障作用，減少事故發(fā)生率。交通標(biāo)志識(shí)別系統(tǒng)主要由兩個(gè)核心技術(shù)構(gòu)成，分別是交通標(biāo)志的檢測(cè)和交通標(biāo)志的識(shí)別。交通標(biāo)志的檢測(cè)包含獲取原始圖像、對(duì)原始圖像做預(yù)處理和閾值分割；交通標(biāo)志的識(shí)別又分為對(duì)交通標(biāo)志的特征提取和標(biāo)志的分類兩種。交通標(biāo)志識(shí)別系統(tǒng)首先是檢測(cè)，然后是識(shí)別，兩者相輔相成才能得到準(zhǔn)確的識(shí)別效果。

1 交通標(biāo)志識(shí)別研究現(xiàn)狀

1.1 傳統(tǒng)的交通標(biāo)志識(shí)別方法研究現(xiàn)狀

國(guó)內(nèi)外近些年都在大力發(fā)展無(wú)人駕駛技術(shù)，標(biāo)志著傳統(tǒng)汽車行業(yè)新的研究方向，無(wú)人駕駛技術(shù)上的關(guān)鍵環(huán)節(jié)交通標(biāo)志識(shí)別技術(shù)便成了各國(guó)學(xué)者爭(zhēng)先恐后的研究對(duì)象。在各國(guó)研究人員的努力下，圖像的分類與識(shí)別已經(jīng)有了階躍性發(fā)展，識(shí)別方式也由傳統(tǒng)圖像識(shí)別向深度學(xué)習(xí)識(shí)別轉(zhuǎn)變，并且在一些領(lǐng)域已經(jīng)得到了證實(shí)與應(yīng)用。傳統(tǒng)的交通標(biāo)志識(shí)別算法主要分為對(duì)原始圖像進(jìn)行特征提取和機(jī)器學(xué)習(xí)兩種。算法步驟是首先找到原始圖像中自己感興趣的區(qū)域，并對(duì)圖像進(jìn)行預(yù)處理，通過(guò)算法提取區(qū)域的相關(guān)特征，之后利用這些特征通過(guò)計(jì)算機(jī)訓(xùn)練來(lái)得到分類器，最后用分類器來(lái)對(duì)交通標(biāo)志圖像進(jìn)行匹配從而達(dá)到識(shí)別的目的。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中的非常經(jīng)典的一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，主要由卷積層、采樣層與全連接層構(gòu)成，非常適合解決圖像處理問(wèn)題。通過(guò)不斷地提取原始圖像特征，降低維度較大的特征，經(jīng)過(guò)全連接層輸出自己想要的結(jié)果，圖1所示為卷積神經(jīng)網(wǎng)絡(luò)示意圖。利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行交通標(biāo)志識(shí)別也取得了豐碩的成果。在2011年國(guó)際神經(jīng)網(wǎng)絡(luò)聯(lián)合大會(huì)上，Schmidhuber等用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志效果，標(biāo)志識(shí)別準(zhǔn)確度高達(dá)98.31%，而人眼識(shí)別交通標(biāo)志的準(zhǔn)確率為98.84%，令人們感到震驚。

圖1 卷積神經(jīng)網(wǎng)絡(luò)示意圖

2 交通標(biāo)志數(shù)據(jù)集介紹

約束交通標(biāo)志識(shí)別技術(shù)發(fā)展的一個(gè)重要因素就是缺少相關(guān)的數(shù)據(jù)集，因?yàn)槿鄙俦匾臄?shù)據(jù)集，很多研究成果無(wú)疾而終，當(dāng)然也有很多成果是研究人員在自己所創(chuàng)造的數(shù)據(jù)集中完成的，并且取得了不錯(cuò)的效果。僅有的幾個(gè)數(shù)據(jù)集包括德國(guó)的GTSRB數(shù)據(jù)集、瑞典的STS數(shù)據(jù)集等。GTSRB數(shù)據(jù)集的圖像樣本包括了43種交通標(biāo)志類別，大約有5萬(wàn)多張樣本，囊括了大部分的交通標(biāo)志圖像。樣本中有著不同光照亮度、不同旋轉(zhuǎn)角度以及傾斜遮擋的照片，非常貼近實(shí)際，識(shí)別難度也相當(dāng)高，圖2顯示的GTSRB數(shù)據(jù)集中的圖像。在2015年，中國(guó)公布了第一個(gè)屬于國(guó)內(nèi)的交通標(biāo)志數(shù)據(jù)集，這就是由清華大學(xué)與騰訊公司聯(lián)合研發(fā)的Tsinghua-Tencent 100K數(shù)據(jù)集。該數(shù)據(jù)集總共由超過(guò)10萬(wàn)幅圖像組成，其中涉及到交通標(biāo)志的大約有1萬(wàn)幅左右，并且圖像都很清晰且貼合日常實(shí)際。

圖2 GTSRB數(shù)據(jù)集中的交通標(biāo)志樣例

3 基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別方法

3.1 基于改進(jìn)的LeNet-5網(wǎng)絡(luò)的交通標(biāo)志識(shí)別

LeNet-5網(wǎng)絡(luò)是一個(gè)7層的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)模型較為簡(jiǎn)單，對(duì)交通標(biāo)志這種多類別的圖像分類識(shí)別，準(zhǔn)確率不高，因此研究者通過(guò)增加網(wǎng)絡(luò)的深度來(lái)提高準(zhǔn)確率。汪貴平等人（汪貴平，盛廣峰，黃鶴，等.基于改進(jìn) Le Net-5 網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法）在傳統(tǒng)LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入Inception卷積模塊組，改變卷積核的大小和數(shù)目，并且增加網(wǎng)絡(luò)的深度，引入批量歸一化算法來(lái)防止隨著網(wǎng)絡(luò)層次加深而引起的過(guò)擬合和梯度消失等問(wèn)題。改進(jìn)的LeNet-5網(wǎng)絡(luò)在BelgiumTSC交通標(biāo)志數(shù)據(jù)集上的識(shí)別率達(dá)到了98.51%。張猛等人（張猛，錢育蓉，杜嬌，范迎迎.基于改進(jìn)的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志的識(shí)別）對(duì)原有的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，通過(guò)改變卷積核大小、增加卷積核個(gè)數(shù)、添加Dropout層可以有效地增加信息來(lái)源，減少重要特征的丟失，并且減少了過(guò)度擬合，能夠更好地識(shí)別交通標(biāo)志。

3.2 基于膠囊神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別

膠囊神經(jīng)網(wǎng)絡(luò)于2017年10月份在機(jī)器學(xué)習(xí)的頂級(jí)會(huì)議‘神經(jīng)信息處理系統(tǒng)大會(huì)（NIPS）’由Hinton教授提出來(lái)的。它由卷積神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái)，但在結(jié)構(gòu)上與卷積神經(jīng)網(wǎng)絡(luò)有所不同，主要是膠囊神經(jīng)網(wǎng)絡(luò)在卷積層后面加入了兩個(gè)新層來(lái)代替卷積神經(jīng)網(wǎng)絡(luò)中的采樣層，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

程換新等人（程換新，郭占廣，劉文翰，張志浩.基于膠囊神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別研究）引用膠囊神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行交通標(biāo)志識(shí)別，在GTSRB數(shù)據(jù)集上進(jìn)行訓(xùn)練，并提出由輸入層、卷積層、基礎(chǔ)膠囊層、數(shù)字膠囊層、全連接層、輸出層組成的交通信號(hào)識(shí)別模型，得到收斂于98.51%的準(zhǔn)確度，并證明了使用膠囊神經(jīng)網(wǎng)絡(luò)的方法可以改善識(shí)別率低，訓(xùn)練速度慢的問(wèn)題。但膠囊神經(jīng)網(wǎng)絡(luò)仍處于起步階段，存在一定的穩(wěn)定問(wèn)題，還有很大的提升空間。

3.3 基于YOLOv3的交通標(biāo)志識(shí)別

YOLOv3算法在交通標(biāo)志識(shí)別中把目標(biāo)檢測(cè)的幾個(gè)部分整合到一個(gè)深度神經(jīng)網(wǎng)絡(luò)中，采用一個(gè)獨(dú)立的CNN模型實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)。首先要做預(yù)處理，將輸入圖片尺寸進(jìn)行歸一化處理，然后把處理過(guò)后的圖片放進(jìn)CNN網(wǎng)絡(luò)，最后通過(guò)卷積池化等操作預(yù)測(cè)結(jié)果得到想要的檢測(cè)的目標(biāo)。白士磊等人（白士磊，殷柯欣，朱建啟.輕量級(jí)YOLOv3的交通標(biāo)志檢測(cè)算法）在算法上對(duì)YOLOv3進(jìn)行優(yōu)化以提升對(duì)小目標(biāo)檢測(cè)的性能，改進(jìn)后的YOLOv3使用4個(gè)比例來(lái)檢測(cè)不同大小的目標(biāo)，并使用8倍下采樣的特征圖來(lái)檢測(cè)小目標(biāo)。同時(shí)通過(guò)規(guī)整的通道剪枝策略，在訓(xùn)練期間通過(guò)對(duì)網(wǎng)絡(luò)BN層Gamma系數(shù)施加L1正則約束，使得模型朝著結(jié)構(gòu)性稀疏的方向調(diào)整參數(shù)，改進(jìn)后的YOLOv3在交通標(biāo)志識(shí)別方面準(zhǔn)確率提升顯著。張鐘文等人（張鐘文，高宇，王靜，曹登平.基于YOLOv3的深度學(xué)習(xí)交通標(biāo)志識(shí)別系統(tǒng)）則首先對(duì)原始的TT100K進(jìn)行數(shù)據(jù)擴(kuò)充，來(lái)增加樣本的多樣性，同時(shí)修改目標(biāo)類型數(shù)量，使用ADAM優(yōu)化器對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行優(yōu)化，達(dá)到識(shí)別精確率為80%，顯然交通標(biāo)志識(shí)別的準(zhǔn)確率還有很大的改善空間。

結(jié)語(yǔ)：交通標(biāo)志識(shí)別技術(shù)是智能交通系統(tǒng)中不可或缺的部分，扮演著十分重要的角色，在未來(lái)無(wú)人駕駛和智能駕駛有著非常廣闊的研究前景和應(yīng)用價(jià)值。交通標(biāo)示識(shí)別技術(shù)的發(fā)展日新月異，已經(jīng)不局限使用傳統(tǒng)方法還是深度學(xué)習(xí)，更多地是兩者混合使用，可以體現(xiàn)出每種算法的優(yōu)點(diǎn)。目前交通標(biāo)志檢測(cè)算法在數(shù)據(jù)集上已經(jīng)碩果累累，在深度學(xué)習(xí)中也得到巨大發(fā)展，加之有著很好的前景，已經(jīng)有越來(lái)越多的學(xué)者開(kāi)始進(jìn)行研究，不過(guò)只有在現(xiàn)實(shí)生活中得到安全高效的運(yùn)用才是交通標(biāo)志識(shí)別技術(shù)的根本性突破。對(duì)交通標(biāo)志識(shí)別技術(shù)的研究將大大推動(dòng)無(wú)人駕駛技術(shù)、汽車輔助系統(tǒng)的發(fā)展，必將成為惠及群眾的重要科技手段。

圖3 膠囊神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)