基于YOLOv5l和ViT的交通標(biāo)志檢測(cè)識(shí)別方法

郭朦， 陳紫強(qiáng)， 鄧鑫， 梁晨

(桂林電子科技大學(xué)， 廣西無(wú)線寬帶通信與信號(hào)處理重點(diǎn)實(shí)驗(yàn)室， 桂林 541004)

近年來(lái)，隨著經(jīng)濟(jì)的發(fā)展、社會(huì)的進(jìn)步，道路設(shè)施建設(shè)越來(lái)越完善，汽車保有量不斷增長(zhǎng)，交通事故發(fā)生頻率逐年遞增，因此人們的關(guān)注點(diǎn)落到了安全駕駛上。駕駛員在道路上駕駛汽車時(shí)，不僅要規(guī)劃行駛路線，還需要時(shí)刻注意周圍道路環(huán)境情況，交通標(biāo)志作為重要的道路標(biāo)識(shí)，能夠提前給駕駛員提供道路環(huán)境信息，有利于駕駛員盡早做出判斷，有效提升了駕駛的安全性、準(zhǔn)確性。但在日常生活中，駕駛員可能由于疲勞、分心等原因，導(dǎo)致注意力不集中，無(wú)法及時(shí)留意到交通標(biāo)志，造成交通意外。為了減少交通事故的發(fā)生，國(guó)內(nèi)外學(xué)者對(duì)輔助駕駛系統(tǒng)進(jìn)行了大量研究。在輔助駕駛系統(tǒng)中，交通標(biāo)志的檢測(cè)與識(shí)別技術(shù)作為一項(xiàng)關(guān)鍵的基礎(chǔ)技術(shù)，成了熱門(mén)的研究方向之一。

交通標(biāo)志的檢測(cè)與識(shí)別分為T(mén)SD(traffic sign detection)和TSR(traffic sign recognition)兩部分[1]。傳統(tǒng)的TSD方法通常在RGB[2]、HSV[3]、Lab[4]等不同顏色空間進(jìn)行閾值分割，或是采用曲線擬合、霍夫變化等方法檢測(cè)圖像幾何邊緣[5-6]，亦或是結(jié)合顏色和形狀特征，對(duì)色彩分割后的區(qū)域進(jìn)行幾何檢測(cè)[7]，但該類方法容易受到光線變化、標(biāo)志形變、視線角度等情況的影響，從而產(chǎn)生誤檢或漏檢。傳統(tǒng)的TSR方法首先提取能表述圖像紋理、梯度方向等信息的特征，如LBP(local binary pattern)、HOG(histogram of oriented gradient)等，再結(jié)合相應(yīng)的機(jī)器學(xué)習(xí)算法進(jìn)行識(shí)別，如模板匹配、AdaBoost、支持向量機(jī)等[8-10]。該類方法需要人工設(shè)計(jì)特征，特征算子無(wú)法完整表征圖像信息，有一定的限制性，在種類繁多的交通標(biāo)志中，識(shí)別效果參差不齊。在實(shí)際復(fù)雜場(chǎng)景中，傳統(tǒng)的交通標(biāo)志檢測(cè)與識(shí)別方法時(shí)間復(fù)雜度高，泛化能力弱，算法性能仍需提高。

基于深度學(xué)習(xí)的方法通過(guò)建立神經(jīng)網(wǎng)絡(luò)，模擬人類大腦對(duì)圖像進(jìn)行學(xué)習(xí)和分析，對(duì)檢測(cè)識(shí)別方法進(jìn)行自主修正改進(jìn)[11]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)能夠提取出大量的特征，主動(dòng)學(xué)習(xí)特征信息，因此Girshick等[12]提出了基于候選區(qū)域的RCNN(regions with convolutional neural network features)算法，能夠提取多層信息，精準(zhǔn)定位目標(biāo)，該算法遍歷圖像各個(gè)區(qū)域，計(jì)算量大，耗費(fèi)時(shí)間長(zhǎng)，無(wú)法達(dá)到應(yīng)用設(shè)備的要求。Xiong等[13]在RCNN基礎(chǔ)上提出一種利用區(qū)域生成網(wǎng)絡(luò)的Faster RCNN算法，能快速精確檢測(cè)出交通標(biāo)志位置信息，但缺乏識(shí)別能力。為了提高檢測(cè)識(shí)別速率，Redmon等[14]提出了一種基于回歸思想的YOLO(you only look once)目標(biāo)檢測(cè)算法，該算法從完整的圖像中預(yù)測(cè)目標(biāo)的邊界框和置信度，定位目標(biāo)并給出類別。之后研究者們?cè)诖嘶A(chǔ)上進(jìn)行改進(jìn)，在檢測(cè)速率和精確度方面有了一系列的突破，提出了YOLO系列算法，如YOLOv2、YOLOv3等。YOLO系列算法作用于整幅圖像，無(wú)須提取候選區(qū)域，在檢測(cè)速率上優(yōu)勢(shì)明顯，但在小目標(biāo)的識(shí)別應(yīng)用上表現(xiàn)能力不如Faster RCNN。

綜上所述，雖然上述算法在目標(biāo)檢測(cè)方面進(jìn)行了一系列研究，但無(wú)法同時(shí)滿足檢測(cè)速率與準(zhǔn)確度的要求。因此，現(xiàn)提出一種基于YOLOv5l和視覺(jué)轉(zhuǎn)換器[15](vision transformer，ViT)的交通標(biāo)志檢測(cè)識(shí)別算法，將YOLOv5l作為目標(biāo)檢測(cè)器，加入ViT網(wǎng)絡(luò)對(duì)目標(biāo)特征進(jìn)行識(shí)別，并融入DenseNet[16]網(wǎng)絡(luò)加強(qiáng)特征連接，實(shí)現(xiàn)更佳的實(shí)時(shí)性，提高識(shí)別準(zhǔn)確率。

1 算法原理

所提出的基于YOLOv5l和改進(jìn)ViT的交通標(biāo)志檢測(cè)與識(shí)別方法，整體流程如圖1所示。該方法首先將原始圖片輸入YOLOv5l檢測(cè)器得到目標(biāo)檢測(cè)框，該檢測(cè)器用自適應(yīng)錨框計(jì)算方法計(jì)算最佳錨框值，減少了推理時(shí)的計(jì)算量，并采用GIOU(generalized intersection over union)替代IOU(intersection over union)來(lái)匹配檢測(cè)框和真實(shí)框，不僅能對(duì)重合區(qū)域進(jìn)行計(jì)算，還能考慮到兩框不重合的部分以及相交方式，使得檢測(cè)框更加準(zhǔn)確；然后將檢測(cè)框中的目標(biāo)輸入改進(jìn)ViT中，在檢測(cè)目標(biāo)分塊切片后加入DenseNet網(wǎng)絡(luò)模型用于特征提取，提取特征時(shí)不僅保留了原始特征，還保留了卷積后的特征，隨著網(wǎng)絡(luò)的加深，實(shí)現(xiàn)了特征之間的密集連接，最后再輸入Transformer中編入位置信息，將帶有位置信息的特征送入編碼器進(jìn)行分類識(shí)別，最終輸出含有檢測(cè)框與交通標(biāo)志類別的結(jié)果圖。

YOLOv5l為檢測(cè)器；ViT為視覺(jué)轉(zhuǎn)換器；DenseNet為密集連接的卷積神經(jīng)網(wǎng)絡(luò)圖1 交通標(biāo)志檢測(cè)與識(shí)別流程框圖Fig.1 Flow chart of traffic sign detection and recognition

1.1 YOLOv5檢測(cè)器

YOLOv5系列共有4種網(wǎng)絡(luò)結(jié)構(gòu)，每種網(wǎng)絡(luò)深度和寬度各不相同，因此各網(wǎng)絡(luò)的算法性能也有所差異，分別為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。這4種結(jié)構(gòu)的網(wǎng)絡(luò)模型大小逐漸遞增，速度則依次下降，檢測(cè)精度逐步提升。YOLOv5l作為該系列中模型大小居中的網(wǎng)絡(luò)，其檢測(cè)速率能達(dá)到實(shí)時(shí)的標(biāo)準(zhǔn)，且檢測(cè)精度能保證檢測(cè)目標(biāo)的準(zhǔn)確性，減少冗余信息，因此采用YOLOv5l作為交通標(biāo)志的檢測(cè)器，其網(wǎng)絡(luò)結(jié)構(gòu)框架如圖2所示。

YOLOv5l主要由輸入端、Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)、Prediction 4個(gè)部分組合而成。輸入端首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，采用Mosaic的方式對(duì)4張?jiān)紙D像進(jìn)行隨機(jī)縮放、色彩空間調(diào)整、剪裁以及排布，拼接成一張組合圖像，增加了數(shù)據(jù)的多樣性、目標(biāo)的個(gè)數(shù)，提升了訓(xùn)練速度；再用自適應(yīng)錨框計(jì)算方法算出最佳錨框值，之后將圖片統(tǒng)一縮放到同一個(gè)尺寸，減少推理時(shí)的計(jì)算量，加快目標(biāo)檢測(cè)速度。Backbone網(wǎng)絡(luò)主干先對(duì)圖像進(jìn)行Focus操作，對(duì)圖像進(jìn)行復(fù)制、切片、卷積后輸入CSP，再分為兩個(gè)部分，一部分進(jìn)行卷積，另一部分直接與上一部分卷積結(jié)果跨越式連接到特征圖。Neck網(wǎng)絡(luò)為FPN+PAN結(jié)構(gòu)，F(xiàn)PN采用由上而下的上采樣操作，傳遞高層的語(yǔ)義信息，最后接自下而上的PAN結(jié)構(gòu)，傳遞低層的位置信息，將不同檢測(cè)層的參數(shù)進(jìn)行結(jié)合。Prediction部分采用GIOU作為損失函數(shù)，考慮檢測(cè)框與真實(shí)框不重合時(shí)的情況，采用加權(quán)的非極大值抑制篩選出目標(biāo)框，得到預(yù)測(cè)結(jié)果。

1.2 識(shí)別器

1.2.1 ViT分類器

ViT結(jié)構(gòu)如圖3所示，首先數(shù)據(jù)處理部分對(duì)原始輸入的圖像x∈RH×W×C做切片分塊處理，將圖像x展開(kāi)成為一個(gè)xP∈RN×(P2×C)圖像塊序列，序列中一共有N=HW/P2個(gè)圖像塊，其中(H,W)表示原始圖像的分辨率，C表示通道數(shù)，(P,P)表示圖像序列塊的分辨率，N為輸入的有效序列長(zhǎng)度。再嵌入矩陣E對(duì)展平后的圖像塊進(jìn)行線性變換，轉(zhuǎn)換成D維向量。為了編碼器明確預(yù)測(cè)類別，所以添加一個(gè)可學(xué)習(xí)的向量xclass與D維向量同時(shí)嵌入編碼器。然后引入位置編碼向量Epos，明確圖像塊序列的空間位置信息，最終將這些圖像塊序列Z0一并輸入編碼器中，即

(1)

式(1)中：E∈R(p2×C)×D；Epos∈R(N+1)×D。

Class為類別；MLP Head為多層感知機(jī)分類；Transformer Encoder為編碼器；Patch為補(bǔ)丁信息；Position Embedding為位置編碼信息；Linear Projection of Flattened Patches為序列塊的線性投影圖3 ViT模型結(jié)構(gòu)Fig.3 ViT model structure

編碼器主要由多頭注意力機(jī)制模塊和多層感知器模塊交替組成，每個(gè)模塊前都會(huì)采用層歸一化，模塊后采用殘差連接，結(jié)構(gòu)如圖4所示。在編碼器的前向過(guò)程中，多頭注意力機(jī)制與層歸一化迭代L次得到z′|l，多層感知器與層歸一化迭代L次得到zl，且多層感知器采用了GELU(gaussian error linerar units)激活函數(shù)避免了梯度消失問(wèn)題。即

MLP為多層感知機(jī)；Norm為層歸一化；Multi-Head Attention為多頭注意力機(jī)制；Embedded Patches為嵌入補(bǔ)丁圖4 編碼器結(jié)構(gòu)Fig.4 Encoder structure

z′|l=MSA[LN(zl-1)]+zl-1,l=1,2,…,L

(2)

(3)

ViT對(duì)圖像進(jìn)行分塊，加入學(xué)習(xí)向量后線性嵌入編碼器中進(jìn)行反復(fù)堆疊，再進(jìn)行識(shí)別分類，雖然在圖像分類中有良好的表現(xiàn)，但所需數(shù)據(jù)集規(guī)模過(guò)大，在中小型規(guī)模數(shù)據(jù)集上收斂效果不佳。且交通標(biāo)志種類繁多，類別間相似度高，ViT中編碼器中僅僅只將原始的特征與經(jīng)過(guò)注意力機(jī)制的特征直接相加，對(duì)特征的簡(jiǎn)單處理結(jié)合無(wú)法得到重要的特征信息，導(dǎo)致識(shí)別精度低，因此在編碼器前加入DenseNet網(wǎng)絡(luò)模型用于特征提取，淬煉出有效特征，提高識(shí)別準(zhǔn)確率。

1.2.2 DenseNet網(wǎng)絡(luò)

DenseNet網(wǎng)絡(luò)模型主要分為Dense block和Transition層，兩個(gè)模塊互相重疊，交替連接組成網(wǎng)絡(luò)主干部分。Dense block作為DenseNet中獨(dú)有的模塊，內(nèi)部結(jié)構(gòu)如圖5所示，先對(duì)輸入進(jìn)行規(guī)范化，再進(jìn)行卷積得到特征層，將該特征層與原始輸入堆疊成為新的特征層，該特征層既保留了原始特征，還獲得了卷積后的新特征，重復(fù)進(jìn)行以上步驟，隨著網(wǎng)絡(luò)通道的不斷加深，實(shí)現(xiàn)層與層之間的密集連接，每一層都可以直接訪問(wèn)原始輸入信息和卷積后的特征信息，有效杜絕了輕梯度消失的產(chǎn)生，增強(qiáng)特征的傳遞性，從而使特征得到高效利用。不同的Dense block之間采用Transition層進(jìn)行連接，將block中不同特征層間的特征進(jìn)行整合，采用平均池化減小block的高度與寬度，壓縮了模型的大小，減少了參數(shù)量，提升計(jì)算效率。

BN為批量歸一化；ReLu為整流線性單元激活函數(shù)；Con為卷積圖5 Dense block模塊Fig.5 Dense block module

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境采用了Windows10操作系統(tǒng)，GPU采用的是RTX3060，12 G內(nèi)存，CPU為Intel I7-10700，實(shí)驗(yàn)環(huán)境為python 3.6.9。

2.2 數(shù)據(jù)集

交通標(biāo)志用于給人們提供道路信息，其類別多種多樣，不同方位下看到的交通標(biāo)志輪廓外形有所差異，不同光線視線下的顏色也會(huì)存在色差，因此選用包含了GTSDB(german traffic sign detection benchmark)和GTSRB(german traffic sign recognition benchmark)的德國(guó)交通標(biāo)志數(shù)據(jù)基準(zhǔn)。該數(shù)據(jù)集采集了不同道路在不同天氣情況下的真實(shí)場(chǎng)景，比如霧天、陰天、強(qiáng)光照天氣、雨天等天氣情況。GTSDB里包含了不同的靜態(tài)道路環(huán)境整體圖，每幅圖標(biāo)注出交通標(biāo)志所在位置檢測(cè)框，可應(yīng)用于檢測(cè)模塊；GTSRB里面包含了43類不同類別的交通標(biāo)志圖像，其天氣情況、拍照角度、尺寸大小皆有不同，能夠使分類器提取出的特征更加完整，應(yīng)對(duì)實(shí)際生活中不同視角、不同天氣下的交通標(biāo)志識(shí)別。對(duì)于整個(gè)檢測(cè)識(shí)別系統(tǒng)而言，既要檢測(cè)出目標(biāo)對(duì)象在大環(huán)境下的位置，還要識(shí)別出目標(biāo)對(duì)象所屬類別，必須將檢測(cè)和識(shí)別這兩個(gè)模塊結(jié)合起來(lái)，因此選用GTSDB和GTSRB。

2.3 評(píng)估指標(biāo)

采用檢測(cè)速率和識(shí)別準(zhǔn)確率衡量交通標(biāo)志的檢測(cè)與識(shí)別方法在實(shí)際應(yīng)用中的可行性、高效性，對(duì)于深度學(xué)習(xí)模型泛化能力的評(píng)判，采用以下評(píng)估標(biāo)準(zhǔn)指標(biāo)。

(1)準(zhǔn)確率(accuracy)。準(zhǔn)確率是指分類正確的樣本數(shù)量占所有樣本數(shù)量的比例，即：準(zhǔn)確率=分類正確的樣本/樣本總數(shù)。

(2)精確率P(precision)、召回率R(recall)和F1。在測(cè)試集中，有正樣本與負(fù)樣本之分，在本文中交通標(biāo)志為正樣本，其余物體為負(fù)樣本。對(duì)于正負(fù)樣本的檢測(cè)，有TP(true positives)、TN(true negatives)、FP(false positives)、FN(false negatives)4種。TN表示樣本類別為負(fù)，預(yù)測(cè)類別為負(fù)；FP表示樣本類別為負(fù)，預(yù)測(cè)類別為正；TP表示樣本類別為正，預(yù)測(cè)類別為負(fù)；FN表示樣本類別為正，預(yù)測(cè)類別為負(fù)。

精確率為預(yù)測(cè)類別為正的正樣本數(shù)量占所有預(yù)測(cè)類別為正的樣本數(shù)量的比例，即TP占TP與FP之和的比例，表達(dá)式為

(4)

召回率為預(yù)測(cè)類別為正的樣本數(shù)量占實(shí)際正樣本數(shù)量的比例，即TP占TP與FN之和的比例，表達(dá)式為

(5)

精確率和召回率通常是互相約束的關(guān)系，模型的精確率上升的同時(shí)可能會(huì)出現(xiàn)召回率的下降，而模型召回率上升的同時(shí)也可能出現(xiàn)精確率的下降，為了實(shí)現(xiàn)對(duì)交通標(biāo)志的精確檢測(cè)，采用F1對(duì)模型的精確率和召回率進(jìn)行評(píng)估。Fn是對(duì)P和R關(guān)系的計(jì)算，公式為

(6)

式(6)中：n表示R的權(quán)重與P的權(quán)重之前的比值，F(xiàn)1則表示P和R的權(quán)值比值為1∶1，說(shuō)明了精確率和召回率的重要性相等，計(jì)算公式為

(7)

可以看出F1為P和R的調(diào)和平均數(shù)，數(shù)值越大表示模型的性能越好。實(shí)驗(yàn)結(jié)果如表1所示，本文模型的F1值為0.988，檢測(cè)結(jié)果準(zhǔn)確。

表1 測(cè)試實(shí)驗(yàn)結(jié)果Table1 Test results

2.4 實(shí)驗(yàn)結(jié)果與分析

對(duì)輸入的原始圖片在YOLOv5l與改進(jìn)ViT的檢測(cè)識(shí)別方法下進(jìn)行實(shí)驗(yàn)，輸出結(jié)果如圖6所示，6張圖代表了在不同光照條件、不同天氣情況、不同尺寸大小下的交通標(biāo)志檢測(cè)識(shí)別情況。

圖6(a)為晴天時(shí)刻強(qiáng)光照下的結(jié)果，限速50的交通標(biāo)志被成功檢測(cè)并標(biāo)記上02的類別，檢測(cè)框中無(wú)其他干擾物體，且識(shí)別類別正確。

圖6(b)為霧天光照不足時(shí)小目標(biāo)的結(jié)果，兩個(gè)限速80的交通標(biāo)志都被成功檢測(cè)并分別標(biāo)記上05的類別，檢測(cè)框中無(wú)其他干擾物體，且識(shí)別類別正確。

圖6(c)為陰天傍晚光照不足時(shí)的結(jié)果，限速80的交通標(biāo)志被成功檢測(cè)并標(biāo)記上05的類別，檢測(cè)框中無(wú)其他干擾物體，且識(shí)別類別正確。

圖6(d)為雨天目標(biāo)不清晰時(shí)的結(jié)果，限速100的交通標(biāo)志被成功檢測(cè)并標(biāo)記上07的類別，檢測(cè)框中無(wú)其他干擾物體，且識(shí)別類別正確。

圖6(e)為強(qiáng)光照下過(guò)度曝光時(shí)小目標(biāo)的結(jié)果，限速50和注意兒童的交通標(biāo)志都被成功檢測(cè)并分別標(biāo)記上02和28的類別，檢測(cè)框中無(wú)其他干擾物體，且識(shí)別類別正確。

圖6(f)為晴天傍晚逆光情況下小目標(biāo)的結(jié)果，含義為彎曲的交通標(biāo)志被成功檢測(cè)并標(biāo)記上20的類別，檢測(cè)框中無(wú)其他干擾物體，且識(shí)別類別正確。

圖6 實(shí)驗(yàn)結(jié)果圖Fig.6 Pictures of experimental results

以上結(jié)果說(shuō)明本文方法能在不同道路場(chǎng)景下準(zhǔn)確地檢測(cè)識(shí)別出交通標(biāo)志，實(shí)驗(yàn)結(jié)果良好。為了驗(yàn)證本文方法的性能，在采用同一數(shù)據(jù)集的基礎(chǔ)上，相比于其他現(xiàn)有方法，本文方法在保持檢測(cè)速率的情況下，識(shí)別準(zhǔn)確率有所提升，對(duì)比結(jié)果如表2所示。

分析以上結(jié)果可知，本文方法聯(lián)合TSD與TSR，能夠在不同光照條件下、不同視角、不同天氣情況下對(duì)不同尺寸的交通標(biāo)志進(jìn)行準(zhǔn)確地檢測(cè)與識(shí)別，在本文實(shí)驗(yàn)環(huán)境下，實(shí)驗(yàn)檢測(cè)速率為20 ms，準(zhǔn)確率為98.78%，實(shí)驗(yàn)結(jié)果良好，性能穩(wěn)定。

表2 實(shí)驗(yàn)對(duì)比結(jié)果Table 2 Experimental comparison results

3 結(jié)論

采用YOLOv5l和改進(jìn)ViT的交通標(biāo)志檢測(cè)與識(shí)別方法，在交通標(biāo)志目標(biāo)小、類別多的道路中，快速準(zhǔn)確地檢測(cè)識(shí)別出交通標(biāo)志，改善了檢測(cè)速率與識(shí)別準(zhǔn)確度無(wú)法同時(shí)滿足的缺陷。首先通過(guò)YOLOv5l檢測(cè)器快速準(zhǔn)確地檢測(cè)出目標(biāo)檢測(cè)框，然后將檢測(cè)框中的目標(biāo)輸入ViT進(jìn)行分類識(shí)別，在ViT中加入了DenseNet，能夠提高特征的重復(fù)利用率，緩解梯度消失，提高識(shí)別精確度。最終實(shí)驗(yàn)結(jié)果表明，本文的交通標(biāo)志檢測(cè)與識(shí)別方法在速率得到保證的情況下，識(shí)別準(zhǔn)確率有所提高，適用于終端移動(dòng)設(shè)備，具有一定的應(yīng)用價(jià)值與研究意義。