基于Yolov4算法的交通標(biāo)志檢測

韓宏坤，沈希忠

（上海應(yīng)用技術(shù)大學(xué) 電氣與電子工程學(xué)院, 上海 201418）

在汽車自動(dòng)駕駛和輔助駕駛領(lǐng)域，交通標(biāo)志的識(shí)別與檢測是不可或缺的環(huán)節(jié)，也是確保安全駕駛的必不可少的技術(shù)[1]。目前，其主要解決方案是通過在汽車上方搭載攝像頭來實(shí)時(shí)獲得道路交通的圖像，運(yùn)用圖像增強(qiáng)和模式識(shí)別等方法對(duì)路途中的交通標(biāo)志和道路進(jìn)行實(shí)時(shí)跟蹤檢測與識(shí)別[2]?，F(xiàn)實(shí)中道路的交通環(huán)境和場景有一定不確定性，但實(shí)際情況又需要保證識(shí)別結(jié)果的準(zhǔn)確率和實(shí)時(shí)性。采用滑動(dòng)窗口和手工設(shè)計(jì)特征融合對(duì)交通標(biāo)志進(jìn)行識(shí)別的方法，無法應(yīng)用在自動(dòng)駕駛系統(tǒng)中，因?yàn)槠湓诰群蛯?shí)時(shí)性上都不能得到保證[3]。近年來，深度學(xué)習(xí)技術(shù)快速發(fā)展，其在計(jì)算機(jī)視覺領(lǐng)域也取得了一定的成就，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）顛覆了傳統(tǒng)特征提取方法，為交通標(biāo)志的識(shí)別和檢測帶來了新的技術(shù)可能。

在目前已有的相關(guān)研究中，Lee 等[4]采用了單激發(fā)多框探測器（single shot multibox detector，SSD）算法識(shí)別交通標(biāo)志，并且能夠估算出準(zhǔn)確的位置和標(biāo)志的邊界信息。Li等[5]提出了基于channel-wise顯著圖與深度學(xué)習(xí)的方法來識(shí)別交通標(biāo)志。Wang 等[6]提出了一種基于級(jí)聯(lián)的方法來對(duì)交通標(biāo)志識(shí)別，采用語義特征比較多的中層特征層來加快檢測速度。潘衛(wèi)國等[7]利用交通道路的圖像規(guī)則分割出交通標(biāo)志的感興趣區(qū)域（region of interest，ROI），然后基于Yolov3（You only look once version 3）算法對(duì)交通標(biāo)志牌進(jìn)行檢測。

上述方法都能夠提高檢測速度，但是準(zhǔn)確率還是不夠高，檢測結(jié)果不夠精準(zhǔn)。幸運(yùn)的是，在2020年，Bochkovskiy等[8]使用了Yolov4 （You only look once version 4）算法實(shí)現(xiàn)了檢測速度和精度兼得的成果。因此，本課題組提出了一種采用Yolov4深度學(xué)習(xí)框架的交通標(biāo)志識(shí)別方法來提高車輛感知系統(tǒng)檢測交通標(biāo)志的速度和精度，并將該方法與SSD和Yolov3算法進(jìn)行對(duì)比[9]。但該Yolov4算法模型顯著增加了參數(shù)量。在此基礎(chǔ)上，本文對(duì)Yolov4的主干特征提取網(wǎng)絡(luò)和多尺度輸出進(jìn)行了進(jìn)一步調(diào)整，得到一種輕量化的Yolov4算法。實(shí)驗(yàn)結(jié)果表明，該改進(jìn)的算法能夠有效檢測出交通標(biāo)志，具有較好的實(shí)時(shí)性和適用性。上述交通標(biāo)志識(shí)別方法的主要內(nèi)容如圖1所示。

圖1 交通標(biāo)志識(shí)別方法的主要內(nèi)容Fig. 1 The main content of traffic sign identification method

1 交通標(biāo)志數(shù)據(jù)集

1.1 實(shí)驗(yàn)數(shù)據(jù)集介紹

現(xiàn)階段，我國的交通標(biāo)志主要包括警告標(biāo)志、指路標(biāo)志、禁令標(biāo)志、指示標(biāo)志、旅游區(qū)標(biāo)志以及其他標(biāo)志。在本次研究中，選用中國的TT100K數(shù)據(jù)集（由清華大學(xué)和騰訊聯(lián)合實(shí)驗(yàn)室整理和公開）中的3 000張圖像（45個(gè)類別）作為實(shí)驗(yàn)原始數(shù)據(jù)[10]，該數(shù)據(jù)集每10 m捕獲1張圖像，其中交通標(biāo)志的外觀和含義組合十分豐富。結(jié)合TT100K數(shù)據(jù)集本身和所用算法，主要對(duì)圖像中的3個(gè)類別的標(biāo)志進(jìn)行檢測，分別是指示標(biāo)志、警告標(biāo)志和禁令標(biāo)志，其中部分標(biāo)志如圖2所示。

經(jīng)過統(tǒng)計(jì)發(fā)現(xiàn)，數(shù)據(jù)集圖像中各類交通標(biāo)志的樣本數(shù)量并不平均，這對(duì)網(wǎng)絡(luò)的訓(xùn)練和收斂有一定負(fù)面影響[11]。因此對(duì)樣本數(shù)量較少的類別，采用一些圖片處理方法（例如修改對(duì)比度、翻轉(zhuǎn)、鏡像、裁剪等）對(duì)一部分圖像樣本進(jìn)行了調(diào)整，并將調(diào)整后的新圖像補(bǔ)充進(jìn)數(shù)據(jù)集。補(bǔ)充后的數(shù)據(jù)集共3 500張，數(shù)據(jù)分布情況如表1所示。

表 1 數(shù)據(jù)補(bǔ)充前后的分布情況Tab. 1 Distribution of data before and after addition

1.2 實(shí)驗(yàn)數(shù)據(jù)集標(biāo)注、增強(qiáng)處理和劃分

在Yolov4模型的訓(xùn)練中，需要對(duì)數(shù)據(jù)集用labelimg進(jìn)行手動(dòng)的標(biāo)注。標(biāo)注時(shí)要對(duì)圖片上的關(guān)鍵交通標(biāo)志進(jìn)行完整標(biāo)注，并避開一些遮擋物以及一些顏色類似的干擾物。

由于交通標(biāo)志數(shù)據(jù)集有很多數(shù)據(jù)都屬于小樣本性質(zhì)數(shù)據(jù)集，因此要先對(duì)交通數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，幫助獲得更好的訓(xùn)練效果。為此，在Yolov4模型中對(duì)數(shù)據(jù)集使用了Mosaic方式對(duì)數(shù)據(jù)增強(qiáng)，其優(yōu)點(diǎn)是可以很好地解決比較小的目標(biāo)檢測的問題，對(duì)交通標(biāo)志檢測的精確度的提升有很大幫助。

在數(shù)據(jù)的劃分方面，將3 500張交通標(biāo)志圖片以9∶1的比例隨機(jī)劃分，將劃分出來的3 150張圖像作為訓(xùn)練集，余下350張作為測試集。

2 基于Yolov4算法的交通標(biāo)志檢測

2.1 Yolov4模型概述

Yolov4算法屬于one-stage方法的多框預(yù)測。該算法網(wǎng)絡(luò)的主要組成包括3部分：主干特征提取網(wǎng)絡(luò)、加強(qiáng)特征提取網(wǎng)絡(luò)和最后的Yolo Head。為便于不同模型（SSD、Yolov3和Yolov4）之間的比較，將交并比（intersection-over-union, IoU）視作回歸損失。IoU是目標(biāo)檢測中經(jīng)常使用的一個(gè)對(duì)比方式，定義為交集與并集的比值，是一種在特定數(shù)據(jù)集中來檢測目標(biāo)物體準(zhǔn)確度的一種衡量方式。

圖3所示為Yolov4具體的模型網(wǎng)絡(luò)框架，其主要包括3個(gè)部分，其中主干特征提取網(wǎng)絡(luò)是CSPDarknet53。其主要是由一系列的1×1和3×3的卷積層組成，反復(fù)地卷積提取到的特征，在壓縮特征層的同時(shí)擴(kuò)張通道數(shù)，最終獲得52×52×256的有效特征層、26×26×512的有效特征層和13×13×1 024的有效特征層，并且每個(gè)卷積層之后都會(huì)跟1個(gè)標(biāo)準(zhǔn)化層和1個(gè)Mish激活函數(shù)。Mish激活函數(shù)的計(jì)算公式如下。

圖3 Yolov4算法模型框架Fig. 3 Yolov4 algorithm model framework

然后，通過空間金字塔池化（spatial pyramid pooling，SPP）實(shí)現(xiàn)不同尺度的特征融合，其中有多個(gè)不同分支，包括5×5池化核、9×9池化核、13×13池化核，這幾個(gè)池化的步長都為1，即意味著做池化前對(duì)特征圖做padding填充，填充完成后最大池化所得的特征圖的寬高和深度并未變化，再進(jìn)行深度疊加的融合。

最后通過路徑聚合網(wǎng)絡(luò)(path aggregation network，PANet)對(duì)3個(gè)特征層進(jìn)行進(jìn)一步的加強(qiáng)。將13×13變?yōu)?6×26，也就是把長寬在原有基礎(chǔ)上擴(kuò)展2倍，接著把上采樣之后的特征層和主干網(wǎng)絡(luò)的特征層進(jìn)行堆疊和3次卷積，實(shí)現(xiàn)特征融合，即構(gòu)成特征金字塔結(jié)構(gòu)。按照相同步驟上采樣，采用主干網(wǎng)絡(luò)堆疊和5次卷積融合，再進(jìn)行下采樣，然后對(duì)寬高壓縮后再堆疊并進(jìn)行5次卷積，從而實(shí)現(xiàn)了進(jìn)一步特征提取。用Yolo Head對(duì)提取到的特征進(jìn)行結(jié)果預(yù)測，以此實(shí)現(xiàn)交通標(biāo)志的多尺度檢測，對(duì)被檢測到的對(duì)象進(jìn)行描框并顯示概率。Yolo Head實(shí)際上是由1個(gè)3×3卷積和1個(gè)1×1卷積組成的，其中3×3 卷積可以作為特征的集合，而1×1卷積可將獲取到的特征轉(zhuǎn)換為Yolov4的預(yù)測結(jié)果。第1個(gè)Yolo Head對(duì)應(yīng) 52×52特征層，第2個(gè)對(duì)應(yīng)26×26特征層，第3個(gè)則對(duì)應(yīng)13×13特征層，均是為了對(duì)特征做預(yù)測。

2.2 基于Yolov4改進(jìn)算法的交通標(biāo)志檢測

Yolov4模型的檢測速度通常慢于SSD和Yolov3，因此本研究在模型結(jié)構(gòu)上進(jìn)行了一定調(diào)整，通過改進(jìn)Yolov4算法來降低模型的參數(shù)量和計(jì)算量。改進(jìn)后的Yolov4算法模型框架如圖4所示，與常規(guī)Yolov4算法網(wǎng)絡(luò)相比，改進(jìn)算法網(wǎng)絡(luò)只使用2個(gè)有效特征層進(jìn)行分類和回歸預(yù)測，改用CSPDarknet53-Tiny作為主干特征提取網(wǎng)絡(luò)，并且將激活函數(shù)修改為LeakyReLU函數(shù)[12]。

圖4 改進(jìn)后的Yolov4算法模型框架Fig. 4 Improved algorithm model framework of Yolov4

改進(jìn)后的Yolov4框架主要包括3個(gè)部分。主干特征提取網(wǎng)絡(luò)CSPDarknet53-tiny首先進(jìn)行2次卷積+標(biāo)準(zhǔn)化+激活函數(shù)，步長都為2，對(duì)被輸入的圖片進(jìn)行2次高和寬的壓縮，輸出的特征層大小是104×104×64。之后共經(jīng)過3次 resblock_body殘差網(wǎng)絡(luò)，resblock_body融合了CSPNet網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，每次進(jìn)行resblock_body，輸入進(jìn)來的不同特征層的高和寬都會(huì)被壓縮1次。最后經(jīng)過1次卷積+標(biāo)準(zhǔn)化+激活函數(shù)進(jìn)行特征整合，將104×104×64，26×26×256和13×13×512這3個(gè)有效特征層輸入到加強(qiáng)特征提取網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）中。FPN將13×13特征層先進(jìn)行1次卷積后再進(jìn)行卷積+上采樣，再與26×26特征層進(jìn)行堆疊之后進(jìn)行卷積，這樣構(gòu)建了加強(qiáng)特征提取網(wǎng)絡(luò)，其本質(zhì)為特征金字塔結(jié)構(gòu)，有利于加強(qiáng)特征融合并提高特征提取能力。同樣地，將26×26特征層經(jīng)過2次上采樣再和104×104進(jìn)行拼接，最后利用Yolo Head對(duì)3個(gè)具有高語義信息的有效特征層進(jìn)行結(jié)果預(yù)測。這樣的改進(jìn)使得原始Yolov4網(wǎng)絡(luò)參數(shù)量下降了10倍，速度也變得很快。將原始Yolov4中52×52輸出有效特征層改為104×104，讓算法對(duì)小目標(biāo)的檢測更加準(zhǔn)確。

3 模型訓(xùn)練與測試

3.1 實(shí)驗(yàn)環(huán)境配置

實(shí)驗(yàn)在64位Win10系統(tǒng)中進(jìn)行，顯卡型號(hào)為RTX2070S，顯卡驅(qū)動(dòng)為CUDA(compute unified device architecture)11.0，計(jì)算加速軟件為cuDNN(CUDA deep neural network library) 7.4.1.5，處理器為i7-10700F。深度學(xué)習(xí)框架為Pytorch 1.2.0，Python版本為3.6.12。

3.2 參數(shù)設(shè)置和模型訓(xùn)練

實(shí)驗(yàn)過程中，將CUDA參數(shù)設(shè)置為true，然后利用fine-tuning這種遷移學(xué)習(xí)的方式，將預(yù)先訓(xùn)練好的模型遷移到所提模型上來，加速了網(wǎng)絡(luò)的收斂性，而且取得的效果更好。整個(gè)訓(xùn)練步驟可分為2步。先將網(wǎng)絡(luò)凍結(jié)一部分，只訓(xùn)練50個(gè)epoch，每個(gè)epoch都要shuffle一次；將學(xué)習(xí)率設(shè)置為10-4，這樣可以縮短算法網(wǎng)絡(luò)的訓(xùn)練用時(shí)。然后再將后續(xù)的50個(gè)epoch進(jìn)行全解凍訓(xùn)練，學(xué)習(xí)率設(shè)置為10-5，得到適合檢測交通標(biāo)志的算法模型。由于顯存的物理特性，其對(duì)數(shù)值為2的冪次的batch計(jì)算性能較好，訓(xùn)練選用的batch尺寸為16。

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

算法的性能將使用各種指標(biāo)進(jìn)行評(píng)估，包括精度fprecision、召回率frecall等，如式（2）和式（3）所示。

式中：真陽性(TP)和真陰性(TN)是指正確分類的陽性和陰性樣本的數(shù)量；假陽性(FP)和假陰性(FN)是指被錯(cuò)誤分類的樣本數(shù)量。

僅使用精度和召回率，并不能充分衡量算法的質(zhì)量。在目標(biāo)檢測領(lǐng)域，常把平均精度均值(mean average precision),即平均精度（average precision）的平均值, 作為衡量檢測精度的指標(biāo)[12]。此外，為了評(píng)估算法的實(shí)時(shí)性能，還可用每秒能夠處理的圖片數(shù)量（frame per second，F(xiàn)PS）對(duì)檢測速度進(jìn)行估量，F(xiàn)PS值越大，說明算法網(wǎng)絡(luò)的實(shí)時(shí)性越好[13-14]。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 Yolov4模型檢測效果

為了驗(yàn)證改進(jìn)后的Yolov4交通標(biāo)志檢測模型在實(shí)際應(yīng)用中的探測能力，在一些實(shí)際的場景進(jìn)行了測試（見圖5）。圖5中的場景主要體現(xiàn)了不同道路場景下遠(yuǎn)處極小目標(biāo)和多目標(biāo)的檢測和識(shí)別實(shí)驗(yàn)結(jié)果，因?yàn)樵跓o人駕駛情況下，越早檢測出遠(yuǎn)處的小目標(biāo)，越能給無人駕駛行為決策提供充足的時(shí)間，保證行車的安全。在一般情況下，Yolov4模型置信度為0.8左右；改進(jìn)后的模型可以成功檢測出單一的目標(biāo)和多個(gè)小目標(biāo)，且識(shí)別出的標(biāo)志內(nèi)容和位置準(zhǔn)確，部分?jǐn)?shù)據(jù)集置信度提升到0.9左右，并且檢測速度提升了3倍。

圖5 Yolov4模型實(shí)際檢測場景圖Fig. 5 The pictures of Yolov4 model actual test

4.2 Yolov4與其他模型的比較

為了讓模型準(zhǔn)確判斷交通標(biāo)志，把IoU 閾值設(shè)為0.5，把置信度的門限條件設(shè)置為0.5。利用上述的指標(biāo)對(duì)SSD、Yolov3和Yolov4進(jìn)行了對(duì)比，得到了如表2所示的實(shí)驗(yàn)數(shù)據(jù)?？梢悦黠@看出，Yolov4算法在查準(zhǔn)率和召回率方面比其他2個(gè)同類型算法更有優(yōu)勢(shì)，分別達(dá)到92.34%和78.26%，特別是在召回率上，比SSD算法要高出約12%。在平均精度均值方面，Yolov4算法能達(dá)到85.30%，總體的識(shí)別效果更好。但是常規(guī)Yolov4模型的檢測速度較慢，其FPS只有29。

表 2 4種算法的實(shí)驗(yàn)結(jié)果對(duì)比Tab. 2 Comparison of the experimental results of the four algorithms

4.3 Yolov4與改進(jìn)后的Yolov4模型的比較

將Yolov4算法與改進(jìn)后的Yolov4算法進(jìn)行對(duì)比（見表2），可以看出改進(jìn)后的Yolov4算法在精確率和FPS等參數(shù)方面更有優(yōu)勢(shì)。改進(jìn)后的算法能夠有效降低原有Yolov4模型中的參數(shù)量，使得模型的檢測速度加快。

5 結(jié)語

本文提出1種采用Yolov4深度學(xué)習(xí)框架的交通標(biāo)志識(shí)別方法，通過實(shí)驗(yàn)結(jié)果，對(duì)比驗(yàn)證了這個(gè)方法確實(shí)可行，并根據(jù)目前國內(nèi)交通標(biāo)志牌數(shù)據(jù)集的情況，進(jìn)行了3 500張圖像標(biāo)注，對(duì)目前的數(shù)據(jù)集進(jìn)行有效擴(kuò)充。根據(jù)Yolov4架構(gòu)的特點(diǎn)進(jìn)一步改進(jìn)了模型，得到了一種輕量化的Yolov4算法。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法確實(shí)能夠有效地檢測出交通標(biāo)志，具有較好的實(shí)時(shí)性和適用性。