基于改進YOLOv4 的交通標(biāo)志識別方法

王靖逸，劉樹惠

（武漢郵電科學(xué)研究院，湖北 武漢 430074）

隨著我國經(jīng)濟的高速發(fā)展和社會的不斷進步，人均收入大幅增長，機動車的保有量也年年攀升。但是人們的道路安全意識卻沒有隨之提升，國內(nèi)重大交通事故頻頻發(fā)生，道路交通安全已經(jīng)成為當(dāng)今社會的一個重要問題。而十幾年來GPU 等硬件性能的不斷提升以及近年來大數(shù)據(jù)技術(shù)和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，使得車載智能駕駛輔助系統(tǒng)甚至無人駕駛成為可能，進而可以使用這些新興技術(shù)來解決因駕駛時人為因素而導(dǎo)致的交通事故問題。交通標(biāo)志識別是車載智能駕駛輔助系統(tǒng)與無人駕駛技術(shù)環(huán)境感知環(huán)節(jié)的必要部分，道路交通標(biāo)志能夠被準(zhǔn)確識別出來，并且能將識別出來的交通標(biāo)志反饋至駕駛員、智能駕駛輔助系統(tǒng)和無人駕駛車輛決策端，對提升道路交通安全具有非常重要的意義[1]。

針對上述問題，該文提出了一種基于改進YOLOv4的交通標(biāo)志識別方法，通過對YOLOv4 的主干CSPD arknet53 修改使其在速度與準(zhǔn)確率方面達到平衡。通過實驗表明，其識別率與速度較原版均有一定提升，具有一定的應(yīng)用價值。

1 YOLOv4與改進

1.1 YOLOv4

YOLOv4 算法是基于YOLOv3 算法的改進算法，對原型YOLOv3 算法在諸多方面進行了改進，使其相對于原版算法在檢測速度和檢測精度兩方面均有較大提升。YOLO 系列算法（YOLOv1[2]、YOLOv3[3]、YOLO9000[4]等）最早是由Redmon 等人提出的，該算法主要思想是通過將整張圖片作為神經(jīng)網(wǎng)絡(luò)的輸入，中間不進行通道信息交互，使其最終能直接在輸出層輸出所需的回歸后卷積、目標(biāo)框位置信息和類別信息。不同于以Faster R-CNN[5]為代表的兩階段算法需要在中間層生成候選區(qū)域，單階段的YOLO算法采用直接回歸的思路，實現(xiàn)了端到端的結(jié)構(gòu)，這使得算法在輸入的圖片大小為448×448 時，每秒幀數(shù)（Frames Per Second，F(xiàn)PS）能夠達到45，經(jīng)過改進后的精簡版本Fast YOLO 的FPS 甚至可以達到155，其檢測速度遠遠快于Faster R-CNN。在這之后又陸續(xù)提出了YOLOv2 和YOLOv3 兩種升級版本算法，用于解決YOLO 算法存在的對小目標(biāo)和密集目標(biāo)檢測效果差以及泛化能力較弱這兩個主要問題。之后Alexey[6]繼續(xù)改進，誕生了YOLOv4。

YOLOv4 算法使用引入了CSP 模塊[7]的CSPD arknet53 替代了原本的Darknet53 作為特征提取層，換用Mish 激活函數(shù)[8]和Dropblock[9]。之后插入了SPP（Spatial Pyramid Pooling）模塊[10]，并將FPN（Feature Pyramid Network）結(jié)構(gòu)改為FPN+PAN（Path Aggregation Network）的結(jié)構(gòu)[11]。最后將預(yù)測框由原先的nms 變?yōu)镈IOU_nms。

在輸入端方面使用Mosaic 數(shù)據(jù)增強等方式對輸入進行改進。

1.2 模型放縮與計算成本

為在目標(biāo)檢測項目中實現(xiàn)高精度與實時性，模型縮放技術(shù)應(yīng)運而生。初始的模型放縮技術(shù)主要更改卷積神經(jīng)網(wǎng)絡(luò)骨干網(wǎng)絡(luò)的深度或?qū)挾?，隨后經(jīng)由Huang[12]、Xie[13]、Tan[14]、Tian[15]等人對模型縮放技術(shù)在目標(biāo)檢測領(lǐng)域的不斷研究，統(tǒng)合深度、寬度的復(fù)合縮放版本，新算法陸續(xù)出現(xiàn)。

為評估模型縮放的效果，需要對其進行定量分析。一般來說，當(dāng)縮放比例增大時，要增加的定量成本越低，模型的效果越好；相對應(yīng)地，當(dāng)縮放比例減小時，要減少的定量成本越高，模型的效果越好。例如對于YOLOv3 的骨干網(wǎng)絡(luò)Darknet53 的Darknet 層進行評估，設(shè)其基本通道數(shù)為b，層數(shù)為k，那么其計算量為k×{conv1*1,b/2-conv3*3,b}。設(shè)其調(diào)整圖像大小、層數(shù)和通道數(shù)的縮放因子為α、β和γ，可得其原始計算成本如式（1）所示：

改變縮放因子α得到的計算成本為dα=α2d，改變縮放因子β得到的計算成本為dβ=β2d，改變縮放因子γ得到的計算成本為dγ=γ2d。分別縮放尺寸、深度和寬度會導(dǎo)致計算成本分別呈現(xiàn)出平方增加、線性增加和平方增加。

若此時將CSP 引入Darknet 層，可得其計算成本如式（2）所示：

可見相較于原始Darknet，減少了50%的計算成本。因此，將模型CSP 化能有效減少計算量，提升算法運行速度。

1.3 YOLOv4的CSP化及縮放

由上文的思路，將YOLOv4 CSP 化能獲得更平衡的速度與精度。

殘差模塊中的跨階段處理下采樣卷積計算過程在YOLOv4算法的原始主干框架CSPDarknet53的設(shè)計中并沒有包含進去，因此可以得到每個CSPDarknet 的計算成本，如式（3）所示：

對比式（3）及式（1）可知，主干框架CSPDarknet僅在k大于1 時才能獲得相較于YOLOv3 的主干框架Darknet 更佳的計算成本。而CSPDarknet53 中每個階段的剩余層數(shù)為1-2-8-8-4。為降低計算成本，將第一個CSPDarknet 階段轉(zhuǎn)化為Darknet 殘留層。

為進一步減少計算量以加快算法速度，接著對YOLOv4 頸部的PAN 結(jié)構(gòu)進行CSP 化。原始PAN 體系結(jié)構(gòu)主要是由不同特征金字塔的特征集成得到的，之后兩組反向的Darknet 殘差層被穿過而沒有建立快捷連接。將如圖1 所示的原始PAN 體系結(jié)構(gòu)CSP 化，轉(zhuǎn)變成如圖2 所示的結(jié)構(gòu)。新結(jié)構(gòu)較原先結(jié)構(gòu)，減少了40%的計算量[16]。

圖1 原始PAN體系結(jié)構(gòu)

圖2 CSP化PAN體系結(jié)構(gòu)

YOLOv4 的SPP 模塊位于頸部的第一個計算列表組的中間。因此，也將SPP 模塊放置到CSPPAN 體系結(jié)構(gòu)的第一個計算列表組的中間。

為了提高算法精度，將原先CSPDarknet53 中每階段層數(shù)1-2-8-8-4 拓寬至1-3-15-15-7。

經(jīng)過以上改進的完整結(jié)構(gòu)圖如圖3 所示。

圖3 YOLOv4 改進版完整結(jié)構(gòu)圖

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)集與環(huán)境

采用清華大學(xué)與騰訊公司聯(lián)合開發(fā)的TT100K數(shù)據(jù)集來評估該文算法對于真實道路環(huán)境下交通標(biāo)志的檢測性能。TT100K 數(shù)據(jù)集是進行了人工標(biāo)注的騰訊街景地圖截取圖片的街道交通標(biāo)志圖像數(shù)據(jù)集。其中，數(shù)據(jù)集的圖像分辨率為2 048 px×2 048 px，數(shù)據(jù)集標(biāo)注類別數(shù)為221 類，數(shù)據(jù)集分為訓(xùn)練集（6 107張）和測試集（3 073張）。為了增加數(shù)據(jù)集數(shù)據(jù)的多樣性，數(shù)據(jù)集覆蓋了多種天氣條件下和多種光照狀況下的交通標(biāo)志圖像。

由于自身電腦硬件條件限制，無法使用原始圖像進行訓(xùn)練、測試等，故先將圖像尺寸處理修改為608×608。同時由于數(shù)據(jù)集中各個交通標(biāo)志數(shù)量并不均衡，因此實驗僅選取數(shù)據(jù)集中的45 類數(shù)量較多的交通標(biāo)志圖片進行識別測試實驗。經(jīng)過對45 類交通標(biāo)志圖片進行隨機選取后的訓(xùn)練集包括7 200張圖片，測試集包括1 972 張圖片，其中45 類交通標(biāo)志如下：i2、i4、i5、il100、il60、il80、io、ip、p10、p11、p12、p19、p23、p26、p27、p3、p5、p6、pg、ph4、ph4.5、ph5、pl100、pl120、pl20、pl30、pl40、pl5、pl50、pl60、pl70、pl80、pm20、pm30、pm55、pn、pne、po、pr40、w13、w32、w55、w57、w59、wo。

該文實驗的硬件配置如表1 所示，搭配環(huán)境為Windows10、CUDAv11.1、cudnnv8.0.4.30、Tensorflow 2.4.0、OpenCV3.5.0。

表1 硬件配置

2.2 評測指標(biāo)

該文對算法模型進行性能評估的兩個指標(biāo)分別為平均精度均值（mean Average Precision,mAP）和FPS。

平均精度均值（mAP）通過首先計算數(shù)據(jù)集中的每個類別的平均精度值（Average Precision，AP），接著再對數(shù)據(jù)集中所有類別的平均精度求取均值而得到[17-18]，計算如式（4）所示：

其中，TP（True Positive）為真正例，表示預(yù)測為真實際也為真；FP（False Positive）為假正例，表示預(yù)測為真實際為假；FN（False Negative）為假負例，表示預(yù)測為假實際為真；Nc表示第c類劃分精確率P（Precision）和召回率R（Recall）的數(shù)量，p(rc)表示在c類召回率為rc時的p值。

另一個在實時檢測任務(wù)中極其重要的指標(biāo)是FPS值，F(xiàn)PS值的大小與檢測速度快慢直接相關(guān)聯(lián)，某些任務(wù)應(yīng)用場景對應(yīng)用算法的FPS值有硬性要求。

2.3 結(jié)果與分析

在對原版YOLOv4 進行CSP 處理和層數(shù)縮放后，將改進版算法和原版YOLOv4 算法及YOLOv3 算法進行對比，對比結(jié)果如表2 所示。

表2 改進算法與其他算法對比

其中，IOU=0.5，在對YOLOv4 改進后，其mAP 值達到了86.52%，相較于原版和YOLOv3高出了2.6%和11.89%。輸入圖像數(shù)據(jù)（1 024×768）后其平均FPS 值達到了42.4，相較于原版和YOLOv3高出了4.1和5.0。

再對細化到每類交通標(biāo)志的AP 值進行對比，具體結(jié)果如表3 所示?？梢娫诿總€類別上的檢測效果絕大部分優(yōu)于原版YOLOv4 算法。

表3 與原版算法的AP值對比

3 結(jié)束語

該文提出一種基于YOLOv4 的改進算法，旨在解決交通標(biāo)志識別任務(wù)中存在的檢測精度低和實時性較差的問題。改進算法通過將卷積網(wǎng)絡(luò)CSP 化降低了模型計算量，提升了檢測速度；通過擴展網(wǎng)絡(luò)主干寬度，提升檢測精度。實驗結(jié)果表明，該文改進方法真實有效，相比通常的交通標(biāo)志識別算法在檢測精度和速度方面均有提高，具有一定的實用性。但是現(xiàn)實場景相較數(shù)據(jù)集圖像更為復(fù)雜多變，未來可以進一步加入更多復(fù)雜情形下的交通標(biāo)志圖片拓展數(shù)據(jù)集，并在算法精度方面進一步優(yōu)化提升。