基于改進(jìn)YOLOv5的實(shí)時(shí)交通標(biāo)志識(shí)別

楊茜茜　周籮魚　鄒學(xué)玉

關(guān)鍵詞：交通標(biāo)志識(shí)別；小目標(biāo)檢測；YOLOv5；Cluster NMS；標(biāo)志替換法

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）02-0001-03

1 概述

交通標(biāo)志檢測是復(fù)雜道路環(huán)境感知任務(wù)中十分重要的一個(gè)環(huán)節(jié)，交通標(biāo)志檢測模型保持高精確度的同時(shí)保證較快的檢測速度對(duì)汽車自動(dòng)駕駛系統(tǒng)（Mo?tor Vehicle Auto Driving System，MVADS）有著重大的意義，因此攻克交通標(biāo)志檢測這個(gè)難題迫在眉睫。

縱觀交通標(biāo)志檢測的發(fā)展史，檢測方法包括傳統(tǒng)的檢測方法、二階段檢測方法、一階段檢測方法總共三種方法。傳統(tǒng)檢測方法的分類依據(jù)是目標(biāo)的色彩、形狀、邊緣等特征，但該傳統(tǒng)方法的適用性較差，在特征被遮擋時(shí)將無法完成檢測任務(wù)。目前利用神經(jīng)網(wǎng)絡(luò)進(jìn)行交通標(biāo)志檢測的方法主要分為二階段目標(biāo)檢測方法和一階段目標(biāo)檢測方法。二階段目標(biāo)檢測首先利用區(qū)域建議網(wǎng)絡(luò)進(jìn)行初步的邊框回歸，再利用ROI池化生成建議框，最后經(jīng)過全連接得到分類結(jié)果與邊框。王海等[1]將不同的R-CNN檢測器串聯(lián)起來，用GIOU（Generalized IoU loss）取代原始的IOU損失函數(shù)，得到一種改進(jìn)的Cascade R-CNN檢測網(wǎng)絡(luò)。該方法提高了交通標(biāo)志的檢測精度但是只能識(shí)別四類交通標(biāo)志，并且檢測速度只有2.74幀每秒。

一階段檢測方法同時(shí)完成預(yù)測框的回歸和物體的分類。鄧天民等[2]利用改進(jìn)后的YOLOv3網(wǎng)絡(luò)檢測交通標(biāo)志，將BN 層（Batch Normalization）和conv 層（convolution）合并減少網(wǎng)絡(luò)的計(jì)算量，使用kmeans++聚類算法來尋找更合適的錨框大小。檢測精度和檢測速度都得到了提升但是小目標(biāo)識(shí)別的效果不太好，模型的參數(shù)量大不利于移動(dòng)端的部署。

綜上所述，針對(duì)在檢測較小的交通標(biāo)志時(shí)檢測精度不高、檢測速度慢的問題，本文將YOLOv5的加權(quán)非極大抑制模塊改進(jìn)為Cluster NMS，采用交通標(biāo)志替換法對(duì)小目標(biāo)進(jìn)行數(shù)據(jù)擴(kuò)增。最終，采用TT100K（Tsin?ghua-Tencent 100K）數(shù)據(jù)集作為訓(xùn)練集和測試集，對(duì)改進(jìn)后的算法和經(jīng)典算法開展大量對(duì)比試驗(yàn)來證明改進(jìn)后算法的識(shí)別精度和識(shí)別速度都得到了較大的提升。

2 改進(jìn)YOLOv5 的交通標(biāo)志檢測

2.1 YOLOv5 算法

YOLOv5由四個(gè)部分組成，根據(jù)網(wǎng)絡(luò)的深度與寬度的不同產(chǎn)生了四種模型，其中由于YOLOv5s的推理速度最快，因此將YOLOv5s運(yùn)用在交通標(biāo)志檢測中。

Input部分是指數(shù)據(jù)的輸入端，Input運(yùn)用了Mosa?ic數(shù)據(jù)增強(qiáng)模塊，采用隨機(jī)縮放、剪裁、色域變換等操作對(duì)四張圖片進(jìn)行圖像增強(qiáng)后進(jìn)行拼接，使得數(shù)據(jù)集更加豐富[3]。在backbone部分中，首先利用Focus模塊將輸入通道擴(kuò)充了四倍，并且在沒有信息丟失的情況下完成采樣。YOLOv5s分別在backbone和neck中加入了CSP 結(jié)構(gòu)（Cross Stage Partial Networks）， CSP1_X 將梯度流分開，兩個(gè)部分通過不同的網(wǎng)絡(luò)結(jié)構(gòu)再通過Concat將梯度流匯合，CSP結(jié)構(gòu)減少了計(jì)算量，加強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力。在neck部分中增加了FPN（FeaturePyramid Networks）+PAN（Path Aggregation Network）結(jié)構(gòu)，F(xiàn)PN將低層特征融入高層特征，再經(jīng)過PAN將高層特征融入低層特征，這樣不僅加強(qiáng)了語義特征信息又加強(qiáng)了定位信息[4]。在張量拼接（Concat）后增加CSP2_X結(jié)構(gòu)加強(qiáng)了網(wǎng)絡(luò)的融合能力。在prediction中通過NMW篩選出最優(yōu)的預(yù)測框。采用GIOU_Loss作為損失函數(shù)[5]，解決了在錨框不相交時(shí)無法篩選預(yù)測框的問題。

2.2 改進(jìn)NMW

YOLOv5 采用了加權(quán)非極大抑制NMW[6] 模塊，NMW利用wi 對(duì)邊界框進(jìn)行加權(quán)平均后得到最佳邊界框，計(jì)算如式（1）、式（2）。假設(shè)有n 個(gè)邊界框，wi 為邊界框的權(quán)重，Bi 是大于閾值的候選框，Bargmaxsj是置信度最大的邊界框，sj 是當(dāng)前錨框的置信度大小。

Cluster NMS首先上三角化IoU矩陣X，得到除上三角元素外都為0的矩陣X。而后取矩陣Ci 每列元素中最大的值依次排列，如果bi 中元素小于一定的閾值就置1，否則就置0，最終得到bⁱ=[b₁，b₂，…，b_n]。接著將bⁱ轉(zhuǎn)換成一個(gè)對(duì)角矩陣E，E與IoU矩陣X相乘得到新的矩陣C_i，取其每列元素中最大的值依次排列得到新的張量bⁱ，接著將b_i 依據(jù)閾值轉(zhuǎn)換成一個(gè)對(duì)角矩陣E，繼續(xù)將E與IoU矩陣X相乘得到新的矩陣C_i。重復(fù)上述操作直至bi等于b^{i ? 1}，就篩選出了最優(yōu)的預(yù)測框。

3數(shù)據(jù)擴(kuò)增

TT100K數(shù)據(jù)集包含很多不同的復(fù)雜道路場景，具有更高的分辨率，數(shù)據(jù)集中的交通標(biāo)志大部分是小目標(biāo)[8]，這很符合實(shí)際的交通場景。該數(shù)據(jù)集收集了在不同的亮度和天氣條件下的10000幅包含30000個(gè)交通標(biāo)志實(shí)例的圖像。但是，數(shù)據(jù)集里不同類別的交通標(biāo)識(shí)之間數(shù)量差異巨大，需要采用數(shù)據(jù)擴(kuò)增來平衡數(shù)量差異。標(biāo)志替換法首先對(duì)交通標(biāo)志進(jìn)行模糊和亮度變化處理，再將該標(biāo)志隨機(jī)替換掉圖片中已有的標(biāo)志[9]。

本文采用標(biāo)志替換法，對(duì)實(shí)例個(gè)數(shù)不足1000個(gè)的交通標(biāo)志擴(kuò)增，不僅增加了小目標(biāo)的數(shù)量，而且縮小了各種類標(biāo)志之間的數(shù)量差異。擴(kuò)增后的數(shù)據(jù)集包含17935張圖片，訓(xùn)練集有12555張圖片，測試集有5382張圖片，輸入網(wǎng)絡(luò)的圖片分辨率為640×640。

4 試驗(yàn)與結(jié)果分析

4.1 模型訓(xùn)練環(huán)境

本文進(jìn)行實(shí)驗(yàn)采用了Ryzen 7 5800H 型號(hào)的CPU，NVIDIA GeForce RTX 3060 Laptop型號(hào)的GPU和win10系統(tǒng)操作系統(tǒng)。本文的模型是在CUDA 11.0的PyTorch 深度學(xué)習(xí)框架下進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.001，采用余弦退火策略降低學(xué)習(xí)率和adam優(yōu)化器，訓(xùn)練了300epoch，批次大小為24。

4.2 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率（P）、召回率（R）、mAP@0.5、mAP@0.5：0.95、FPS作為評(píng)價(jià)指標(biāo)。召回率（R）用來衡量模型遺漏目標(biāo)的程度。mAP@0.5用來衡量模型精確率隨召回率變化趨勢(shì)，mAP@0.5高就說明模型在高準(zhǔn)確率的同時(shí)擁有高召回率。mAP@0.5：0.95用來衡量檢測框與標(biāo)定框擬合的精準(zhǔn)度。FPS是指模型每秒處理的圖片數(shù)量，F(xiàn)PS超過30幀/s才滿足實(shí)時(shí)性要求。

4.3 實(shí)驗(yàn)結(jié)果分析

在測試集上利用原始的算法和改進(jìn)后的算法分別進(jìn)行檢測。圖1是誤檢對(duì)比圖，本文的算法沒有出現(xiàn)誤檢的情況，無誤地識(shí)別出限速60的交通標(biāo)志。在圖2中改進(jìn)后的算法準(zhǔn)確地識(shí)別出了圖中所有的交通標(biāo)志，這說明改進(jìn)后的算法能很好地避免漏檢的情況。圖3是夜晚情景中的檢測效果圖，改進(jìn)后的算法不僅沒有誤檢還識(shí)別出了限速60和禁止鳴笛的標(biāo)志，這說明改進(jìn)后的算法可以解決夜間的交通標(biāo)志檢測問題。綜上所述，本文的方法適用性更強(qiáng)，很好地解決了誤檢和漏檢的問題。

從數(shù)據(jù)集中挑選21類常見的交通標(biāo)志，利用YO?LOv5算法與改進(jìn)后的算法分別進(jìn)行檢測，圖4中改進(jìn)后算法檢測21類交通標(biāo)志的mAP@0.5都比較高說明泛化性能好，改進(jìn)后算法進(jìn)行檢測的大部分識(shí)別精度都比原始算法高，檢測精度平均增加了11.3%，本文方法檢測精度最低的交通標(biāo)志是禁止鳴笛，還是比原始算法提高了2.8%，這說明改進(jìn)后的方法以高精度很好地完成了交通標(biāo)志細(xì)分類。

利用改進(jìn)后的算法、YOLOv5算法和文獻(xiàn)[10]對(duì)交通標(biāo)志進(jìn)行檢測，檢測結(jié)果如表1所示。mAP@0.5s是針對(duì)小目標(biāo)檢測的精度，原始算法檢測小目標(biāo)的準(zhǔn)確率不高，文獻(xiàn)[10]的mAP@0.5為0.893，而本文算法將小目標(biāo)的檢測精度mAP@0.5提高為0.916。

原始YOLOV5算法的準(zhǔn)確率是0.81，文獻(xiàn)[10]的準(zhǔn)確率是0.508，改進(jìn)后的算法準(zhǔn)確率是0.892，本文的方法提高了交通標(biāo)志檢測的準(zhǔn)確度。本文算法的召回率比原始算法高0.14，改進(jìn)后算法很好地改善了漏檢的情況。改進(jìn)后算法的mAP@0.5為0.898，比文獻(xiàn)[10]提高了0.041，證明改進(jìn)后算法的檢測框與標(biāo)定框擬合更精準(zhǔn)。改進(jìn)后的算法FPS達(dá)到93幀/s遠(yuǎn)遠(yuǎn)超出實(shí)時(shí)性的需求，比YOLOv5 算法、文獻(xiàn)[10]分別高出2.74 幀/s、4.87幀/s，說明本文提出的方法在提高了識(shí)別的準(zhǔn)確度的同時(shí)兼顧了識(shí)別的速率。

4.4 消融試驗(yàn)

如表2所示，使用標(biāo)志替換法后mAP@0.5：0.95增加了0.038，mAP@0.5增加了0.057，數(shù)據(jù)擴(kuò)增很好地提高了檢測精度。數(shù)據(jù)擴(kuò)增后檢測速度還提升了1.91幀/s，說明標(biāo)志替換法還提高了檢測速度?？偟膩碚f標(biāo)志替換法很好地提升了模型的性能，一方面提高了檢測精度，另一方面提升了檢測速度。

加入Cluster NMS 后mAP@0.5：0.95 增加了0.05，mAP@0.5 增加了0.057，YOLOv5 算法采用ClusterNMS相比于采用NMW檢測精度得到大幅度提升。采用Cluster NMS后將檢測速度提高為92.59幀/s，證明了Cluster NMS模塊很好地平衡了識(shí)別精度和識(shí)別速度的要求。

5 結(jié)論

針對(duì)交通標(biāo)志檢測任務(wù)，本文利用Cluster NMS模塊替換了YOLOv5網(wǎng)絡(luò)模型的NMW模塊，實(shí)驗(yàn)表明采用Cluster NMS不僅提高了檢測精度還提升了檢測效率。利用標(biāo)志替換法進(jìn)行數(shù)據(jù)擴(kuò)增，實(shí)驗(yàn)證明標(biāo)志替換法通過均衡各類別交通標(biāo)志之間數(shù)量分布，很好地提高了檢測精度的同時(shí)檢測速度也得到了提高?？偟膩碚f，在TT100K數(shù)據(jù)集上將改進(jìn)后的算法與經(jīng)典算法開展大量實(shí)驗(yàn)對(duì)比后，證明了本文的方法很好地平衡了準(zhǔn)確性和實(shí)時(shí)性的要求。但是本文依然有一些尚未解決的問題，本文提出的方法不能應(yīng)對(duì)如雨雪、霧霾等極端天氣下的交通標(biāo)志檢測情況，并且模型參數(shù)量較大，不利于資源有限的車載環(huán)境進(jìn)行部署。下一步可以研究的方向有解決惡劣天氣下的交通標(biāo)志識(shí)別和輕量化模型等。