結(jié)合顏色分量特征和改進(jìn)YOLO 算法的中國交通標(biāo)識牌檢測*

徐超 秦宇強

（太原科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院 太原 030024）

關(guān)鍵字 交通標(biāo)識牌；目標(biāo)檢測；顏色分量；YOLO算法；注意力模塊

1 引言

在無人駕駛與輔助駕駛領(lǐng)域中，車輛需要檢測和識別前方道路旁設(shè)立的交通標(biāo)識牌，從而得到即將行駛的道路信息，對得到的信息進(jìn)行相應(yīng)判斷，安全通過道路。

現(xiàn)階段主要有兩種的交通標(biāo)識牌檢測方法：一是傳統(tǒng)圖像處理方法。例如LI Wenju 等［1］提出的一種結(jié)合RGB 顏色空間和形狀輪廓空間的在復(fù)雜光照環(huán)境下的檢測交通標(biāo)志牌的方法。二是基于深度學(xué)習(xí)的多種目標(biāo)檢測算法進(jìn)行交通標(biāo)識牌的檢測。目前有Ou Z 等［2］提出了一種基于特征聚合多徑網(wǎng)絡(luò)實時的交通標(biāo)志牌檢測方法，主要解決交通標(biāo)識牌作為小目標(biāo)難以檢測的問題。

在基于深度學(xué)習(xí)交通標(biāo)識牌檢測的過程中，交通標(biāo)識牌的類別的檢測是關(guān)鍵的一步，近幾年，涌現(xiàn)出的基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測可以分為single-stage［3～5］和two-stage［6～7］兩種；基 于singlestage 的方法具有較快的檢測速度，而基于two-stage的方法需要產(chǎn)生許多候選區(qū)域，檢測速度較慢，但具有很高的準(zhǔn)確率。

2 相關(guān)工作

2.1 交通標(biāo)識牌

根據(jù)我國道路交通法律法規(guī)規(guī)定，將交通標(biāo)識牌分為最多的警告標(biāo)志、禁令標(biāo)志、指示標(biāo)志和少量的其他標(biāo)志。本文的方法主要檢測警告類、禁令類、指示類交通標(biāo)志牌。

2.2 顏色分量特征提取

由于禁令標(biāo)志都是以紅色，警告標(biāo)志都是以黃色，指示類以藍(lán)色作為標(biāo)志的主要顏色，所以，通過圖像中標(biāo)志的類別，可以將圖像最終轉(zhuǎn)換為其顏色分量特征圖。同時，為了減少光照和惡劣天氣對交通標(biāo)識牌的顏色檢測，本文提出了RGBN 顏色空間。

Mahatme M B 和Kuwelkar M S［8］提出檢測目標(biāo)有著鮮明的顏色特征，就可以依靠算法找到目標(biāo)的顏色分量特征。因此，本文對算法改進(jìn)，將分別對三種類型的標(biāo)識牌，利用RGB 分量分別提取圖像中的紅、黃、藍(lán)顏色分量的像素點，獲得顏色分量特征圖。

通過式（1）將RGB 顏色空間的原圖像轉(zhuǎn)換為RGBN顏色空間。

式中R，G，B，R′，G′，B′表示通過公式轉(zhuǎn)換的前后三色分量。

2.3 YOLO目標(biāo)檢測

基于機器視覺的交通標(biāo)識牌檢測對準(zhǔn)確率和實時性都有較高的要求。YOLO 算法是由Redmon J 等［9］提出具有在準(zhǔn)確性和實時性都有較高的表現(xiàn)，可以完美適用于視頻中的目標(biāo)檢測，因此本文以YOLO 算法中現(xiàn)階段最優(yōu)的YOLOv3［10］網(wǎng)絡(luò)進(jìn)行檢測。

2.4 注意力機制

深度學(xué)習(xí)中的注意力機制［11～12］從本質(zhì)上講和人類的選擇性視覺注意力機制［13］類似，本質(zhì)上也是在眾多的影響信息中挑選出關(guān)鍵的目標(biāo)。

Woo S 等［14］提出了卷積層的注意力模塊（Convolutional Block Attention Module，CBAM），這個模塊分為兩個部分：通道注意力（channel）和空間注意力（spatial）。優(yōu)點是可以和任何卷積網(wǎng)絡(luò)結(jié)構(gòu)一起使用，不會增加額外的開銷。

2.4.1 通道注意力

如圖1，是一個通道注意力模塊（channel Attention Module）輸入特征F，分別進(jìn)行空間的全局平均池化（AvgPool）和最大池化（MaxPool）得到兩個通道描述。再將它們分別送入一個兩層的神經(jīng)網(wǎng)絡(luò)，共享網(wǎng)絡(luò)（Shared MLP）。最后，將得到的兩個特征相加后經(jīng)過一個Sigmoid 激活函數(shù)得到權(quán)重系數(shù)Mc。

圖1 通道注意力模塊

2.4.2 空間注意力

如圖2，與通道注意力相似，空間注意力模塊（spatial Attention Module）給定特征F，先分別進(jìn)行一個通道維度的平均池化和最大池化得到兩個通道描述。然后，經(jīng)過一個7×7 的卷積層，得到權(quán)重系數(shù)Ms。

圖2 空間注意力模塊

2.4.3 CBAM結(jié)合YOLO

卷積層的注意力模塊（CBAM）是將空間注意力模塊和通道注意力模塊按照順序串聯(lián)。將CBAM 模塊分別嵌入YOLOv3 的Darknet53 的五個殘渣卷積塊（Residual block）［10］，改進(jìn)網(wǎng)絡(luò)。

3 實驗及結(jié)果分析

3.1 實驗準(zhǔn)備與數(shù)據(jù)集制作

本文實驗的計算機配置為CPU i5-9600kf，顯卡Gtx2080Ti，內(nèi)存 16G，操作系統(tǒng)為 Ubuntu16.04。境Windows10，使用Matlab 進(jìn)行仿真模擬實驗。

本次實驗數(shù)據(jù)共計20000 張，其中10000 張為CCTSDB 數(shù)據(jù)集［15］作為正樣本，10000 張非交通標(biāo)識牌圖片作為負(fù)樣本。

3.2 實驗結(jié)果分析

3.2.1 實驗效果

通過使用訓(xùn)練好的模型，在300 張實景拍攝的測試集下測試，測試結(jié)果如圖3。

圖3 實驗效果圖

測試結(jié)果表明，本文算法可以在自然環(huán)境下精確地檢測出中國三類交通標(biāo)識牌。在此基礎(chǔ)下，本文設(shè)計了對比實驗來展示本文算法的綜合性能的提升。

3.2.2 對比指標(biāo)

在目標(biāo)檢測中常使用平均準(zhǔn)確率mAP 做為檢測結(jié)果的評價指標(biāo)。mAP 的計算依靠準(zhǔn)確率和召回率，通過式（3）計算準(zhǔn)確率和召回率。

式中，P和R表示需要的準(zhǔn)確率與召回率。TP表示實驗結(jié)果中正樣本識別為正樣本的數(shù)量；FP 表示實驗結(jié)果中負(fù)樣本識別為正樣本的數(shù)量；FN 表示實驗結(jié)果中正樣本識別為負(fù)樣本的數(shù)量。

單類平均準(zhǔn)確率AP 的計算是以召回率為x軸，準(zhǔn)確率為y 軸，畫出P-R 曲線，計算曲線下的面積即為AP 值。包含N 個類別的測試集來說，根據(jù)式（4），得到平均準(zhǔn)確率mAP。

3.2.3 對比分析

通過將本文的改進(jìn)YOLO 算法與其他流行的算法在相同交通標(biāo)識的數(shù)據(jù)集上進(jìn)行橫向?qū)Ρ?，使用IoU 為0.5 標(biāo)準(zhǔn)下的mAP，同時對比各個算法的FPS，對比算法的檢測速度。對比結(jié)果如表1所示。

表1 的測試結(jié)果表明，本文算法在同類檢測算法中取得了最好的檢測精度，同時也較好地保證了算法的實時性。

表1 對比結(jié)果

4 結(jié)語

從實驗結(jié)果表明，本文利用顏色分量提取的三類交通標(biāo)識牌的顏色分量特征圖，并且通過在YOLOv3 的殘渣卷積塊中嵌入CBAM 注意力模塊，改進(jìn)YOLO 算法，用于自然場景下的交通標(biāo)識牌檢測，在保證目標(biāo)檢測的實時性的同時，提高了準(zhǔn)確性。