改進YOLOX-S實時多尺度交通標志檢測算法

王能文，張 濤

江南大學 人工智能與計算機學院，江蘇 無錫 214000

隨著計算機、通信和智能信號處理技術的發(fā)展，智能交通系統(tǒng)（intelligent transportation system，ITS）越來越普及。ITS的一項關鍵技術是交通標志檢測，它是自動駕駛技術的基礎。在交通標志檢測任務中，車輛獲取的圖像幀容易受到光照強度和天氣條件的影響，且交通標志目標往往只占據整個圖像的一小部分。所以，實時交通標志檢測仍然存在許多挑戰(zhàn)[1-2]。

首先，傳統(tǒng)的目標檢測技術難以用于交通標志檢測。傳統(tǒng)目標檢測算法[3]使用滑動窗口方法或圖像分割技術生成大量的候選區(qū)域，然后為每個候選區(qū)域提取圖像特征。例如方向梯度直方圖（histogram of oriented gradient，HOG）[4]、尺度不變特征變換（scale-invariant feature transform，SIFT）[5]和Haar[6]。最后，這些特征被輸入到分類器，如支持向量機（support vector machine，SVM）[7]、自適應增強[8]和隨機森林[9]等，以確定每個候選區(qū)域的類別。傳統(tǒng)方法在生成候選區(qū)域的時候需要大量的計算開銷。然而，交通標志識別在實際應用中對速度和精度都有著嚴格的要求。因此，傳統(tǒng)目標檢測方法的精度和速度遠遠不能滿足自動駕駛的要求。

其次，基于復雜神經網絡的交通標志檢測算法也很低效。Krizhevsky 等[10]在2012 年提出了AlexNet，這使得卷積神經網絡（convolutional neural networks，CNN）引起了極大的關注。此后，基于深度神經網絡的目標檢測算法[11-14]進入快速發(fā)展階段，它以更多的存儲和計算開銷為代價，實現了比傳統(tǒng)方法更高的精度。然而，交通標志檢測任務的存儲空間和計算能力有限，所以，使用基于復雜神經網絡的交通標志檢測算法也不太適用。由于上述兩種方法的不足，使用輕量級卷積神經網絡檢測和識別交通標志是目前比較理想的方法。文獻[15]提出一種具有類層次結構的新型架構級聯(lián)掃視網絡，用于交通標志檢測，在TT100K數據集上小目標的平均精度提高了6%。文獻[16]為了聚合不同尺度的特征并抑制背景中的雜亂信息，提出一種多尺度注意金字塔網絡，在多種交通標志數據集上都取得了不錯的效果。文獻[17]在YOLOv3 主干網絡中融合SPP 并改進特征金字塔網，利用K-means 聚類算法對數據集進行聚類分析，重新定義候選框，以提升檢測性能。文獻[18]在YOLOv5基礎上進行各種優(yōu)化策略，包括提出區(qū)域上下文模塊、在主干部分引入特征增強模塊和進行多尺度特征融合，以此來提高交通標志檢測精度和召回率。雖然現有交通標志檢測算法取得了較好的成果，但是由于交通標志目標小、受背景環(huán)境影響大，在實時場景中仍然存在檢測速度慢、精度低和漏檢問題。所以，實時交通標志檢測還需要進一步研究。

Ge等[19]提出YOLOX算法，采用SimOTA、解耦頭等改進措施顯著提升檢測性能。YOLOX包含多種不同體量的模型，其中，YOLOX-S 模型參數量較少，比較適用于實時性要求較高的應用場景。但YOLOX-S相比于其他體量大的模型在檢測精度上還有差距。本文提出一種改進的YOLOX-S 實時多尺度交通標志檢測算法，既保證了模型的實時性要求，又提高了多尺度交通標志檢測的精度。改進思路如下：（1）設計ResNet50-vd-dcn代替原YOLOX-S中的CSPDarknet53主干網絡，ResNet50-vd-dcn 由最新的ResNet-D 結構和可變形卷積網絡（deformable convolutional network，DCN）[20]設計而成，其減少了模型的計算量，同時也可以保證網絡的學習能力。（2）本文提出增強特征圖模塊（enhanced feature map module，EFMM），加入到主干網絡的三個特征層之后。EFMM采用特征圖連接流和注意力機制流，減少特征圖生成過程中的信息丟失。在保持檢測速度的同時有效地提高了模型的識別精度。（3）提出一種三通道加權雙向特征金字塔網絡，替換原YOLOX-S 頸部的路徑聚合網絡（path aggregation networks，PAN）[21]，增強對不同層級特征的信息融合能力，提高對多尺度目標識別的能力。（4）在后處理階段，使用Focal Loss[22]損失函數解決正負樣本不平衡問題，提高模型對正樣本特征的學習能力，進而提高模型對小目標物體的檢測率。

1 研究與方法

本文改進算法框架主要分為主干網絡、特征增強網絡、特征融合網絡和檢測頭，整體算法架構如圖1所示。輸入圖片大小以416×416 為例，首先經過ResNet50-vddcn主干網絡生成尺度大小為52×52、26×26、13×13的三個特征通道，其次三個通道中的特征信息再進入特征增強網絡EFMM 進一步提升語義信息維度，之后進入到特征融合網絡中進行交互融合。最后將融合后的特征圖輸入到檢測頭進行檢測。

圖1 YOLOX-S網絡結構Fig.1 YOLOX-S network structure

1.1 主干網絡的改進

YOLOX-S 使用CSPDarknet53 作為主干網絡，經查閱參考文獻[23]發(fā)現，該結構在檢測小目標物體上會存在一定缺陷，因為使用該主干網絡，模型在反向傳播中各個神經元節(jié)點之間會存在梯度重復現象，會降低模型的整體性能，因此本文設計ResNet50-vd-dcn 替換原YOLOX-S 模型的主干網絡CSPDarknet53。研究表明[24]，殘差網絡能夠提取更加豐富語義信息的特征圖，此外，ResNet-50 殘差網絡的模型計算量和大小遠小于CSPDarknet53。本文選擇ResNet 最新的ResNet-D 結構，其中ResNet50-vd 優(yōu)化了ResNet 下采樣信息丟失問題，然后結合可變形卷積DCN，設計出ResNet50-vd-dcn作為主干特征提取網絡，在保證模型檢測速度的同時，能夠顯著提升其在小目標物體上的表現能力。

1.2 特征增強網絡

圖片中的小目標所占像素少，并且容易受環(huán)境和背景因素等影響，直接使用YOLOX-S模型算法，在進行卷積采樣的時候，會造成小目標特征信息的丟失，使得模型的表示能力降低，影響小目標物體的檢測效果。因此本文提出增強特征圖模塊EFMM，加入到主干網絡的三個特征層之后，使得模型更加關注小目標，減少特征圖生成過程中的信息丟失，在保持原有速度和精度的同時提高對小目標的檢測準確率。

首先，為了在保持檢測速度的同時提取更多的語義信息，本文提出了一種輕量級的特征圖連接流，將輸入特征圖的通道分成兩半，并在其中一個半圖上執(zhí)行三個卷積操作。由于只對卷積層使用特征圖的一半權重來抑制卷積增加的參數數量，與一般卷積相比，這種方式學習量減半。最后，通過卷積層的特征圖和另一個特征圖使用跳躍連接相互連接。其次，從淺層提取的低級特征會激活圖像中的邊緣或背景，如果模型能夠聚焦在一個物體上，它就可以檢測到小物體被捕捉到的區(qū)域。對此，本文提出一種使用重要性圖的有效注意力機制流。重要性圖由通道平均池化和sigmoid激活函數生成。輸入特征圖的像素被平均，然后歸一化到0～1。生成重要性圖時，模型不執(zhí)行卷積操作。在這個流中，模型只執(zhí)行兩個簡單的操作，沒有額外的學習。因此，它防止了檢測速度的下降。最后，將重要性圖和連接圖元素相乘，并將其添加到輸入特征圖中。通過這種方式，本文提出增強特征圖模塊，將其加入到主干網絡之后，可以有效地檢測小目標物體。

增強特征圖模塊EFMM如圖2所示。首先，注意力流通過通道平均池化（channel-wise average pooling）對輸入特征F(f∈RH×W×C)的所有通道進行壓縮，將通道中的所有像素相加，再除以通道數生成自注意力圖（self-attention map）mattn∈RH×W×1。其中C是通道數，H和W分別是高和寬。通過平均輸入特征圖通道的像素值，其中高值像素被認為是高級語義特征，生成的特征圖包含對象及其周圍區(qū)域的信息。如圖2所示，自注意力圖通過一個sigmoid 激活函數生成重要性圖（importance map）mimp∈RH×W×1。這樣，重要性圖中的像素被歸一化為（0，1），從而平滑了特征圖像素值的過渡。接近于1 的重要性圖的每個像素被認為是最具辨別力的部分（前景），而接近于0的像素值對應于辨別力較差的部分（背景）。通過這些操作，使得檢測器專注于對象區(qū)域。重要性圖計算公式如下：

圖2 增強特征圖模塊EFMMFig.2 Enhanced feature map module EFMM

最后是兩張圖的結合，在獲得重要性圖mimp和特征圖連接流mconcat后，將它們組合以生成最終的增強特征圖f′∈RH×W×C。重要性圖mimp充當對象感知掩碼，并按元素乘以特征連接圖mconcat以生成對象感知特征圖。從公式（3）可以看到，通過添加對象感知特征圖和原始輸入特征圖來創(chuàng)建最終的增強特征圖f′。增強的特征圖f′用作下一個卷積層的輸入，與現有模型相比，其共享更高級別的特征。

1.3 特征金字塔結構的改進

YOLOX-S 的Neck 模塊使用的是路徑聚合網絡PANet，PANet 是在FPN 的基礎上再建立一條自下而上的通路，將位置信息也傳到預測特征層中，使得預測特征層同時具備較高的語義信息和位置信息。但仍然存在缺陷，由于預測特征層級之間特征利用率較低和過多的信息冗余，會導致特征層融合不夠充分，丟失對小目標物體的特征信息，降低模型的檢測精度。針對PANet存在的上述缺陷，Tan 等[25]提出加權雙向特征金字塔網絡BiFPN，BiFPN處理每個雙向路徑作為一個特征網絡層，并重復同一層多次，以實現更高層次的特征融合。基于BiFPN 結構，同時結合大核注意力，設計了適用于本文算法的三通道加權雙向特征金字塔網絡，如圖1所示。輸入圖像通過主干網絡生成特征映射{C1，C2，C3，C4，C5}，最上層的C3、C4、C5三個大小不同的特征圖輸入到三通道加權雙向特征金字塔網絡中，進行特征融合。該網絡結構不僅可以連接不同級別之間的特征信息，還保留了相同層級的原始特征信息，將底層細節(jié)信息和高層語義信息充分融合。

本文采用大核注意力（large kernel attention，LKA[26]）的方式給LKA-BiFPN特征融合網絡的多尺度通道分配權值。大核注意力分配權值的方式相比于原BiFPN 隨機分配權值的方式，可以顯著增加模型的感受野，提高對小目標物體的關注度。

大核卷積可分為3 個部分，空間局部卷積、空間遠程卷積和通道卷積。如圖3（a）所示，LAK 模塊寫作式（4）、（5）：

圖3 LKA與Self-Attention結構對比Fig.3 Comparison of LKA and Self-Attention structures

其中，F∈RC×H×W是輸入特征，Attention∈RC×H×W表示注意力圖，注意力圖中的值表示每個特征的重要性。將注意力權重與輸入特征圖進行逐元素相乘，即可得到輸出特征圖。如圖3（b）所示，自注意力（self-attention，SA[27]）雖然能夠在提取局部特征信息的基礎上進一步捕捉長期依賴，并在空間維度上具有適應性，但是它忽略了局部信息和通道維度上的適應性。而LKA不僅可以利用本地信息捕獲長距離依賴，而且在通道和空間維度上都具有適應性。因此，在YOLOX-S 算法中引入LKA，可以為整個算法提供更加有效的注意力引導，從而提升算法的檢測性能。

如圖4 所示，改進后的特征金字塔融合網絡將52×52 的特征圖通過一個大小為3×3 和步長為1×1 的卷積核，得到一個26×26的特征圖，并將其與52×52的特征圖進行融合。再將26×26的特征圖進行相同的卷積操作，得到大小為13×13的特征圖，再將其與26×26的特征圖進行融合。最后，將最終融合的特征圖進行2 倍和4 倍的上采樣，然后再進行一次不同尺寸的特征融合。

圖4 LKA-BiFPN加權特征融合模塊Fig.4 LKA-BiFPN weighted feature fusion module

1.4 損失函數的改進

YOLOX-S的損失函數主要由定位損失函數（localization loss）、分類損失函數（classification loss）和目標置信度損失函數（confidence loss）組成。檢測框位置的iou_loss，YOLOX-S 使用傳統(tǒng)的giou_loss，而分類損失和置信度損失都是采用BCE_loss的方式。

在實際的交通場景中，交通標志目標往往會受到光照強度、雨雪和霧霾等惡劣天氣的影響，另外交通標志目標相對較小，在檢測過程中受背景干擾影響大，正樣本和負樣本難以區(qū)分。負樣本過多會導致模型在訓練過程中對正樣本學習不夠，模型性能不穩(wěn)定，召回率較低。為平衡正負樣本，本文使用Focal Loss損失函數替換置信度損失函數BCE_loss。Focal Loss 函數定義如式（6）、（7）：

其中，α是解決正樣本和負樣本比例的平衡系數，范圍是0 到1，γ是控制難分類樣本和易分類樣本權重的平衡系數，pt是難分類樣本和易分類樣本的概率。

2 實驗結果與分析

2.1 實驗數據集

2.1.1 TT100K數據集

TT100K 是我國的交通標志數據集，它提供了100 000 張包含30 000 個交通標志實例的圖像，這些圖像場景豐富，涵蓋了光照和天氣條件的巨大變化。數據集圖像中的交通標志較小，外加圖像包含大量的干擾背景信息，導致對交通標志的檢測很困難[28]。本文選取了9 170張圖片共涵蓋了45種類型的交通標志，訓練集、驗證集和測試集的劃分比例按照8∶1∶1。

2.1.2 CCTSDB數據集

另外一個數據集是長沙理工大學中國交通標志檢測數據集（CSUST Chinese traffic sign detection benchmark，CCTSDB）[29]。CCTSDB 共包含三大類交通標志，分別是警告標志、禁止標志和指示標志。其提供了15 724張訓練集和400張測試集。本文選取15 724張訓練集圖片進行訓練，另外400張圖片進行測試。

2.2 實驗環(huán)境及參數設置

本文實驗的操作系統(tǒng)為Ubuntu 16.04.7 LTS，CPU型號為Intel?Core ? i9-9900X CPU。GPU 型號為NVIDIA RTX 2080Ti，內存大小為12 GB。該YOLOX-S模型是基于Pytorch 深度學習框架，Python 作為編程語言，使用CUDA 10.1，和CUDNN 7.8對GPU進行加速。

在訓練中，本文使用馬賽克（Mosaic）數據增強來提高性能。馬賽克生成的訓練圖像與自然圖像的實際分布相差甚遠，而且大量的馬賽克裁剪操作會帶來很多不準確的標注框，所以在訓練過程中，本文只在訓練的前90%輪使用馬賽克，在后10%輪則關閉馬賽克數據增強策略。本文的模型都是從頭開始訓練，所有模型均使用具有12 GB 內存的單個NVIDIA RTX 2080Ti GPU 進行訓練?？偣灿柧?00輪，其中前20輪為模型熱身。批量大小設置為16，使用SGD來訓練整個網絡，動量設置為0.937，權重衰減為0.000 5，初始學習率為0.01，采用余弦退火策略降低學習率。

2.3 評估指標

評估指標主要由檢測速度和檢測精度組成。檢測精度用于評估模型對目標準確定位和分類的能力，本文實驗使用小目標平均精度APs、小目標平均召回率ARs、總體樣本平均精度mAP和檢測速度FPS作為評估指標。

2.4 TT100K數據集實驗結果分析

在TT100K 數據集上，本文設計了消融實驗和與其他主流算法的對比實驗。

2.4.1 消融實驗

消融實驗是為了驗證本文所提出的改進是否對交通標志檢測性能的提升有效，實驗結果如表1所示。對比分析了（1）原YOLOX-S 模型；（2）改進模型1 是將原YOLOX-S 模型的主干網絡CSPDarknet53 替換成ResNet50-vd-dcn；（3）改進模型2 是在主干網絡的三個特征層之后加入EFMM；（4）改進模型3 表示修改原網絡的特征金字塔結構；（5）改進模型4 表示修改原網絡的損失函數；（6）本文模型表示同時修改主干網絡、加入增強特征圖模塊、修改特征金字塔結構和修改損失函數。在TT100K數據集上進行消融實驗，圖片輸入尺寸為960×960，其他實驗條件均相同。

從表1中的數據可以得出，僅將原模型的主干網絡替換成ResNet50-vd-dcn之后，小目標精度下降了0.8個百分點，小目標召回率下降1.8 個百分點，但是參數量降低0.9 MB，檢測速度由116 FPS 上升為130 FPS。僅添加增強特征圖模塊，在小目標精度上提升了1.2 個百分點，在小目標召回率上提升了1.8 個百分點。僅修改特征金字塔結構，小目標精度提升1.1 個百分點，小目標召回率提升0.9 個百分點。僅修改損失函數，小目標精度提升0.4 個百分點，小目標召回率提升0.6 個百分點。將所有改進添加到原模型中，在小目標精度上提升2.8 個百分點，在小目標召回率上提升4.1 個百分點，總體平均精度提升2.1 個百分點，參數下降0.3 MB，檢測速度提升了2.3 FPS。由此可見，本文提出的各項改進效果明顯。

在主干網絡的改進中，本文引入了特征增強模塊，其中提出了一種輕量級的特征圖連接流，將輸入特征圖的通道分成兩半，對此通過實驗驗證了這種方法的有效性。如表2 所示，方法1 是使用分割的特征圖，方法2是沒有分割的特征圖，實驗所用模型為YOLOX-S+EFMM。由實驗結果可知，將輸入特征圖的通道分成兩半，不僅模型的參數量更少、速度更快，而且小目標平均檢測精度要高0.3個百分點。

表2 EFMM部分對比實驗Table 2 EFMM partial comparative experiments

同時，為了驗證本文提出的增強特征圖模塊EFMM的有效性，還與其他當前主流的注意力機制（squeezeand-excitation，SE）[30]、坐標注意力機制（coordinate attention，CA）[31]、（convolutional block attention module，CBAM）[32]進行了對比。由表3得出，本文所使用的增強特征圖模塊相比于其他注意力機制，不僅參數量最少、速度最快，且在小目標精度、小目標召回率和總體目標精度上均優(yōu)于其他注意力機制。

表3 EFMM和不同注意力對比實驗Table 3 EFMM and different attention comparative experiments

2.4.2 與主流算法對比實驗

本文的改進模型在TT100K 數據集上測試結果與其他先進目標檢測器的對比結果如表4 所示。涉及的主要比較內容包括模型的小目標精度、小目標召回率、總體平均精度、模型參數和檢測速度。關于檢測速度的測試，均在單個RTX 2080Ti GPU 的同一臺機器上，使用每秒1 批大小來進行測試。其他先進模型的測試結果來源于參考文獻。

表4 與先進算法對比實驗Table 4 Comparative experiment with advanced algorithm

從表4可以得出，本文改進后的算法在交通標志數據集TT100K 上不論是速度還是精度相比其他一些主流算法都有一定優(yōu)勢。具體比較結果如下：本文改進的算法相比于原YOLOX-S 算法，在小目標精度上提升了2.8 個百分點，在小目標召回率上提升了4.1 個百分點，在總體平均精度上提升了2.1 個百分點，而且參數量下降0.3 MB，檢測速度從116.0 FPS 提升到118.3 FPS。其中，YOLOv5-S算法的檢測速度最快，達到了125.0 FPS，參數量7.3 MB 也是最少的，但是其在小目標精度上相比本文算法少了大約5個百分點，小目標召回率也少了6.3個百分點。相比于基于Transformer的目標檢測算法TSP-RCNN[37]，本文算法在小目標精度上提升6.2 個百分點，參數量更少，檢測速度優(yōu)勢更加明顯。其他算法中，小目標精度最好的是文獻[18]，相比本文算法低了1.5個百分點，檢測速度低了約35 FPS。

2.5 CCTSDB數據集實驗結果分析

為了進一步驗證本文改進的YOLOX-S算法的性能以及對其他交通標志數據集的魯棒性，本文在CCTSDB數據集上也做了相關實驗。CCTSDB 數據集中的交通標志主要以中大型目標為主，小目標占比很少，所以在CCTSDB數據集上涉及的比較內容只包括模型的大小、檢測速度和mAP。具體比較結果如表5所示。

表5 CCTSDB數據集對比實驗Table 5 CCTSDB dataset comparative experiments

從表5中可以得出，本文算法與原YOLOX-S算法相比，精度提升了1.1 個百分點，同時參數量略微降低0.3個百分點，檢測速度相差不大。在CCTSDB數據集上與一些主流算法對比結果如下，與YOLOV3、T-YOLO[42]、文獻[43]和文獻[18]相比，速度和精度均高于它們。與改進的YOLOv3-Tiny[41]相比，本文算法速度低于改進的YOLOv3-Tiny[41]，但是精度高4.2 個百分點。與YOLOv5-S相比，在速度略低的情況下，精度高出2.4個百分點。通過實驗表明，本文提出的算法在其他交通標志數據上也具有魯棒性。

2.6 檢測結果分析

為了能夠直觀地看出本文改進算法的性能，從TT100K數據集中選取了3張具有代表性的圖片進行了對比測試，對比測試結果如圖5 所示。其中，圖5（a）～（c）為原YOLOX-S模型的測試結果，圖5（d）～（f）為本文改進算法的測試結果。對比圖5（a）和圖5（d）的結果可以得出，圖5（a）漏檢了pl60而圖5（d）檢測出來了，另外pn 和p26 的檢測精度均有所提升。對比圖5（b）和圖5（e），圖中需要檢測的目標種類多且排列密集，圖5（e）相比于圖5（b）檢測精度更高且檢測框更準確。對比圖5（c）和圖5（f），圖中待檢測目標受光照和背景影響較大，圖5（f）檢測精度更高，p10 的精度達到了100%。綜上所述，本文改進的算法對交通標志的檢測要優(yōu)于原YOLOX-S。

3 結束語

針對目前交通標志檢測中出現的小目標占比較多，受背景干擾影響等情況，本文提出了一種基于YOLOX-S模型改進的算法。改進主要是通過修改YOLOX-S的主干網絡、引入增強特征圖模塊、修改特征金字塔結構和改進損失函數等來提高模型對交通標志中小目標和遮擋目標的檢測能力，進而增強模型魯棒性和檢測能力。實驗結果表明，本文改進的模型相比于原YOLOX-S 模型，提升了交通標志檢測精度，滿足在實時交通場景中對交通標志檢測的準確性需求。并且該模型具有很好的泛化能力，也可以用于其他類型目標的檢測。下一步研究將圍繞使模型適應復雜的天氣變化，在保證模型檢測速度的同時，對模型進行優(yōu)化提升精度。