改進(jìn)SSD算法在交通標(biāo)志檢測(cè)中的應(yīng)用

孫 超，溫 蜜，景俐娜

上海電力大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200090

隨著人工智能和交通網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺算法服務(wù)于自動(dòng)駕駛領(lǐng)域中的交通標(biāo)志檢測(cè)的需求也日益增加。交通標(biāo)志檢測(cè)[1]是高級(jí)輔助駕駛系統(tǒng)和自動(dòng)駕駛系統(tǒng)中的子任務(wù)，對(duì)維護(hù)駕駛員的安全有著重要作用。但由于目標(biāo)尺寸小、光照變化、部分遮擋、背景雜亂等問(wèn)題[2]，在實(shí)際的自然場(chǎng)景中對(duì)交通標(biāo)志進(jìn)行檢測(cè)還存在一些困難。

過(guò)去，傳統(tǒng)的交通標(biāo)志檢測(cè)方法主要通過(guò)提取目標(biāo)的顏色、形狀等特征進(jìn)行分類。Li等人[3]提出一種Ohta空間的顏色概率模型來(lái)計(jì)算目標(biāo)的顏色概率圖，提取交通標(biāo)志的輪廓信息進(jìn)行檢測(cè)。Liang 等人[4]為目標(biāo)的每個(gè)類別設(shè)計(jì)了一組模板，用于匹配每類交通標(biāo)志的形狀。Wang等人[5]在德國(guó)交通標(biāo)志檢測(cè)大賽中，采用方向梯度（histogram of gradient，HOG）特征和支持向量機(jī)（support vector machine，SVM）分類器的直方圖來(lái)檢測(cè)交通標(biāo)志并獲得了高分。Xiao等人[6]使用BCNN（Boolean convolutional neural networks）結(jié)合HOG特征對(duì)GTSDB[7]（German traffic sign detection benchmark）基準(zhǔn)上的交通標(biāo)志進(jìn)行識(shí)別。上述方法雖然提高了交通標(biāo)志的檢測(cè)精度，但在實(shí)時(shí)性方面依然難以滿足工業(yè)應(yīng)用的要求。

自2012 年AlexNet[8]在ImageNet[9]圖像分類比賽中獲得巨大成功后，基于CNN（convolutional neural networks）的目標(biāo)檢測(cè)方法逐漸成為主流，大致可分為兩類：多階段目標(biāo)檢測(cè)和單階段目標(biāo)檢測(cè)。

多階段目標(biāo)檢測(cè)方法先提取圖像候選框區(qū)域，然后基于候選框做二次修正得到檢測(cè)結(jié)果。早期的Overfeat算法[10]利用多尺度滑動(dòng)窗口對(duì)目標(biāo)進(jìn)行檢測(cè)。RCNN（region-CNN）算法[11]利用選擇性搜索[12]策略來(lái)建立ROI（region of interest）區(qū)域，并使用SVM 進(jìn)行最終預(yù)測(cè)。為了檢測(cè)不同尺寸的圖像，F(xiàn)ast R-CNN[13]基于RCNN對(duì)SPP-Net（spatial pyramid pooling networks）[14]進(jìn)行改進(jìn)，使得網(wǎng)絡(luò)可以實(shí)現(xiàn)端到端的訓(xùn)練?？紤]到Fast R-CNN中選擇性搜索的巨大時(shí)間成本，F(xiàn)aster R-CNN[15]提出了一種RPN（region proposal network）網(wǎng)絡(luò)，通過(guò)共享卷積層從準(zhǔn)確性上進(jìn)一步提升了目標(biāo)檢測(cè)器的性能。

單階段檢測(cè)方法直接對(duì)圖像進(jìn)行檢測(cè)，在犧牲精度的基礎(chǔ)上提升了檢測(cè)效率。其中YOLO（you only look once）[16]算法將物體檢測(cè)作為回歸問(wèn)題進(jìn)行求解，提升了檢測(cè)速度。YOLOv2[17]為了解決YOLO 檢測(cè)精度低的問(wèn)題，在其基礎(chǔ)上增加先驗(yàn)框、多尺度訓(xùn)練等策略。隨后，劉紫燕等人[18]在YOLOv3[19]算法的基礎(chǔ)上融合SPP網(wǎng)絡(luò)并對(duì)FPN（feature pyramid network）結(jié)構(gòu)進(jìn)行改進(jìn)，提升了交通標(biāo)志的檢測(cè)精度。SSD（single shot multibox detector）[20]算法融合YOLO的回歸思想和Faster R-CNN的Anchor 機(jī)制，使用多個(gè)不同尺度的特征圖對(duì)目標(biāo)進(jìn)行檢測(cè)，在檢測(cè)精度和速度上達(dá)到了更好的平衡。而在實(shí)際的道路交通中，交通標(biāo)志擁有更小的尺寸、更復(fù)雜的背景信息，單階段檢測(cè)算法雖然能在大多數(shù)目標(biāo)上取得較好的檢測(cè)結(jié)果，但在交通標(biāo)志檢測(cè)的應(yīng)用場(chǎng)景中還存在一些不足。

綜上所述，由于單階段檢測(cè)算法具有良好的實(shí)時(shí)性能，本文在SSD 網(wǎng)絡(luò)的基礎(chǔ)上，提出一種改進(jìn)的交通標(biāo)志檢測(cè)方法。首先對(duì)SSD的特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出新的淺層特征提取方法，從不同維度提取目標(biāo)的特征信息，增強(qiáng)交通標(biāo)志的感受野區(qū)域。同時(shí)，對(duì)網(wǎng)絡(luò)中的深層特征圖進(jìn)行處理，通過(guò)條件參數(shù)卷積來(lái)加深網(wǎng)絡(luò)模型容量，提升交通標(biāo)志的特征表達(dá)能力。其次引入通道注意力機(jī)制，通過(guò)改進(jìn)全連接層來(lái)減少通道降維對(duì)模型的影響，并在特征通道中融入更多目標(biāo)的空間位置信息，增強(qiáng)交通標(biāo)志在特征圖中的顯著性。最后優(yōu)化算法的默認(rèn)框參數(shù)，調(diào)整默認(rèn)框的尺寸和數(shù)量來(lái)提升SSD模型對(duì)交通標(biāo)志的檢測(cè)效果。

1 SSD檢測(cè)算法

SSD 檢測(cè)算法對(duì)骨干網(wǎng)絡(luò)VGG16 進(jìn)行改進(jìn)，將全連接層FC7更改為卷積Conv7層，同時(shí)在后續(xù)的特征提取網(wǎng)絡(luò)中添加Conv8、Conv9、Conv10 和Conv11 這4 個(gè)卷積塊。通過(guò)級(jí)聯(lián)卷積的方式為目標(biāo)生成不同尺度的特征圖，并將得到的38×38、19×19、10×10、5×5、3×3 和1×1 大小的特征圖輸送到后續(xù)的回歸和分類任務(wù)分支中。其中，淺層特征圖層Conv4_3和Conv7用于識(shí)別小目標(biāo)，而深層的Conv8_2、Conv9_2、Conv10_2和Conv11_2特征圖用于檢測(cè)中等或大物體。SSD的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 SSD network structure

SSD 在不同尺度特征圖的每個(gè)單元上設(shè)置不同尺寸和寬高比的默認(rèn)框，通過(guò)默認(rèn)框的設(shè)計(jì)來(lái)降低網(wǎng)絡(luò)訓(xùn)練的難度。一般來(lái)說(shuō)，每個(gè)單元都會(huì)設(shè)置多個(gè)默認(rèn)框，但在尺寸和寬高比上會(huì)有一些變化。其中Conv4_3 特征圖層上的尺寸進(jìn)行單獨(dú)設(shè)計(jì)，產(chǎn)生的最小尺寸為30，其余特征圖中默認(rèn)框的大小由式（1）計(jì)算：

其中，m為特征圖的數(shù)量，Conv4_3 層的默認(rèn)框尺寸是單獨(dú)設(shè)計(jì)的，因此m=5。Sk表示默認(rèn)框尺寸與原圖的比例，其中Smin=0.2,Smax=0.9。

在SSD的不同尺度特征圖中，對(duì)每個(gè)單元上的默認(rèn)框設(shè)置不同的寬高比，來(lái)提高網(wǎng)絡(luò)對(duì)不同形狀目標(biāo)的魯棒性。每個(gè)默認(rèn)框的高度和寬度由式（2）計(jì)算：

對(duì)寬高比tr=1 的默認(rèn)框，在其基礎(chǔ)上產(chǎn)生一個(gè)新尺寸的默認(rèn)框，公式表示為：

因此，總共可以產(chǎn)生6 個(gè)不同寬高比的默認(rèn)框，寬高比的設(shè)計(jì)如圖2 所示。不同特征圖上每個(gè)默認(rèn)框的中心坐標(biāo)為：

圖2 默認(rèn)框的寬高比Fig.2 Aspect ratio of default box

其中，|fk|為特征圖的尺寸。通過(guò)將不同尺度特征圖中的特征映射與不同比例和寬高比的默認(rèn)框結(jié)合起來(lái)，SSD網(wǎng)絡(luò)可以適應(yīng)不同大小和形狀的目標(biāo)。

SSD 檢測(cè)算法通過(guò)不同尺度的特征圖和設(shè)定的默認(rèn)框?qū)δ繕?biāo)進(jìn)行檢測(cè)，在顯著的目標(biāo)上取得了較好的檢測(cè)效果，但由于交通標(biāo)志目標(biāo)在原始圖像中的分辨率較低，特征信息經(jīng)過(guò)卷積、池化等操作后將逐漸減少，嚴(yán)重影響交通標(biāo)志的檢測(cè)精度。為解決這個(gè)問(wèn)題，本文在SSD的基礎(chǔ)上進(jìn)行改進(jìn)優(yōu)化，提出了基于改進(jìn)特征提取網(wǎng)絡(luò)、融合注意力機(jī)制和優(yōu)化默認(rèn)框參數(shù)的檢測(cè)方法，通過(guò)實(shí)驗(yàn)和測(cè)試，驗(yàn)證了改進(jìn)的算法在交通標(biāo)志檢測(cè)上的有效性。

2 改進(jìn)SSD檢測(cè)算法

本章將對(duì)改進(jìn)的網(wǎng)絡(luò)模型進(jìn)行介紹，其中包括本文提出的特征提取方法、改進(jìn)的通道注意力機(jī)制以及SSD的默認(rèn)框參數(shù)優(yōu)化。

2.1 改進(jìn)特征提取網(wǎng)絡(luò)

SSD 利用不同卷積塊中的特征圖對(duì)不同大小的目標(biāo)進(jìn)行檢測(cè)，為了更好地提取復(fù)雜場(chǎng)景下交通標(biāo)志的特征信息，本文提出新的特征提取方法。首先，從不同的維度提取交通標(biāo)志的位置信息和方向感知，并將其聚合到新的特征圖中，以此來(lái)增強(qiáng)目標(biāo)特征的表達(dá)能力。其次，引入條件參數(shù)卷積（CondConv）[21]的方法，對(duì)SSD網(wǎng)絡(luò)的Conv8_2、Conv9_2、Conv10_2 和Conv11_2 特征圖層進(jìn)行卷積操作，利用特例化的卷積內(nèi)核來(lái)減少網(wǎng)絡(luò)開銷并提升模型的表達(dá)能力。改進(jìn)后的SSD 網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Improved SSD network structure

（1）特征提取網(wǎng)絡(luò)

由于高分辨率特征圖中包含更多交通標(biāo)志的特征信息，本文選取SSD網(wǎng)絡(luò)的淺層Conv4和Conv7卷積塊進(jìn)行特征提取，整個(gè)過(guò)程如圖4所示。

圖4 淺層特征提取網(wǎng)絡(luò)Fig.4 Shallow feature extraction network

為了更好地保留目標(biāo)空間方向的位置信息，使用(H,1)和(1,W)大小的池化內(nèi)核對(duì)輸入特征圖進(jìn)行池化操作，沿水平和垂直方向?qū)⑵浞纸鉃閮蓚€(gè)一維特征，大小分別為C×H×1 和C×1×W。隨后通過(guò)兩個(gè)不同尺寸的卷積內(nèi)核進(jìn)一步提取特征信息，并對(duì)H×W×C/2 大小的特征圖進(jìn)行融合，經(jīng)過(guò)BN 和ReLU 激活函數(shù)處理后將其輸送到后續(xù)的特征提取網(wǎng)絡(luò)中。此外，為了更好地提升交通標(biāo)志的感受野區(qū)域，對(duì)特征圖進(jìn)行分組卷積，利用C組1×1大小的卷積內(nèi)核來(lái)學(xué)習(xí)更多的特征信息，最后將編碼后的特征圖輸送到SSD網(wǎng)絡(luò)的分類和回歸任務(wù)分支中。

通過(guò)本文提出的特征提取網(wǎng)絡(luò)對(duì)特征圖進(jìn)行處理，目標(biāo)的空間位置信息被很好地保存下來(lái)，同時(shí)交通標(biāo)志的感受野區(qū)域進(jìn)一步增強(qiáng)，可以有效地提升復(fù)雜背景下交通標(biāo)志的檢測(cè)精度。

（2）條件參數(shù)卷積

在SSD的后續(xù)特征提取網(wǎng)絡(luò)中，對(duì)4個(gè)不同尺度的輸入特征圖進(jìn)行特例化的卷積計(jì)算，隨后再使用得到的卷積核對(duì)特征圖做卷積操作得到對(duì)應(yīng)的輸出，整個(gè)卷積過(guò)程的數(shù)學(xué)表達(dá)式為：

其中，σ表示激活函數(shù)，n為專家混合的數(shù)量，Wi為SSD網(wǎng)絡(luò)中原始卷積層的內(nèi)核維度，而αi=ri(x)是一個(gè)依賴于輸入特征圖的標(biāo)量權(quán)重，由具有學(xué)習(xí)參數(shù)的路由函數(shù)計(jì)算得到：

條件參數(shù)卷積的應(yīng)用相當(dāng)于多個(gè)專家公式的線性組合，數(shù)學(xué)公式表示為式（7），其中每個(gè)專家對(duì)應(yīng)于傳統(tǒng)的靜態(tài)卷積。因此，條件參數(shù)卷積具有與n個(gè)專家線性混合相同的容量，但是計(jì)算效率更高，因?yàn)橹恍枰獙?duì)一個(gè)昂貴的卷積操作進(jìn)行運(yùn)算。

圖5 為條件參數(shù)卷積示意圖，可以看出，對(duì)輸入特征圖(H×W×C)做全局平均池化（global average pooling，GAP）得到C維向量之后，通過(guò)FC層獲取n維向量（對(duì)應(yīng)n個(gè)專家的加權(quán)值），然后利用Sigmoid 函數(shù)將值約束到[0，1]中來(lái)作為n個(gè)卷積核參數(shù)的加權(quán)權(quán)重，最后與輸入特征圖進(jìn)行組合可生成具有權(quán)值的新特征圖，并將該層特征圖用于后續(xù)的任務(wù)分支中。

圖5 條件參數(shù)卷積Fig.5 Conditional parameter convolution

本文對(duì)SSD模型的特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)，單獨(dú)處理網(wǎng)絡(luò)的Conv4_3、Conv7層特征圖，通過(guò)特征提取網(wǎng)絡(luò)對(duì)交通標(biāo)志的空間坐標(biāo)信息和位置信息進(jìn)行探索，讓網(wǎng)絡(luò)學(xué)到更多目標(biāo)的細(xì)節(jié)信息，并進(jìn)一步增強(qiáng)淺層特征圖上目標(biāo)的感受野區(qū)域。同時(shí)，使用條件參數(shù)卷積內(nèi)核對(duì)深層特征圖進(jìn)行計(jì)算，通過(guò)提升核生成函數(shù)的復(fù)雜性來(lái)提升模型的容量，在減少網(wǎng)絡(luò)參數(shù)的同時(shí)增強(qiáng)交通標(biāo)志的特征表達(dá)能力。

2.2 改進(jìn)通道注意力機(jī)制

為了使SSD模型關(guān)注到更多的交通標(biāo)志目標(biāo)，本文引入注意力機(jī)制并進(jìn)行改進(jìn)。通道注意力機(jī)制首次由SE-Net[22]提出，通過(guò)建立特征之間的空間相關(guān)性，提升卷積神經(jīng)網(wǎng)絡(luò)的性能，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 SE-Net結(jié)構(gòu)Fig.6 SE-Net structure

具體來(lái)說(shuō)，給定輸入特征，SE-Net 對(duì)每個(gè)通道進(jìn)行全局平均池化（GAP），然后使用兩個(gè)全連接層（FC）和Sigmoid函數(shù)來(lái)生成通道權(quán)重。盡管這種策略被廣泛用于后續(xù)的通道注意力模塊中，但降維操作會(huì)破壞通道與權(quán)重之間的直接對(duì)應(yīng)關(guān)系，同時(shí)SE-Net 只對(duì)特征通道進(jìn)行處理，忽視了目標(biāo)的空間特征信息。基于此，本文在SSD 網(wǎng)絡(luò)中融入通道注意力模塊，并對(duì)其進(jìn)行改進(jìn)，強(qiáng)化特征通道之間的信息交互，優(yōu)化通道與權(quán)值的對(duì)應(yīng)關(guān)系，改善目標(biāo)的空間特征表達(dá)。

本文使用的通道注意力結(jié)構(gòu)如圖7 所示。給定輸入特征圖χ∈RH×W×C，首先沿著通道方向?qū)⑵浞譃?個(gè)分支，即χ1,χ2∈RH×W×C/2。其中χ1利用通道間的相互關(guān)系生成通道注意力圖，χ2通過(guò)特征之間的空間位置關(guān)系形成空間注意力圖。

圖7 改進(jìn)通道注意力結(jié)構(gòu)Fig.7 Improved channel attention structure

對(duì)于通道注意力子圖，使用全局平均池化進(jìn)行編碼，生成大小為1×1×C/2 的特征通道。同時(shí)為了減少SE-Net中全連接層帶來(lái)的降維影響，使用一維卷積內(nèi)核來(lái)學(xué)習(xí)通道之間的直接對(duì)應(yīng)關(guān)系，隨后通過(guò)簡(jiǎn)單的Sigmoid 函數(shù)將其編碼為不同的權(quán)重?cái)?shù)值，并最終與輸入特征圖進(jìn)行相乘操作，得到具有更強(qiáng)目標(biāo)相應(yīng)的子特征圖。

同時(shí)，為了更好地學(xué)習(xí)交通標(biāo)志在特征圖中的位置敏感度，對(duì)χ2輸入使用1×1 的卷積內(nèi)核得到H×W×1的特征圖，然后使用Sigmoid 函數(shù)進(jìn)行激活，并與輸入χ2進(jìn)行空間信息校準(zhǔn)生成空間注意力子圖。最后對(duì)兩個(gè)不同的特征子圖進(jìn)行融合操作，輸出具有交通標(biāo)志關(guān)鍵特征信息的新特征圖，并將該特征圖用于SSD網(wǎng)絡(luò)的后續(xù)特征提取網(wǎng)絡(luò)中。

綜上所述，由于高分辨率的特征圖擁有更豐富的交通標(biāo)志特征信息，本文選擇在SSD 網(wǎng)絡(luò)的淺層特征圖Conv7 后加入通道注意力模塊。通過(guò)對(duì)Conv7 層特征圖進(jìn)行分解，并行提取目標(biāo)的重要感知信息和空間位置信息，增強(qiáng)交通標(biāo)志目標(biāo)在特征圖上的顯著性，提升SSD模型對(duì)交通標(biāo)志的檢測(cè)精度。

2.3 優(yōu)化默認(rèn)框參數(shù)

SSD算法利用不同尺度的特征圖對(duì)目標(biāo)進(jìn)行檢測(cè)，每層特征圖上設(shè)置不同尺寸和數(shù)量的默認(rèn)框。為了讓默認(rèn)框更好地框定目標(biāo)并減少?gòu)?fù)雜背景信息的干擾，本文根據(jù)交通標(biāo)志尺寸小的特點(diǎn)對(duì)默認(rèn)框的尺寸和數(shù)量進(jìn)行優(yōu)化，將SSD 網(wǎng)絡(luò)使用的Smin和Smax設(shè)計(jì)為0.14和0.86，并將用于檢測(cè)大目標(biāo)的Conv10_2 和Conv11_2層特征圖上的默認(rèn)框數(shù)量調(diào)整為0，來(lái)減少網(wǎng)絡(luò)參數(shù)。改進(jìn)后的目標(biāo)默認(rèn)框尺寸和數(shù)量如表1 所示。通過(guò)減少默認(rèn)框的尺寸和數(shù)量，可以有效避免交通標(biāo)志因尺寸小而無(wú)法與默認(rèn)框匹配的問(wèn)題，同時(shí)可提高SSD對(duì)交通標(biāo)志的檢測(cè)速度。

表1 每層特征圖上的默認(rèn)框尺寸和數(shù)量Table 1 Default box size and number on each layer of feature maps

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法的有效性，在CCTSDB數(shù)據(jù)集上與其他方法進(jìn)行對(duì)比分析，并在該基準(zhǔn)上對(duì)提出的方法進(jìn)行消融實(shí)驗(yàn)，同時(shí)通過(guò)LISA 數(shù)據(jù)集來(lái)驗(yàn)證改進(jìn)的SSD檢測(cè)模型在其他交通標(biāo)志上的魯棒性。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

3.1.1 CCTSDB數(shù)據(jù)集

CCTSDB為中國(guó)交通標(biāo)志數(shù)據(jù)基準(zhǔn)，其中包含來(lái)自城市道路和高速公路等場(chǎng)景的15 734張圖像，分辨率為1 000×350～1 024×768，數(shù)據(jù)類別為mandatory、prohibitory、warning。

本文在CCTSDB數(shù)據(jù)集中選取不同場(chǎng)景、相似度較低的3 105張圖片，挑選合適的圖片進(jìn)行數(shù)據(jù)增強(qiáng)操作，對(duì)符合條件的圖片加入雨、霧、雪和多云4 種不同的天氣因素進(jìn)行擴(kuò)充，使其具有更多的自然天氣場(chǎng)景，擴(kuò)充后的數(shù)據(jù)集示例如圖8所示。通過(guò)數(shù)據(jù)增強(qiáng)操作，共有4 000 張圖片用于訓(xùn)練和測(cè)試，其中3 200 張訓(xùn)練圖片，800張測(cè)試圖片，對(duì)本文改進(jìn)的算法進(jìn)行評(píng)估。

圖8 基于天氣因素的數(shù)據(jù)增強(qiáng)Fig.8 Data enhancement based on weather factors

3.1.2 LISA數(shù)據(jù)集

美國(guó)交通標(biāo)志LISA 數(shù)據(jù)集提供6 610 張分辨率為648×480～1 024×522的圖像，共有47個(gè)類別。該數(shù)據(jù)集中大多數(shù)類別的實(shí)例數(shù)較少，因此本文選擇實(shí)例數(shù)較多的4類交通標(biāo)志進(jìn)行檢測(cè)，分別為stop、pedestrianCrossing、singalAhead、speedLimit。經(jīng)過(guò)對(duì)LISA 數(shù)據(jù)集進(jìn)行處理，將3 764張圖片用于訓(xùn)練，941張圖片用于測(cè)試。

3.2 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)基于Ubunta18.04操作系統(tǒng)，CPU為Intel?CoreTMi9-9900K，GPU為NVIDIA GeForce 2080，16 GB顯存，訓(xùn)練及測(cè)試在深度學(xué)習(xí)Pytorch框架上完成。

為了對(duì)改進(jìn)的SSD交通標(biāo)志檢測(cè)算法進(jìn)行評(píng)估，選用查準(zhǔn)率(precision,P)、召回率(recall,R)、AP 和mAP作為評(píng)價(jià)指標(biāo)，計(jì)算公式為：

式中，TP表示檢測(cè)到的目標(biāo)類別與真實(shí)目標(biāo)類別一致的樣本數(shù)量；FP為檢測(cè)到的目標(biāo)類別與真實(shí)目標(biāo)類別不一致的樣本數(shù)量；FN是真實(shí)目標(biāo)存在但未被網(wǎng)絡(luò)檢測(cè)出來(lái)的樣本數(shù)量；N為目標(biāo)類別數(shù)。

3.3 CCTSDB數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

3.3.1 與其他方法的性能比較

本小節(jié)將本文改進(jìn)的SSD 檢測(cè)算法與其他先進(jìn)的方法進(jìn)行比較，其中包括Faster R-CNN，YOLO 系列的YOLOv3、YOLOv4[23]，基于Anchor-free的CornerNet[24]、CenterNet[25]方法以及SSD的不同改進(jìn)DSSD[26]和FSSD[27]算法。

表2 為不同算法在CCTSDB 數(shù)據(jù)集上獲得的類別AP 值，其中SSD300 和SSD512 模型在3 類交通標(biāo)志上獲得的準(zhǔn)確率分別為84.9%、83.1%、91.0%和85.0%、85.9%、90.7%。相比于其他常用的檢測(cè)方法，SSD 在具體數(shù)據(jù)類別上并沒有取得較好的優(yōu)勢(shì)。通過(guò)本文的方法對(duì)其進(jìn)行改進(jìn)，SSD300 和SSD512 模型的類別AP 值分別提高了8.1個(gè)百分點(diǎn)、9.5個(gè)百分點(diǎn)、5.1個(gè)百分點(diǎn)和8.8個(gè)百分點(diǎn)、10.2個(gè)百分點(diǎn)、5.9個(gè)百分點(diǎn)。與其他的檢測(cè)算法相比，本文改進(jìn)的SSD交通標(biāo)志檢測(cè)算法在不同的輸入尺寸下均取得了較好的檢測(cè)結(jié)果，具有更好的準(zhǔn)確性。

表2 不同算法的AP對(duì)比Table 2 AP comparison of different algorithms

為了驗(yàn)證本文所提方法的實(shí)時(shí)性，對(duì)各模型的檢測(cè)速率進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表3 所示?？梢钥闯?，本文提出的方法獲得了較好的檢測(cè)結(jié)果。具體來(lái)說(shuō)，F(xiàn)aster R-CNN 的檢測(cè)準(zhǔn)確率為83.9%，但檢測(cè)速度只有15.4 FPS。YOLOv4可以在YOLOv3算法的基礎(chǔ)上進(jìn)一步提升mAP 和FPS，檢測(cè)單張圖片只需11 ms。Center-Net 算法的mAP 超過(guò)了SSD512 模型，檢測(cè)精度為87.7%。與其他的檢測(cè)算法相比，本文改進(jìn)的SSD300可以獲得更高的準(zhǔn)確率，mAP 達(dá)到93.9%，檢測(cè)速度為87.5 FPS，檢測(cè)圖片所需的時(shí)間也僅為11 ms。隨著輸入圖像的分辨率的提升，檢測(cè)精度也進(jìn)一步提升，改進(jìn)SSD512 模型的mAP 為95.5%。實(shí)驗(yàn)表明，本文改進(jìn)的SSD檢測(cè)算法具有良好的實(shí)時(shí)性和準(zhǔn)確性，可滿足實(shí)際場(chǎng)景的檢測(cè)需求。

表3 不同算法的性能對(duì)比Table 3 Performance comparison of different algorithms

此外，根據(jù)上述幾種檢測(cè)方法和改進(jìn)的SSD300 在三種數(shù)據(jù)類別上的Precision 和Recall 值，繪制了P-R 曲線，如圖9所示。可以看出，本文改進(jìn)SSD網(wǎng)絡(luò)的P-R曲線在不同數(shù)據(jù)類別的檢測(cè)結(jié)果中，都能夠包圍住其他的檢測(cè)模型，說(shuō)明本文方法可以有效地檢測(cè)出其他算法未檢測(cè)到的交通標(biāo)志。

圖9 不同算法的P-R曲線Fig.9 P-R curves of different algorithms

3.3.2 消融實(shí)驗(yàn)結(jié)果與分析

本小節(jié)對(duì)提出的方法進(jìn)行消融對(duì)比分析，實(shí)驗(yàn)結(jié)果如表4所示，其中改進(jìn)1、2、3、4分別表示改進(jìn)SSD300的淺層特征提取網(wǎng)絡(luò)，對(duì)深層特征圖進(jìn)行條件參數(shù)卷積，在Conv7層特征通道后融入注意力模塊，以及對(duì)默認(rèn)框參數(shù)進(jìn)行優(yōu)化。

從表4 中可知，對(duì)淺層特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)，充分學(xué)習(xí)交通標(biāo)志的位置感知和方向感知信息，可將檢測(cè)精度提升4.7個(gè)百分點(diǎn)，但檢測(cè)速度有所下降；使用條件參數(shù)卷積內(nèi)核對(duì)SSD網(wǎng)絡(luò)的深層特征圖進(jìn)行處理，可有效增強(qiáng)交通標(biāo)志的特征表達(dá)能力，帶來(lái)更少的網(wǎng)絡(luò)開銷，相比于SSD 算法依然能保持較高的檢測(cè)速率；引入通道注意力模塊來(lái)增加目標(biāo)的顯著性可提升檢測(cè)的平均準(zhǔn)確率，mAP 達(dá)到89.9%，同時(shí)由于對(duì)特征通道進(jìn)行分組處理，減少了部分網(wǎng)絡(luò)參數(shù)，檢測(cè)每張圖片需要的時(shí)間僅為11 ms；默認(rèn)框參數(shù)的優(yōu)化進(jìn)一步提升了檢測(cè)速度。最后結(jié)合上述四種不同的改進(jìn)方法，相對(duì)于SSD檢測(cè)模型，本文改進(jìn)的SSD 將檢測(cè)精度提升7.6 個(gè)百分點(diǎn)，檢測(cè)速度達(dá)到87.5 FPS，檢測(cè)圖片所需的時(shí)間與SSD模型一樣，這表明本文改進(jìn)的交通標(biāo)志檢測(cè)算法具有較好的應(yīng)用價(jià)值。

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Results of ablation experiments

3.4 LISA數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

為了進(jìn)一步驗(yàn)證本文改進(jìn)的SSD 檢測(cè)模型對(duì)其他交通標(biāo)志的魯棒性，在LISA數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，相關(guān)實(shí)驗(yàn)結(jié)果在表5中進(jìn)行展示。

表5 整體檢測(cè)性能對(duì)比Table 5 Overall detection performance comparison

通過(guò)對(duì)比表5中的檢測(cè)結(jié)果可知，改進(jìn)后的SSD300和SSD512 模型在LISA 數(shù)據(jù)集上獲得的mAP 分別為94.6%和96.7%，相比于SSD提升了8.5個(gè)百分點(diǎn)和6.2個(gè)百分點(diǎn)。同時(shí)，改進(jìn)后的SSD檢測(cè)算法依然有較高的檢測(cè)速率，表明本文提出的方法在其他交通標(biāo)志數(shù)據(jù)集上具有良好的魯棒性。

3.5 圖片檢測(cè)結(jié)果

本節(jié)隨機(jī)選取部分圖片進(jìn)行可視化，圖10為CCTSDB數(shù)據(jù)集上的檢測(cè)結(jié)果，從左到右分別為SSD檢測(cè)結(jié)果和改進(jìn)的SSD檢測(cè)結(jié)果?？梢钥闯?，在不同的自然交通道路場(chǎng)景中，本文改進(jìn)的SSD模型均可檢測(cè)出交通標(biāo)志類別，并在SSD 算法的基礎(chǔ)上進(jìn)一步提升了檢測(cè)精度，可滿足工業(yè)應(yīng)用的高準(zhǔn)確性要求。

圖10 CCTSDB數(shù)據(jù)集可視化Fig.10 CCTSDB dataset visualization

LISA 數(shù)據(jù)集的可視化結(jié)果如圖11 所示。可以發(fā)現(xiàn)，不管在什么樣的拍攝圖片中，本文改進(jìn)的SSD 模型依然有很好的表現(xiàn)，不僅可以檢測(cè)到SSD漏檢的交通標(biāo)志，還可以在原有的基礎(chǔ)上提升檢測(cè)精度。綜上各種環(huán)境下的圖片檢測(cè)結(jié)果可知，改進(jìn)后的SSD算法在交通標(biāo)志檢測(cè)方面具有良好的性能。

圖11 LISA數(shù)據(jù)集可視化Fig.11 LISA dataset visualization

4 結(jié)束語(yǔ)

針對(duì)無(wú)人駕駛場(chǎng)景中交通標(biāo)志檢測(cè)精度低、實(shí)時(shí)性差等問(wèn)題，本文對(duì)SSD算法進(jìn)行改進(jìn)。首先設(shè)計(jì)新的特征提取網(wǎng)絡(luò)來(lái)學(xué)習(xí)目標(biāo)的位置和方向信息，增強(qiáng)交通標(biāo)志的特征表達(dá)能力，同時(shí)通過(guò)條件參數(shù)卷積來(lái)提取目標(biāo)的重要特征信息。其次在網(wǎng)絡(luò)中加入通道注意力模塊，增強(qiáng)交通標(biāo)志目標(biāo)的顯著性。最后對(duì)默認(rèn)框尺寸和數(shù)量進(jìn)行優(yōu)化，提升網(wǎng)絡(luò)對(duì)交通標(biāo)志的檢測(cè)效果。改進(jìn)后的SSD 算法在保持檢測(cè)速率的同時(shí)將檢測(cè)精度提升了7.6個(gè)百分點(diǎn)和8.5個(gè)百分點(diǎn)，并對(duì)復(fù)雜自然場(chǎng)景中的交通標(biāo)志具有更好的魯棒性。在未來(lái)的研究工作中，將關(guān)注如何在高分辨輸入圖像的前提下，提升SSD模型對(duì)交通標(biāo)志的檢測(cè)速度。