改進(jìn)SSD的交通標(biāo)志目標(biāo)檢測(cè)算法

肖丹東 陳勁杰

摘 要：以Faster R-CNN為代表的two-stage目標(biāo)檢測(cè)算法檢測(cè)速度慢，而one-stage目標(biāo)檢測(cè)算法中的SSD算法雖然檢測(cè)速度快，但對(duì)交通標(biāo)志類小目標(biāo)的檢測(cè)效果不佳。因此在SSD算法VGG16骨干網(wǎng)絡(luò)上引入感受野塊（RFB）結(jié)構(gòu)，既提升檢測(cè)速度又可在小目標(biāo)檢測(cè)上達(dá)到良好的檢測(cè)精度。與此同時(shí)，為提高網(wǎng)絡(luò)分類精度，在損失函數(shù)中加入中心損失。將SSD算法與改進(jìn)的SSD算法在VOC數(shù)據(jù)集上進(jìn)行訓(xùn)練，對(duì)比其性能可知，改進(jìn)后算法mPA值達(dá)到80.7%，相比SSD300（VGG16）算法提高了3.5%。該算法在LISA traffic sign數(shù)據(jù)集上訓(xùn)練，在遷移學(xué)習(xí)的基礎(chǔ)上得到的mPA值為78.4%，檢測(cè)單張圖像平均耗時(shí)為20.5ms，可滿足實(shí)時(shí)性要求。

關(guān)鍵詞：交通標(biāo)志;小目標(biāo)檢測(cè);RFB結(jié)構(gòu);中心損失

DOI：10. 11907/rjdk. 191977 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）005-0048-04

0 引言

交通標(biāo)志信息是交通場(chǎng)景中的重要環(huán)境信息，是保證先進(jìn)駕駛輔助系統(tǒng)（Advanced Driver Assistant System， ADAS）正常運(yùn)行的必要條件。目前基于計(jì)算機(jī)視覺的目標(biāo)檢測(cè)算法可部分滿足場(chǎng)景信息檢測(cè)需求[1]，但在實(shí)際應(yīng)用中還存在一些缺陷?；贠penCV的目標(biāo)檢測(cè)方法，如HOG（histogram of oriented gradient）、SIEF（scale-invariant feature transform）等方法使用人工設(shè)定先驗(yàn)條件的方式進(jìn)行檢測(cè)，導(dǎo)致算法魯棒性差，難以適應(yīng)交通標(biāo)志類復(fù)雜的交通場(chǎng)景檢測(cè);如果算法應(yīng)用到大范圍的智能化作業(yè)，不僅算法耗時(shí)、監(jiān)管人力消耗較大，同時(shí)算法實(shí)時(shí)性指標(biāo)也難以滿足[2]。

近年來，CNN網(wǎng)絡(luò)在ImagNet中表現(xiàn)卓越，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法在圖像目標(biāo)檢測(cè)領(lǐng)域成為應(yīng)用熱點(diǎn)，相比基于OpenCV的目標(biāo)檢測(cè)方法，基于CNN網(wǎng)絡(luò)的算法模型可檢測(cè)到圖像不同深度的特征，且可自主學(xué)習(xí)，獲得更豐富的特征。在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)領(lǐng)域有兩種類型的算法，一種是以Fast R-CNN、Faster R-CNN、R-FCN為代表的two-stage卷積神經(jīng)網(wǎng)絡(luò)算法[3-4];另一種是以YOLO、SSD、Retina-Net為代表的one-stage卷積神經(jīng)網(wǎng)絡(luò)算法[5-7]。這兩類算法各有優(yōu)劣，one-stage算法模型在檢測(cè)效率上更有優(yōu)勢(shì)，考慮到交通標(biāo)志目標(biāo)檢測(cè)實(shí)時(shí)性要求，SSD算法更貼合需求。但交通標(biāo)志目標(biāo)檢測(cè)屬于小目標(biāo)檢測(cè)，SSD算法在該類檢測(cè)中的檢測(cè)精度較差，小目標(biāo)特征信息主要依賴于網(wǎng)絡(luò)高層特征信息，因此本文選擇在SSD算法網(wǎng)絡(luò)高層特征提取過程中進(jìn)行改進(jìn)。

綜上所述，本文在高層特征的提取過程中，參照RFB結(jié)構(gòu)，通過RFB感受野提取卷積層輸出的Feature Map特征，從而減少特征損失[8]。與此同時(shí)，為提高網(wǎng)絡(luò)分類精度，在損失函數(shù)中添加Center Loss損失項(xiàng)[9]。

1 改進(jìn)SSD算法

1.1 SSD算法

SSD算法作為one-stage算法中的代表，是目前主流的目標(biāo)檢測(cè)框架之一[10]。SSD網(wǎng)絡(luò)骨干是VGG16，修改的部分是將VGG16全連接層fc6和fc7轉(zhuǎn)換成[3×3]的卷積層conv6和[1×1]的卷積層conv7，同時(shí)為減小特征圖大小，將池化層pool5中stride=2的[2×2]卷積核改成stride=1的[3×3]卷積核，然后刪除VGG16網(wǎng)絡(luò)中的dropout層和fc8層，在此基礎(chǔ)上增加輔助卷積層，處理fine-tuning工作[11]。

SSD算法通過淺層CNN網(wǎng)絡(luò)提取多尺度特征，進(jìn)而對(duì)目標(biāo)進(jìn)行檢測(cè)，其核心設(shè)計(jì)理念分為兩點(diǎn)：

（1）使用卷積后的特征作為檢測(cè)。相較于YOLO最后采用全連接層作為網(wǎng)絡(luò)預(yù)測(cè)輸出，SSD直接提取不同尺度的Feature Map，然后卷積輸出預(yù)測(cè)結(jié)果。這樣，對(duì)于形狀為[m×n×p]的Feature Map僅需[3×3×p]的小卷積核即可得到預(yù)測(cè)結(jié)果，減少計(jì)算量。

（2）設(shè)置先驗(yàn)框。SSD在預(yù)測(cè)多個(gè)bounding box時(shí)，區(qū)別于YOLO在訓(xùn)練過程中自適應(yīng)目標(biāo)的形狀，參照Faster R-CNN中的anchor，設(shè)置長(zhǎng)寬比不同的先驗(yàn)框，從而減少訓(xùn)練難度[12]。

SSD算法在訓(xùn)練過程中，因?yàn)槟繕?biāo)檢測(cè)需得到兩類信息，分別是目標(biāo)位置信息和目標(biāo)分類信息，所以損失函數(shù)針對(duì)位置誤差（Locatization Loss，loc）與置信度誤差（Confidengce Loss，conf）這兩類進(jìn)行計(jì)算回歸[13]。Loss函數(shù)是這兩類誤差函數(shù)的加權(quán)和：

1.2 SSD算法改進(jìn)

SSD算法采用多尺度預(yù)測(cè)的觀念，在特征提取上有所改進(jìn)，但是在構(gòu)建多尺度特征圖時(shí)使用VGG16網(wǎng)絡(luò)的conv4_3卷積層作為特征提取，對(duì)Input圖像進(jìn)行縮放，因此大小為[32×32]的小目標(biāo)物體圖像在conv5_3卷積層中的Feature Map上只有[2×2]，位置信息損失較大。交通場(chǎng)景中的交通標(biāo)志屬于小目標(biāo)，所以SSD算法對(duì)該類目標(biāo)檢測(cè)時(shí)會(huì)出現(xiàn)目標(biāo)特征信息丟失的情況。針對(duì)在conv4_3和conv5_3卷積層特征部分丟失的問題，對(duì)SSD算法從兩方面進(jìn)行改進(jìn)：①VGG16網(wǎng)絡(luò)中引入感受野塊（Receptive Field Block，RFB），在conv4_3和conv5_3的特征提取和后續(xù)的特征傳遞中作出修改;②考慮到交通標(biāo)志小目標(biāo)的特征信息較少，所以在損失函數(shù)中添加Center Loss損失項(xiàng)，改善網(wǎng)絡(luò)類別置信度預(yù)測(cè)[14]。

1.2.1 RFB結(jié)構(gòu)

RFB結(jié)構(gòu)從生物學(xué)角度，根據(jù)生物視覺成像原理，模擬不同大小的感受野。RFB結(jié)構(gòu)是以Inception為基礎(chǔ)，具體演變過程是Inception、Aspp和Deformable conv。

Inception主要采用3×3conv、9×9conv和15×15conv等不同尺寸卷積核的卷積層構(gòu)成多分支結(jié)構(gòu)，從而擴(kuò)大感受野。

Aspp在網(wǎng)絡(luò)中構(gòu)成多分支結(jié)構(gòu)，在卷積核大小不變的同時(shí)改變每個(gè)分支卷積核的rate大小，從而擴(kuò)大感受野維度。

Deformable conv來自Deeplab，膨脹卷積可在保持參數(shù)不變和感受野大小一致時(shí)，獲得更高分辨率特征[15]。

RFB綜合了以上幾種結(jié)構(gòu)的理念，主要結(jié)構(gòu)參照Inception模型。具體流程是由Previous layer傳入Input圖像，先分別經(jīng)過2個(gè)1×1conv，輸出的Feature Map一部分分別經(jīng)過1×1conv、3×3conv、5×5conv，然后再對(duì)應(yīng)經(jīng)過rate=1的2×2conv、rate=3的3×3conv、rate=5的3×3conv，最后融合由layer傳出的特征，經(jīng)過1×1conv，把shortcut的1×1conv特征融合，通過激活函數(shù)Relu給出預(yù)測(cè)結(jié)果。可以看出RFB核心采集不同感受野的特征，然后通過膨脹卷積和rate的方式進(jìn)一步擴(kuò)大感受野，接著考慮過程中的信息損失，將最后和最初的特征進(jìn)行融合，在盡可能豐富特征信息的同時(shí)保證特征信息不會(huì)丟失。

RFB結(jié)構(gòu)在網(wǎng)絡(luò)中在conv4_3和conv7_fc的特征提取中替代原有方式，如圖1所示。

改進(jìn)部分將conv4_3和conv7_fc卷積層提取特征換成RFB模塊，同時(shí)把Extra layers中卷積層前兩層也替換成RFB結(jié)構(gòu)。在特征提取過程中，conv4_3和conv7_fc的Feature Map在RFB結(jié)構(gòu)中把特征信息小目標(biāo)部分的特征放大，然后將多階段的放大特征與原特征融合，再處理骨干網(wǎng)絡(luò)各個(gè)階段特征，最后進(jìn)行分類和定位預(yù)測(cè)。

1.2.2 Center Loss部分

原SSD算法是對(duì)每一個(gè)Default生成一個(gè)4維Localization向量和一個(gè)Object_number維度的分類向量。為了更好地識(shí)別和分類，引入Center feature，它可以讓每個(gè)Default box進(jìn)行中心點(diǎn)回歸。不同類別的中心點(diǎn)相隔較遠(yuǎn)，相同類別的中心點(diǎn)靠近。

通過在SSD算法的前向傳播和后向傳播過程中計(jì)算center部分的loss梯度，得出loss極值情況，然后和SSD算法的原loss部分結(jié)合，得出置信度分類預(yù)測(cè)。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)平臺(tái)與數(shù)據(jù)

實(shí)驗(yàn)電腦硬件采用戴爾工作站，配備NVIDIA 1080Ti作為GPU加速卡。操作系統(tǒng)為Ubuntu16.04，深度學(xué)習(xí)框架選擇Tensorflow。

為驗(yàn)證改進(jìn)SSD算法在目標(biāo)檢測(cè)中的效果，首先使用VOC2007與VOC2012混合數(shù)據(jù)對(duì)模型進(jìn)行評(píng)估。VOC2007和VOC2012數(shù)據(jù)集包含1 674張圖片，可用于訓(xùn)練和驗(yàn)證。通過訓(xùn)練結(jié)果測(cè)試調(diào)整算法超參數(shù)，在算法收斂速度和精度上可獲得優(yōu)化[16]。在此基礎(chǔ)上，使用遷移學(xué)習(xí)的方法，在LISA Traffic Sign數(shù)據(jù)集上進(jìn)行訓(xùn)練，得到最后模型的weight文件。

2.2 算法訓(xùn)練分析

首先是數(shù)據(jù)集預(yù)處理，為保證算法魯棒性，將圖片進(jìn)行隨機(jī)旋轉(zhuǎn)，對(duì)稱映像，然后增加圖片對(duì)比度。算法初始學(xué)習(xí)率設(shè)定為0.004，后續(xù)學(xué)習(xí)率變化如公式（8）所示。

然后在VOC2007和VOC2012數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，bitch_size設(shè)為16，epoch設(shè)為50次。其中參數(shù)momentum和weight decay分別設(shè)為0.9和0.000 5。模型訓(xùn)練結(jié)果精度使用平均準(zhǔn)確率均值（mAP）作為評(píng)價(jià)標(biāo)準(zhǔn)[17]。在交通標(biāo)志目標(biāo)檢測(cè)中每個(gè)類別均可根據(jù)召回率（recall）和準(zhǔn)確率（precision）組合成一條曲線，而mAP是多個(gè)類別AP的平均值。

使用Tensorflow中tensorboard工具動(dòng)態(tài)對(duì)比觀察每個(gè)Feature Map給出的loss變化情況，觀察loss收斂情況。

2.3 實(shí)驗(yàn)結(jié)果分析

在服務(wù)器上根據(jù)VOC數(shù)據(jù)集進(jìn)行訓(xùn)練，然后采集前16個(gè)epoch的feature Map loss情況，觀察函數(shù)曲線收斂情況，如圖2所示。

從圖2中可以看出算法val_loss從feature_1到feature_4處于收斂狀態(tài)，而在feature_5中l(wèi)oss出現(xiàn)震蕩，從加權(quán)l(xiāng)oss和pixel_error看出整體上算法處于收斂狀態(tài)，改進(jìn)的算法在損失函數(shù)上表現(xiàn)良好。

同時(shí)將改進(jìn)的SSD算法在數(shù)據(jù)集上的表現(xiàn)與SSD算法、one-stage典型算法、two-stage典型算法相比較（見表1），可看出改進(jìn)算法在mAP、FPS上均有提高，檢測(cè)效果雖沒有大的提升，但是在小目標(biāo)場(chǎng)景下檢測(cè)效果沒有下降，同時(shí)在FPS指標(biāo)上效果明顯，實(shí)時(shí)性有較大提高。

從圖3中可以看出，無論對(duì)于近景還是遠(yuǎn)景、單個(gè)交通標(biāo)志或多個(gè)交通標(biāo)志，改進(jìn)后的SSD算法均能準(zhǔn)確定位和識(shí)別場(chǎng)景中的標(biāo)志，證明該算法達(dá)到預(yù)期檢測(cè)效果。

3 結(jié)語

本文對(duì)SSD算法進(jìn)行改進(jìn)，一方面保留了原網(wǎng)絡(luò)低深度、輕量化的特性，另一方面在原網(wǎng)絡(luò)中引入RFB結(jié)構(gòu)，在損失函數(shù)中中加入Center Loss損失項(xiàng)。因此，算法在位置預(yù)測(cè)精度和分類預(yù)測(cè)精度上得到優(yōu)化，而在檢測(cè)速度上沒有受到明顯影響。在VOC2007和VOC2012數(shù)據(jù)集上進(jìn)行驗(yàn)證可知，改進(jìn)后的SSD算法結(jié)構(gòu)合理，在LISA Traffic Sign數(shù)據(jù)集中對(duì)交通標(biāo)志類小目標(biāo)檢測(cè)可取得較好效果。然而RFB結(jié)構(gòu)雖然可以擴(kuò)大特征的感受野，但是基于VGG16的淺層網(wǎng)絡(luò)本身無法獲得較多的特征信息，而且低層網(wǎng)絡(luò)特征并沒有得到優(yōu)化處理，所以下一步需在網(wǎng)絡(luò)骨干上進(jìn)行改進(jìn)，從而保證目標(biāo)特征信息可被充分提取[18]，進(jìn)一步提高算法精度和效率。

參考文獻(xiàn)：

[1] 錢建軒，朱偉興. 基于計(jì)算機(jī)視覺的動(dòng)物跛腳行為識(shí)別[J]. 軟件導(dǎo)刊，2018，17（10）：14-17.

[2] 張三友，姜代紅. 基于OPENCV的智能車牌識(shí)別系統(tǒng)[J]. 軟件導(dǎo)刊，2016，15（5）：87-89.

[3] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[4] DAI J，LI Y，HE K，et al. R-FCN：object detection via region-based fully convolutional networks[C]. Proceedings of the 30th International Conference on Neural Information Processing Systems，2016：379-387.

[5] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，real-time object detection[C]. IEEE Conference on Computer Vision & Pattern Recognition，2016：109-125.

[6] LIU W，ANGUELOV D，ERHAN D，et al. SSD：single shot multibox detector[J]. European Conference on Computer Vision，2016：21-31.

[7] LIN T Y，GOYAL P，GIRSHICK R，et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，99：2999-3007.

[8] LIU S，HUANG D，WANG Y. Receptive field block net for accurate and fast object detection[J]. European Conference on Computer Vision，2017：1711-1720.

[9] WEN Y，ZHANG K，LI Z，et al. A discriminative feature learning approach for deep face recognition[C]. Computer Vision–ECCV ，2016：499-515.

[10] 李超凡，陳慶奎. 基于學(xué)習(xí)算法SSD的實(shí)時(shí)道路擁堵檢測(cè)[J]. 軟件導(dǎo)刊，2018，17（6）：12-16.

[11] 徐樂，劉翔，張華. 基于SSD的道路前方車輛檢測(cè)[J]. 軟件導(dǎo)刊，2019（5）：27-30.

[12] 莫宏偉，汪海波. 基于Faster R-CNN的人體行為檢測(cè)研究[J]. 智能系統(tǒng)學(xué)報(bào)，2018，13（6）：107-113.

[13] 徐智康，李旸，李德玉. 基于可變最小貝葉斯風(fēng)險(xiǎn)的層次多標(biāo)簽分類方法[J]. ?南京大學(xué)學(xué)報(bào)（自然科學(xué)），2017，53（6）：39-48.

[14] 張駿，梅魁志，趙季中. 基于置信度評(píng)估的Cache污染過濾技術(shù)[J]. 高技術(shù)通訊，2011，21（6）：644-651.

[15] 徐峰，鄭斌，郭進(jìn)祥，等. 基于U-Net的結(jié)節(jié)分割方法[J]. 軟件導(dǎo)刊，2018，17（8）：165-168.

[16] 華夏，王新晴，王東，等. 基于改進(jìn)SSD的交通大場(chǎng)景多目標(biāo)檢測(cè)[J]. 光學(xué)學(xué)報(bào)，2019，38（12）：221-231.

[17] 唐聰，凌永順，鄭科棟，等. 基于深度學(xué)習(xí)的多視窗SSD目標(biāo)檢測(cè)方法[J]. 紅外與激光工程，2018，3（1）：290-298.

[18] SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

（責(zé)任編輯：江 艷）