基于SSD卷積神經(jīng)網(wǎng)絡(luò)的智能交通應(yīng)用研究

金亞楠 嚴(yán)碧波

摘要：針對(duì)傳統(tǒng)的道路交通監(jiān)控系統(tǒng)對(duì)目標(biāo)的識(shí)別準(zhǔn)確率較差、模型魯棒性較弱且不具備實(shí)時(shí)性等問題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的道路交通目標(biāo)檢測(cè)方法。和傳統(tǒng)的道路監(jiān)控檢測(cè)系統(tǒng)相比，卷積神經(jīng)網(wǎng)絡(luò)的模型更加適合處理大規(guī)模的數(shù)據(jù)。在卷積神經(jīng)網(wǎng)絡(luò)的分層特征提取下，既可以獲得圖像的低級(jí)語義，也可以獲得圖像的高級(jí)語義，經(jīng)過對(duì)不同層級(jí)的樣本特征分析，可以綜合性地對(duì)目標(biāo)進(jìn)行識(shí)別分類，進(jìn)一步提高模型的分類性能。驗(yàn)證結(jié)果表明該方法不但在準(zhǔn)確率方面遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)的識(shí)別系統(tǒng)，而且在硬件條件允許的情況下具有實(shí)時(shí)性。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);SSD模型;遷移學(xué)習(xí);目標(biāo)檢測(cè)

中圖分類號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）20-0211-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract： To address the problems that the traditional road traffic monitoring system has poor target recognition accuracy， weak model robustness and no real-time performance， a road traffic target recognition method based on convolutional neural networks is proposed. Compared with the traditional road monitoring and recognition system， the convolutional neural network model is more suitable for processing large-scale data. Under the hierarchical feature extraction of convolutional neural networks， both the low-level and the high-level semantics of the image can be obtained. After analyzing the sample features of different levels， the target can be comprehensively identified and classified， and the models classification performanc can be further improved as well. Experiments show that this method is not only superior to the traditional identification system in terms of accuracy， but also has real-time performance when the hardware conditions permit.

Key words： convolutional neural networks; SSD model; migration learning; target detection

隨著人們生活水平的不斷提高，國(guó)內(nèi)的汽車保有量近幾年快速攀升，導(dǎo)致道路交通擁堵，交通事故頻發(fā)等問題層出不窮，交通管理部門所面臨的壓力越來越大。通過道路監(jiān)控系統(tǒng)進(jìn)行目標(biāo)檢測(cè)成了智能交通領(lǐng)域的一個(gè)重要研究課題，可以為交通監(jiān)管和違章識(shí)別告警等方面提供有力的技術(shù)支持。

傳統(tǒng)的道路監(jiān)控系統(tǒng)主要采用以下幾種非深度學(xué)習(xí)的目標(biāo)檢測(cè)方法：特征匹配法[1]，光流法[2]，幀差法[3]和背景建模法[4]等，但由于在實(shí)際的道路環(huán)境下，監(jiān)控畫面的角度、光照和背景等多方面的原因都會(huì)給傳統(tǒng)的識(shí)別系統(tǒng)帶來很大的挑戰(zhàn)。傳統(tǒng)的目標(biāo)識(shí)別系統(tǒng)對(duì)復(fù)雜環(huán)境的目標(biāo)捕捉和識(shí)別率較低，模型的魯棒性也很差。

近幾年，利用深度學(xué)習(xí)方法，借助卷積神經(jīng)網(wǎng)絡(luò)等進(jìn)行目標(biāo)檢測(cè)的研究工作有明顯上升[5]。卷積神經(jīng)網(wǎng)絡(luò)使圖像可以直接作為網(wǎng)絡(luò)的數(shù)據(jù)輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取過程，圖像特征也更加充分得到應(yīng)用。與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡(luò)可以將更多的數(shù)據(jù)特征拿來訓(xùn)練模型，進(jìn)而有效降低外界條件對(duì)模型性能的影響，使模型具有更好的識(shí)別準(zhǔn)確率和魯棒性，更適合道路交通目標(biāo)的檢測(cè)識(shí)別要求。

1 SSD模型

由于對(duì)交通目標(biāo)的檢測(cè)需要具有實(shí)時(shí)性，這就不僅要求深度學(xué)習(xí)模型具有較高的識(shí)別精度和魯棒性，而且還要求對(duì)目標(biāo)的檢測(cè)速度要足夠快。根據(jù)對(duì)目前較為流行的目標(biāo)檢測(cè)模型Faster R-CNN[6]、YOLO[7]、SSD[8]等進(jìn)行對(duì)比（見表2），最終選擇性能更為優(yōu)越的端到端檢測(cè)的單發(fā)多框檢測(cè)器（Single Shot Multibox Detector，SSD）模型作為道路交通目標(biāo)檢測(cè)系統(tǒng)的訓(xùn)練模型。

1.1模型功能介紹

SSD模型在VGG16[9]的基礎(chǔ)上設(shè)計(jì)了6個(gè)特征提取模塊，來對(duì)不同層級(jí)的語義特征進(jìn)行提取和分類識(shí)別預(yù)測(cè)，同時(shí)在同一層級(jí)的特征圖上選擇長(zhǎng)寬比不同的預(yù)測(cè)框，來提高目標(biāo)檢測(cè)精度。為了避免過多的負(fù)樣本邊界框影響模型訓(xùn)練的準(zhǔn)確率，網(wǎng)絡(luò)在非最大抑制策略的基礎(chǔ)上，使用Hard Negative Mining策略，根據(jù)邊界框的置信損失進(jìn)行排序，只訓(xùn)練較高損失度的負(fù)樣本子集，保證正負(fù)樣本的比例為1：3，這樣既減少了樣本計(jì)算量又避免了負(fù)樣本過多造成的模型訓(xùn)練精確度的影響。

該模型的算法結(jié)合了YOLO和Faster R-CNN的優(yōu)勢(shì)，以對(duì)目標(biāo)特征進(jìn)行分層提取和預(yù)測(cè)作為主體思路進(jìn)而實(shí)現(xiàn)回歸和分類。根據(jù)圖像的語義分析，在低層次的特征圖中語義分割質(zhì)量更高，包含較多的特征細(xì)節(jié)，適合對(duì)小尺度目標(biāo)的進(jìn)行特征提取;在高層次的特征圖中語義分割更為抽象化，更為適合大尺度目標(biāo)。該模型的結(jié)構(gòu)在單一的回歸網(wǎng)絡(luò)的基礎(chǔ)上，針對(duì)不同的特征層級(jí)進(jìn)行多尺度目標(biāo)特征提取和預(yù)測(cè)分類，進(jìn)而實(shí)現(xiàn)目標(biāo)分類識(shí)別。SSD模型是采用端到端的訓(xùn)練方法，把檢測(cè)和分類一體化，它既綜合了YOLO模型端到端快速檢測(cè)的優(yōu)勢(shì)，又保留了Faster R-CNN模型對(duì)小目標(biāo)的檢測(cè)精度等特點(diǎn)。

1.2模型的損失函數(shù)

神經(jīng)網(wǎng)絡(luò)的模型的效果以及優(yōu)化的目標(biāo)都是通過損失函數(shù)來定義的，SSD模型的損失函數(shù)是模型訓(xùn)練和驗(yàn)證時(shí)的重要衡量指標(biāo)之一，損失函數(shù)是可以根據(jù)數(shù)據(jù)要求進(jìn)行自定義的。根據(jù)訓(xùn)練時(shí)的目標(biāo)匹配策略，該模型總體的目標(biāo)損失函數(shù)是定位損失（loc）和置信度損失（conf）的加權(quán)和：

其中參數(shù)N是匹配的默認(rèn)邊界框的數(shù)量，如果N為0，則將損失函數(shù)設(shè)為0。定位損失是預(yù)測(cè)框（）與真實(shí)框（）參數(shù)之間的Smooth L1損失，置信度損失是在多類別置信度（c）上的softmax損失[8]。參數(shù)為權(quán)衡定位損失和置信度損失的加權(quán)值，通過交叉驗(yàn)證，加權(quán)參數(shù)通常設(shè)置為1。在實(shí)際訓(xùn)練過程中，真實(shí)值和預(yù)測(cè)值的誤差會(huì)以損失函數(shù)的形式進(jìn)行計(jì)算，可以對(duì)模型訓(xùn)練結(jié)果進(jìn)行分析，改進(jìn)參數(shù)以訓(xùn)練出性能更好的預(yù)測(cè)模型。

2 構(gòu)建數(shù)據(jù)集

道路監(jiān)控系統(tǒng)要求基于交通監(jiān)控設(shè)備對(duì)交通目標(biāo)進(jìn)行實(shí)時(shí)的目標(biāo)檢測(cè)，識(shí)別道路上的機(jī)動(dòng)車、非機(jī)動(dòng)車和行人，因此我們需要構(gòu)建一個(gè)具有一定數(shù)量的不同目標(biāo)的數(shù)據(jù)集來實(shí)現(xiàn)對(duì)深度學(xué)習(xí)模型的訓(xùn)練、驗(yàn)證和測(cè)試。數(shù)據(jù)來源分為兩個(gè)部分，一部分來自MIT的車輛數(shù)據(jù)集，另一部分由道路監(jiān)控采集而來，樣本的采集兼顧了不同的背景、不同光照條件等，通過左右翻轉(zhuǎn)和調(diào)整飽和度等方式實(shí)現(xiàn)數(shù)據(jù)增廣，保證樣本數(shù)據(jù)的多樣性和全面性。

構(gòu)建的數(shù)據(jù)集共包含4648張圖片，其中包含的檢測(cè)目標(biāo)分別為機(jī)動(dòng)車、非機(jī)動(dòng)車和行人，采用lableImg標(biāo)注工具對(duì)收集的目標(biāo)數(shù)據(jù)進(jìn)行標(biāo)注，制作成為PASCAL VOC 2007格式。根據(jù)要求將數(shù)據(jù)集按照4 ：1的比例分為訓(xùn)練驗(yàn)證集和測(cè)試集，再按照1 ：1的比例將訓(xùn)練驗(yàn)證集分為訓(xùn)練集和驗(yàn)證集。數(shù)據(jù)集制作完成之后采用數(shù)據(jù)分析的形式對(duì)PASCAL VOC數(shù)據(jù)集的XML文件進(jìn)行數(shù)據(jù)分析，統(tǒng)計(jì)訓(xùn)練集、驗(yàn)證集和測(cè)試集中各個(gè)目標(biāo)樣本的真實(shí)標(biāo)注框的數(shù)量和所在圖片的數(shù)量，作為SSD模型訓(xùn)練和驗(yàn)證時(shí)的參數(shù)。數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)如下表所示：

3 對(duì)模型進(jìn)行遷移學(xué)習(xí)

所謂遷移學(xué)習(xí)，就是將一個(gè)已經(jīng)訓(xùn)練相當(dāng)成熟的模型通過簡(jiǎn)單的結(jié)構(gòu)調(diào)整使其適應(yīng)新的問題，在新的數(shù)據(jù)集上，可以直接利用這個(gè)訓(xùn)練好的模型來提取特征，然后再將新組合的特征向量作為輸入來訓(xùn)練調(diào)整后的模型參數(shù)，以此來實(shí)現(xiàn)新的分類問題[10]。遷移學(xué)習(xí)的優(yōu)點(diǎn)在于所需要的訓(xùn)練時(shí)間和訓(xùn)練樣本都要遠(yuǎn)遠(yuǎn)小于重新訓(xùn)練完整模型，而且可以達(dá)到令人滿意的實(shí)驗(yàn)效果。

由于實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)條件的限制，我們將在現(xiàn)有的SSD模型的基礎(chǔ)上，保留SSD原有模型的權(quán)重參數(shù)，根據(jù)實(shí)驗(yàn)的分類要求對(duì)模型相關(guān)超參數(shù)進(jìn)行更改，這些超參數(shù)主要有類別、學(xué)習(xí)率、學(xué)習(xí)率衰減因子、代次、迭代最大步數(shù)等（具體參數(shù)見下文4.2實(shí)驗(yàn)參數(shù)設(shè)置），進(jìn)而對(duì)模型個(gè)別層的參數(shù)進(jìn)行微調(diào)，使模型能夠很好地滿足對(duì)道路交通目標(biāo)中機(jī)動(dòng)車、非機(jī)動(dòng)車和行人的識(shí)別要求。

4 模型的測(cè)試及相關(guān)數(shù)據(jù)

4.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境是操作系統(tǒng) Windows 10 64位 （ DirectX 12 ），處理器型號(hào)為英特爾 Core i7-8750H @ 2.20GHz 六核，顯卡型號(hào)為Nvidia GeForce GTX 1060，顯存為6G，內(nèi)存為16G。所選擇的深度學(xué)習(xí)框架為Tensorflow。

4.2 實(shí)驗(yàn)參數(shù)設(shè)置

該實(shí)驗(yàn)是在采集制作的PASCAL VOC 2007格式的數(shù)據(jù)集上進(jìn)行，實(shí)驗(yàn)所采用的模型為VGG16-SSD模型，采用的最優(yōu)化算法為Adam，經(jīng)過不斷對(duì)各個(gè)參數(shù)的調(diào)試對(duì)比，最終選擇模型效果較好的超參數(shù)組合。經(jīng)過對(duì)模型的不斷調(diào)試，確定各個(gè)超參數(shù)設(shè)置如下：批次大小為24，權(quán)重衰減為0.005，學(xué)習(xí)率初始值為0.01，學(xué)習(xí)率衰減因子為0.98，學(xué)習(xí)率衰減頻率為8 epochs，最大迭代步數(shù)50000，GPU占用量0.7。

4.3 實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析

深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型有一系列的評(píng)價(jià)標(biāo)準(zhǔn)，其中在模型訓(xùn)練時(shí)較為重要的評(píng)價(jià)指標(biāo)主要是模型總體損失函數(shù)，而在測(cè)試階段模型性能評(píng)價(jià)指標(biāo)主要有平均準(zhǔn)確率及平均準(zhǔn)確率均值等。平均準(zhǔn)確率（Average precision，AP）是評(píng)價(jià)深度學(xué)習(xí)檢測(cè)模型準(zhǔn)確性最直觀的標(biāo)準(zhǔn)，平均準(zhǔn)確率均值（mean AP，mAP）是各個(gè)類別 AP 的平均值，mAP 越高表示模型在全部類別中檢測(cè)的綜合性能越高。下表是各類算法在測(cè)試數(shù)據(jù)集上的性能評(píng)價(jià)指標(biāo)對(duì)比：

4.4 模型的測(cè)試效果展示

在實(shí)驗(yàn)的過程中為了方便表示不同分類目標(biāo)，選擇了用數(shù)字代表分類的方法;其中數(shù)字1代表機(jī)動(dòng)車，數(shù)字2代表行人，數(shù)字3代表非機(jī)動(dòng)車。以下四幅圖片是訓(xùn)練的模型檢測(cè)效果展示：

由以上測(cè)試結(jié)果可知，該模型的性能優(yōu)于先前的算法，對(duì)道路交通目標(biāo)有更高的檢測(cè)準(zhǔn)確率和更低的誤檢率，而且滿足系統(tǒng)所要求的實(shí)時(shí)性和模型魯棒性，但圖6的檢測(cè)結(jié)果同時(shí)也表明該模型還存在一定的缺點(diǎn)，如目標(biāo)漏檢等，經(jīng)過分析，可能是數(shù)據(jù)集還不夠充分，有待進(jìn)一步改進(jìn)。

5 結(jié)束語

目標(biāo)檢測(cè)是深度學(xué)習(xí)熱門的研究方向之一，應(yīng)用前景非常廣泛。通過實(shí)驗(yàn)對(duì)比，深度學(xué)習(xí)模型SSD在道路目標(biāo)檢測(cè)上取得了較為不錯(cuò)的測(cè)試效果。但與此同時(shí)也發(fā)現(xiàn)了該模型算法存在的不足，在基于視頻目標(biāo)檢測(cè)時(shí)，幀與幀的圖像之間在時(shí)序和內(nèi)容上存在上下文關(guān)系，而該模型并未對(duì)此加以利用來優(yōu)化模型準(zhǔn)確率和誤檢率。根據(jù)跟蹤算法和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在時(shí)序問題上所展現(xiàn)的優(yōu)勢(shì)，我們可以考慮以此為研究方向?qū)υ撃Ｐ瓦M(jìn)行更進(jìn)一步的改進(jìn)和優(yōu)化。

參考文獻(xiàn)：

[1] 李雙雙，趙高鵬，王建宇.基于特征融合和尺度自適應(yīng)的干擾感知目標(biāo)跟蹤[J].光學(xué)學(xué)報(bào)，2017，37（5）：15-20.

[2]? BARRON J L， FLEET D J， BEAUCHEMIN S S. Performance of optical flow techniques[M]. Kluwer Academic Publishers， 1994， 12（1）：43-77.

[3]? ALI A T， DAGLESS E L. Alternative practical methods for moving object detection[C].International Conference on Image Processing and ITS Applications， 1992：77-80.

[4]? HARITAOGLU I， HWRWOOD D， DAVIS L S. W4： real-time surveillance of people and their activities[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（8）：809-830.

[5] 章毓晉.中國(guó)圖像工程：2017[J].中國(guó)圖象圖形學(xué)報(bào)，2018，23（5）：617-628.

[6]? REN S， He K， GIRSHICK R， et al.? Faster R-CNN： towards real-time object detection with region proposal networks[C].? International Conference on Neural Information Processing Systems， 2015：91-99.

[7] REDMON J， DIVVALA S， GIRSHICK R， et al.? You Only Look Once： Unified， Real-Time? Object Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2016：779-788.

[8] LIU W， ANGUELOY D， ERHAN D， et al. SSD： Single Shot Multi Box Detector[J].Computer Vision-ECCV2016， 2016：21-37.

[9] SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[10] 鄭澤宇，梁博文，顧思宇.Tensorflow 實(shí)戰(zhàn)Google深度學(xué)習(xí)框架[M].2版.北京：電子工業(yè)出版社，2018：161.

【通聯(lián)編輯：唐一東】