基于深度學(xué)習(xí)的交通圖像識(shí)別的研究與應(yīng)用

章康明 曹新

摘 ?要：為了克服目標(biāo)檢測(cè)算法在交通圖像識(shí)別領(lǐng)域?qū)?shù)據(jù)集利用不充分、對(duì)小物體檢測(cè)不敏感等問(wèn)題，提出了一種基于SSD算法改進(jìn)的檢測(cè)模型。選擇自動(dòng)駕駛領(lǐng)域最重要的測(cè)試集作為模型訓(xùn)練的數(shù)據(jù)集，通過(guò)對(duì)比實(shí)驗(yàn)，選擇出訓(xùn)練集、驗(yàn)證集和測(cè)試集最合適的劃分比例。實(shí)驗(yàn)結(jié)果顯示，合理的數(shù)據(jù)集劃分相較于其他的對(duì)照組對(duì)于檢測(cè)目標(biāo)的準(zhǔn)確率提升了13%，檢測(cè)時(shí)間縮短了15%，證明合理的數(shù)據(jù)集劃分能夠提升模型泛化能力和檢測(cè)效率。針對(duì)該算法對(duì)于小物體檢測(cè)不敏感這一問(wèn)題，有針對(duì)性地調(diào)整了模型的結(jié)構(gòu)及參數(shù)，并修改了模型輸入圖像的尺寸。實(shí)驗(yàn)結(jié)果表明，在輸入相同圖片尺寸下，模型對(duì)于小物體的檢測(cè)能力顯著提升，整體檢測(cè)能力提升了14.5%，且保證了較高的檢測(cè)速率。以上均證明新算法的有效性。

關(guān)鍵詞：深度學(xué)習(xí);計(jì)算機(jī)視覺(jué);目標(biāo)檢測(cè);SSD

中圖分類號(hào)：TP311.5 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： Aiming at problems of insufficient utilization of datasets and insensitivity to small object detection in the field of traffic image recognition by target detection algorithm， this paper proposes an improved detection model based on SSD （Solid State Disk） algorithm. The most important test set in the field of autonomous driving is selected as the dataset for model training. Through comparative experiments， the most appropriate division ratio of training set， validation set and test set is selected. Experimental results show that compared with other control groups， reasonable dataset division has an increase of 13% in accuracy of detecting targets and a decrease of 15% ?in detection time， which proves that reasonable dataset division can improve model generalization and detection efficiency. Aiming at the problem that the algorithm is not sensitive to small object detection， structure and parameters of the model is adjusted and size of the input image of the model is modified. The experimental results show that under the same image input size， the detection capability of small objects is significantly improved， the overall detection capability is improved by 14.5%， and a higher detection rate is guaranteed. The above all prove the effectiveness of the new algorithm.

Keywords： deep learning; computer vision; target detection; SSD

1 ? 引言（Introduction）

近年來(lái)，隨著人工智能的蓬勃發(fā)展，深度學(xué)習(xí)在越多越多場(chǎng)景下應(yīng)用，尤其是自動(dòng)駕駛領(lǐng)域。根據(jù)IDC最新發(fā)布的《全球自動(dòng)駕駛汽車預(yù)測(cè)報(bào)告（2020—2024）》數(shù)據(jù)顯示，2024年全球L1—L5級(jí)自動(dòng)駕駛汽車出貨量預(yù)計(jì)將達(dá)到約5，425 萬(wàn)輛，年均復(fù)合增長(zhǎng)率達(dá)18.3%。在巨大的市場(chǎng)需求推動(dòng)下，對(duì)自動(dòng)駕駛技術(shù)的要求愈加嚴(yán)苛。駕駛環(huán)境復(fù)雜多變，對(duì)駕駛場(chǎng)景中的目標(biāo)檢測(cè)算法模型的泛化能力有很高的要求，同時(shí)也需要保證模型的檢測(cè)速率。

目標(biāo)檢測(cè)是在圖片中對(duì)可變數(shù)量的目標(biāo)進(jìn)行查找和分類，主要存在目標(biāo)種類與數(shù)量問(wèn)題、目標(biāo)尺度問(wèn)題以及外在環(huán)境干擾問(wèn)題。目標(biāo)檢測(cè)算法經(jīng)過(guò)長(zhǎng)時(shí)間的發(fā)展迭代，經(jīng)過(guò)從傳統(tǒng)的目標(biāo)檢測(cè)方法到深度學(xué)習(xí)方法的變遷。傳統(tǒng)的目標(biāo)檢測(cè)算法主要基于傳統(tǒng)手工設(shè)計(jì)特征并結(jié)合滑動(dòng)窗口的方式來(lái)進(jìn)行目標(biāo)檢測(cè)和定位，典型的代表有Viola-Jones[1]、HOG[2]、DPM[3]等。傳統(tǒng)目標(biāo)檢測(cè)算法設(shè)計(jì)出的特征魯棒性較差，效率較低，且通過(guò)滑動(dòng)窗口提取特征的方式流程煩瑣。因此在2008年DPM算法提出后，傳統(tǒng)目標(biāo)檢測(cè)算法遇到了較大的瓶頸。

自2012年卷積神經(jīng)網(wǎng)絡(luò)的興起，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法發(fā)展并成熟，在檢測(cè)效率和精度上有了巨大的飛躍，逐漸取代傳統(tǒng)機(jī)器視覺(jué)方法，成為目標(biāo)檢測(cè)領(lǐng)域的主流算法。目前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法分為One-Stage[4]和Two-Stage[5]。以R-CNN[6]、Faster R-CNN[7]為代表的Two-Stage檢測(cè)算法具有良好的檢測(cè)精度，但檢測(cè)速度相對(duì)較慢，無(wú)法滿足自動(dòng)駕駛領(lǐng)域?qū)崟r(shí)性需求。One-Stage采用直接回歸目標(biāo)位置的方法，以YOLO[8]、SSD[9]為代表，在保證檢測(cè)精度的同時(shí)，提高了檢測(cè)速度，但不同模型也有各自的缺陷。

本文提出了一種基于深度學(xué)習(xí)的交通圖像識(shí)別算法，以SSD為目標(biāo)檢測(cè)模型，使用合適的數(shù)據(jù)集劃分對(duì)模型進(jìn)行訓(xùn)練，并針對(duì)模型對(duì)小目標(biāo)檢測(cè)性能的不足，修改模型相應(yīng)的輸入尺寸，在保證多數(shù)目標(biāo)檢測(cè)能力的同時(shí)，大大改善了模型對(duì)小目標(biāo)的檢測(cè)能力，輔以快速的圖片檢測(cè)能力，能夠提升汽車行駛過(guò)程中的安全性，對(duì)于深度學(xué)習(xí)在交通圖片識(shí)別以及自動(dòng)駕駛應(yīng)用上具有參考意義。

2 ? SSD模型（SSD model）

2.1 ? 模型概述

SSD是一種One-Stage的目標(biāo)檢測(cè)模型，移除了region proposals[10]步驟以及后續(xù)的像素采樣的步驟;借鑒了YOLO的回歸思想以及Faster R-CNN的anchor機(jī)制，精度可以和Faster R-CNN匹敵，速度上遠(yuǎn)遠(yuǎn)快于Faster R-CNN。回歸思想的引入降低了模型復(fù)雜度，提高了算法的檢測(cè)速度;anchor機(jī)制能夠檢測(cè)不同尺度的目標(biāo)，提高算法檢測(cè)精度。

SSD網(wǎng)絡(luò)模型如圖1所示，由主干網(wǎng)絡(luò)和多尺度f(wàn)eature map預(yù)測(cè)兩部分組成。主干網(wǎng)絡(luò)由VGG-16組成，舍棄了FC6和FC7兩個(gè)全連接層，用于特征提取。同時(shí)在網(wǎng)絡(luò)后面添加八個(gè)卷積層作為多尺度f(wàn)eature map預(yù)測(cè)，這些卷積層在尺寸上逐漸減小，在多個(gè)尺度上對(duì)檢測(cè)結(jié)果進(jìn)行預(yù)測(cè)。用于預(yù)測(cè)檢測(cè)的卷積模型對(duì)于每個(gè)特征層都是不同的。基于前饋卷積網(wǎng)絡(luò)，產(chǎn)生固定大小的邊界框集合，并對(duì)這些邊界框中存在的目標(biāo)類別實(shí)例進(jìn)行評(píng)分，通過(guò)非極大抑制來(lái)控制噪聲，確保網(wǎng)絡(luò)保留最有效地幾個(gè)預(yù)測(cè)，并產(chǎn)生最終的檢測(cè)結(jié)果。

2.2 ? 基本原理

2.2.1 ? 用于檢測(cè)的多尺度映射

多尺度特征映射主要為了提高檢測(cè)精度?；A(chǔ)網(wǎng)絡(luò)后添加的一些卷積層主要用于檢測(cè)和分類。不同的特征層（Feature Layer）預(yù)測(cè)的邊界框（Bounding Box）是不一樣的，因此不同的特征層上的卷積模型也不一樣。多尺度的特征映射可以檢測(cè)不同尺度和大小的目標(biāo)。

2.2.2 ? 卷積預(yù)測(cè)器

每一個(gè)添加的特征層用于一組卷積濾波產(chǎn)生固定的檢測(cè)預(yù)測(cè)集合。卷積預(yù)測(cè)器對(duì)這些默認(rèn)框（Default Box）進(jìn)行關(guān)于類別和位置的回歸，然后得出一個(gè)類別的得分及坐標(biāo)偏移量。

2.2.3 ? 默認(rèn)邊界框與長(zhǎng)寬比

本文一系列默認(rèn)的邊界框和各個(gè)不同的特征層聯(lián)系在一起，即每個(gè)被選中預(yù)測(cè)的特征層，在每個(gè)位置都關(guān)聯(lián)個(gè)默認(rèn)框。在每個(gè)特征層的映射中，對(duì)于給定個(gè)邊界框中的每一個(gè)，本文計(jì)算個(gè)類別分?jǐn)?shù)以及相對(duì)原始默認(rèn)邊框的四個(gè)偏移量，并允許不同的默認(rèn)邊界框，有效地離散出可能的輸出框。

2.2.4 ? NMS（非最大值抑制）

為了避免重復(fù)預(yù)測(cè)，過(guò)濾掉背景和得分不是很高的框，從而得到最終預(yù)測(cè)。

2.2.5 ? 匹配策略

在訓(xùn)練過(guò)程中需要確定默認(rèn)框和真值邊界框（Ground Truth Box）之間的聯(lián)系后訓(xùn)練網(wǎng)絡(luò)。對(duì)于每一個(gè)真值邊界框，本文計(jì)算其與默認(rèn)邊界框之間的杰卡德系數(shù)（Jaccard Overlap），也就是IOU，默認(rèn)兩者之間的閾值大于0.5，即為正樣本。因此本文簡(jiǎn)化了學(xué)習(xí)過(guò)程，允許網(wǎng)絡(luò)為多個(gè)重疊的默認(rèn)邊框預(yù)測(cè)高分，而不只是挑選一個(gè)邊界框。

2.2.6 ? 損失函數(shù)

2.3 ? 網(wǎng)絡(luò)結(jié)構(gòu)

如表1所示，VGG作為模型的基礎(chǔ)網(wǎng)絡(luò)，用于模型的特征檢測(cè)。將VGG-16中的FC7改為卷積層Conv7，同時(shí)增加了Conv8、Conv9、Conv10、Conv11幾個(gè)特征層，用于在多個(gè)尺度上進(jìn)行目標(biāo)檢測(cè)，以提高檢測(cè)精度。低層特征代表局部細(xì)節(jié)特征，高層特征代表全局特征結(jié)構(gòu)，相關(guān)結(jié)構(gòu)如表2所示，從多個(gè)角度檢測(cè)目標(biāo)，提升檢測(cè)效果。特征層從低到高，感受野由小到大，能夠更好地檢測(cè)原圖中不同大小的目標(biāo)。

3 ? 數(shù)據(jù)準(zhǔn)備及算法概述（Dataset preparation and algorithms overview）

3.1 ? 數(shù)據(jù)集選取

訓(xùn)練選用KITTI[11]數(shù)據(jù)集，由德國(guó)卡爾斯魯厄理工學(xué)院和豐田美國(guó)技術(shù)研究院聯(lián)合創(chuàng)辦，是目前自動(dòng)駕駛領(lǐng)域最重要的測(cè)試集之一。KITTI數(shù)據(jù)集針對(duì)不同的用途，實(shí)驗(yàn)選取Object類型中“2D Object Detection”的數(shù)據(jù)集，主要是為了驗(yàn)證無(wú)人駕駛中有關(guān)目標(biāo)檢測(cè)算法而設(shè)置的數(shù)據(jù)集。該數(shù)據(jù)集一共包含7，841 張訓(xùn)練圖和7，518 張測(cè)試圖，包含80，256 個(gè)目標(biāo)Label。所有圖像均為彩色并保存為png格式。

3.2 ? 數(shù)據(jù)集內(nèi)容

KITTI數(shù)據(jù)集為攝像機(jī)視野內(nèi)運(yùn)動(dòng)物體提供一個(gè)3D邊框標(biāo)注（使用激光雷達(dá)的坐標(biāo)系）。該數(shù)據(jù)集的標(biāo)注一共分為八個(gè)類別：Car、Van、Truck、Pedestrian、Person、Cyclist、Tram和Misc或Don't Care。其中Don't Care標(biāo)簽表示該區(qū)域沒(méi)有被標(biāo)注，在訓(xùn)練中可以被忽略。

3.3 ? 算法概述

3.3.1 ? 合適的數(shù)據(jù)集劃分

在數(shù)據(jù)集有限的條件下，高效利用訓(xùn)練數(shù)據(jù)集能夠訓(xùn)練出一個(gè)更優(yōu)越的算法。將數(shù)據(jù)集按照訓(xùn)練集、驗(yàn)證集以及測(cè)試集進(jìn)行劃分，比例分別為30∶20∶50、40∶10∶50、45∶5∶50三種;并使用相同的SSD網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.001，動(dòng)量為0.9，權(quán)重衰減為0.0005，批處理數(shù)據(jù)大小為8，訓(xùn)練次數(shù)均為80，000 次。對(duì)訓(xùn)練結(jié)果進(jìn)行評(píng)估，選擇最佳的數(shù)據(jù)集劃分。

3.3.2 ? 優(yōu)化模型

對(duì)模型進(jìn)行評(píng)估，發(fā)現(xiàn)模型對(duì)于較小目標(biāo)檢測(cè)性能較差。因?yàn)镵ITTI原始數(shù)據(jù)集大小為375×1242，而原始模型輸入大小為300×300，對(duì)輸入圖片的壓縮導(dǎo)致檢測(cè)效果下降，因此將模型輸入的尺寸大小修改為384×1280，以提升模型的檢測(cè)精度。

4 ?實(shí)驗(yàn)與結(jié)果分析（Experiments and results analysis）

4.1 ? 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)所用的環(huán)境如下：

硬件環(huán)境：Intel（R） Core（TM） i5-6300HQ CPU @ 2.30 GHz、NVIDIA GTM965M。

軟件環(huán)境：Ubuntu 18.04 LTS、CUDA 10.0 cuDNN 7.4.2、TensorFlow 1.14.0-gpu、Python 3.6.9、conda 4.9.2。

4.2 ? 評(píng)價(jià)標(biāo)準(zhǔn)

4.2.1 ? FPS

4.2.2 ? 準(zhǔn)確率和召回率

TP：正確劃分為正例的個(gè)數(shù)，即實(shí)際為正例且被分類器劃分為正例的實(shí)例數(shù)。

FN：錯(cuò)誤劃分為正例的個(gè)數(shù)，即實(shí)際為負(fù)例但被分類器劃分為正例的實(shí)例數(shù)。

FP：被錯(cuò)誤劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為正例但被分類器劃分為負(fù)例的實(shí)例數(shù)。

TN：被正確劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為負(fù)例且被分類器劃分為負(fù)例的實(shí)例數(shù)。

TP、FP、FN、TN可用來(lái)計(jì)算表示目標(biāo)檢測(cè)模型精度的多個(gè)指標(biāo)。

本文中的實(shí)驗(yàn)使用mAP評(píng)價(jià)模型的精度。

4.3 ? 實(shí)驗(yàn)結(jié)果

4.3.1 ? 改進(jìn)數(shù)據(jù)集的劃分比例

按照3.3.1中的算法描述對(duì)模型進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.001，動(dòng)量為0.9，權(quán)重衰減為0.0005，每次批處理數(shù)據(jù)大小值設(shè)置為8，訓(xùn)練次數(shù)均為80，000 次。訓(xùn)練過(guò)程中部分loss圖像得到結(jié)果如表3所示。

4.4 ? 結(jié)果分析

根據(jù)4.3.1的實(shí)驗(yàn)結(jié)果所示，充分利用數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，能夠顯著提升模型的泛化能力。實(shí)驗(yàn)結(jié)果顯示，合理的數(shù)據(jù)集劃分，相對(duì)于其他對(duì)照組對(duì)于檢測(cè)目標(biāo)的mAP提升了13%，檢測(cè)時(shí)間縮短10%，證明本文提出的數(shù)據(jù)集劃分能夠有效提升模型的泛化能力和檢測(cè)速率，且在幾個(gè)重要的檢測(cè)目標(biāo)上具有較高的AP，能夠勝任一般交通場(chǎng)景的目標(biāo)檢測(cè)需求。

本文使用的KITTI數(shù)據(jù)集分辨率較高，而SSD本身對(duì)于小物體識(shí)別的準(zhǔn)確率并不高，為了解決模型對(duì)小物體檢測(cè)不敏感這一問(wèn)題，本文對(duì)模型進(jìn)行修改，將模型的輸入尺寸提升為384×1280。根據(jù)4.3.2的實(shí)驗(yàn)結(jié)果所示，Cyclist類別的AP從0.2311提升到了0.4179，Pedestrian類別的AP從0.0909提升到了0.3709，Car類別的AP從0.6754提升到0.6942等，整體的mAP提升了接近14%，證明使用本文提出的算法對(duì)小物體的檢測(cè)能力提升顯著，同時(shí)還微弱提升了其余物體的檢測(cè)能力，均證明了本文提出新算法的有效性。模型的部分檢測(cè)過(guò)程和檢測(cè)結(jié)果如圖2和圖3所示，本文實(shí)現(xiàn)的算法模型通過(guò)使用分辨率較大的KITTI數(shù)據(jù)集更真實(shí)地模擬現(xiàn)實(shí)場(chǎng)景，同時(shí)通過(guò)對(duì)模型的優(yōu)化，在提升對(duì)小物體檢測(cè)精度的情況下，依舊保持較佳的檢測(cè)速率，大大提升了模型的整體檢測(cè)效率。

5 ? 結(jié)論（Conclusion）

為了進(jìn)一步模擬真實(shí)駕駛場(chǎng)景下目標(biāo)檢測(cè)的性能，本文提出一種基于SSD的深度學(xué)習(xí)交通檢測(cè)識(shí)別算法。實(shí)驗(yàn)結(jié)果顯示，利用本文提出的算法檢測(cè)準(zhǔn)確率和檢測(cè)效率明顯優(yōu)于未經(jīng)過(guò)本文算法優(yōu)化的檢測(cè)算法。在KITTI數(shù)據(jù)集上的mAP達(dá)到0.47，F(xiàn)PS為26.76 fps，不影響其余檢測(cè)類型的前提下，提升了模型對(duì)小物體的檢測(cè)精度，同時(shí)保證了模型的檢測(cè)速率，滿足了目標(biāo)檢測(cè)中對(duì)檢測(cè)速度和檢測(cè)精度的一般要求，證明本文提出的算法在交通圖像識(shí)別領(lǐng)域具有實(shí)用和參考價(jià)值。

參考文獻(xiàn)（References）

[1] WANG Y Q. An analysis of the Viola-Jones face detection algorithm[J]. Image Processing On Line， 2014， 104（4）：128-148.

[2] TORRIONE P A， MORTON K D， RAYN S， et al. Histograms of oriented gradients for landmine detection in ground-penetrating radar data[J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 52（3）：1539-1550.

[3] OUYANG W， ZENG X， WANG X， et al. DeepID-Net： Object detection with deformable part based convolutional neural networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（7）：1320-1334.

[4] CHEN L L， WEN L F， BIAN X， et al. Fast single shot multibox detector and its application on vehicle counting system[J]. IET Intelligent Transport Systems， 2018， 12（10）：1406-1413.

[5] GE Z， JIE Z， HUANG X， et al. Delving deep into the imbalance of positive proposals in two-stage object detection[J]. Neurocomputing， 2021（425）：107-116.

[6] HAN X F. Modified cascade RCNN based on contextual information for vehicle detection[J]. Sensing and Imaging， 2021， 22（1）：1-10.

[7] 閆新慶，楊喻涵，陸桂.基于改進(jìn)Faster-RCNN目標(biāo)檢測(cè)算法研究[J].中國(guó)新通信，2021，23（01）：46-48.

[8] 孫乾宇，張振東.基于YOLOv3增強(qiáng)模型融合的人流密度估? ? ?計(jì)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2021，30（04）：271-276.

[9] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[J]. Computer Vision， 2016， 9905（12）：21-37.

[10] 王冠，耿明洋，馬勃檀，等.基于孿生區(qū)域候選網(wǎng)絡(luò)的目標(biāo)跟蹤模型[J].小型微型計(jì)算機(jī)系統(tǒng)，2021，42（04）：755-760.

[11] GEIGER A， LENZS P， STILLER C， et al. Vision meets robotics： The KITTI dataset[J]. The International Journal of Robotics Research， 2013， 32（11）：1231-1237.

作者簡(jiǎn)介：

章康明（1998-），男，本科生.研究領(lǐng)域：軟件開(kāi)發(fā)，計(jì)算機(jī)視覺(jué).

曹 ?新（1980-），女，碩士，教授.研究領(lǐng)域：車聯(lián)網(wǎng)，無(wú)線傳感器網(wǎng)絡(luò).