基于深度學(xué)習(xí)的車輛檢測(cè)系統(tǒng)設(shè)計(jì)

黎雄 陳雨聰

摘 ?要：針對(duì)目前智能交通系統(tǒng)實(shí)時(shí)道路車輛檢測(cè)中存在的檢測(cè)效率不高等問(wèn)題，設(shè)計(jì)了一種基于深度學(xué)習(xí)的道路車輛檢測(cè)算法。首先在搭建好的平臺(tái)下，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)采集的車輛圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，得到訓(xùn)練后的模型;其次，對(duì)該模型內(nèi)部的層結(jié)構(gòu)進(jìn)行可視化;最后，通過(guò)調(diào)節(jié)各網(wǎng)絡(luò)參數(shù)及層結(jié)構(gòu)對(duì)該模型進(jìn)行優(yōu)化。訓(xùn)練的模型通過(guò)實(shí)驗(yàn)測(cè)試，分別對(duì)圖片和視頻進(jìn)行檢測(cè)，圖像識(shí)別準(zhǔn)確率高，檢測(cè)速度快，跟蹤精度高，可應(yīng)用于實(shí)時(shí)交通系統(tǒng)的檢測(cè)。

關(guān)鍵詞：深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);車輛識(shí)別;OpenCV

中圖分類號(hào)：TP183 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Design of Vehicle Detection System based on Deep Learning

LI Xiong1， CHEN Yucong2

（1.Xi'an Institute of Electromechanical Information Technology， Xi'an 710065， China;

2.School of Computing， Xianyang Normal University， Xianyang 712000， China）

42340658@qq.com; 943858467@qq.com

Abstract： Aiming at the low detection efficiency of real-time road vehicle detection in intelligent transportations system， this paper proposes to design a road vehicle detection algorithm based on deep learning. Firstly， based on the built platform， convolutional neural network is used to train the collected vehicle image dataset to obtain the trained model. Secondly， the layer structure inside the model is visualized. Finally， the model is optimized by adjusting all of the network parameters and layer structure. The trained model has been tested by experiments to detect pictures and videos respectively. Experiment results show that the proposed model can be applied to the detection of real-time traffic systems with high image recognition accuracy， fast detection speed， and high tracking accuracy.

Keywords： deep learning; convolutional neural network; vehicle recognition; OpenCV

1 ? 引言（Introduction）

隨著大數(shù)據(jù)時(shí)代的到來(lái)，越來(lái)越多的數(shù)據(jù)需要處理。而人們對(duì)信息處理的要求也越來(lái)越嚴(yán)格，既要達(dá)到高準(zhǔn)確率，又要達(dá)到較高的運(yùn)行速率。卷積神經(jīng)網(wǎng)絡(luò)是為了識(shí)別二維圖像而設(shè)計(jì)的多層感知器，在處理圖像方面具有良好的容錯(cuò)能力與并行的處理以及學(xué)習(xí)能力。在深度學(xué)習(xí)圖像識(shí)別應(yīng)用上，卷積神經(jīng)網(wǎng)絡(luò)具有較高的準(zhǔn)確率和處理速度，所以可以作為理論依據(jù)來(lái)研究動(dòng)態(tài)車輛識(shí)別。對(duì)深度學(xué)習(xí)動(dòng)態(tài)車輛的研究，主要是通過(guò)攝像頭實(shí)時(shí)監(jiān)控車輛的位置，繼而來(lái)判斷車輛的類別，這一領(lǐng)域的研究對(duì)今后智能輔助領(lǐng)域的數(shù)據(jù)處理發(fā)展有著至關(guān)重要的作用[1-2]。與此同時(shí)，也面臨著艱巨的挑戰(zhàn)，如車輛檢測(cè)方面包括視頻序列中背景的更新、復(fù)雜環(huán)境下背景圖片的遮擋和運(yùn)動(dòng)車輛在道路中停止時(shí)對(duì)跟蹤的影響，以及復(fù)雜環(huán)境下車輛檢測(cè)的實(shí)時(shí)性要求等[3]。因此，設(shè)計(jì)一個(gè)能夠在交通環(huán)境下對(duì)各種車輛的各種特征進(jìn)行高效實(shí)時(shí)的檢測(cè)算法勢(shì)在必行。

2 ? 檢測(cè)算法概述（Overview of detection algorithms）

目前，多目標(biāo)檢測(cè)算法主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法主要有光流法[4]、卡爾曼濾波[5]等，傳統(tǒng)目標(biāo)檢測(cè)算法建立在手工設(shè)計(jì)特征的基礎(chǔ)上，由于算法的實(shí)時(shí)性要求、圖像的表示與預(yù)處理技術(shù)等問(wèn)題，對(duì)采集到的復(fù)雜的圖像特征無(wú)法高速計(jì)算與處理。其中，光流法利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性，根據(jù)上一幀與當(dāng)前幀之間的對(duì)應(yīng)關(guān)系，計(jì)算得到相鄰幀之間物體的運(yùn)動(dòng)信息，在無(wú)遮擋、光線好的情況下檢測(cè)效果較好。但在實(shí)際應(yīng)用中，采集的圖像都存在噪聲、陰影、遮擋、光照等干擾因素，所以光流法的抵抗性較差，檢測(cè)出的目標(biāo)會(huì)出現(xiàn)內(nèi)容缺失的情況[6-7]，需要借助其他算法?？柭鼮V波（KCF）算法利用循環(huán)移位進(jìn)行稠密采樣，利用快速傅里葉變換（FFT）進(jìn)行分類器的訓(xùn)練，同時(shí)結(jié)合了多通道的HOG特征。其大致的流程是，先利用循環(huán)矩陣不斷對(duì)圖像移位，得到多個(gè)樣本，在第t 幀中的當(dāng)前位置附近利用這些樣本訓(xùn)練一個(gè)分類器，該分類器可以對(duì)框中是否有人做出一個(gè)概率響應(yīng)。因此，先用循環(huán)矩陣對(duì)前一幀的區(qū)域進(jìn)行循環(huán)移位得到若干樣本，然后用前一幀訓(xùn)練的分類器分類得到輸出響應(yīng)，以響應(yīng)最大的作為預(yù)測(cè)位置，然后再訓(xùn)練、再預(yù)測(cè)。

近幾年來(lái)，目標(biāo)檢測(cè)算法取得了很大的突破。比較流行的算法可以分為兩類，一類是Two-stage算法，基于候選區(qū)域（Region Proposal）的R-CNN系列算法（R-CNN、Fast R-CNN、Faster R-CNN），先使用啟發(fā)式方法（Selective Search）或者CNN網(wǎng)絡(luò)（RPN）產(chǎn)生Region Proposal，然后再在Region Proposal上做分類與回歸;另一類是One-stage算法，基于Yolo、SSD算法，這類方法則不需要產(chǎn)生候選框，僅僅使用一個(gè)CNN網(wǎng)絡(luò)直接預(yù)測(cè)不同目標(biāo)的類別與位置。第一類算法準(zhǔn)確度高，速度較慢;第二類算法速度快，準(zhǔn)確性較低[8-12]。

本設(shè)計(jì)采用深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型的網(wǎng)絡(luò)框架建立模型，并進(jìn)行訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)能夠很好地利用圖像的結(jié)構(gòu)信息。LeNet-5是一個(gè)較簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，該結(jié)構(gòu)包括輸入層、卷積層、池化層和輸出層[13]。輸入層輸入的是二維圖像，該圖像經(jīng)過(guò)兩次卷積層提取特征，經(jīng)過(guò)卷積之后圖像的邊界變得更加直觀，然后送到池化層。為了提取最明顯的特征，通過(guò)最大池化法來(lái)降低參數(shù)，再經(jīng)過(guò)連接層，連接所有的特征，最后將輸出值送給分類器，使用Softmax分類函數(shù)進(jìn)行輸出。

3 ?深度學(xué)習(xí)模型結(jié)構(gòu)（Structure of deep learning model）

3.1 ? 模型結(jié)構(gòu)

該模型由TensorFlow 2.4.0搭建，使用的是Sequential順序模型，層與層之間只有相鄰關(guān)系，沒(méi)有跨層連接，編譯速度快，操作簡(jiǎn)單。其模型結(jié)構(gòu)如圖1所示。

輸入層是32×32尺寸的圖片，其中每一個(gè)像素點(diǎn)都可以看作一個(gè)神經(jīng)元，通過(guò)神經(jīng)元的傳遞來(lái)計(jì)算數(shù)據(jù)處理得到輸出圖像。輸入層到C1層經(jīng)過(guò)卷積的操作，卷積核的大小是5×5，使得圖像從32×32變成28×28的圖像。C1層由八個(gè)特征圖組成，輸入層到C1層是一一對(duì)應(yīng)關(guān)系。

C1層到S1層采用的是下采樣方式，使得28×28的圖片變成14×14的大小，如果使用下采樣方式就能夠更少地利用參數(shù)，使得圖像符合顯示區(qū)域的大小，同時(shí)還可以保留有效圖片數(shù)據(jù)。S1中的神經(jīng)元大小與C1層2×2的大小一一對(duì)應(yīng)，通過(guò)計(jì)算得到S1層的神經(jīng)元。同理可知，其他的卷積和下采樣方式一樣，只是處理的數(shù)據(jù)參數(shù)不一樣。

由神經(jīng)元的概念可知，一個(gè)輸出值需要知道權(quán)值和偏置的參數(shù)大小，而LeNet-5采用的是32×32的二維神經(jīng)元結(jié)構(gòu)網(wǎng)，可通過(guò)表格的形式來(lái)顯示為何選用卷積神經(jīng)網(wǎng)絡(luò)而不采用直接神經(jīng)元處理方式，如表1所示。

由表1可知，使用卷積神經(jīng)網(wǎng)絡(luò)能夠使參數(shù)大大地減小，因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享和參數(shù)減小的優(yōu)點(diǎn)。S1層與C3層使用的不是全連接形式，而是局部連接。其他步驟均使用了全連接方式，如表2所示是S1層與C3層的連接表。

3.2 ? 模型訓(xùn)練

先收集相關(guān)車輛的數(shù)據(jù)集，然后讀取數(shù)據(jù)集，將數(shù)據(jù)集進(jìn)行歸一化處理，統(tǒng)一圖片大小，將每張圖片所處的文件名作為該圖片的標(biāo)簽，然后把所有圖片和其標(biāo)簽打包在一起，供訓(xùn)練模型使用。將數(shù)據(jù)集分成兩部分，一部分作為訓(xùn)練集，一部分作為測(cè)試集。

采用Adam（Adaptive Moment Estimation）這個(gè)優(yōu)化算法來(lái)快速擬合高緯度的數(shù)據(jù)，損失函數(shù)為sparse_categorical_crossentropy，其目標(biāo)是數(shù)字編碼。使用之前建立好的模型進(jìn)行30 個(gè)輪次訓(xùn)練，然后保存訓(xùn)練結(jié)果。模型訓(xùn)練日志結(jié)果如圖2所示，訓(xùn)練流程圖如圖3所示。

4 ?車輛檢測(cè)系統(tǒng)的實(shí)現(xiàn)（Realization of vehicle detection system）

4.1 ? 在VS下OpenCV的配置

首先，在VS2017中點(diǎn)擊文件→新建→項(xiàng)目→控制臺(tái)應(yīng)用→確定，創(chuàng)建好工程。其次，點(diǎn)擊resource files→添加→新建項(xiàng)→添加C++文件。第三，項(xiàng)目配置屬性。在視圖上點(diǎn)擊屬性管理器，設(shè)置系統(tǒng)為64 位。找到Microsoft.Cpp.X64.user并且雙擊“配置屬性”，在VC++目錄中找到包含目錄與庫(kù)目錄進(jìn)行配置，如圖4所示。之后在鏈接器的輸入中找到附加依賴項(xiàng)進(jìn)行配置，如圖5所示。至此，完成了OpenCV在VS下的配置。

4.2 ? 在VS下Qt的配置

打開VS2017，點(diǎn)擊文件→新建→項(xiàng)目，在Visual C++下找到Qt，選擇Qt Widgets Application，新建名為vehilce_detect工程。在項(xiàng)目的屬性管理器中選擇X64的屬性并且配置VC++目錄的包含目錄和庫(kù)目錄，與配置OpenCV相同。然后，進(jìn)行Qt圖形用戶界面的設(shè)計(jì)，設(shè)計(jì)效果如圖6所示。

4.3 ? 系統(tǒng)測(cè)試

系統(tǒng)運(yùn)行后，單擊“選擇圖像”按鈕，在彈出的界面中選擇要檢測(cè)的圖像，圖像支持JPEG、BMP、PNG格式。選擇完成后，所選擇的圖像會(huì)呈現(xiàn)在檢測(cè)界面上，之后點(diǎn)擊“識(shí)別”按鈕，打開的圖像如圖7所示。

單擊“視頻檢測(cè)”按鈕，在彈出的界面中選擇要檢測(cè)的視頻，支持avi、MP4等格式，選擇完成后，會(huì)在視頻窗口顯示實(shí)時(shí)視頻車輛檢測(cè)，如圖8所示。

5 ? 結(jié)論（Conclusion）

此次采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型的網(wǎng)絡(luò)框架對(duì)車輛數(shù)據(jù)集進(jìn)行訓(xùn)練，通過(guò)在VS中搭建OpenCV與Qt，建立檢測(cè)系統(tǒng)，并加載訓(xùn)練模型進(jìn)行測(cè)試。實(shí)驗(yàn)首先驗(yàn)證算法模型的準(zhǔn)確性，加載訓(xùn)練的模型，該系統(tǒng)能夠準(zhǔn)確地檢測(cè)圖片中的車輛，并能實(shí)時(shí)檢測(cè)與追蹤視頻中的車輛。同時(shí)，驗(yàn)證了開發(fā)的檢測(cè)系統(tǒng)的有效性，為后續(xù)模型檢測(cè)及跟蹤算法驗(yàn)證提供了方便。

參考文獻(xiàn)（References）

[1] 袁氫.基于特征融合與神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)圖像識(shí)別技術(shù)研究[D].武漢：武漢科技大學(xué)，2020.

[2] 馮霞，杜佳浩，段儀濃，等.基于深度學(xué)習(xí)的行人重識(shí)別研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2020，37（11）：3220-3226，3240.

[3] 何文偉.交通環(huán)境下的車輛檢測(cè)與跟蹤算法研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2015.

[4] 尹梓睿，張索非，張磊，等.適于行人重識(shí)別的二分支EfficientNet網(wǎng)絡(luò)設(shè)計(jì)[J].信號(hào)處理，2020，36（09）：1481-1488.

[5] 趙瑜，方亮，周云，等.基于深度學(xué)習(xí)理論和壓縮感知技術(shù)的車輛識(shí)別與跟蹤研究[J].地震工程與工程振動(dòng)，2021，41（05）：

206-214.

[6] 李舒航，高旭，劉兆武，等.基于灰度插值的條紋圖像位移亞像素檢測(cè)算法[J].光學(xué)學(xué)報(bào)，2021，41（10）：125-133.

[7] 張可，楊燦坤，周春平，等.無(wú)人機(jī)視頻圖像運(yùn)動(dòng)目標(biāo)檢測(cè)算法綜述[J].液晶與顯示，2019，34（1）：98-109.

[8] ZHOU L， ZHOU C C， CHEN S B， et al. A sparsetransformer-

based approach for image captioning[J]. IEEE Access， 2020， 99（8）：213437-213446.

[9] 梅瑩.基于卷積神經(jīng)網(wǎng)絡(luò)的隧道行人目標(biāo)檢測(cè)算法研究[D].重慶：重慶大學(xué)，2019.

[10] WAN L J， CHEN Y W， LI H Y， et al. Rolling-element bearing fault diagnosis using improved LeNet-5 network[J]. Sensors （Basel， Switzerland）， 2020， 20（6）：1693-1711.

[11] 王宇歌，張涌，黃林雄，等.基于卷積神經(jīng)網(wǎng)絡(luò)的麥穗目標(biāo)檢測(cè)算法研究[J].軟件工程，2021，24（8）：6-10.

[12] ZHONG Z Y， SUN L， HUO Q. An anchor-free

region proposal network for faster R-CNN-based text detection approaches[J]. International Journal on Document Analysis and Recognition （IJDAR）， 2019， 22（3）：

315-327.

[13] 王潤(rùn)正，高見(jiàn)，黃淑華，等.基于知識(shí)蒸餾的惡意代碼家族檢測(cè)方法[J].計(jì)算機(jī)科學(xué)，2021，48（1）：280-286.

作者簡(jiǎn)介：

黎 ? 雄（1980-），男，碩士，高級(jí)工程師.研究領(lǐng)域：信號(hào)與圖像處理.本文通信作者.

陳雨聰（1998-），男，本科，助理工程師，研究領(lǐng)域：計(jì)算機(jī)應(yīng)用.