基于卷積神經(jīng)網(wǎng)絡(luò)的車輛尾部放大號牌檢測算法研究

趙 凱，張 森，李 杰，尤冬海

（1.鐵道警察學(xué)院 圖像與網(wǎng)絡(luò)偵查系，河南 鄭州450053；2.公安部交通管理科學(xué)研究所，江蘇 無錫214151）

隨著我國經(jīng)濟高速發(fā)展，機動車保有量持續(xù)快速增長。據(jù)公安部統(tǒng)計，截至2017 年年底，全國機動車保有量達(dá)3.10 億輛，其中汽車達(dá)2.17 億輛，按類型分，載客汽車保有量達(dá)1.85 億輛，載貨汽車保有量達(dá)2341萬輛，增速均達(dá)到歷史新高。隨之而來的道路安全形勢越來越嚴(yán)峻，為保證道路安全，杜絕重特大事故發(fā)生，必須對中型和重型載客、貨汽車嚴(yán)格管理。依據(jù)《中華人民共和國道路交通安全法實施條例》第十三條要求，重型、中型載貨汽車及其掛車、拖拉機及其掛車的車身或者車廂后部應(yīng)當(dāng)噴涂放大的號牌，字樣應(yīng)當(dāng)端正并保持清晰。如未按照以上要求的，將依法處以警告或者20 元以上200 元以下罰款。但在現(xiàn)場執(zhí)法過程中，由于放大號牌在車輛尾部，發(fā)現(xiàn)時車輛已經(jīng)快速駛離，管理、取證和處罰難度較大。隨著公安系統(tǒng)的天網(wǎng)工程建設(shè)逐步完善，道路監(jiān)控設(shè)備覆蓋越來越廣，利用電子卡口監(jiān)控設(shè)備，對車輛尾部噴涂放大號牌違章進(jìn)行非現(xiàn)場執(zhí)法，可有效實現(xiàn)，并達(dá)到依法取證、有效查處的目的。

本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的車輛尾部噴涂放大號牌檢測算法，首先采用窗口檢測器網(wǎng)絡(luò)對車輛尾部圖像進(jìn)行檢測，得到可能的目標(biāo)窗口，然后采用改進(jìn)的AlexNet 網(wǎng)絡(luò)模型進(jìn)行分類，對車輛車尾放大號牌檢測分類，算法針對不同車型進(jìn)行了測試分析。經(jīng)過實驗測試，提出的算法模型分類效果和泛化能力較好，檢測效果滿足實踐要求。

一、研究現(xiàn)狀

深度學(xué)習(xí)是通過建立和模擬人腦的學(xué)習(xí)分析問題的神經(jīng)網(wǎng)絡(luò)，對數(shù)據(jù)進(jìn)行解釋，為人們提供精確的識別和預(yù)測能力。目前深度學(xué)習(xí)逐漸廣泛應(yīng)用于圖像分類、人臉識別、語音識別、自然語言處理等領(lǐng)域。特別在圖像分類領(lǐng)域，從2010 年開始，ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC，ImageNet Large Scale Visual Recognition Challenge）每年舉行一次，在2012年，基于深度學(xué)習(xí)的AlexNet[1]網(wǎng)絡(luò)贏得了冠軍，把2010年接近30%的誤差率下降至15.4%，大幅提高了機器視覺的識別率。

對圖像中物體進(jìn)行分類主要是研究圖像的特征描述。當(dāng)前的車輛特征提取主要有傳統(tǒng)的人工經(jīng)驗算法提取和深度學(xué)習(xí)算法提取。傳統(tǒng)的人工經(jīng)驗算法的模型簡單，但是對圖像的旋轉(zhuǎn)、光線強度和圖像尺寸大小要求嚴(yán)格，并且算法的魯棒性較差。相較于傳統(tǒng)的人工經(jīng)驗算法，深度學(xué)習(xí)算法采用層級連接的方式，對輸入圖像信號進(jìn)行非線性建模，從而獲得圖像更本質(zhì)性的表現(xiàn)特征，完全是數(shù)據(jù)驅(qū)動的“端到端”的學(xué)習(xí)，不依賴于人工設(shè)計的特征提取模型，能解決車輛在復(fù)雜自然場景下，位置不同、角度不同等所帶來的分類難題，并具有很好的魯棒性[2]?，F(xiàn)在用于車輛放大號牌的自動分類檢測的研究較少，在復(fù)雜道路場景下，車尾圖像參數(shù)不統(tǒng)一、車輛的放大號牌不規(guī)范，采用人工經(jīng)驗算法提取的特征進(jìn)行分類檢測的效果很差。

二、卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN[3]，Convolutional Neural Networks）是一種前饋人工神經(jīng)網(wǎng)絡(luò)，與普通的神經(jīng)網(wǎng)絡(luò)相似，是由可學(xué)習(xí)的權(quán)重和偏置常量的神經(jīng)元組成。卷積神經(jīng)網(wǎng)絡(luò)有很多層組成[4]，其典型結(jié)構(gòu)由輸入層、隱藏層和輸出層組成，其中隱藏層包含卷積層、池化層和全連接層。

圖1為經(jīng)典的AlexNet網(wǎng)絡(luò)模型，它是Hinton和他的學(xué)生Alex 在參加ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽時提出的卷積神經(jīng)網(wǎng)絡(luò)模型。該模型深度為8層，其中卷積層5 層，全連接層3 層，參數(shù)約60 MB個，具有約650K 個神經(jīng)元，使用ReLU 函數(shù)作為激活函數(shù)，使用了Dropout技術(shù)，在最后采用Softmax輸出概率值，按照概率的大小并設(shè)置門限來進(jìn)行圖像分類。

三、基于深度學(xué)習(xí)的車尾放大號牌檢測的網(wǎng)絡(luò)模型

車輛尾部放大號牌檢測網(wǎng)絡(luò)模型是一個判斷車輛尾部有無放大號牌的分類檢測網(wǎng)絡(luò)模型，實現(xiàn)該功能的流程如圖2 所示。在通常道路應(yīng)用環(huán)境中，需要首先使用窗口檢測網(wǎng)絡(luò)對圖像進(jìn)行車輛檢測[5]，檢測為車輛尾部圖像后，接著對車輛類型進(jìn)行分類，放大號牌只對中型和重型載客、貨車有要求，對分類后的車輛尾部圖片進(jìn)行放大號牌的檢測。本文主要研究放大號牌的檢測網(wǎng)絡(luò)模型。

圖1 經(jīng)典AlexNet網(wǎng)絡(luò)模型框架

圖2 車輛尾部放大號牌檢測流程

目前進(jìn)行圖像分類的網(wǎng)絡(luò)算法有AlexNet 的8層，VGGNet[6]的19 層，GoogleNet[7]的22 層，甚至還有ResNet[8]的200 層，理論上層數(shù)越多分類效果越好，但效率也會降低。本文研究的車輛尾部放大號牌是二分類問題，類別較少，在注重效果的同時，需要更快的速度。因此，受AlexNet 網(wǎng)絡(luò)模型啟發(fā)，本文構(gòu)建了如圖3 的網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型共有6層，其中4個卷積層和2個全連接層，去掉了原網(wǎng)絡(luò)中LRN（Local Response Normalization）層，使 用ReLU 函數(shù)作為激活函數(shù)，為防止訓(xùn)練數(shù)據(jù)過擬合，保留了全連接層的使用Dropout技術(shù)，但是去掉了最后一個全連接層，為了減少模型參數(shù)，同時將原來較大的卷積核使用較小的核來實現(xiàn)。

該算法首先獲取分類后的車輛圖像信息，為了統(tǒng)一數(shù)據(jù)格式，將圖像大小轉(zhuǎn)換為256*256，并使用三通道（RGB）彩色圖片輸入到網(wǎng)絡(luò)中，然后經(jīng)過4個卷積層和2個全連接層。第1、2個卷積層使用5*5的卷積核，可以減小參數(shù)并加快訓(xùn)練、檢測速度，第3、4個卷積層使用3*3的卷積核，所有卷積層均使用ReLU 函數(shù)作為激活函數(shù)，在全連接層中，為提高算法的泛化能力保留了Dropout技術(shù)，去掉最后一層全連接層，模型最后使用Softmax回歸進(jìn)行概率分類。

四、實驗結(jié)果與分析

為判斷網(wǎng)絡(luò)模型的可行性和通用性，算法模型驗證時，分為按車型分類的驗證和不按車型分類的驗證，然后分析檢測準(zhǔn)確率，期望得到適合各種車型的網(wǎng)絡(luò)模型。按車型分類驗證時，把車型分為重型貨車、大客車和中型客貨車三類，將三類車輛圖像集分別進(jìn)行訓(xùn)練測試，然后得到模型的檢測準(zhǔn)確率，從而判斷模型的可行性。不按車型分類驗證時，將三類車型樣本集混合打亂，進(jìn)行訓(xùn)練，然后對三類車型分別測試，得到模型的檢測準(zhǔn)確率，從而分析模型的通用性。

（一）實驗數(shù)據(jù)集

實驗數(shù)據(jù)集來源于某地高速路車輛圖像信息，由于負(fù)樣本較難獲取，故實驗未使用大量的數(shù)據(jù)。實驗數(shù)據(jù)集中，重型貨車圖片1000 張，其中無噴涂樣本500 張；大客車圖片1000 張，其中無噴涂樣本500 張；中型客貨車圖片1000 張，其中無噴涂樣本500 張。實驗測試集中，三類車型樣本各250 張，其中無噴涂樣本各125張。

（二）網(wǎng)絡(luò)訓(xùn)練和數(shù)據(jù)分析

本實驗使用的環(huán)境是Ubuntu 16.04，使用單個NVIDIA的Tesla系列P4的GPU，是基于Caffe的深度神經(jīng)網(wǎng)絡(luò)平臺。訓(xùn)練時初始學(xué)習(xí)率為10-3，動量為0.9，權(quán)重衰減量為0.05，塊大小為32，正則化系數(shù)為10-3。

為驗證所提出的算法的可行性和有效性，針對三種不同車型，分別使用經(jīng)典AlexNet 和本文改進(jìn)AlexNet 網(wǎng)絡(luò)模型進(jìn)行了驗證對比。表1～4，在不同的場景下，給出了兩個算法的檢測速率、召回率和準(zhǔn)確率。

圖3 放大號牌檢測網(wǎng)絡(luò)模型

表1 重型貨車的經(jīng)典AlexNet和改進(jìn)AlexNet算法的比較

表2 大型客車的經(jīng)典AlexNet和改進(jìn)AlexNet算法的比較

表3 中型客貨車的經(jīng)典AlexNet和改進(jìn)AlexNet算法的比較

表4 混合車型的經(jīng)典AlexNet和改進(jìn)AlexNet算法的比較

經(jīng)典AlexNet 和本文改進(jìn)AlexNet 算法，在車輛放大號牌檢測中檢測準(zhǔn)確率均超過83%，說明算法模型可行。分析數(shù)據(jù)發(fā)現(xiàn)，重型貨車由于車輛外觀整潔度較差，放大號牌部分不清晰，導(dǎo)致檢測準(zhǔn)備率較低；大型客車負(fù)樣本中，小部分車尾部車窗部分粘貼有廣告信息，導(dǎo)致檢測出錯；中型客貨車，外觀整潔，車尾無干擾因素，故檢測準(zhǔn)確率較高。

在算法效果上，本文從檢測速率、召回率和準(zhǔn)確率方面進(jìn)行分析。在檢測速率方面，經(jīng)典AlexNet每秒檢測4.6張圖片，改進(jìn)的AlexNet可檢測每秒6.3張。改進(jìn)的AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)比經(jīng)典AlexNet 的少1個卷積層和一個全連接層，因此改進(jìn)的AlexNet 檢測速率較快。在召回率方面，在二分類的應(yīng)用場景下，由于兩者的網(wǎng)絡(luò)結(jié)構(gòu)和采用的技術(shù)類似，兩者的召回率基本一樣，改進(jìn)的AlexNet刪減了LRN層，得到的召回率相對略高。在準(zhǔn)確率方面，改進(jìn)的AlexNet網(wǎng)絡(luò)，車輛的二分類場景中，選用2層5*5的卷積核和2 層3*3 的卷積核更為合適，并且每個卷積層中具有池化層，算法的特征獲取更好，且算法的泛化能力更強，因此改進(jìn)的AlexNet 檢測準(zhǔn)確率更高。

五、結(jié)論

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的車輛尾部放大號牌檢測方法，設(shè)計了基于改進(jìn)的AlexNet網(wǎng)絡(luò)模型的放大號牌的檢測分類算法，并通過不同車型場景對算法的可行性進(jìn)行驗證，然后通過混合車型數(shù)據(jù)集對算法進(jìn)行通用性和有效性驗證。實驗證明，提出的算法模型速率具備較好的泛化能力，算法效率和準(zhǔn)確率能夠滿足實踐要求。但算法在部分型號車尾玻璃窗粘貼大幅面廣告場景下，準(zhǔn)確率有一定的下降，這將是算法改進(jìn)的一個方向。