基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法

徐紹凱 陳尹 趙林娟 姜代紅

摘 要：研究車牌識(shí)別技術(shù)時(shí)，存在著識(shí)別準(zhǔn)確率波動(dòng)較大，準(zhǔn)確率較低等問題。為提高車牌識(shí)別準(zhǔn)確率，提出了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)算法，在卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上對(duì)其層次、參數(shù)進(jìn)行改進(jìn)，通過設(shè)置對(duì)照實(shí)驗(yàn)獲得較好的訓(xùn)練參數(shù)數(shù)值，使改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)車牌識(shí)別的準(zhǔn)確率有一定提升。根據(jù)實(shí)驗(yàn)方案，對(duì)全連接神經(jīng)網(wǎng)絡(luò)、LeNet-5，以及改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率方面進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)表明，改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率方面高于全連接神經(jīng)網(wǎng)絡(luò)和LeNet-5。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；車牌識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：In the study of license plate recognition technology，there are some problems，such as large fluctuation of recognition accuracy，low accuracy and so on.In order to improve the accuracy of license plate recognition，an improved convolutional neural network algorithm is proposed.On the basis of the convolutional neural network model，the hierarchy and parameters are optimized.Better training parameters are obtained by setting the control experiment，which enables the improved convolutional neural network to improve the accuracy of license plate recognition to a certain extent.According to the experimental scheme，a comparison experiment is carried out on the recognition accuracy of fully connected neural network，LeNet-5 and improved convolutional neural network.The experimental data shows that the improved onvolutional neural network is better than the other two neural networks in recognition accuracy.

Keywords：machine learning；license plate recognition；convolutional neural network

1 引言（Introduction）

全球的經(jīng)濟(jì)發(fā)展迅速，汽車數(shù)量不斷增加，交通堵塞、交通事故多發(fā)、交通環(huán)境日趨惡化等問題是各個(gè)國家都無法忽視的，智能交通系統(tǒng)（簡稱ITS）[1]開始進(jìn)入人們的視線。車牌識(shí)別技術(shù)（簡稱LPR）作為ITS領(lǐng)域中不可或缺的一部分發(fā)揮著越來越重要的作用。

由于缺乏大規(guī)模圖像數(shù)據(jù)庫和硬件性能不足，造成了早期的CNN不能處理復(fù)雜問題。近年來由于硬件技術(shù)上的突破和越來越多的大規(guī)模圖像數(shù)據(jù)庫被人民建立，CNN逐漸成為人工智能方面研究熱點(diǎn)，隨著對(duì)其不斷的研究，許多新的結(jié)構(gòu)被人們提出。近年比較有名的CNN結(jié)構(gòu)有ResNet[2]、AlexNet[3]、VGGNet[4]、GoogleNet[5]等。在應(yīng)用方面上，圖像識(shí)別方面[6]，動(dòng)態(tài)視頻分析[7]、自然語言處理[8]等方面都取得了很多成果。由于CNN在圖片識(shí)別方面具有很好的性能，所以將CNN應(yīng)用到LPR領(lǐng)域。

本文首簡單介紹卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，提出了幾種改進(jìn)方案對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了改進(jìn)，對(duì)于改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行介紹和分析，改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)解決了識(shí)別準(zhǔn)確率低的問題。設(shè)計(jì)了實(shí)驗(yàn)方案，實(shí)驗(yàn)對(duì)比了改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)與、文獻(xiàn)[9]中的卷積神經(jīng)網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率，得出了改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率方面有所提升的結(jié)論

2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（Convolution neural network structure）

卷積神經(jīng)網(wǎng)絡(luò)是近年來興起的人工神經(jīng)網(wǎng)絡(luò)的一個(gè)特例，在圖片和語言識(shí)別領(lǐng)域取得了較多的研究成果。這種技術(shù)被廣泛傳播和應(yīng)用，最常見的應(yīng)用是在計(jì)算機(jī)圖像識(shí)別方面，藥物發(fā)現(xiàn)、動(dòng)態(tài)視頻分析、自然語言處理也都使用了這門技術(shù)。

卷積神經(jīng)網(wǎng)絡(luò)不再是對(duì)圖片的一個(gè)個(gè)像素點(diǎn)進(jìn)行處理，而是使用卷積核對(duì)一塊像素區(qū)域進(jìn)行掃描，這種方法是為了加強(qiáng)圖像信息的連續(xù)性，加深神經(jīng)網(wǎng)絡(luò)對(duì)圖像的理解。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)主要由三個(gè)部分組成：輸入層為第一部分，兩層卷積層和降采樣層構(gòu)成第二部分，卷積層計(jì)算特征圖公式如式（1）所示：

3 改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)（Improved convolution neural network）

3.1 設(shè)計(jì)方案

針對(duì)我國車牌中存在10個(gè)數(shù)字和24個(gè)字母（不包含I、O）的情況，我們將神經(jīng)網(wǎng)絡(luò)的輸出層中的神經(jīng)元個(gè)數(shù)改為34，對(duì)識(shí)別準(zhǔn)確率方面提出以下方法進(jìn)行改進(jìn)：

（1）參照Lenet-5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)添加C5層。

（2）在卷積層和降采樣層之間添加標(biāo)注化層。

（3）調(diào)整C5層的卷積核個(gè)數(shù)。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)層次如圖2所示。輸入層為第一部分，由卷積層、激活函數(shù)、標(biāo)準(zhǔn)批處理層、池化層這三部分組成第二部分。全連接層、Softmax層和輸出層構(gòu)成第三部分。

改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)各層介紹：（1）輸入層為字符的圖片，圖片大小32×32；（2）C1為卷積層，輸入圖片經(jīng)過該層后得到6張28×28的特征圖，該層中共用了6個(gè)大小為5×5的過濾器；（3）S2為池化層，6張C1層處理得出的的特征圖經(jīng)過池化變成大小為 28×28 的特征圖，每個(gè)過濾器大小為2×2；（4）C3為卷積層，池化處理過的圖片經(jīng)過C3層后得到16個(gè)10×10的特征圖，每個(gè)過濾器大小為5×5，共16×6個(gè)卷積核；（5）S4為為池化層，16張C3層處理得出的的特征圖經(jīng)過池化變成大小為5×5的特征圖，每個(gè)過濾器大小為2×2；（6）C5層為卷積層，池化處理過的圖片經(jīng)過C3層后得到120個(gè)1×1的特征圖，每個(gè)過濾器大小為5×5；（7）F6層為全連接層，C5層的120個(gè)特征圖經(jīng)過F6層后得到120×1×1共120個(gè)神經(jīng)元，輸出節(jié)點(diǎn)數(shù)為84個(gè)；（9）輸出層包含34個(gè)神經(jīng)元，對(duì)應(yīng)著34個(gè)字符的輸出。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境：GPU為NVIDIA GTX960M獨(dú)立顯示芯片，2G獨(dú)立顯存；CPU為Intel i5-6300HQ，主頻2.30GHz、4GB內(nèi)存、4核；64位Microsoft Windows 10操作系統(tǒng)，MatlabR2017b編程語言。DeepLearnToolbox-master深度學(xué)習(xí)算法軟件包，使用GPU計(jì)算。在Chars74K數(shù)據(jù)集中選取36040張字符圖像，每個(gè)字符1060張，共34個(gè)字符（10類數(shù)字字符，24類字母字符，除去字母O和I）。

3.3.1 標(biāo)準(zhǔn)化層對(duì)識(shí)別準(zhǔn)確率的影響

實(shí)驗(yàn)對(duì)象：卷積神經(jīng)網(wǎng)絡(luò)與改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果如表1所示。

從表中可以看出在相同的參數(shù)下，加入標(biāo)準(zhǔn)化層與未加入標(biāo)準(zhǔn)化層的卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別率上由94.12%提高到了94.95%。由此可以看出標(biāo)準(zhǔn)化層對(duì)卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率方面有一定提升。

3.3.2 C5層和C5層卷積核個(gè)數(shù)對(duì)識(shí)別率的影響

實(shí)驗(yàn)對(duì)象：卷積神經(jīng)網(wǎng)絡(luò)與含C5層的卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果如表2所示。

從表中可以看出在相同的參數(shù)下，加入C5卷積層與未加入C5卷積層的卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別率上由94.12%提高到了94.83。根據(jù)該實(shí)驗(yàn)數(shù)據(jù)可以得出C5卷積層在提高識(shí)別準(zhǔn)確率方面有著一定效果。

實(shí)驗(yàn)對(duì)象：C5層卷積核個(gè)數(shù)。實(shí)驗(yàn)結(jié)果如表3所示。

從表中可以看出C5層卷積核個(gè)數(shù)對(duì)識(shí)別準(zhǔn)確率有著一定的影響，隨著卷積核個(gè)數(shù)的提高識(shí)別準(zhǔn)確率也隨之提高，這體現(xiàn)了在輸出層的神經(jīng)元個(gè)數(shù)增加后，識(shí)別精度隨著卷積核數(shù)增加而提高，但當(dāng)卷積核數(shù)增加到一定數(shù)目時(shí)，識(shí)別精度不會(huì)提高。

3.3.3 三種神經(jīng)網(wǎng)絡(luò)的對(duì)比

實(shí)驗(yàn)對(duì)象：全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)與改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)。參數(shù)設(shè)置：迭代次數(shù)30，學(xué)習(xí)率0.003，實(shí)驗(yàn)數(shù)據(jù)集：4200張樣本圖片。實(shí)驗(yàn)結(jié)果如表4所示。

從表中可以看出改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)與全連接神經(jīng)網(wǎng)絡(luò)相比識(shí)別準(zhǔn)確率提高了約10%，與卷積神經(jīng)網(wǎng)絡(luò)相對(duì)比識(shí)別準(zhǔn)確率提高了約2%。

3.3.4 三種神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率對(duì)比圖

圖4表示的是這三種神經(jīng)網(wǎng)絡(luò)在相同迭代次數(shù)下的準(zhǔn)確率對(duì)比圖，長劃線類型曲線代表全連接神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率變化圖，系統(tǒng)點(diǎn)線類型曲線代表LeNet-5神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率變化圖，長劃線—點(diǎn)線類型代表改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)準(zhǔn)確率變化圖。由圖4可知，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面確實(shí)優(yōu)于全連接神經(jīng)網(wǎng)絡(luò)，而改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率最好。

4 結(jié)論（Conclusion）

本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)對(duì)車牌識(shí)別方面進(jìn)行了深入的研究。為了提高車牌識(shí)別準(zhǔn)確率，我們對(duì)卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)進(jìn)行改進(jìn)，改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過試驗(yàn)中參數(shù)的調(diào)整準(zhǔn)確率達(dá)到了96.24%，相較于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率提高了大約2%。

參考文獻(xiàn)（References）

[1] 趙娜，袁家斌，徐晗.智能交通系統(tǒng)綜述[J].計(jì)算機(jī)科學(xué)，2014，41（11）：7-11；45.

[2] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[EB/OL].https：//arx-iv.org/abs/1512.03385，2016-12-10.

[3] Ding，H.Li，C.Hu，et al.ALEXNET FEATURE EXTRACTION AND MULTI-KERNEL LEARNING FOR OBJECTORIENTEDCLASSIFICATION[J].ISPRS-International Archives of the Photogrammetry，Remote Sensing and SpatialInformationSciences，2018，XLII-3.

[4] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[EB/OL].https：//arxiv.org/abs/1409.1556，2016-12-10.

[5] Pengjie Tang，Hanli Wang，Sam Kwong.G-MS2F：GoogLeNet based multistage feature fusion of deep CNN for scene recognition[J].Neurocomputing，2017，225（15）：188-197.

[6] 易超人，鄧燕妮.多通道卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別方法[J].河南科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，38（03）：41-44；5-6.

[7] 單勇，程環(huán)環(huán)，張曉燕.基于多觀察層次動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的視頻行為分析[J].電路與系統(tǒng)學(xué)報(bào)，2012，17（06）：124-131.

[8] 奚雪峰，周國棟.面向自然語言處理的深度學(xué)習(xí)研究[J].自動(dòng)化學(xué)報(bào)，2016，42（10）：1445-1465.

[9] 趙志宏，楊紹普，馬增強(qiáng).基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識(shí)別研究[J].系統(tǒng)仿真學(xué)報(bào)，2010，22（03）：638-641.

作者簡介：

徐紹凱（1997-），男，本科生.研究領(lǐng)域：軟件開發(fā)，人工智能.

陳 尹（1997-），男，本科生.研究領(lǐng)域：軟件開發(fā)，人工智能.

趙林娟（1993-），女，本科生.研究領(lǐng)域：軟件開發(fā)，人工智能.

姜代紅（1969-），女，博士，教授.研究領(lǐng)域：數(shù)據(jù)庫，人工智能.