一種基于卷積神經(jīng)網(wǎng)絡(luò)的智能車牌識別方法

劉世豪 王丙正 胡文帥 陳亞瑞

【摘? ?要】車牌智能識別是實現(xiàn)交通車輛信息統(tǒng)計、存儲的核心技術(shù)，本文設(shè)計一種基于BP神經(jīng)網(wǎng)絡(luò)的的車牌識別實現(xiàn)方案，搭建包含多層卷積、池化、全連接層的神經(jīng)網(wǎng)絡(luò)模型，通過圖像降維、中值濾波、Canny邊緣檢測、閉運算等圖像處理算法搭配，實現(xiàn)對原始車輛圖像的科學(xué)處理。后加以基于投影法的字符分割，將分割后的多個字符數(shù)據(jù)輸入訓(xùn)練模型，得到輸出車牌號碼信息，以實現(xiàn)對圖像車牌號碼的檢測;該方法采用多類場景下車輛圖像進行檢測，識別準(zhǔn)確率可達97%。

【關(guān)鍵詞】車牌識別;中值濾波;BP神經(jīng)網(wǎng)絡(luò);字符分割

引言

隨著中國經(jīng)濟的高速發(fā)展，中國人民對汽車的需求量逐年增大，同時道路車流量在巨幅增加，如何科學(xué)、準(zhǔn)確地在各公共交通場所、交通路段實現(xiàn)對車輛車牌的檢測和識別，這是交通有關(guān)管理部門對交通數(shù)據(jù)統(tǒng)計時較為關(guān)注的問題。本文設(shè)計了一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識別方案，對已經(jīng)存在的車牌識別系統(tǒng)在圖像處理、神經(jīng)網(wǎng)絡(luò)模型搭建方面進行了技術(shù)改進，實現(xiàn)了對多場景下車牌圖像的車牌位置的正確截取，對車牌號碼的精準(zhǔn)識別。

1.卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積的多層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)，包括卷積層，池化層，全連接層，其局部連接方式有效減少了權(quán)值數(shù)量，卷積層通過對圖像數(shù)據(jù)求卷積以提取并增強圖像特征，池化層對圖像進行池化操作，全連接層采用Softmax進行各類別概率的映射，最后輸出層作為字符分類器，實現(xiàn)對車牌各字符的確定。

本文選擇使用CNN神經(jīng)網(wǎng)絡(luò)進行模型構(gòu)建，使車牌、字符圖像可以直接作為網(wǎng)絡(luò)的輸入，有效減少了特征提取過程中的復(fù)雜轉(zhuǎn)換，使圖像重建過程縮短，在解決識別縮放、變形等圖像問題方面具有較高的運算效率。

本文建立3層卷積、3層全連接層的BP神經(jīng)網(wǎng)絡(luò)，來訓(xùn)練字符、車牌的識別模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，卷積層使用3×3的卷積核進行卷積運算，并能夠在圖像邊緣進行停留;池化層使用max-pooling取得特定范圍最大特征點，在車牌及字符圖像識別中對目標(biāo)紋理提取有較高的效用;每層采用RELU函數(shù)進行激勵，RELU函數(shù)表達形式為：

它具有良好的單側(cè)抑制效果，能更好的挖掘車牌及字符細(xì)節(jié)特征，擬合訓(xùn)練數(shù)據(jù)。在神經(jīng)網(wǎng)絡(luò)最后一次輸出層中，采用Softmax回歸對輸入圖像進行分類，Softmax函數(shù)將x向量映射為結(jié)果值（y1，y2，...，yk），對應(yīng)數(shù)據(jù)范圍到（0，1）區(qū)間，Softmax交叉熵?fù)p失函數(shù)：

其中表示樣本有所有類別的后驗概率組成，經(jīng)過梯度下降法的優(yōu)化求解，得到關(guān)于向量W的梯度值，后進行迭代操作，不斷對W進行值更新，直至達到判定閾值。

2.車牌定位

2.1圖像處理

（1）圖像降維。圖像降維采用圖像灰度化處理，RGB圖像灰度化是將原始圖像數(shù)據(jù)轉(zhuǎn)化為二維矩陣，能最大程度保留原始圖像的顯著特征信息。

（2）圖像濾波。圖像濾波是盡量保留圖像原始特征同時消除干擾信息，本方法中采用medianBlur中值濾波，它在一定程度上降低了濾波器內(nèi)與典型值差別較大的值的影響，能較高程度保留圖像邊緣特征，其計算過程如圖2所示。

（3）邊緣檢測。本文使用Canny算法進行邊緣檢測，通過高斯濾波實現(xiàn)干擾信息消除，使用卷積陣列、分別作用于x軸正向和y軸正向，計算梯度幅值和方向：

后定義不同的閾值進行強、弱邊緣檢測，符合判定條件時保留弱邊緣，故有較強的噪聲干擾穩(wěn)定性。

（4）噪聲消除。將原始圖片由RGB通道轉(zhuǎn)換到HSV通道，后二值化處理，使用矩形內(nèi)核對圖像進行先膨脹后腐蝕以實現(xiàn)圖像閉運算，消除圖像中黑色斑點，加強鄰接目標(biāo)間的不可靠連接，平滑邊緣的同時保持檢測物體原有大小，實現(xiàn)圖像前景噪聲的去除，得到真正的車牌在圖像中的區(qū)域。

2.2車牌截取

本文使用opencv2庫函數(shù)進行圖像中矩形輪廓提取，由于圖像本身多樣性，通過泛洪算法（FloodFill）和傾斜矯正對疑似區(qū)域進行矯正處理，后參照中國標(biāo)準(zhǔn)車牌比例進行閾值設(shè)定，通過該閾值對所提取的所有矩形輪廓進行篩選，選取最終判別的車牌區(qū)域進行截取。

2.3車牌識別

對本文建立的卷積神經(jīng)網(wǎng)絡(luò)進行圖像輸入，數(shù)據(jù)集中樣本圖像數(shù)量為6000，其中正向樣本數(shù)量為2000，反向樣本數(shù)量為4000，輸出層是對分類映射的二分類器，輸出結(jié)果為“是車牌”和“非車牌”。

3.字符識別

3.1色彩處理

為便于圖像中字符識別，將圖像灰度化、二值化為黑白圖像。進行圖片邊緣切割，通過從首尾兩側(cè)對圖像二維數(shù)據(jù)進行縮小，舍棄圖像邊緣部分以切除車牌邊框，避免邊框等不利因素對字符識別準(zhǔn)確率造成影響。

3.2字符分割

采用投影法進行字符分割，對圖像進行水平、垂直像素統(tǒng)計，判斷出車牌中每個字符所在區(qū)域。我國標(biāo)準(zhǔn)車牌為統(tǒng)一的七個字符，垂直投影后，各字符間將再無異類像素點，因此得到的投影圖會出現(xiàn)7個大的波峰，從中得到字符起始點、分割間距、字符結(jié)束點等參數(shù)，由此進行字符分割，投影及分割效果如3圖所示。

3.3字符識別

訓(xùn)練搭建的卷積神經(jīng)網(wǎng)絡(luò)模型，將預(yù)處理后生成的圖像數(shù)據(jù)輸入模型，識別結(jié)果包含中國31個省的簡稱、除去字母I和O后的24個大寫英文字母、10個阿拉伯?dāng)?shù)字進行分類，輸出層為65分類器以分別對應(yīng)以上65種字符，輸入值為每個分割出的字符圖像數(shù)據(jù)，輸出為在65個字符中具有最大概率的字符。模型訓(xùn)練過程中，損失隨迭代次數(shù)趨勢圖像如圖4所示，訓(xùn)練結(jié)束時，識別精度高達0.98。

4.測試結(jié)果分析

測試圖片來自數(shù)據(jù)集CCPD2019，CCPD2019是由中科大團隊建立，其中包含多類環(huán)境、角度下車輛圖像，選取100張不同背景、車牌大小的圖像進行檢測，經(jīng)過圖像預(yù)處理，將圖像輸入訓(xùn)練好的模型以進行分類，檢測結(jié)果輸出形式為控制臺打印，識別正確率為0.97，有3%的圖片識別失敗，統(tǒng)計結(jié)果如表1所示。

可以得出，訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)模型在不同場景下車輛圖像有較高的識別率，但對于1%背景干擾性過強的圖像，仍存在不能準(zhǔn)確截取車牌的情況，對于2%變形嚴(yán)重的車牌，存在分割后無法識別的情況，因此該方法在神經(jīng)網(wǎng)絡(luò)模型搭建方面仍有優(yōu)化的空間。

5.結(jié)語

本文基于卷積神經(jīng)網(wǎng)路以及計算機圖像處理技術(shù)，設(shè)計了一種智能車牌識別方法，并利用python語言完了編程實現(xiàn)。該方法可識別現(xiàn)實道路環(huán)境下對車輛圖像，并完成對車牌圖像的準(zhǔn)確截取、分割，輸入訓(xùn)練模型中可準(zhǔn)確輸出識別結(jié)果，測試準(zhǔn)確率可達0.97，實現(xiàn)了各類環(huán)境下車牌的精準(zhǔn)識別，為相關(guān)部門技術(shù)人員的工程實現(xiàn)提供了技術(shù)參考。（通訊作者：陳亞瑞）

參考文獻

[1]周志華.機器學(xué)習(xí).Machine learning[M].清華大學(xué)出版社，2016.

[2]劉美. 彩色圖像灰度化算法的研究與實現(xiàn)[D].長春理工大學(xué)，2019.

[3]施鵬程，彭華.車牌識別系統(tǒng)的設(shè)計與實現(xiàn)[J].信息與電腦（理論版），2020，32（16）：102-104.

[4]林云.基于OpenCV的車牌識別系統(tǒng)設(shè)計與實現(xiàn)[J].物聯(lián)網(wǎng)技術(shù)，2020，10（06）：22-25.

[5]李清洲，潘為剛，王書新.基于Python-OpenCV的車牌識別系統(tǒng)[J].單片機與嵌入式系統(tǒng)應(yīng)用，2020，20（09）：59-62.

[6]劉保.基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的車牌識別算法[J].中國交通信息化，2019（08）：122-125+128.

[7]顧秀秀，朱明亮，吳瓊，史洪瑋.基于BP神經(jīng)網(wǎng)絡(luò)的智能車牌識別系統(tǒng)[J].電腦知識與技術(shù)，2021，17（03）：19-22.

[8]彭慧玲.基于DenseNet與ResNeXt算法的車牌定位識別方法研究[J].技術(shù)與市場，2020，27（10）：23-26.

基金項目：本文系天津科技大學(xué)創(chuàng)新創(chuàng)業(yè)項目（項目編號：202010057171）資助

作者簡介：劉世豪（2000.03-），男，漢族，河南開封人，天津市濱海新區(qū)天津科技大學(xué)物聯(lián)網(wǎng)工程專業(yè)，本科生。

通訊作者：陳亞瑞（1982.10-），女，漢族，河北邢臺人，副教授，博士，研究方法機器學(xué)習(xí)、深度學(xué)習(xí)。

天津科技大學(xué)? ? 天津? ? 300457