基于深度學(xué)習(xí)的傾斜車牌矯正識(shí)別

李曉燃

?

基于深度學(xué)習(xí)的傾斜車牌矯正識(shí)別

李曉燃

（天津職業(yè)技術(shù)師范大學(xué) 汽車與交通學(xué)院，天津 300222）

車輛號(hào)牌矯正識(shí)別技術(shù)是交通系智能化體系中一項(xiàng)非常重要的基礎(chǔ)功能。拍攝的車牌圖像受到各種外部環(huán)境的影響而導(dǎo)致圖像質(zhì)量受損嚴(yán)重，文中通過運(yùn)用深度學(xué)習(xí)的霍夫變換改進(jìn)算法，針對(duì)大角度傾斜的車輛號(hào)牌研究其矯正識(shí)別技術(shù)。首先，利用基于深度學(xué)習(xí)的特征提取和識(shí)別方法，解決車輛號(hào)牌中相似字符的分類問題。建立五層深度網(wǎng)絡(luò)，通過由底層向高層的順序，獲取歸一化處理后的圖像中相近字符特征，然后通過卷積函數(shù)提取出字符邊緣特征并完成差異性比較；其次，利用集成深度學(xué)習(xí)的不同層次的識(shí)別方法有效解決車牌圖片字符的識(shí)別效率問題。利用支持向量機(jī)完成對(duì)字符的統(tǒng)計(jì)和分類工作，通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行識(shí)別優(yōu)化，分析模糊相近字符并最終獲取車輛號(hào)牌識(shí)別圖像。最后，在充分利用區(qū)域范圍分劃和霍夫變換的車牌傾斜校正方法后完成大角度車牌的矯正和識(shí)別。實(shí)驗(yàn)證明，采用文中方法能夠?qū)Π俜陨洗蠼嵌葍A斜車牌圖像實(shí)現(xiàn)有效矯正與識(shí)別。

深度學(xué)習(xí)；大角度；車牌識(shí)別

0 引言

我國改革開放40年的發(fā)展成果舉世矚目，工業(yè)化進(jìn)程和國民生活水平也穩(wěn)步提高，汽車也廣泛的走進(jìn)了人們的日常生活，成為了不可或缺的出行工具[1-2]。到2017年末我國機(jī)動(dòng)車保有量突破3.1億輛，其中新增車輛2304萬余輛，保有量增長再創(chuàng)新高[3]。這同時(shí)也給本就擁擠的城市交通帶來了巨大的壓力，目前的城市交通發(fā)展程度顯然滿足不了如此快速的機(jī)動(dòng)車增長速度，導(dǎo)致城市交通的早晚高峰或惡劣天氣情況時(shí)的道路異常擁堵，且違章與事故頻發(fā)[4-5]。智能交通系統(tǒng)能夠有效解決上述問題，智能交通系統(tǒng)是集信息、圖像處理及數(shù)據(jù)輸送等多項(xiàng)技術(shù)的綜合，可自動(dòng)對(duì)當(dāng)前車輛實(shí)行監(jiān)控并進(jìn)行數(shù)據(jù)分析。在智能交通系統(tǒng)中，車輛識(shí)別技術(shù)被認(rèn)為是其基礎(chǔ)及關(guān)鍵的功能之一[6-7]。車牌作為車輛的身份標(biāo)志，容易受外部環(huán)境影響，光線照射不均勻、拍攝角度偏差大、圖像背景復(fù)雜及車牌污染損壞等。為使車輛唯一外部標(biāo)識(shí)達(dá)到有效識(shí)別的目的，文獻(xiàn)[8]中提到部分學(xué)者利用數(shù)字圖像處理技術(shù)實(shí)現(xiàn)了車輛號(hào)牌的識(shí)別。第一步通過圖像分割找出車輛號(hào)牌位置，第二步通過匹配比較事先錄入的構(gòu)造字符模板達(dá)到字符識(shí)別目的，最后自動(dòng)識(shí)別出車輛號(hào)牌。文獻(xiàn)[9]中指出利用基于彩色圖像處理方法使HLS彩色模型的方法識(shí)別率提升到了最高91.25%，可是大量的數(shù)據(jù)計(jì)算導(dǎo)致其整體運(yùn)算速度偏低。文獻(xiàn)[10]中提到在車輛號(hào)牌識(shí)別研究中運(yùn)用了光學(xué)字符識(shí)別技術(shù)，車牌位置定位是通過梯度分析的方法完成的，號(hào)碼識(shí)別是通過模式匹配和模板以及啟發(fā)式的算法綜合達(dá)成的。這一方法在現(xiàn)實(shí)使用中的識(shí)別準(zhǔn)確率和識(shí)別速度都有較大的提升，但是在實(shí)時(shí)性方面沒有實(shí)現(xiàn)相應(yīng)的要求。充分研究了上文提到的方法中存在的問題，文中提出以深度學(xué)的霍夫變換改進(jìn)方法為基礎(chǔ)矯正和識(shí)別大角度傾斜車輛號(hào)牌的方法。

1 基于深度學(xué)習(xí)的大角度傾斜車牌矯正識(shí)別過程

1.1 基于深度學(xué)習(xí)的多層次識(shí)別方法

車牌識(shí)別方法決定其是否可以準(zhǔn)確快速地識(shí)別車牌號(hào)碼，一般識(shí)別過程為字符預(yù)處理、字符圖像特征提取及類別分析。文中首先針對(duì)車牌中存在相似字符問題進(jìn)行分析，通過使用歸一化處理后的圖片，利用基于深度學(xué)習(xí)的特征提取法對(duì)車牌中相似字符實(shí)行特征提取，然后采用卷積函數(shù)對(duì)字符進(jìn)行分類識(shí)別。

字符成功識(shí)別的一個(gè)重要前提即為圖像預(yù)處理。外界干擾因素直接影響號(hào)牌圖像中字符的識(shí)別，所以相應(yīng)的圖像預(yù)處理工作非常重要且必要。歸一化處理分割過的單體字符，也就是統(tǒng)一按照特定尺寸要求對(duì)分割的字符進(jìn)行縮放操作，這樣有利于進(jìn)一步識(shí)別字符。

文中運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)車牌中相似字符識(shí)別過程。運(yùn)用反向傳播模式，對(duì)相似車牌字符圖像特征進(jìn)行有效提取。卷積神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)是具有卷積層和下采樣層的神經(jīng)網(wǎng)絡(luò)，一些二維特征提取平面構(gòu)成卷積層，在全部平面上分布較多神經(jīng)元。由卷積核和偏置對(duì)輸入的數(shù)據(jù)進(jìn)行卷積操作，再利用某個(gè)轉(zhuǎn)換函數(shù)獲取特征圖像；下采樣層是對(duì)上層輸出的特征映射圖進(jìn)行池化操作。一般情況是先提取數(shù)據(jù)特征，將所有神經(jīng)元連接到上一層相對(duì)局部區(qū)域，并提取該區(qū)域特征，然后通過移動(dòng)使這一區(qū)域連接到新神經(jīng)元，完成全部對(duì)應(yīng)區(qū)域的特征提取。卷積過程完成了提取字符圖像對(duì)應(yīng)全部位置上的特征，然后傳輸至下一層，保證字符特征采集的完整性，也突出所有字符特征的差異性，對(duì)后續(xù)字符識(shí)別而言意義重大。

下采樣層利用上層輸出數(shù)據(jù)進(jìn)行后續(xù)的池化操作。經(jīng)過下采樣步驟后，輸出和輸入相同個(gè)數(shù)的圖像特征點(diǎn)。下采樣層計(jì)算公式具體描述為：

其詳細(xì)過程為在深度卷積神經(jīng)網(wǎng)絡(luò)的卷積層和下采樣層分別處理輸入字符，當(dāng)層級(jí)由低到高變化時(shí)輸出特征會(huì)越來越抽象。通過層層提取相關(guān)特征，最終在高層得到抽象語義特征。

在識(shí)別車牌過程中，由于車輛號(hào)牌出現(xiàn)相似字符幾率大，基于此文中利用SVM完成字符的最初識(shí)別，之后將被SVM誤識(shí)別的相似字符通過深度學(xué)習(xí)算法完成再次識(shí)別，最終得出車牌號(hào)碼。在對(duì)車輛進(jìn)行識(shí)別過程中，應(yīng)先對(duì)車牌位置實(shí)行定位，文中運(yùn)用顏色特征及圖像邊緣特征當(dāng)作判定車牌的依據(jù)，并采用分類功能較好的支持向量機(jī)區(qū)分車牌區(qū)域與非車牌區(qū)域，以保證識(shí)別車牌的準(zhǔn)確性。

經(jīng)過將車牌彩色圖像轉(zhuǎn)化為HSV顏色空間的圖像后，車牌藍(lán)黃區(qū)域即可顯示，利用邊緣特征提取方法，對(duì)圖像中的車牌輪廓的矩形區(qū)域進(jìn)行篩選，刪除比較小及比較大的區(qū)域。然而上述操作中包括非車牌矩形區(qū)域，因此需采用SVM分類器對(duì)上述矩形區(qū)域進(jìn)行真?zhèn)闻卸ā?/p>

運(yùn)用Lagrange優(yōu)化法使分類面優(yōu)化問題變換成對(duì)偶優(yōu)化，則可表述為：

最后可描述最優(yōu)分類判別函數(shù)為：

通過上述過程利用先驗(yàn)知識(shí)，結(jié)合對(duì)車牌的大小及長寬等因素的分析，可分辨出每個(gè)車牌區(qū)域及非車牌區(qū)域，由此篩選及分類后可提升識(shí)別的準(zhǔn)確性。為提升對(duì)相似字符的識(shí)別準(zhǔn)確率及效率，利用SVM進(jìn)行第二次分類識(shí)別，文中結(jié)合數(shù)據(jù)集及深度學(xué)習(xí)，構(gòu)建相似字符訓(xùn)練集，并利用卷積神經(jīng)網(wǎng)絡(luò)二次識(shí)別字符樣本。

1.2 基于區(qū)域分劃及霍夫變換的大角度傾斜車牌矯正方法

圖2 車牌垂直傾斜方式

垂直右傾：

垂直左傾：

綜上所述，文中通過運(yùn)用深度學(xué)習(xí)的卷積神經(jīng)多層次車牌識(shí)別法，首先針對(duì)相似字符車牌進(jìn)行初步識(shí)別，再針對(duì)出現(xiàn)大角度傾斜情況的車輛號(hào)牌，通過運(yùn)用以區(qū)域分劃和霍夫變換的改進(jìn)方法完成大角度傾斜車牌矯正過程。具體該方法流程如下圖3所示。

2 實(shí)驗(yàn)結(jié)果與數(shù)據(jù)分析

為檢測文中的基于深度學(xué)習(xí)的霍夫變換改進(jìn)方法的有效性能，實(shí)驗(yàn)選取150張車牌圖像，其中包括亮度與模糊度不同的多張大角度傾斜圖片，利用車牌定位處理后的圖片進(jìn)行實(shí)驗(yàn)，并與文獻(xiàn)[8]方法與文獻(xiàn)[9]方法所獲取結(jié)果進(jìn)行比較。分別運(yùn)用文獻(xiàn)[8]方法、文獻(xiàn)[9]方法及文中方法對(duì)大角度傾斜車牌圖像實(shí)行矯正識(shí)別，對(duì)比上述3種方法的識(shí)別準(zhǔn)確率及效率，具體如表1數(shù)據(jù)所示。

觀察上表1，表中數(shù)據(jù)顯示，利用上述三種方法對(duì)大角度傾斜車牌圖像進(jìn)行矯正處理，從車牌矯正正確率角度看，文獻(xiàn)[8]方法與文獻(xiàn)[9]方法的傾斜車牌矯正正確比例分別為89.65%和90.31%，而文中方法為98.50%，正確率較高；從車牌圖像平均矯正速度角度看，文獻(xiàn)[8]方法與文獻(xiàn)[9]方法的傾斜車牌矯正正確速度分別為0.542 s和0.468 s，文中方法平均矯正速度為0.146 s，基于深度學(xué)習(xí)的傾斜車牌矯正方法效率更高。

圖3 基于深度學(xué)習(xí)的霍夫變換改進(jìn)方法

表1 大角度傾斜車牌識(shí)別準(zhǔn)確度與效率

Tab.1 Accuracy and efficiency of large Angle tilting license plate recognition

從150張圖片中選擇一張傾斜圖片，如圖4所示，比較文獻(xiàn)[8]方法、文獻(xiàn)[9]方法及文中方法矯正傾斜車牌角度的性能，具體如圖4-圖7所示。

圖4 傾斜原始車牌

圖5 文獻(xiàn)[8]方法矯正識(shí)別后車牌

圖6 文獻(xiàn)[9]方法矯正識(shí)別后車牌

圖7 文中方法矯正識(shí)別后車牌

觀察圖4-7可發(fā)現(xiàn)，分別運(yùn)用文獻(xiàn)[8]方法、文獻(xiàn)[9]方法及文中方法對(duì)大角度傾斜車牌進(jìn)行矯正識(shí)別處理，標(biāo)準(zhǔn)矯正角度為±2°，采用文中方法對(duì)車牌進(jìn)行矯正后符合該標(biāo)準(zhǔn)角度值，因此文中方法性能更優(yōu)越。

3 結(jié)論

車牌是車輛身份的標(biāo)志，由于多種外部原因?qū)е聦?duì)大角度傾斜車牌識(shí)別不準(zhǔn)確，針對(duì)上述問題文中提出運(yùn)用基于深度學(xué)的霍夫變換改進(jìn)方法對(duì)傾斜車牌實(shí)現(xiàn)行矯正識(shí)別過程。對(duì)于車牌中存在相似字符問題，運(yùn)用歸一化處理后的圖像通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并采用SVM方法對(duì)字符進(jìn)行二次識(shí)別，再結(jié)合霍夫變換方法，最終完成對(duì)大角度傾斜車牌的矯正過程。

[1] 童鋒亮. 日常生活的交通解決方案[J]. 經(jīng)營者(汽車商業(yè)評(píng)論), 2017(6):195-200.

[2] 白金國. 汽車與交通發(fā)展現(xiàn)狀及趨勢分析[J]. 時(shí)代農(nóng)機(jī), 2017, 44(4): 52-53.

[3] 沈后功, 周凱. 2015年全國機(jī)動(dòng)車和駕駛?cè)搜该驮鲩L新增汽車1781多萬汽車保有量增長創(chuàng)歷史新高[J]. 汽車與安全, 2016(2):41-41.

[4] 石路仡, 王亞蘭, 鄧小杰,等. 城市交通擁擠的根本原因及對(duì)策分析[J]. 科技創(chuàng)新與應(yīng)用, 2016(34): 12-13.

[5] 沈麗娜, 程介虹, 馮丹. 基于GPS軌跡數(shù)據(jù)進(jìn)行分析改善城市交通擁擠[J]. 中國新通信, 2016, 18(21): 61-61.

[6] 陶永, 閆學(xué)東, 王田苗, 等. 面向未來智能社會(huì)的智能交通系統(tǒng)發(fā)展策略[J]. 科技導(dǎo)報(bào), 2016, 34(7): 48-53.

[7] 曹晶. 新形勢下智能交通系統(tǒng)中的車牌識(shí)別技術(shù)研究[J]. 通訊世界, 2016(8): 272-273.

[8] 孫強(qiáng). 數(shù)字圖像處理技術(shù)在智能交通中的應(yīng)用[J]. 吉林工程技術(shù)師范學(xué)院學(xué)報(bào), 2016, 32(7): 92-94.

[9] 孔祥斌, 常賀, 藍(lán)浩銘, 等. 基于Lab色彩空間和ANN神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別系統(tǒng)[J]. 軟件, 2017, 38(12): 5-9.

[10] 王波, 劉豐年. 基于粗糙集的快速車牌字符識(shí)別技術(shù)[J]. 軟件, 2010, 31(10): 44-48.

Identification of Tilting License Plate Correction Based on Deep Learning

LI Xiao-ran

(School of Automobile and Transportation, Tianjin Normal University of Vocational Technology, Tianjin 300222)

Vehicle plate correction and recognition technology is a very important basic function in intelligent system of traffic department. The image quality of the license plate image is seriously damaged due to the influence of various external environments. In this paper, we use the hough transform to improve the algorithm, and study the correction and recognition technology of the vehicle plate with large angle. Firstly, the feature extraction and recognition method based on deep learning is used to solve the classification problem of similar characters in vehicle number plates. A five-layer depth network is established to obtain the similar character features in the image after normalization processing through the order from the bottom to the top, and then extract the character edge features through convolution function and complete the difference comparison. Secondly, the recognition efficiency of license plate image characters is effectively solved by using different recognition methods of integrated depth learning. Support vector machine is used to complete the statistics and classification of the characters, which is identified and optimized through convolutional neural network, and the fuzzy close characters are analyzed and the vehicle license plate recognition image is finally obtained. Finally, the correction and recognition of large angle license plates are accomplished by using the method of region division and hough transform. Experimental results show that this method can effectively correct and recognize over 100 large Angle tilting license plate images.

Deep learning; Large angle; License plate recognition

TP391

A

10.3969/j.issn.1003-6970.2018.10.042

李曉燃(1992-)，男，碩士在讀，研究方向：數(shù)字圖像處理。

李曉燃. 基于深度學(xué)習(xí)的傾斜車牌矯正識(shí)別[J]. 軟件，2018，39（10）：215-219