基于神經(jīng)網(wǎng)絡(luò)的車牌識別技術(shù)研究

顧剛，尚思捷，丁堯

（1.中博信息技術(shù)研究院有限公司，南京210000；2.南京大學(xué)金陵學(xué)院，南京210089）

基于神經(jīng)網(wǎng)絡(luò)的車牌識別技術(shù)研究

顧剛1，尚思捷2，丁堯2

（1.中博信息技術(shù)研究院有限公司，南京210000；2.南京大學(xué)金陵學(xué)院，南京210089）

車輛號牌識別作為人工智能的一個(gè)具體應(yīng)用，正越來越向著成熟化、產(chǎn)品化方向發(fā)展，如何兼顧號牌智能識別的準(zhǔn)確性和實(shí)時(shí)性，是該領(lǐng)域的一個(gè)研究熱點(diǎn)。在對車輛號牌圖像識別技術(shù)和人工智能研究的基礎(chǔ)上，提出一種改良的Otus算法，可以較快地識別車輛號牌中的字符信息，準(zhǔn)確性和實(shí)時(shí)性較好，為該技術(shù)的產(chǎn)品化奠定一定的技術(shù)基礎(chǔ)。

號牌識別；BP模型；Otus算法；MATLAB仿真

0　引言

車牌識別（Licence Plate Recognition，簡稱LPR）技術(shù)是圖像處理、機(jī)器視覺、模式識別等技術(shù)的綜合運(yùn)用，其主要目標(biāo)是對已獲取的汽車抓拍圖像進(jìn)行分析，從中獲得車輛的號牌信息，進(jìn)而在需要進(jìn)行車輛管理的環(huán)境中有所應(yīng)用。對于一個(gè)合格的車牌識別系統(tǒng)的要求，是能快速且準(zhǔn)確的從一幅圖像中自主定位到車牌圖像的位置，并對車牌圖像的信息進(jìn)行單個(gè)字符的切分，最后完成字符的正確識別［1］。其基本流程如圖1所示。

圖1　基于圖像的車牌識別流程

車牌定位系統(tǒng)和車牌字符識別系統(tǒng)是車牌識別系統(tǒng)中兩個(gè)重要的子系統(tǒng)，車牌定位是車牌字符識別的首要步驟，其準(zhǔn)確性影響后面的字符切分與識別操作。常用的車牌定位方法主要包括基于邊緣的定位方法、基于形態(tài)學(xué)的定位方法、基于紋理特征的定位方法以及基于顏色劃分的定位方法［2］。在定位成功后，需要對定位后的區(qū)域進(jìn)行字符切分與識別，切分就是利用某種方法獲得車牌中每個(gè)字符間的間隔，再根據(jù)這個(gè)間隔將車牌區(qū)域進(jìn)行切分。

從當(dāng)前來看，雖然關(guān)于車牌識別的算法研究相對較多，但由于諸多不確定的因素，特別是環(huán)境光和背景的復(fù)雜程度，都會影響車牌識別算法的精度，而過多地強(qiáng)調(diào)車牌識別的精準(zhǔn)度，就需要大量的數(shù)值計(jì)算。總的來說，影響車牌識別技術(shù)精度的原因大概有幾個(gè)方面：復(fù)雜環(huán)境光下的識別、圖像質(zhì)量的不確定性，車牌中的字符不統(tǒng)一性、車牌底色不唯一，車牌離地距離的不一致性以及在準(zhǔn)確性與實(shí)時(shí)性的協(xié)調(diào)兼顧上的問題。

近年來，由于計(jì)算機(jī)仿生技術(shù)的興起，部分研究人員將人工神經(jīng)網(wǎng)絡(luò)技術(shù)引入車牌識別領(lǐng)域，使車牌識別能夠模仿人類儲存信息以及對于信息進(jìn)行比較、分析的功能，以此來解決因信息不完整而無法識別的問題。與一般的識別方法相比較，基于人工神經(jīng)網(wǎng)絡(luò)的識別技術(shù)，可以避開紛繁復(fù)雜的數(shù)學(xué)建模的工作，同時(shí)進(jìn)行信息的存儲和分析，由此加快系統(tǒng)的運(yùn)算速率。本課題采用基于前饋型神經(jīng)網(wǎng)絡(luò)的模式識別技術(shù)作為識別方法，對比傳統(tǒng)的車牌識別技術(shù)，開展相關(guān)研究，最終實(shí)現(xiàn)在保證實(shí)時(shí)性的基礎(chǔ)上提高識別率的目標(biāo)。

1　基于小波變換的車牌邊緣定位技術(shù)

車牌定位是車牌識別的首要步驟，其定位方法涉及車牌的紋理、幾何形狀以及圖像灰度等信息，常用的方法主要包括基于邊緣的定位方法、基于形態(tài)學(xué)的定位方法、基于紋理特征的定位方法以及基于顏色劃分的定位方法［3］。圖像預(yù)處理、車牌檢測和車牌識別是車牌定位的三個(gè)主要步驟，具體如圖2所示。本課題圍繞基于邊緣的檢測方法進(jìn)行相關(guān)定位技術(shù)研究。

圖2　車牌定位過程

精確定位車牌邊緣和抑制噪聲是邊緣檢測的主要目的，思路如下：首先凸顯出圖像中的車牌邊緣，然后定義邊緣強(qiáng)度，最后設(shè)置閾值來獲取邊緣點(diǎn)的集合。Roberts算子、Sobel算子、Prewitt算子、Laplacian算子和Canny算子是幾種常見的傳統(tǒng)邊緣檢測算子，其作用便是凸顯出圖像的局部邊緣［4］。但傳統(tǒng)的邊緣檢測存在一些不足，特別是在噪點(diǎn)會通過檢測算子擴(kuò)散，從而影響檢測的準(zhǔn)確性。考慮到上述原因，加上環(huán)境光影響的因素，本課題將小波變換引入邊緣檢測，把對車輛抓拍的圖像信息分解為圖像基本信息的低頻分量和細(xì)節(jié)信息的高頻分量，由于車牌區(qū)域靠近汽車前柵，邊緣點(diǎn)較密集，故圖像的高頻區(qū)域應(yīng)為車牌區(qū)域。圖3為經(jīng)過圖像預(yù)處理后車輛的采集圖像，為一幅720×288的灰度圖。取車牌中間區(qū)域X=213處的數(shù)據(jù)線S（k），k∈（1，768），對其采用HAAR小波5層分解，其數(shù)據(jù)分析如圖4所示。

圖3　預(yù)處理后的車輛灰度圖

圖4　HAAR小波五層分解結(jié)果

從圖4可以看出，相對密集的高頻紋理區(qū)域是車牌區(qū)域，其他區(qū)域則是一個(gè)低頻區(qū)。前三層分解中，車牌區(qū)域信號特征明顯且易分離，第四層和第五層干擾嚴(yán)重且區(qū)別不明顯，因此選擇兩層分解的小波細(xì)節(jié)信號進(jìn)行車牌定位。圖5為經(jīng)過小波分解得到的圖像，可以看出，汽車前柵的干擾信息被包含在了水平分量中，對角線分量在除去干擾信息的同時(shí)，也除去了一些車牌信息，而垂直分量表現(xiàn)相對較好。因此，本課題對車輛抓拍圖像進(jìn)行小波分解，使用其垂直分量進(jìn)行邊緣識別，具體如圖6所示，車牌位置紋理相對清晰，車輛前柵干擾較小，噪點(diǎn)干擾較小，且只需要對高頻圖像進(jìn)行檢索就可以完成定位，運(yùn)行時(shí)間大大減縮。

圖5　車牌圖像小波分解圖

圖6　小波分解的垂直分量提取邊緣

小波變換識別車牌的邊緣信息并不連續(xù)，通過形態(tài)學(xué)處理后，讓它成為一個(gè)連續(xù)的整體，以便于后期定位。首先對水平相鄰的邊緣采用閉運(yùn)算使其變成連通區(qū)域，隨后在其垂直邊緣做兩次開運(yùn)算［5］。其結(jié)果如圖7所示，車牌區(qū)域與非車牌區(qū)域有著顯著的區(qū)別。

圖7　經(jīng)過開閉運(yùn)算后的結(jié)果

由于我國車輛拍照為制式拍照，尺寸為440mm× 140mm，比例為400/140≈3.14，結(jié)合圖片尺寸，區(qū)域篩選的條件為：長度在150～50之間，高度在50～20之間。通常在水平方向上采用一階差分運(yùn)算來突出頻繁變化的區(qū)域，車牌表面字符與車牌的背景灰度對比值差異明顯，水平方向灰度變化相對頻繁是其兩個(gè)主要原因。差分思想如式1所示。

其中i=1，2，3，…，m為圖像行，j=1，2，3，…，n為圖像列。

將差分后的圖像g（i，j）的灰度值沿水平方向做累加投影得到為方便車牌精確定位，對水平方向采用均值法進(jìn)行平滑，思想如式2所示。

圖8　平滑后的水平累加差分投影圖

如圖8所示，由于車牌上下邊框水平且在邊緣提取時(shí)已被除去，故而在檢測上下邊緣時(shí)只需從上下分別檢測到首個(gè)不為0的點(diǎn)，其兩點(diǎn)之間即是車牌的上下邊界，效果如圖9所示。

垂直方向也采用相似的處理方法，在對水平定位后得車牌信息進(jìn)行垂直處理，得到如圖10所示結(jié)果。

經(jīng)過水平定位和垂直定位，對車牌進(jìn)行準(zhǔn)確劃分，為接下來的的字符切分做好基礎(chǔ)。

圖9　水平定位后的車牌信息

圖10　經(jīng)過垂直定位后的車牌信息

2　車牌字符切分

二值化、圖像矯正和字符切分是車牌的字符切分流程的三個(gè)主要步驟。二值化是把圖像中各點(diǎn)灰度值設(shè)為0或255，這樣得到的信息將表現(xiàn)為黑白色彩但仍可以反映其整體特征和局部特征［6］。本課題采用一種改良型Otsu算法，其思想如圖11所示。

圖11　改良Otsu二維算法示意圖

將二維直方圖按照圖11方式進(jìn)行分塊，僅計(jì)算與對角線平行的f=g+N和f=g-N兩條線段之間的點(diǎn)，其他的點(diǎn)視為值為0的點(diǎn)，當(dāng)N取一定值時(shí)，就可以將所有概率不為0的點(diǎn)都包含進(jìn)來。令二值化閾值為（s，t），利用經(jīng)過該點(diǎn)且和對角線相互垂直的直線l進(jìn)行分割，其直線方程為l=s+t-g，l左側(cè)的點(diǎn)對應(yīng)背景信息C0，l右側(cè)的點(diǎn)為目標(biāo)信息C1。該分類方法僅同s+t相關(guān)，故可把s+t看做一個(gè)整體，將二維閾值變?yōu)橐痪S閾值進(jìn)行計(jì)算，因此需要進(jìn)行2L次循環(huán)，每次循環(huán)需要N2+2N（L-N）個(gè)點(diǎn)做累加運(yùn)算，當(dāng)L=256，N=40時(shí)，將全部非零點(diǎn)都包括，總累加次數(shù)與傳統(tǒng)二維Otsu算法相比仍減少很多。經(jīng)過該算法二值化的結(jié)果如圖12所示。

圖12　改良后Otsu算法結(jié)果

在實(shí)際工作時(shí)，車輛的前行方向與圖像抓拍設(shè)備不總是在同一直線上，因此抓拍到的車牌信息可能會存在一定的傾斜與扭曲，因此需要對圖像進(jìn)一步矯正，主要分為找出傾斜角度和對其坐標(biāo)變換。

圖13　二值化后車牌及其投影

圖13為經(jīng)過二值化后的投影圖，采用線性擬合的方法計(jì)算出車牌上下邊圖像值為1的點(diǎn)的集合直線，計(jì)算其與X軸的夾角，得出車牌的傾斜角度α。若α= 0，則不需要進(jìn)行旋轉(zhuǎn)矯正，否則進(jìn)行旋轉(zhuǎn)。設(shè)旋轉(zhuǎn)前坐標(biāo)為（x，y），旋轉(zhuǎn)后的坐標(biāo)（x'，y'），兩者關(guān)系如式3所示，通過旋轉(zhuǎn)矯正后的車牌信息如圖14所示。

圖14　旋矯正后的車牌信息

從圖14可以看出，經(jīng)過矯正后的車牌信息已經(jīng)基本滿足字符切分的需要。通常我們使用垂直投影法對車牌表面字符進(jìn)行切分，由于該字符區(qū)域相對集中，同時(shí)字符之間存在空白間隙，因此在垂直方向的投影就會有幾個(gè)相對密集的投影峰值群，此時(shí)對這幾個(gè)密集的投影峰值群進(jìn)行切分，便能得到車牌單個(gè)字符。車牌垂直投影如圖15所示。依據(jù)垂直投影切分后得到的圖像如圖16所示。

圖15　車牌字符投影結(jié)果

圖16　車牌字符切分后效果

3　基于反向傳播模型的神經(jīng)網(wǎng)絡(luò)字符識別

反向傳播（Back-Propagation，BP）模型是一種多層前饋型神經(jīng)網(wǎng)絡(luò)模式，其神經(jīng)元的傳遞函數(shù)是S型函數(shù)，特點(diǎn)是能夠?qū)崿F(xiàn)由輸入到輸出的任意非線性映射，且其輸出的是0～1區(qū)間的連續(xù)量［7］。該模型主要用于數(shù)值逼近、模式識別等方面?？紤]到該算法可靠性，本課題引入有動量的梯度下降法來對BP模型進(jìn)行改良，其思路如式4所示。

其中D（k）為k時(shí)刻的負(fù)梯度，η為學(xué)習(xí)率，α為動量因子，取值范圍［0，1］，當(dāng)α=0，權(quán)值修正僅與此時(shí)負(fù)梯度相關(guān)，當(dāng)α=1，權(quán)值修正僅與前一個(gè)負(fù)梯度相關(guān)。根據(jù)不同類型的問題，η和α取值范圍也各不相同，通常學(xué)習(xí)率η的取值范圍為（0.1，0.3），當(dāng)問題復(fù)雜時(shí)，選用較大的值。動量因子α與收斂的速度相關(guān)，取值范圍一般為（0.9，1）。

由于車牌中包括漢字、英文、數(shù)字三種字符，因此本課題使用四個(gè)BP網(wǎng)絡(luò)來進(jìn)行識別和分類。每個(gè)BP網(wǎng)絡(luò)均采用三層結(jié)構(gòu)，其中輸入層節(jié)點(diǎn)數(shù)要匹配圖像預(yù)處理后的輸出特征維數(shù)，隱層節(jié)點(diǎn)數(shù)與輸入/輸出層節(jié)點(diǎn)數(shù)和問題復(fù)雜度等因素有關(guān)，輸出層節(jié)點(diǎn)數(shù)取決于輸出標(biāo)準(zhǔn)，即輸出信息編碼［8］。

在對數(shù)字識別的網(wǎng)絡(luò)中，共有0～9共十個(gè)對象，可以參照8421碼來對其編碼，因此數(shù)字字符識別輸出層的神經(jīng)元數(shù)目為4。英文字符識別共有A～Z共26個(gè)對象，全部為大寫字母，因此需要5位二進(jìn)制數(shù)對其編碼，即從00000～11001分別代表A～Z，因此英文字符識別輸出層的神經(jīng)元數(shù)目為5。漢字字符依據(jù)《中華人民共和國機(jī)動車號牌》的有關(guān)規(guī)定，漢字字符多于32個(gè)且少于64個(gè)，故漢字字符識別輸出層的神經(jīng)元數(shù)目為6。車牌字符共分為漢字、英文和數(shù)字三種類型，因此識別輸出層的神經(jīng)元數(shù)目為2?；谏鲜龇治觯覀儗ζ溥M(jìn)行網(wǎng)絡(luò)訓(xùn)練，在訓(xùn)練過程中，根據(jù)初始權(quán)值不同，可能會出現(xiàn)網(wǎng)絡(luò)無法收斂的情況，這種情況下，需要更新權(quán)值，直到網(wǎng)絡(luò)收斂為止。

4　基于BP模型的號牌實(shí)驗(yàn)

為驗(yàn)證模型的改良效果，本課題通過MATLAB對其進(jìn)行仿真，根據(jù)需求設(shè)計(jì)了車牌定位模塊location. m，號牌字符切分模塊segmentation.m和號牌字符識別模塊ocr.m。主體思想如下程序所示：

［bw，grounding］=location（image）；

%從汽車抓拍圖像中識別出車牌圖像

seg=segmentation（bw）；

%對識別出的車牌圖像各字符切分

load net.mat；

%導(dǎo)入訓(xùn)練好的改進(jìn)BP網(wǎng)絡(luò)

number=ocr（bw，seg，net）；

%根據(jù)切分的字符識別出具體車牌號

為檢測模型效果，本課題選取了266張監(jiān)控抓拍圖像進(jìn)行測試，測試對象全部為民用車牌，圖像包括過曝光（A）、過傾斜（B）、字符缺損（C）、網(wǎng)格前柵干擾（D）等不確定因素，如圖17所示。

圖17　部分典型圖像采集信息及檢測結(jié)果

圖18　識別錯(cuò)誤和無法識別的圖像采集信息

從圖17可以看出，本模型具有較好的普適性，可以對采集到的大部分圖像信息進(jìn)行較好的識別，但仍存在一些不足，如圖18所示，在18a中，由于汽車前柵為垂直狀，加之圖像信息較模糊，從而無法較好地識別。18b中，將字母D識別成字母O，說明在英文字符識別層采用的模板不能夠較好地區(qū)分O和D，需要改變權(quán)值來達(dá)到較好的識別效果。266次測驗(yàn)結(jié)果如表1所示。從表1可以看出，車牌定位和車牌識別的準(zhǔn)確率都在98%以上，綜合正確率達(dá)到97.37%。

表1　

5　結(jié)語

本課題就車牌識別中的部分算法進(jìn)行相關(guān)研究工作，將投影法和小波變換結(jié)合，通過兩次定位，可以精準(zhǔn)的定位車牌位置，利用改進(jìn)的Otsu算法，在保證二值化效果的基礎(chǔ)上縮短計(jì)算時(shí)間，通過一維線性擬合來計(jì)算車牌傾斜角度方法簡單效果好，最后利用BP神經(jīng)網(wǎng)絡(luò)模型對字符進(jìn)行識別，取得一定的優(yōu)化效果。下一步擬就本課題所研究的算法與監(jiān)控相機(jī)相連接，改進(jìn)該算法，使得算法可以產(chǎn)品化。同時(shí)就一幅抓拍圖像中的多個(gè)車牌識別開展相關(guān)研究工作。

［1］白璐.基于圖像處理的車牌識別系統(tǒng)的研究［D］.長安大學(xué)，2010.

［2］張銀蘋，葛廣英.基干HALCON的車牌識別研究［J］.現(xiàn)代電子技術(shù)，2014.16：92-95.

［3］徐勤燕.復(fù)雜背景中基于紋理和顏色的車牌定位研究［D］.東華大學(xué)，2013.

［4］李軍成.利用1～2階分?jǐn)?shù)階微分掩模的邊緣檢測［J］.計(jì)算機(jī)工程與應(yīng)用，2014.21：14-18.

［5］張吉斌.基于圖像處理及支持向量機(jī)的車牌識別技術(shù)研究［D］.蘭州交通大學(xué)，2013.

［6］金雨，李紅莉.基于LabVIEW和USB攝像頭的圖像采集與處理［J］.現(xiàn)代電子技術(shù)，2015.20：67-70.

［7］柴燕茹，馬巖.淺談BP人工神經(jīng)網(wǎng)絡(luò)［J］.學(xué)理論，2008.22：39-40.

［8］李武林，郝玉潔.BP網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)與計(jì)算復(fù)雜度的關(guān)系［J］.成都信息工程學(xué)院學(xué)報(bào)，2006.1：70-73.

Research on License Plate Recognition Technology Based on Artificial Neural Network

GU Gang1，SANG Si-jie2，DING Yao2
（1.ZhongBo Information Technology Reseach Institute Co.Ltd，Nanjing 210000；2.Nanjing University，Jinling College，Nanjing 210089）

The vehicle license plate recognition as a specific application of artificial intelligence，is becoming more and more mature，toward the direction of the development of the product，how to balance the accuracy of license plate recognition and intelligent real-time，is a hotspot in this field.This subject is based on the vehicle license plate image recognition technology and artificial intelligence research，proposes an improved Otus algorithm，the character information recognition of vehicle license plate can faster the accuracy and good real-time performance，and laid a foundation for the technology of products.

License Plate Recognition；BP Model；Otus；Simulation

1007-1423（2016）23-0075-06DOI：10.3969/j.issn.1007-1423.2016.23.018

顧剛（1975-），男，江蘇南京人，碩士，工程師，研究方向?yàn)閳D像處理

2016-05-26

2016-08-10

丁堯（1981-），男，江蘇南京人，碩士，高級工程師，研究方向?yàn)闄C(jī)器視覺尚思捷（1994-），男，江蘇淮安人，本科在讀，機(jī)電工程專業(yè)