基于模板匹配和神經(jīng)網(wǎng)絡(luò)車牌識(shí)別技術(shù)的研究

徐園園，吳生鑫，譚 暢，黃嘉煜，劉東飛，張 旭

(東北林業(yè)大學(xué) 理學(xué)院，哈爾濱 150040)

基于模板匹配和神經(jīng)網(wǎng)絡(luò)車牌識(shí)別技術(shù)的研究

徐園園，吳生鑫，譚 暢，黃嘉煜，劉東飛，張 旭

(東北林業(yè)大學(xué) 理學(xué)院，哈爾濱 150040)

提出了一種基于模板匹配和神經(jīng)網(wǎng)絡(luò)相結(jié)合的車牌字符識(shí)別算法.采用二維經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴?BEMD)對(duì)圖像進(jìn)行去噪處理，用Sobel算子進(jìn)行邊緣檢測(cè)，使用累計(jì)直方圖和低分辨率圖進(jìn)行特征提取，利用模板匹配法對(duì)車牌進(jìn)行粗識(shí)別，對(duì)于模板匹配不可識(shí)別或難于識(shí)別的字符改用BP神經(jīng)網(wǎng)絡(luò)進(jìn)一步識(shí)別.實(shí)驗(yàn)結(jié)果表明，車牌的識(shí)別率和識(shí)別速度都有所提高.

字符識(shí)別；二維經(jīng)驗(yàn)?zāi)Ｊ椒纸猓贿吘墮z測(cè)；模板匹配；BP神經(jīng)網(wǎng)絡(luò)

車牌自動(dòng)識(shí)別系統(tǒng)技術(shù)是智能交通(ITS)中的重要研究課題，在停車場(chǎng)和高速公路收費(fèi)管理系統(tǒng)中有著廣泛的應(yīng)用[1].車牌識(shí)別系統(tǒng)主要由車牌定位、字符分割、字符識(shí)別三方面組成，其中字符識(shí)別技術(shù)是整個(gè)車牌識(shí)別系統(tǒng)的核心[2]，直接影響著車牌識(shí)別系統(tǒng)的優(yōu)劣.由于車牌圖像是從實(shí)際復(fù)雜環(huán)境中拍攝得到的，受圖像陰影、光照、噪聲、背景復(fù)雜度等因素的影響，分割出的車牌字符存在著斷裂、粘連、模糊、毛刺等問(wèn)題[3]，因此如何準(zhǔn)確的識(shí)別出車牌字符成為難點(diǎn).

目前，車牌識(shí)別的算法主要有：模板匹配法[4]、特征統(tǒng)計(jì)匹配法[5]、人工神經(jīng)網(wǎng)絡(luò)[6].文獻(xiàn)[7]采用模板匹配法，將車牌字符的尺寸縮放為字符數(shù)據(jù)庫(kù)中模板大小，然后與所有的模板進(jìn)行匹配，最后選擇最佳匹配作為結(jié)果.當(dāng)獲取車牌受光照影響或者車牌解析度不高時(shí)，算法的識(shí)別率會(huì)受到影響；文獻(xiàn)[8]采用特征匹配方法首先提取字符的某些特征，然后與標(biāo)準(zhǔn)字符的特征進(jìn)行匹配.當(dāng)車牌字符出現(xiàn)斷裂，遮擋等，該算法的識(shí)別率也不理想.

本文重點(diǎn)研究如何有效的去除車牌字符的噪聲以及車牌的字符識(shí)別，提出了一種基于模板匹配和神經(jīng)網(wǎng)絡(luò)相結(jié)合的車牌字符識(shí)別算法.該算法主要思想如下：首先采用二維經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴?BEMD)對(duì)圖像進(jìn)行去噪處理，然后采用Sobel算子進(jìn)行邊緣檢測(cè)，再采用累計(jì)直方圖和低分辨率圖進(jìn)行特征提取，最后輸入模板匹配聯(lián)合神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別.實(shí)驗(yàn)結(jié)果表明，該算法具有很好的魯棒性、實(shí)時(shí)性和準(zhǔn)確性.

1 基于模板匹配和BP神經(jīng)網(wǎng)絡(luò)的字符識(shí)別算法

本文算法的主要步驟如下：

1)采用二維經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴?BEMD)對(duì)圖像進(jìn)行去噪處理；

2)采用Sobel算子進(jìn)行邊緣檢測(cè)；

3)采用累計(jì)直方圖和低分辨率圖進(jìn)行特征提取；

4)輸入模板匹配聯(lián)合神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別.

1.1 二維經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴?BEMD)去噪

經(jīng)驗(yàn)?zāi)Ｊ椒纸鈁9]是由Norden Huang 等人于1998年提出的，是一種全新的用于處理非平穩(wěn)和非線性信號(hào)的方法.J·C·Nunes等人在2003年將一維EMD擴(kuò)展到二維，提出了二維經(jīng)驗(yàn)?zāi)Ｊ椒纸鈁10]方法，被國(guó)內(nèi)外學(xué)者廣泛應(yīng)用于圖像處理中.考慮到字符分割后的二值化圖像會(huì)有嚴(yán)重的噪聲，極大干擾字符識(shí)別的準(zhǔn)確率.本文基于二維經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴▽?duì)圖像進(jìn)行去噪處理，對(duì)于二值化后的質(zhì)量不高的圖像，也可以得到較好的去噪效果.

二維的經(jīng)驗(yàn)?zāi)Ｊ椒纸?BEMD)具體實(shí)現(xiàn)過(guò)程如下[11]：

1)確定所有的局部極大值和極小值f；

2)對(duì)所選取的局部極大值和極小值進(jìn)行曲面插值得到包絡(luò)曲面lmax,lmin；

3)計(jì)算這些包絡(luò)的平均值lave=12(lmax+lmin)；

4)計(jì)算余量h=f-lave；

5)如果循環(huán)判斷數(shù)據(jù)滿足，此時(shí)的h就是一個(gè)固有模函數(shù)(IMF)；否則返回第一步.

經(jīng)過(guò)第5步的判定，假如條件滿足，就可以得到一個(gè)固有模函數(shù).將原始信號(hào)減去所求得的IMF1，即得到一個(gè)余量函數(shù).將這個(gè)余量函數(shù)作為原始數(shù)據(jù)再重復(fù)前面5個(gè)步驟，同理可得IMF2，依次類推，直到最后一個(gè)余量函數(shù)不含有極值點(diǎn)為,迭代過(guò)程終止.最后原始信號(hào)被分解為止IMF1，IMF2…IMFn，以及一個(gè)余量R.將這些固有模函數(shù)和余量相加就可以實(shí)現(xiàn)對(duì)信號(hào)的重構(gòu).

F(x1,x2)=∑ni=1IMFi(x1,x2)

(1)

通常情況下，車牌圖像的噪聲一般為高頻噪聲，而BEMD最先分解出的分量頻率最高，且按按分量頻率由高至低依次排列.運(yùn)用BEMD對(duì)車牌圖像的去噪其實(shí)就是對(duì)信號(hào)進(jìn)行濾波，同時(shí)可以減小或消除信號(hào)中的噪聲，因此對(duì)車牌圖像進(jìn)行去噪處理實(shí)際上就是濾去頻率高的分量，然后把其余的IMF組成一個(gè)信號(hào)，相當(dāng)于圖像經(jīng)過(guò)低通濾波器進(jìn)行濾波：

Fk(x1,x2)=∑ni=kIMFi(x1,x2)+R(0

(2)

合成后的圖像便是去除噪聲的圖像.

1.2Sobel邊緣檢測(cè)

字符的邊緣是字符的基本特征之一，字符的邊緣信息可以有效的縮短車牌識(shí)別過(guò)程中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和識(shí)別的時(shí)間，提高車牌識(shí)別的效率.

常用的邊緣檢測(cè)算子有梯度算子、Roberts算子、Sobel算子、Prewitt算子、Krisch算子、Canny算子、Laplacian算子、Guasslaplacian算子等[12].本文采用內(nèi)核為3的Sobel算子，原因是：1)算法簡(jiǎn)單，可以有效的縮短程序的運(yùn)行時(shí)間；2)車牌字符的水平和垂直邊緣豐富，利用Sobel算子可以有效的增強(qiáng)字符的水平和垂直的邊緣，提高車牌字符的識(shí)別率；3)Sobel算子是根據(jù)像素點(diǎn)上下、左右鄰點(diǎn)灰度加權(quán)差，在邊緣處達(dá)到極值這一現(xiàn)象檢測(cè)邊緣，因此對(duì)噪聲具有平滑作用.假設(shè)被作用的圖像為A，Sobel算子的計(jì)算過(guò)程如下：

1)分別在x和y兩個(gè)方向上求導(dǎo).

水平變化：將A與一個(gè)內(nèi)核大小為3的Gx進(jìn)行卷積

Gx=-101

-202

-101

(3)

垂直變化：將A與一個(gè)內(nèi)核大小為3的Gy進(jìn)行卷積

Gy=-1-21

000

121*A

(4)

2)在圖像的每一點(diǎn)，結(jié)合以上兩個(gè)結(jié)果求出近似梯度：

(5)

例如：車牌字符圖像(A)經(jīng)過(guò)Sobel算子處理后的效果如圖1(B)所示.

圖1 車牌字符Sobel邊緣檢測(cè)效果圖

1.3 特征提取

字符統(tǒng)計(jì)特征是從原始數(shù)據(jù)中提取和分類出最相關(guān)的信息，使類內(nèi)差距極小化，類間差距極大化[13].特征提取的好壞直接影響神經(jīng)網(wǎng)絡(luò)算法的性能和效率.本文采用光學(xué)字符常用的特征提取方法：累計(jì)直方圖和低分辨率圖.

對(duì)于每個(gè)字符，按行統(tǒng)計(jì)非零像素值的個(gè)數(shù)，并將其保存在矩陣當(dāng)中，找到矩陣中的最大值，并將矩陣的每個(gè)元素除以此最大值，進(jìn)行歸一化處理.

一維直方圖的結(jié)構(gòu)表示為

H(p)=[h(x1),h(x2)…h(huán)(xn)]

(6)

h(xi)=s(xi)∑js(xj)

(7)

其中：s(xi)表示某像素的個(gè)數(shù)(頻率).

例如：車牌字符分割后的圖像(A)特征提取的效果如圖2(B)(C)所示：

圖2 車牌字符累計(jì)直方圖效果圖

1.4 基于模板匹配聯(lián)合神經(jīng)網(wǎng)絡(luò)的字符識(shí)別

本文首先運(yùn)用模板匹配法對(duì)車牌進(jìn)行粗識(shí)別，若超出了模板匹配的閾值，則視為模板匹配法無(wú)法識(shí)別，改用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行細(xì)識(shí)別.

1.4.1 模板匹配識(shí)別法

模板匹配是圖象識(shí)別方法中最具代表性的基本方法之一，它是從待識(shí)別的圖像或圖像區(qū)域I(i,j)中提取的若干特征向量與模板T(i,j)對(duì)應(yīng)的特征向量逐個(gè)進(jìn)行匹配.

基于模板匹配的字符識(shí)別的基本過(guò)程是：首先將待識(shí)別字符尺寸大小縮放為字符數(shù)據(jù)庫(kù)中模板的大小，然后與全部的模板進(jìn)行匹配，最后選最佳匹配作為結(jié)果.計(jì)算匹配系數(shù)采用如下公式：

R(x,y)=∑i,j(T(i,j)I(x+i,y+j))∑i,jT(i,j)2∑i,jI(x+i,y+j)2

(8)

R(x,y) 閾值[14]的取值為[0,1].本文經(jīng)過(guò)多次實(shí)驗(yàn)得出：當(dāng)R(x,y)閾值設(shè)為0.88時(shí)，匹配效果最好.當(dāng)R(x,y)大于0.88時(shí)，則視為模板匹配法無(wú)法識(shí)別該字符，改用BP神經(jīng)網(wǎng)絡(luò)方法對(duì)該字符進(jìn)行識(shí)別.

1.4.2 神經(jīng)網(wǎng)絡(luò)識(shí)別法

誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)算法是把若干樣本輸入輸出轉(zhuǎn)變成非線性尋優(yōu)來(lái)求解，它是基梯度下降算法的，采用迭代運(yùn)算求權(quán)值的一種自動(dòng)尋優(yōu)算法[15].BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)，其分為輸入層、隱含層、輸出層.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖3所示.

圖3 三層BP神經(jīng)網(wǎng)絡(luò)模型

BP模型的學(xué)習(xí)過(guò)程分為正向傳播和反向傳播[16]，正向傳播是信息從輸入層經(jīng)隱藏層傳向輸出層的過(guò)程[17].如果輸出沒(méi)有達(dá)到期望值，則誤差通過(guò)輸出層，向隱藏層、輸入層逐層反傳來(lái)調(diào)整各層的權(quán)值使之滿足要求.設(shè)BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)為Ij，隱含層節(jié)點(diǎn)為Hi，輸出層節(jié)點(diǎn)為Ok，輸出節(jié)點(diǎn)K的正確值Dk，輸入節(jié)點(diǎn)j與隱藏節(jié)點(diǎn)i之間的連接關(guān)聯(lián)的權(quán)重值為Wij，隱藏層節(jié)點(diǎn)i與輸出層節(jié)點(diǎn)k之間的連接關(guān)聯(lián)的權(quán)重值為Xki. BP神經(jīng)網(wǎng)絡(luò)的具體學(xué)習(xí)過(guò)程如下：

1)初始化網(wǎng)絡(luò)，將網(wǎng)絡(luò)的各層權(quán)重值和各個(gè)神經(jīng)元的閾值θ賦予[-1，1]之間的隨機(jī)數(shù).

2)隨機(jī)輸入一組樣本，隱藏層和輸出層的輸出值如下：

Hi=f(∑jWijIj-θi)

(9)

Ok=∑iHiXki

(10)

計(jì)算輸出節(jié)點(diǎn)K的誤差：

δk=Dk-Ok

(11)

E=12∑kδk2

(12)

3)根據(jù)誤差(E)的結(jié)果，如果達(dá)到期望值，則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程結(jié)束，如果沒(méi)有達(dá)到期望值，則執(zhí)行下一步.

4)根據(jù)梯度下降法的計(jì)算，對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)修正.

X·kl=Xki+ηδkf·(Ok)Hi

(13)

(14)

η為學(xué)習(xí)率參數(shù)

5)重復(fù)以上步驟，直至誤差(E)滿足規(guī)定范圍，BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)束.

針對(duì)圖3給出的三層神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，本文采用Sigmoid函數(shù)作為網(wǎng)絡(luò)訓(xùn)練的激勵(lì)函數(shù).

f(x)=11+e-x

(15)

2 實(shí)驗(yàn)結(jié)果與分析

本文采用Windows平臺(tái)的VisualStudio2013編程實(shí)現(xiàn)算法，表1給出了本文算法的仿真實(shí)驗(yàn)結(jié)果，圖4給出了車牌字符識(shí)別效果圖.

表1 字符識(shí)別算法測(cè)試結(jié)果

項(xiàng)目待識(shí)別樣本成功識(shí)別識(shí)別率/%漢字16815290．4字母33431694．7數(shù)字66464597．2總識(shí)別率97．1%

實(shí)驗(yàn)結(jié)果表明，本文的車牌識(shí)別系統(tǒng)具有較高的識(shí)別率，車牌總體識(shí)別率為97.1%，且適合各種天氣情況下的車牌識(shí)別，具有較強(qiáng)的自適應(yīng)能力；對(duì)圖像質(zhì)量要求不敏感，可以處理車牌字符遮擋、模糊、斷裂等情況，具有較強(qiáng)的魯棒性.

圖4 車牌字符識(shí)別效果圖

3 結(jié) 語(yǔ)

本文給出了一種基于模板匹配和神經(jīng)網(wǎng)絡(luò)相結(jié)合的車牌字符識(shí)別算法.算法采用BEMD算法和Sobel算子對(duì)圖像進(jìn)行去噪處理和邊緣檢測(cè)，可以有效的減少圖像的噪聲，突出字符的邊緣信息；采用模板匹配聯(lián)合BP神經(jīng)網(wǎng)絡(luò)對(duì)車牌字符進(jìn)行識(shí)別，可以有效的發(fā)揮單一識(shí)別方法的優(yōu)勢(shì)，提高車牌識(shí)別的準(zhǔn)確率和速度.實(shí)驗(yàn)結(jié)果表明，本方法具有較好準(zhǔn)確性，可以滿足車牌識(shí)別系統(tǒng)對(duì)魯棒性的要求，當(dāng)圖像出現(xiàn)斷裂、污漬以及陰雨、輕度霧霾等環(huán)境條件干擾時(shí)字符識(shí)別率不會(huì)受到較大影響.

[1] 李 波, 曾致遠(yuǎn), 周建中. 一種自適應(yīng)車牌識(shí)別系統(tǒng)設(shè)計(jì)方法[J]. 微電子學(xué)與計(jì)算機(jī), 2009, 26(4): 217-221.

[2] 楊悼硯, 徐益君, 張俊如. 2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C]//北京: 電子工業(yè)出版社, 2000. 29-33.

[3] 歐陽(yáng)俊, 劉 平. 基于BP神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別算法研究[J]. 光學(xué)與光電技術(shù), 2012, 10(5): 67-71.

[4] 宋加濤, 劉濟(jì)林. 車輛牌照上英文和數(shù)字字符的結(jié)構(gòu)特征分析及提取[J]. 中國(guó)圖象圖形學(xué)報(bào), 2002, 7A( 9): 945-949.

[5] 宋建才. 字符結(jié)構(gòu)知識(shí)在車牌識(shí)別中的應(yīng)用[J]. 電子技術(shù)應(yīng)用, 2004(4): 18-19.

[6] PARIST R. Car plate recognition by neural nerworksandimageprocessing [J]. IEEE International Symposium on Circuits and Systems, USA, 2000, 5(3): 31-37.

[7] 吳 煒, 楊曉敏, 劉大宇, 等. 一種基于模糊模板匹配的車牌漢字識(shí)別方法[J]. 微型機(jī)與應(yīng)用, 2005, 24(11): 57-59.

[8] 邢向華, 顧國(guó)華. 基于模板和特征點(diǎn)匹配相結(jié)合的快速車牌識(shí)別方法[J]. 光電子技術(shù), 2003(12): 268-270.

[9] NORDEN E H, ZHENG S, STEVEN R L,etal. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis [J]. Proceedings of the Royal Society Lond A, 1988, 454: 903-995.

[10] NUNES J C, BOUAOUNE Y, DELECHELLE E,etal. Image analysis by bidimensional empirical mode decomposition [J]. Image Vision Computing, 2003, 21: 1019-1026.

[11] HE J. PENG F. Improved algorithm for image decomposition based on bidimensional EMD [C]//Proc, SPIE 2007, 6786: 67860C-678860C-6 .

[12] 謝偉生. 車牌定位及字符分割的研究與實(shí)現(xiàn)[D]. 成都: 西南交通大學(xué), 2010, 26: 88-91.

[13] LAM L, LEE S, SUEN C. Thinning methodologies-A comprehensive survey [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(9): 869-885.

[14] 王 敏, 黃心漢, 魏 武, 等. 一種模板匹配和神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別方法[J]. 華中科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2001, 29(3): 48-50.

[15] TSAI C M, LEE H J. Binarzation of color document images via Iuminance and saturation color features [J]. IEEE Transaction on Image Processing, 2002, 4(11): 434-451.

[16] WANG S, LEE H. Detection and recognition of license plate characters with different appearances[C]// Shanghai: IEEE International Conference on Intelligent Transportation System, 2003. 979-984.

[17] 廖作斌.車牌識(shí)別處理中的關(guān)鍵技術(shù)及核心算法研究[J]. 哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào)，2015，31(4)：58-61.

Research on license plate character recognition based on template matching and neural network

XU Yuan-yuan, WU Sheng-xin,TAN Chang,HUANG Jia-yi,LIU Dong-fei,ZHANG Xu

(School of Science, Northeast Forestry University, Harbin 150040,China)

In this paper, an algorithm of license plate character recognition based on template matching and neural network was proposed. The bidimensional empirical mode decomposition (BEMD) was applied for image denoising. The Sobel operator was used for detecting image edge, and then image feature extractions were realized by the cumulative histogram and low resolution image. Finally, parts of the license plate characters were roughly recognized by template matching. The rest which cannot be recognized by template matching can be obtained using Neural Network. Experimental results showed that the algorithm could improve the recognition rate and reduce the recognition time.

character recognition; BEMD; image edge detection; template matching; BP neural network

2016-03-10.

徐園園(1995-)，女，研究方向：圖像處理

U491.4

A

1672-0946(2017)01-0089-05