基于改進(jìn)BP算法的語音車牌識(shí)別系統(tǒng)?

楊 皓 張 雙 尹福成

（1.成都理工大學(xué)工程技術(shù)學(xué)院 樂山 614000）（2.內(nèi)江師范學(xué)院 內(nèi)江 641000）

1 引言

隨著電子技術(shù)、計(jì)算機(jī)技術(shù)和智能化交通網(wǎng)絡(luò)的不斷發(fā)展及交叉融合，車牌識(shí)別技術(shù)正在人們?nèi)粘＝煌ǚ矫姘l(fā)揮著越來越重要的作用［1～5］。無數(shù)的科研人員正努力地研究車牌識(shí)別技術(shù)［4～7］，使得該技術(shù)成為一種積極有效、普及社會(huì)大眾造福人類。本文所要論述的車牌識(shí)別技術(shù)，正是利用Matlab技術(shù)對現(xiàn)有車牌識(shí)別的一種新的方法——本著實(shí)時(shí)處理、傻瓜式操作的原則，優(yōu)化算法的設(shè)計(jì)理念，提供了一個(gè)友好高仿真的控制界面，識(shí)別結(jié)果通過語音進(jìn)行播報(bào)，從根本上解決目前各類落后、單一、互不兼容的算法設(shè)計(jì)方式。

2 車牌識(shí)別研究基礎(chǔ)

車輛牌照（LP）的自動(dòng)識(shí)別是計(jì)算機(jī)視覺與模式識(shí)別技術(shù)在智能交通領(lǐng)域結(jié)合應(yīng)用的重要研究課題之一，是實(shí)現(xiàn)交通管理智能化的重要環(huán)節(jié)。

車牌識(shí)別一般分為圖像采集、圖像預(yù)處理、車牌定位、字符分割、字符識(shí)別五個(gè)大步驟。在本文中主要是用Matlab作為工具對車牌照進(jìn)行識(shí)別，整個(gè)系統(tǒng)的框圖如圖1所示。

圖1 系統(tǒng)框圖

本設(shè)計(jì)的主要側(cè)重算法的研究，主要工作是軟件設(shè)計(jì)，對采集到的圖片進(jìn)行車牌提取，最終實(shí)現(xiàn)車牌識(shí)別與播報(bào)。

3 算法描述

車牌照識(shí)別技術(shù)，主要包含圖像預(yù)處理、車牌定位、車牌切割、車牌識(shí)別四個(gè)部分，其中圖像二值化、定位、識(shí)別是影響整個(gè)系統(tǒng)速度的主要算法［6～9］，本文結(jié)合目前現(xiàn)狀，對關(guān)鍵算法進(jìn)行了改進(jìn)，并實(shí)現(xiàn)部分改進(jìn)算法的編程，有效地達(dá)到了預(yù)想結(jié)果。

3.1 改進(jìn)Otsu偽二值化

圖像偽二值化，指通過選擇兩個(gè)閾值對圖像進(jìn)行二值化處理，將灰度圖像中像素點(diǎn)的灰度值按式（x）計(jì)算，得到新的灰度值［10］

式中，f(x)表示經(jīng)過偽二值化后圖像像素點(diǎn)的灰度值，T1、T2表示偽二值的兩個(gè)閾值。偽二值化后的圖像中，像素點(diǎn)分為3類：黑度帶、白度帶和灰度帶。黑度帶對應(yīng)元圖像中灰度值在[0，T1)內(nèi)的區(qū)域，灰度帶對應(yīng)灰度值在[T1，T2)內(nèi)的區(qū)域，白度帶對應(yīng)灰度值在[T2，255]內(nèi)的區(qū)域。

但是基于車牌字符切割時(shí)，采用改進(jìn)的Otsu算法：將圖像像素按照灰度分為(C0，C1)，其中C0和C1分別包含了灰度級(jí)別在 {0，1，2，3，...，t} 及{t+1，t+2，t+3，...，L-1}內(nèi)的像素，分別對應(yīng)于背景和目標(biāo)物體。

在圖像每個(gè)像素點(diǎn)計(jì)算其領(lǐng)域平均灰度值，則領(lǐng)域平均圖像的灰度等級(jí)也為L。這就構(gòu)成了圖像像素點(diǎn)的灰度值和它的領(lǐng)域平均灰度值的二元組，記為 (i，j)。設(shè) (i，j)出現(xiàn)的頻率為fi，j，則其二維聯(lián)合概率密度為

其中，i=0，1，2，…，L-1，j=0，1，2，…，L-1，且

圖2 二維Otsu算法閾值求解示意圖

如圖2中所示，對任意給定的一個(gè)閾值(s，t)，可以分割成四個(gè)區(qū)域，分別為：Ⅰ、ⅠⅠ、ⅠⅠⅠ、ⅠV 。其中對角線上的區(qū)域I和III分別對應(yīng)圖像的背景C0與目標(biāo)物體C1（此處假設(shè)目標(biāo)物體的灰度高于背景物體）。遠(yuǎn)離對角線上的區(qū)域II和IV則對應(yīng)圖像的噪點(diǎn)和邊緣。

假設(shè)背景對應(yīng)的概率為p0，目標(biāo)概率為p1，則：

此時(shí)C0與C1對應(yīng)的灰度值為

圖像總的灰度均值適量為

定義離散度矩陣為

以離散度矩陣的跡作為離散度測量度，得到：

當(dāng)選擇最大值時(shí)，其對應(yīng)的二值化閾值就是最優(yōu)的閾值，即最優(yōu)二值化閾值(s'，t')滿足：

其中，0≤s，t≤L-1。

在二維Otsu算法中，需要對每一個(gè)(s，t)的組合計(jì)算一個(gè)離散度矩陣的跡，然后取離散度矩陣的跡最大時(shí)的(s，t)為分割閾值，在原始算法中，需要s和t的雙重循環(huán)，而每次計(jì)算離散矩陣的跡，需要對(st+(L-s)(L-t))個(gè)點(diǎn)做累加運(yùn)算，故總得累加次數(shù)為

假設(shè)當(dāng)L=256時(shí)，則A=2147416446，這將是一個(gè)耗時(shí)間的循環(huán)。對此為了解決二維Otsu二值化算法計(jì)算量大，運(yùn)算時(shí)間長的問題，進(jìn)行優(yōu)化。優(yōu)化方案按照圖3的方式進(jìn)行分塊，僅僅只需要計(jì)算與對角線平行的f=g+N和f=g-N兩條線段之間的點(diǎn)，將之外的點(diǎn)都視為概率為0的點(diǎn)。這時(shí)，只要N足夠大，就可以將所有概率不為0的點(diǎn)都包括進(jìn)來。

圖3 Otsu算法閾值提高求解示意圖

假設(shè)二值化的閾值為(s，t)，以通過點(diǎn)(s，t)且與對角線垂直的直線進(jìn)行分割。該直線左面的點(diǎn)對應(yīng)于背景物體，即C0；右面的點(diǎn)對應(yīng)于目標(biāo)物體，即C1。直線l的方程為

當(dāng)l≥s+t-g時(shí)，屬于C1，反之屬于C0。由于分類準(zhǔn)則只與s+t有關(guān)，因此可以將s+t整體作為一個(gè)閾值，從而將二維閾值轉(zhuǎn)換為一維閾值進(jìn)行計(jì)算。

此時(shí)，由于判決標(biāo)準(zhǔn)取決于s+t，而非單個(gè)的s、t，因此僅僅需要進(jìn)行2L次循環(huán)，每次循環(huán)也只需要N(2L-N)個(gè)點(diǎn)做累加運(yùn)算。設(shè)N=kL，則總的累加次數(shù)為

假設(shè)L=256，N=40時(shí)，可以將所有的非零點(diǎn)概率都計(jì)算在內(nèi)，此時(shí)的A'=966560，效率，可見其計(jì)算時(shí)間大大提高。

圖4 直接灰度二值化

圖5 改進(jìn)的Otsu偽二進(jìn)制

3.2 灰度跳變分析法

首先，進(jìn)行水平投影［11～13］。對前面初步提取后得到的圖像f(i，j)進(jìn)行水平一階差分得到g(i，j)，即

其中，i=1，2，3，...，m、j=1，2，3，...，n，m表示圖像的高度，n表示圖像的寬度，將圖像f(i，j)差分后得到的圖像g(i，j)的灰度值沿水平方向累加后做投影得到L(i)。假設(shè)圖像的寬度為x，高度為y，設(shè)定一個(gè)數(shù)組L(i)存放水平方向的投影值：

在求得水平投影后，依次從圖像的最上方開始掃描。如果投影滿足L(i)＞mi，對應(yīng)的最小值M1和最大值M2確定車牌的最上方和最下方位置；m為一可調(diào)常數(shù)，可根據(jù)具體的門牌寬度調(diào)整得到。

然后，對二值圖像進(jìn)行垂直投影。車牌垂直方向的定位運(yùn)算算法和水平方向上的定位算法類似，首先對車牌的垂直方向進(jìn)行差分運(yùn)算，確定車牌的列位置，設(shè)定另外一個(gè)數(shù)組G(j)存放垂直方向的投影值：

式中，M1為門牌區(qū)域的開始行；M2為門牌區(qū)域的結(jié)束行。在求得垂直投影值之后，就可以依次從左向右對圖像進(jìn)行掃描。如果投影滿足G(j)＞nj，對應(yīng)的最小值N1和最大值N2就確定了門牌的左右位置，n為一可調(diào)常數(shù)可根據(jù)具體門牌長度調(diào)整得到，由此可得門牌在圖像中的位置為，將差分得到的結(jié)果用均值方進(jìn)行平滑，即完成了車牌的定位。

圖6 位置識(shí)別結(jié)果分析

圖7 位置識(shí)別結(jié)果灰度轉(zhuǎn)換分析

基于上述的定位方法，設(shè)計(jì)采用了一種改進(jìn)的基于灰度跳變的車牌定位算法。首先，運(yùn)用改進(jìn)Ostu偽二值化算法有效地去除路面產(chǎn)生的噪聲，然后采用由粗定位到細(xì)定位的方法以提高車牌定位速度，通過濾波除去車標(biāo)部分柵欄狀物體對車牌粗定位的影響，最后利用形態(tài)學(xué)閉運(yùn)算去掉車牌邊框，并且對車牌進(jìn)行了灰度變換，增強(qiáng)車牌區(qū)域字符和背景的對比度。

3.3 優(yōu)化投影法

應(yīng)用中常用哈夫（Hough）變換進(jìn)行水平校正［14］，Radon變換進(jìn)行垂直校正。

旋轉(zhuǎn)的角度和方式與車牌傾斜原因有關(guān)，其中水平偏移校正的依據(jù)是

利用Hough變換查找車牌傾斜角度的方法，最重要的是找到基準(zhǔn)線，并且作為基準(zhǔn)線的這條直線應(yīng)該滿足水平直線和垂直直線的要求。在有車牌邊框的圖像中，車牌邊框往往成為了基準(zhǔn)線，但是其傾斜的車牌其邊框也是傾斜的，因此計(jì)算十分復(fù)雜，對此采用一種簡單的優(yōu)化投影方法來找出車牌的角度。

改進(jìn)：進(jìn)行優(yōu)化投影法

由經(jīng)驗(yàn)值，車牌字符的大多分布在牌照的中央，因此采用線性擬合的方法，計(jì)算出車牌上邊和下邊圖像值為1的點(diǎn)擬合直線與水平X軸的夾角，從而得到車牌旋轉(zhuǎn)的角度，具體流程如下：

1）首先求出擬合直線方程：y=ax+b的斜率系數(shù)a；

3）求得車牌旋轉(zhuǎn)角度為β。

圖8 傾斜車牌

圖9 優(yōu)化投影機(jī)傾斜校正

3.4 改進(jìn)BP算法

BP算法［15～16］主要推導(dǎo)如下：

由梯度下降法對每一個(gè)訓(xùn)練樣本點(diǎn)d，利用關(guān)于這個(gè)樣本的誤差Ed的梯度來修改權(quán)值。換言之，對于每一個(gè)訓(xùn)練樣本點(diǎn)d每個(gè)權(quán)值wij被增加Δwij：

其中，Ed是訓(xùn)練樣本d的誤差，通過對輸出層所有單元的求和得到：

其中，A表示輸出層單元的集合，tk表示單元k的目標(biāo)輸出，ok表示單元k的實(shí)際輸出。

注意到權(quán)值wij僅能通過ni（表示單元i的凈輸出）影響網(wǎng)絡(luò)的其他部分，因此采用復(fù)合函數(shù)的求導(dǎo)法則導(dǎo)出一個(gè)的表達(dá)式：

對于單元i是一個(gè)輸出層單元，由于ni僅能通過oi影響網(wǎng)絡(luò)，所有可再次利用復(fù)合函數(shù)的求導(dǎo)法則得：

考慮到上式中的第一項(xiàng)：

當(dāng)k≠i時(shí)，因此：

接下來考慮表達(dá)式第二項(xiàng)：

得到輸出單元的權(quán)值更新法則：

令δi=(ti-oi)oi(1-oi)則推導(dǎo)出單元i的權(quán)值更新法則為

同理，輸出層單元是隱藏層單元i的權(quán)值更新法則也為：Δwi，j=ησixij。

BP算法在解空間中尋找能夠最小訓(xùn)練誤差的網(wǎng)絡(luò)權(quán)值，但是對于含有非線Sigmoid單元的多層網(wǎng)絡(luò)，誤差曲面可能含有多個(gè)不同的局部極小值，梯度下降有可能陷入到這些局部的極小值中。因此，BP算法僅能夠保證收斂到誤差E的某個(gè)局部極小值，而不一定收斂到全局最小誤差。

人工神經(jīng)網(wǎng)絡(luò)BP算法改進(jìn)，BP算法的改進(jìn)目的大致分為三個(gè)方面：第一，提高網(wǎng)絡(luò)訓(xùn)練的精度；第二，提高神經(jīng)元的訓(xùn)練速度；第三，避免落入局部極小值點(diǎn)。改進(jìn)方法為

1）優(yōu)化初始權(quán)重法

如果把網(wǎng)絡(luò)權(quán)值初始化為接近于0的值［-0.05，0.05］之間的任意一個(gè)數(shù)，則作為Sigmoid單元凈輸入的n也必然接近于0，因此在早期的梯度下降步驟中，網(wǎng)絡(luò)表現(xiàn)為一個(gè)非常平滑的函數(shù)，近似為輸入的線性函數(shù)。

2）增加沖量項(xiàng)法

增加沖量項(xiàng)可以帶動(dòng)梯度下降搜索沖過狹窄的局部極小值而不陷入其中，同時(shí)在梯度不變的區(qū)域逐漸增大搜索步長，從而可以加快收斂的作用。

3）使用隨機(jī)的梯度下降代替真正的梯度下降

梯度下降的隨機(jī)近似于對于每個(gè)訓(xùn)練例沿一個(gè)不同的誤差曲面有效下降，它依靠這些梯度的平均來近似對于整個(gè)訓(xùn)練集合的梯度，這些不同的誤差曲面通常有不同的局部極小值，這使得下降過程盡可能的減小了陷入某一個(gè)局部極小值。

本設(shè)計(jì)采用有動(dòng)量的梯度下降法對神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提高學(xué)習(xí)速度并增加算法的可靠性，改進(jìn)算法為

其中，D(k)表示K時(shí)刻的負(fù)梯度，D(k-1)表示K-1時(shí)刻的負(fù)梯度，η為學(xué)習(xí)率，a∈[0，1]是動(dòng)量因子。當(dāng)a=0時(shí)，權(quán)值修正只與當(dāng)前負(fù)梯度有關(guān)系，當(dāng)a=1時(shí)，修正權(quán)值就完全取決于上一次循環(huán)的負(fù)梯度了。這種方法加入的動(dòng)量項(xiàng)實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢，從而改善了收斂性。

4 實(shí)現(xiàn)流程

圖10 處理系統(tǒng)

5 結(jié)語

結(jié)合對車輛牌照特征的分析以及對各種定位方法的比較，本系統(tǒng)采用改進(jìn)Ostu二值化算法，基于行掃描灰度跳變分析的車牌定位方法，該方法綜合了基于紋理特征分析和基于邊緣檢測分析方法的特點(diǎn)，具有速度快和準(zhǔn)確性高的優(yōu)點(diǎn)。BP改進(jìn)算法字符切割。

從Matlab運(yùn)行結(jié)果來看，該系統(tǒng)可以很好地完成車牌的定位、字符的分割和字符的識(shí)別，與傳統(tǒng)的編程語言相比，明顯縮短了開發(fā)周期，牌照識(shí)別系統(tǒng)的識(shí)別率，通過改進(jìn)的BP算法，系統(tǒng)的識(shí)別能力有效提高。通過對本課題的研究，筆者認(rèn)為神經(jīng)網(wǎng)絡(luò)算法的研究及編程實(shí)現(xiàn)必將是車牌識(shí)別的一個(gè)重點(diǎn)，本課題還可以繼續(xù)對BP算法進(jìn)行研究和編程實(shí)現(xiàn)。

［1］S.Al-Shami，A.El-Zaart，A.Zekri，K.Almustafa and R.Zantout，Number Recognition in the Saudi License Plates using Classification and Clustering Methods［J］.Applied Mathematics and Information Sciences（AMIS）.2017，11（1）：123-135.

［2］H.Kwasnicka and B.Wawrzyniak，License Plate Localiza?tion and Recognition in Camera Pictures［R］.Artificial In?telligence Methods，November，Gliwice，Poland，2002：13-15.

［3］L.Hammandi，Khaled Almustafa，R.Zantout and H.Obeid，Using Character Recognition for Plate Localization［J］.The International Journal of Multimedia&Its Appli?cations（IJMA），2012，4（5）：39-49.

［4］N.Otsu，A threshold selection method from gray level his?tograms［J］.IEEE Transactions on Systems，Man，and Cy?bernetics，1979，9：62-66

［5］H.Balasubramanian，P.K.Mitikiri and K.R.Namuduri，Image registration in low resolution visual sensor networks［C］//International Conference on Information Processing in Sensor Networks，2008.

［6］P.A.Viola and M.J.Jones，Rapid object detection using a boosted cascade of simple features［C］//IEEE Confer?ence on Computer Vision and Pattern Recognition，2001，1：511-518.

［7］J.Frigo，V.Kulathumani，S.Brennan，E.Rosten and E.Raby，Sensor network based vehicle classification and li?cense plate identification system［C］//Sixth International Conference on Networked Sensing Systems（INSS），2009：17-19.

［8］Book：H.M.A.Fahmy，Wireless Sensor Networks：Con?cepts，Applications，Experimentation and Analysis［R］，Originally published：March 2，2016.

［9］K.Almustafa，On the Automatic Recognition of Saudi Li?cense Plate［J］.International Journal of Applied Informa?tion Systems（IJAIS），2013，5（1）：34-44.

［10］M.Al-Bayati and A.El-Zaart，Automatic Thresholding Techniques for Optical Images［J］.International Journal of Signal and Image Processing，Signal&Image Process?ing：An International Journal（SIPIJ），2013，4（3）：1-15

［11］S.Saxena，N.Sharma and S.Sharma，Image Processing Tasks using Parallel Computing in Multi core Architec?ture and its Applications in Medical Imaging［J］.Interna?tional Journal of Advanced Research in Computer and Communication Engineering，2013，2（4）：1896-1900

［12］A.Krishnamurthy，J.Nehrbom，J.C.Chaves and S.Sam?si，Survey of Parallel MATLAB Techniques and Applica?tions to Signal and Image Processing［C］//IEEE Interna?tional Conference on Acoustics，Speech and Signal Pro?cessing，2007.ICASSP 2007，IV-1181-1184.

［13］C.Neubauer，J.Tyan and L.Goganovic，License plate recognition with an intelligent camera［C］//Proc.SPIE 3838，Mobile Robots XIV，1999，29.

［14］G.M.Amdahl，Validity of the single processor approach to achieving large scale computing capabilities［C］//In Proceedings of the April 18-20，1967，Spring Joint Computer Conference，AFIPS'67（Spring）.ACM，New York，NY，USA，1967：483-485.

［15］G Ramponi，P Fontanot.Enhancing document imageswith aquadratic filter［J］.Signal Process，1993，33（8）：30-34.

［16］Kyun JUNG，Simon LACROIX．A robust interest points matching algorithm［J］.IEEE，2001（2）：538-543.