基于閾值分割和區(qū)域生長的車牌識別方法*

?

基于閾值分割和區(qū)域生長的車牌識別方法*

0引言

【研究意義】在車聯(lián)網(wǎng)迅速發(fā)展的今天，快速識別車牌已經(jīng)成為最基本的要求，車聯(lián)網(wǎng)中的各種應(yīng)用均基于車主的快速識別，而車牌作為車輛的外在唯一標(biāo)示，在車聯(lián)網(wǎng)的應(yīng)用中占有很重要的地位。車牌的快速識別將有助于提高對汽車安全以及交通的管理。【前人研究進展】車牌的識別最早在20世紀80年代提出，到目前為止國外已經(jīng)有一些較為成熟的研究成果，比如Mullot等[1]提出使用機器學(xué)習(xí)識別車牌中文字紋理的方法，Comelli等[2]提出使用顏色分量進行車牌定位的方法，Thanongsak等[3]提出使用BP神經(jīng)網(wǎng)絡(luò)提取車牌區(qū)域及文字的方法等。在此基礎(chǔ)上，國外一些大型的公司也已有一些車牌識別產(chǎn)品投入使用，比如以色列Hi-Tech公司的See/Car系統(tǒng)、新加坡OptAsia公司的VECON-VIS系統(tǒng)和日本的LUIS系統(tǒng)[4]等。但這些研究和軟件都是針對國外的車牌進行的，對漢字車牌則無能為力，再加上我國車牌的統(tǒng)一管理并不久遠，所以目前國內(nèi)雖有部分對車牌識別的研究[5-8]，但總體水平還落后于國外?！颈狙芯壳腥朦c】車牌識別中有3個關(guān)鍵的步驟：車牌定位、字符分割以及字符識別，其中車牌定位的好壞直接影響后續(xù)識別的質(zhì)量。但車牌定位極易受到外界環(huán)境的干擾和影響?！緮M解決的關(guān)鍵問題】對車輛圖像，聯(lián)合使用閾值分割和區(qū)域生長方法，改善和增強車牌的邊界效果，從而提高車牌的識別率。

1車牌識別系統(tǒng)的構(gòu)成

車牌識別系統(tǒng)由圖像預(yù)處理、車牌定位、字符分割和字符識別4部分組成(圖1)。

圖1車牌識別系統(tǒng)構(gòu)成

Fig.1Composition of the vehicle license plate recognition system

圖像預(yù)處理部分主要對采集到的圖像進行幾何歸一化和光照歸一化。通過幾何歸一化將采集到的圖像的分辨率變得一致，通過直方圖均衡化和灰度變換[9]將圖像中的光照變得相對均勻。

車牌定位模塊由閾值分割和區(qū)域生長兩部分構(gòu)成。其中閾值分割主要是針對車牌底色，尋找出車牌的大致區(qū)域，區(qū)域生長則是以閾值分割的結(jié)果為種子點，進一步得出車牌區(qū)域。

字符分割模塊是對定位之后的車牌按照車牌的標(biāo)準(zhǔn)規(guī)格將車牌中的7個字符分割出來，我們使用垂直投影法來進行。但由于車牌圖像不一定是水平的，所以一般在分割前需要消除車牌的傾斜。

字符識別模塊是對分割出來的字符進行識別，本系統(tǒng)使用基于模板匹配的方法來進行，模板匹配相對神經(jīng)網(wǎng)絡(luò)來說實現(xiàn)簡單，識別率也較高。

2車牌的定位

采集到的圖像經(jīng)過預(yù)處理之后得到可以進行車牌定位的圖像。車牌的定位是聯(lián)合使用閾值分割和區(qū)域生長的方法進行。普通的閾值分割算法主要是針對灰度圖進行，而且使用的是自動閾值，分割車牌圖像效果并不好。由于車牌的顏色有明確的規(guī)定，我國的家用車牌以藍色為底，字為白色，因此，在車牌的定位中，我們使用彩色圖像，并使用人工閾值分割算法提取出藍色區(qū)域，之后再使用區(qū)域生長算法，以閾值分割算法中得到的藍色區(qū)域為基礎(chǔ)，進行區(qū)域的生長，從而得出車牌的范圍。其基本思想如下：

1)確定車牌的底色范圍。對于家用車的車牌來說，藍色的區(qū)域可以設(shè)定為

(1)

其中Ir,Ig,Ib分別是紅色、綠色和藍色分量。

2)遍歷圖像，找出滿足公式(1)的點，標(biāo)注出來。

3)以上一步得到的點為種子點，使用區(qū)域生長算法，擴張車牌區(qū)域。為了得到較為滿意的車牌區(qū)域，我們選擇以種子點為中心，將與種子點鄰近的顏色分量偏差在±10以內(nèi)的點全部增加進車牌備選區(qū)域。

4)對上一步得到的結(jié)果進行8連通性測試，過濾掉單獨的點。

5)使用車牌模板對得到的區(qū)域進行匹配，得出車牌區(qū)域。我國家用車的車牌標(biāo)準(zhǔn)規(guī)格是450 mm×150 mm，長寬比為3∶1，考慮到誤差，我們選取長寬比在2.5∶1到3.5∶1之間的矩形框為模板進行匹配，找出車牌區(qū)域。

3字符分割

字符分割的前提是車牌是正的，但一般情況下，車牌都會有微小的傾斜，因此在字符分割前需要對車牌進行傾斜校正。傾斜校正的依據(jù)是車牌定位中得到的區(qū)域(圖2)。根據(jù)在車牌定位中得到的車牌上橫線的左右坐標(biāo)，即可計算出車牌的傾斜角度a。計算公式如下：

(2)

根據(jù)計算出來的傾斜角度對圖片做反向旋轉(zhuǎn)即可，Matlab中的imrotate函數(shù)可以直接實現(xiàn)圖片的旋轉(zhuǎn)，完成傾斜車牌的校正。

我國的家用車牌由省、自治區(qū)、直轄市簡稱、發(fā)牌機關(guān)代號、間隔符、序號組成，其中省、自治區(qū)、直轄市簡稱為漢字，發(fā)牌機關(guān)代號為大寫字母，間隔符為點號，序號由數(shù)字和大寫字母組成的5位組合。其規(guī)格有明確的規(guī)定，不隨圖像的大小變化而變化(圖3)。

圖2　車牌的傾斜角度

圖3我國車牌規(guī)格(mm)

Fig.3License plate size(mm)

因為車牌的7個字符之間有明確的間隔，因此，其垂直投影有很明顯的特征(圖4)。在圖4中能很明顯看到7個字符的邊界以及間隔符的存在。

圖4車牌的垂直投影

Fig.4Vertical projection of license plate

垂直投影法的基本思想是，從左到右依次檢測垂直投影中為0的部分，根據(jù)先驗知識來確定字符的邊界。由于噪聲的存在，這里我們將垂直投影中0的檢測放寬至一定范圍，該范圍與圖像質(zhì)量有關(guān)，需要根據(jù)實際圖像做微調(diào)。

4字符識別

根據(jù)我國車牌的制訂規(guī)則，車牌中可以出現(xiàn)的漢字總共59個，大寫字母24個(O和I不用，免得與數(shù)字混淆)以及10個阿拉伯?dāng)?shù)字，這些字符全部都是規(guī)范的印刷體，結(jié)構(gòu)是固定的，因此可以直接使用字符模板來進行識別。

字符模板由黑白兩色組成的二值化圖像構(gòu)成，每個字符的大小為14×22像素，部分模板見圖5。

圖5部分字符模板

Fig.5Part of the character template

對于分割出來的字符，首先進行歸一化，這里我們將字符歸一化為與模板相同的14×22像素，之后進行二值化，最后統(tǒng)計該字符與模板中字符的匹配度，匹配度由待識別字符與字符模板中對應(yīng)點均為1的個數(shù)來確定，計算公式見公式(3)。

(3)

其中模板大小為M×N，I為待檢測圖像，T為某一個模板，Di為待檢測圖像與該模板的匹配度，只需要計算待檢測字符與所有可能模板的匹配度，選取其中匹配度最高的即可。如果所有的匹配度都低于某個閾值，則說明識別失敗，可能有異常情況發(fā)生。

5算法驗證

為了驗證算法，我們隨機選取34張320萬像素的車輛照片進行測試，樣本圖像首先經(jīng)過幾何預(yù)處理和光照補償，之后使用閾值分割和區(qū)域生長進行定位。例如，對測試圖像(圖6a)使用藍色進行閾值分割，得到的點見圖6b，再以閾值分割得到的點為種子點，將與種子點鄰近的顏色分量偏差在±10以內(nèi)的點全部增加進車牌備選區(qū)域，從而進行區(qū)域生長，結(jié)果見圖6c。由于圖6c中有部分區(qū)域明顯屬于雜點，因此進行8連通性測試，得到6個區(qū)域(圖6d)，對這6個區(qū)域進行長寬比測試，很容易確定車牌區(qū)域(圖6e)。然后對提取出的車牌做傾斜校正(圖6f)，再使用垂直投影法進行字符分割(圖6g)，之后使用基于字符模板的方法進行識別，結(jié)果如圖6h所示，本方法能準(zhǔn)確識別出預(yù)測圖像中的車牌。我們以同樣的方法對其他33幅車輛圖像進行識別，結(jié)果顯示，對于非藍色車，系統(tǒng)均能很好地識別出照片中的車牌。

圖6基于閾值分割和區(qū)域生長的車牌識別過程

Fig.6Process of license plate recognition based on threshold segmentation and region growing

6討論

本文所提出的車牌識別系統(tǒng)中采用閾值分割和區(qū)域生長的方法來定位車牌，定位更精確，使用垂直投影法分割字符利用了車牌的先驗知識，實現(xiàn)簡單，而使用字符模板來識別車牌字符，速度快，滿足了車牌識別的實時性要求。

但本系統(tǒng)也有兩點不足，一是對于藍色車輛，由于車輛顏色與車牌顏色比較接近，會造成識別上的困難。二是某些相近的字符與數(shù)字會出現(xiàn)誤識的情況，比如圖7中車牌中的字符“5”被誤識為“G”。

圖7車牌誤識的情況

Fig.7The wrong case

針對這兩點不足，我們未來準(zhǔn)備從兩個方面進行改進：

第一，采用不同的色系。采用HSV或者其他對藍色非常敏感的色系對原圖進行變換，從而使車牌與車的顏色區(qū)分更明顯。

第二，改進字符識別模塊。利用BP神經(jīng)網(wǎng)絡(luò)或者支持向量機等智能程度更高的算法來進行模式識別，減少誤識率。

參考文獻：

[1]MULLOT R,OLIVER C,BOURDON J L.Automatic extraction methods of container identify number and registration plates of cars[Z].Proceedings of International Conference on Industrial Electronics,Control and Instrumentation,Kobe,Japan,1991:1939-1944.

[2]COMELLI P,FERRAGINA P.Optical recognition of

motor vehicle license plate[J].IEEE Transaction on Vehicular Technology,1995,44(4):790-799.

[3]THANONGSAK S,KOSIN C.Extracting of car licen-

se plate using motor vehicle regulation and character pattern recognition[Z].IEEE Asia-Pacific Conference on Circuits and Systems.Chiangmai,Thailand,1998:559-562.

[4]SALGADO L,MENENDEZ J M,RENDON E,et al.Automatic car plate detection and recognition through intelligent vision engineering[Z].Proceedings of IEEE 33rd Annual International Carnahan Conference on Security Technology.Madrid,Spain,1999:71-76.

[5]康健新.基于圖像的車牌識別系統(tǒng)的設(shè)計和實現(xiàn)[D].長春:吉林大學(xué),2014.

KANG J X.Research and Implementation of License Plate Recognition System Based on Image[D].Changchun:Jilin University，2014.

[6]劉長青.車牌識別技術(shù)的研究與實現(xiàn)[D].長沙:湖南大學(xué),2007.

LIU C Q.Research and Accomplish on Technique of Recognition License Plate[D].Changsha:Hunan University,2007.

[7]黃山.車牌識別技術(shù)的研究和實現(xiàn)[D].成都:四川大學(xué),2005.

HUANG S.The Research and Achievement of Vehicle Plate Recognition Technology[D].Chengdu:Sichuan University,2005.

[8]吳艷，陳忠進，樂志文.Harris角點檢測與AP聚類結(jié)合的車牌定位方法[J].廣西科技大學(xué)學(xué)報，2014， 25(2)：54-57.

WU Y，CHEN Z J，YUE Z W.Vehicle license plate location based on Harris corner and AP clustering[J]. Journal of Guangxi University of Science and Technology，2014，25(2)：54-57.

[9]GONZALEC G Z,WOODS R E.Digital Image Pro-

cessing[M].3rd edition.London:Prentice Hall,2007.

(責(zé)任編輯：陸雁)

Vehicle License Plate Recognition Method Based on Threshold Segmentation and Region Growing

胡偉平， 王日鳳

HU Weiping， WANG Rifeng

(廣西科技大學(xué)計算機科學(xué)與通信工程學(xué)院，廣西柳州545006)

(School of Computer Science and Communication Engineering，Guangxi University of Science and Technology，Liuzhou，Guangxi，545006，China)

摘要：【目的】改善車牌定位的質(zhì)量，提高車牌識別的正確率和效率。【方法】聯(lián)合使用閾值分割和區(qū)域生長算法進行車牌定位，使用垂直投影法進行字符分割，并使用字符模板匹配方法實現(xiàn)車牌字符的識別。【結(jié)果】基于閾值分割與區(qū)域生長的車牌識別方法能準(zhǔn)確地識別出車牌號，識別率高，運行速度快?！窘Y(jié)論】該方法實時性較好，具有一定的實用價值。

關(guān)鍵詞：閾值分割區(qū)域生長垂直投影車牌識別

Abstract:【Objective】To improve the effect of vehicle license plate location algorithm, and the accuracy and efficiency of vehicle license plate recognition algorithm.【Methods】Threshold segmentation and region growing algorithm were combined to locate the vehicle license plate area. Vertical projection algorithm was used to split the plate characters. Template matching algorithm was used to recognize the plate characters.【Results】Experimental results show that the accuracy and speed of license plate numbers recognition are both improved through our method.【Conclusion】The accuracy and real-time of vehicle license plate recognition method based on threshold segmentation and region growing shows its practical value.

Key words:threshold segmentation，region growing，vertical projection，vehicle license plate recognition

中圖分類號：TP181

文獻標(biāo)識碼：A

文章編號：1002-7378(2016)01-0054-05

作者簡介：胡偉平(1979-)，男，博士，講師，主要從事人工智能和圖像處理方面的研究。

收稿日期：2015-10-11

網(wǎng)絡(luò)優(yōu)先數(shù)字出版時間:2016-01-27

網(wǎng)絡(luò)優(yōu)先數(shù)字出版地址:http://www.cnki.net/kcms/detail/45.1075.N.20160127.1616.006.html

*廣西科技大學(xué)科學(xué)基金項目(校科自1419212)，國家自然科學(xué)基金項目(61440017)，廣西高校一般資助項目(201203YB129)和廣西多源信息挖掘與安全重點實驗室開放基金項目(MIMS13-04)資助。