基于Haar特征的中文車牌識別系統(tǒng)

劉年生，張家豪

(集美大學(xué)計算機(jī)工程學(xué)院，福建 廈門 361021)

0 引言

隨著中國公路交通系統(tǒng)的快速發(fā)展，機(jī)動車的車牌自動識別變得越來越重要，它是智能交通系統(tǒng)中的一項(xiàng)基礎(chǔ)性課題[1]，也是圖像模式識別研究的熱點(diǎn)[2]，廣泛應(yīng)用于停車場進(jìn)出口控制、自動繳費(fèi)、交通執(zhí)法、道路交通監(jiān)控等場景。車牌識別系統(tǒng)主要包含三個方面的關(guān)鍵技術(shù)，即車牌的定位與提取、傾斜校正與字符分割、字符識別，其中字符識別算法是影響車牌識別系統(tǒng)主要性能指標(biāo)(即識別準(zhǔn)確率和處理時間)的核心因素[3]。由于所采集的車牌是從實(shí)際復(fù)雜環(huán)境中拍攝得到的，其圖像質(zhì)量受焦距、陰影、光照、背景復(fù)雜度等諸多因素影響，所以車牌字符識別算法應(yīng)具有較強(qiáng)魯棒性，在較強(qiáng)的圖像噪聲影響下還應(yīng)具有較高的字符識別準(zhǔn)確率，特別是對于中文車牌，因漢字結(jié)構(gòu)比英文字母和阿拉伯?dāng)?shù)字的字體結(jié)構(gòu)更復(fù)雜，更需要較高的識別容錯性。因此，車牌識別既要準(zhǔn)確快速，又要魯棒容錯，構(gòu)建這樣一個中文車牌自動識別系統(tǒng)的難度會更高一些。

目前，車牌字符識別的算法主要有模板匹配算法[4]、神經(jīng)網(wǎng)絡(luò)字符識別算法[5]和特征匹配算法[6]。模板匹配算法具有直觀和計算簡單等特點(diǎn)，但是魯棒性較差，光照、字符清晰度和大小等變化因素都顯著降低識別準(zhǔn)確率[7]。神經(jīng)網(wǎng)絡(luò)字符識別算法具有良好的容錯、分類能力和自我學(xué)習(xí)能力，且運(yùn)行速度快，但存在算法效率低，分類器訓(xùn)練速度慢，學(xué)習(xí)過程中易陷入局部極小和易出現(xiàn)振蕩現(xiàn)象，導(dǎo)致訓(xùn)練分類器失敗等問題[8]。傳統(tǒng)的特征匹配算法具有算法效率高和識別速度快等優(yōu)點(diǎn)，但在字符出現(xiàn)筆畫融合、斷裂、部分缺失時識別準(zhǔn)確率顯著降低[9]。

本文擬提出一種基于Harr特征的中文車牌識別方案，以期具有識別速度快、識別準(zhǔn)確率高、魯棒性強(qiáng)三者相統(tǒng)一的特點(diǎn)，即使在復(fù)雜的環(huán)境條件下，它仍然能快速準(zhǔn)確地識別車牌，具有較高的魯棒性。

1 Haar特征

Haar特征也叫Haar-like特征，最早是由Papageorgiou等[10]受一維Haar小波的啟發(fā)而提出來的，用于目標(biāo)檢測。Viola等[11]在此基礎(chǔ)上提出利用積分圖像法快速計算Haar特征的方法。隨后，Lienhart等[12]用對角特征對Haar特征庫進(jìn)行了擴(kuò)展。

對于灰度圖像而言，Haar矩形模板由兩個或多個全等的黑白矩形相鄰組合而成，而Haar矩形特征值是白色矩形的灰度值的和減去黑色矩形的灰度值的和。如圖1所示，不妨假設(shè)在一個W×H的灰度圖像中存在待識別的目標(biāo)字符，檢測時使用大小均為w×h的兩種特征矩形模板，即正立的矩形模板和旋轉(zhuǎn)45°的矩形模板。每個特征矩形可用r=(x,y,w,h,α)來表示，其中0≤x，x+w≤W， 0≤y，y+h≤H，x,y≥0，w,h≥0，α∈{0°,45°}，而該矩形的像素和用RecSum(r)來表示，則在這個W×H的圖像中的所有這些形式特征的總和被稱為原始 Haar 特征集Hf，即：

(1)

公式(1)中權(quán)重ωi∈R,矩形ri和N是可以任意選擇的，這樣一來，原始Haar特征集幾乎是無限大的，不適合于實(shí)際應(yīng)用，需要限定Haar特征個數(shù)。常用的約束方法有[11]：1)僅考慮兩個矩形像素和的權(quán)重結(jié)合(例如N=1)。2)兩個矩形的權(quán)重一正一負(fù)，并通過正負(fù)權(quán)重來補(bǔ)償兩個大小不同的區(qū)域。因此，對沒有重疊的矩形而言，有-ω0×Area(r0)=ω1×Area(r1) 。在沒有其他限制條件時，設(shè)置ω0=-1，并且ω1=Area(r0)/Area(r1)。3)這些特征應(yīng)類似小波Haar-like 特征和初級人類視覺通道的特征(如向心性和方向性響應(yīng))。

在上述約束條件下，Haar特征共有四類，即邊緣特征、線性特征、中心特征和對角線特征，有15種特征原型。在一個W×H的車牌圖像中，基于大小為w×h的正立矩形的Haar特征個數(shù)為

XY×(W+1-w(X+1)/2)×(H+1-h(Y+1)/2)，

(2)

其中X=[W/w]，Y=[H/h]；而基于大小為w×h的旋轉(zhuǎn)45°矩形的Haar特征個數(shù)為

XY×(W+1-Z(X+1)/2)×(H+1-Z(Y+1)/2)，

(3)

其中Z=w+h。這樣，既能大幅度降低特征個數(shù)，減少特征之間的冗余度，提高車牌識別的實(shí)時性，又能不丟失車牌字符間的可區(qū)分性特征，保證車牌識別的準(zhǔn)確率不降低。

2 Harr特征分類器的級聯(lián)

Haar特征分類器的級聯(lián)就是一個退化決策樹，它由N個弱分類器串聯(lián)起來。如圖2所示，Hfi是表示第i個Haar特征，Ci表示為第i個弱分類器，R和L分別表示弱分類器的rightValue和leftValue。每個弱分類器對應(yīng)一個Haar特征，這樣每個弱分類器只專注識別所感興趣的目標(biāo)細(xì)節(jié)，而忽略不感興趣的目標(biāo)細(xì)節(jié)。它按照決策樹的處理機(jī)制，確定待測車牌字符是否滿足字符Haar特征的閾值，以此確定下一級是采用左聯(lián)還是右聯(lián)。它采用離散Adaboost樣本訓(xùn)練方法[11-13]，可將每個原始的弱分類器訓(xùn)練成最優(yōu)的弱分類器，再組合這N個最優(yōu)的弱分類器，從而得到一個強(qiáng)分類器，并且隨著弱分類器數(shù)目的增加，在保證識別準(zhǔn)確率基本不變的前提下可以大幅度降低虛警率，直至所期望的水平。

經(jīng)過訓(xùn)練后的Haar特征級聯(lián)分類器將用于車牌字符識別。車牌字符自動識別過程如圖3所示。在圖3中，將分割后的車牌字符灰度圖像作為待識別的對象，輸入到字符自動識別系統(tǒng)中，通過循環(huán)調(diào)用Haar級聯(lián)分類器，逐一識別車牌中的每個字符，將整張車牌的識別結(jié)果作為系統(tǒng)的輸出。

3 車牌識別實(shí)驗(yàn)結(jié)果及分析

在Intel(R)Core (TM)i7-4710MQ(CPU)+16.0GB(RAM)+Windows 10(OS)的計算機(jī)軟硬環(huán)境下，安裝Python3.5.1、numpy-1.14.2、tensorflow1.6.0、scipy1.0.1、opencv-python-3.4.0.12 、scikit-image、PIL等軟件，配置相應(yīng)的環(huán)境變量，搭建一個基本的開源環(huán)境，進(jìn)行基于Haar特征的中文車牌自動識別系統(tǒng)的開發(fā)和測試。中文車牌的尺寸一般為440 mm×140 mm，有藍(lán)底白字白框線、黃底黑字黑框線、黑底白字白框線、白底黑字黑框線等多種顏色配置，且其由7個字符組成的，第2字符與第3字符(或第4字符與第5字符)之間的間隙為34mm，且該間隙中間有一個小圓點(diǎn)，其他字符間隙為12 mm。這類車牌在中國使用最多，近2億張。

系統(tǒng)分為樣本訓(xùn)練和識別測試兩個主要部分。首先，對Haar級聯(lián)分類器進(jìn)行訓(xùn)練。利用OpenCV提供的中文車牌樣本庫，選取4 700個正樣本和12 000個負(fù)樣本，調(diào)用opencv_haartraining.exe命令工具進(jìn)行樣本訓(xùn)練，該工具封裝了Haar特征提取以及Adaboost分類器訓(xùn)練過程，訓(xùn)練后的Haar分類特征可記錄在對應(yīng)的xml文檔中。在樣本訓(xùn)練中，對單個字符的識別準(zhǔn)確率均在99.2%以上，處理時間不超過0.02 s。然后，對300幅新增的中文車牌進(jìn)行識別測試，新車牌分為5組，每組60張，每張車牌識別結(jié)果類似(見圖4)，整個測試結(jié)果如表1所示，識別準(zhǔn)確率的統(tǒng)計結(jié)果為(94.0±0.9)%，平均每張車牌處理(包含加載、定位、校正、分割和識別等全過程)時間為(0.63±0.06)s，所提方案是精準(zhǔn)和高效的。

表1 基于Haar特征的中文車牌識別準(zhǔn)確率

組別Group12345合計Total車牌檢測總數(shù)Number ofChinese license plates to be tested/個6060606060300成功識別數(shù)Successful recognition number/個5656575756282識別準(zhǔn)確率Accuracy rate/%93.393.395.095.093.394.0±0.9

本方案與其他經(jīng)典的車牌識別方案的比較如表2所示。一方面，從車牌的識別準(zhǔn)確率上看，本方案在五個方案中居于中等水平。但是，ALMD-YOLO、Application-Oriented和3L-LBPs識別準(zhǔn)確率的實(shí)驗(yàn)結(jié)果都是針對英文車牌的，而中文車牌的自動識別要比英文車牌困難得多，這是因?yàn)橹形能嚺瞥税⑽淖帜负桶⒗當(dāng)?shù)字外，還多了40個漢字(根據(jù)GA36-2014中華人民共和國機(jī)動車號牌標(biāo)準(zhǔn))，并且其中絕大多數(shù)漢字的結(jié)構(gòu)比英文字母或阿拉伯?dāng)?shù)字的字體結(jié)構(gòu)要復(fù)雜得多，如贛、藏、冀等，因而漢字特征的提取比字母或數(shù)字要復(fù)雜一些。另一方面，從車牌整個處理時間上看，雖然本方案中實(shí)驗(yàn)所用的CPU不是5個中計算性能最好的，但它的整個處理識別時間卻是最短的，這反映了Haar特征方法具有計算復(fù)雜度小、識別實(shí)時性好的特點(diǎn)，比較適合于中文車牌字符的識別。

表2 五種不同識別方法的主要性能比較

說明：ALMD-YOLO、Application-Oriented和3L-LBPs的識別準(zhǔn)確率是針對英文車牌，非中文車牌 Note:The accuracy of ALMD-YOLO，Application-Oriented and 3L-LBPs is for English license plates,not for Chinese ones

本方案具有較高的魯棒性，對車牌圖像質(zhì)量要求不敏感，即使圖像中車牌處于傾斜、多個并存、夜光等情況，或車牌字符出現(xiàn)污漬、模糊等情況，本系統(tǒng)均能快速準(zhǔn)確地識別車牌信息，不會顯著影響識別率。如圖5所示，對車牌傾斜、多輛并行、污泥掩蓋、夜光、近距離失焦、高速行駛等復(fù)雜環(huán)境下采集到車牌圖像，均能高效地識別出車牌號。

另外，對未能準(zhǔn)確識別的18張車牌進(jìn)行分類分析，發(fā)現(xiàn)：從誤識別的車牌字符個數(shù)來分，單字符誤識別的有15張，2個及2個以上的字符誤識別的有3張；從誤識別的車牌字符類型來分，漢字誤識別的有18張，字母誤識別的有2張；從視覺圖像質(zhì)量來分，車牌圖像清晰但字符存在較大缺損的有4張，車牌圖像質(zhì)量低劣的(因霧、污物、扭曲、失焦和光線不足等因素造成的)有14張。因此，形成車牌誤識別的主要原因包括漢字識別困難、字符筆畫較嚴(yán)重缺損和采集到的車牌圖像質(zhì)量過低等因素。

要提高所提方案的識別準(zhǔn)確率，首先，應(yīng)合理配置方案的參數(shù)，適當(dāng)減小特征矩形模板的尺寸，即在公式(2)和(3)中合理選取w和h的值，適當(dāng)增加車牌的Haar特征數(shù)，提高漢字識別的精確度；其次，增加訓(xùn)練樣本數(shù)，特別是針對車牌漢字部分，能有效地學(xué)習(xí)和保留漢字的Haar特征，提高識別的準(zhǔn)確度；第三，獲取的車牌圖像質(zhì)量盡可能高一些，如采用高清攝像頭等，對一些質(zhì)量偏低但不太嚴(yán)重的車牌圖像，可以采用一些新的組合濾波、圖像增強(qiáng)和優(yōu)化校正等先進(jìn)技術(shù)，提高車牌圖像的前處理質(zhì)量，為后續(xù)的字符分割和識別奠定好的基礎(chǔ)。

4 結(jié)論

本文采用Haar特征模板匹配的方法，對中文車牌字符進(jìn)行識別，具有識別準(zhǔn)確率高、識別速度快和魯棒性好等三方面性能指標(biāo)高度統(tǒng)一的特點(diǎn)。Haar特征是基于車牌小區(qū)域中的像素值分布而計算出來的，具有理論基礎(chǔ)可靠、計算簡單等特點(diǎn)?；贖aar特征的弱分類器采用Adaboost算法進(jìn)行級聯(lián)，可以將一個弱分類器變成一個強(qiáng)分類器。同時，針對不同的應(yīng)用場景，通過合理選取系統(tǒng)參數(shù)和訓(xùn)練樣本，顯著降低數(shù)據(jù)處理量，提高了車牌識別速度。在Python和OpenCV組合開源環(huán)境下，通過編寫源代碼，開發(fā)了具有實(shí)際識別功能的基于Haar特征的中文車牌識別系統(tǒng)，并驗(yàn)證了理論模型的正確性和所提方案的可行性。該系統(tǒng)適用于中國大陸所有省份的機(jī)動車車牌識別，可廣泛用于停車場進(jìn)出口控制、自動繳費(fèi)、交通執(zhí)法、道路交通監(jiān)控等實(shí)際的自動化實(shí)時監(jiān)管系統(tǒng)。

致謝

劉曉捷、王宗躍等參與本文的部分實(shí)驗(yàn)和討論工作，特此表示感謝。