基于MSER與SVM算法的車牌定位識別方法

胡成偉　袁明輝

摘 ?要： 針對實際車牌識別系統(tǒng)中車牌位置定位難、字符識別率低等問題，提出了一種基于MSER與SVM算法的車牌定位識別。該方法分為定位和識別兩步，輸入圖像經(jīng)過預(yù)處理，通過MSER與SVM算法直接提取出車牌的字符區(qū)域，然后將車牌字符圖像裁剪送入識別階段，識別階段同樣利用SVM算法對車牌字符進行識別。經(jīng)驗證，該車牌定位識別方法識別速度快、準確率高，能夠適用于實際生活中較為復(fù)雜的交通環(huán)境。

關(guān)鍵詞：?MSER;SVM;車牌定位;字符分割;識別

中圖分類號： TP317.4????文獻標識碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.039

【Abstract】： In order to solve the problems such as the difficulty in locating the position of the license plate and the low recognition rate of the characters in the actual license plate recognition system， an algorithm based on MSER and SVM was proposed. This method is divided into two steps： positioning and recognition. The input image is preprocessed， and the character area of license plate is directly extracted by MSER and SVM algorithm. Then the image clipping of license plate character is sent to the recognition stage. It is proved that the method is fast and accurate， and can be applied to the complicated traffic environment in real life.

【Key words】： MSER;?SVM; License plate location; Character segmentation;?Recognition

0??引言

由于汽車行業(yè)的飛速發(fā)展，帶來一系列的交通管理問題。為了對車輛進行有效的管理，需要通過監(jiān)控設(shè)備對車牌進行識別，進而追蹤管理。但隨著當前應(yīng)用場景復(fù)雜度的增加，我們對車牌識別系統(tǒng)的算法提出了更高的要求。傳統(tǒng)的車牌識別算法主要分為車牌定位和字符分割兩個步驟。車牌定位一般通過邊緣檢測和顏色匹配[1-8]來實現(xiàn)的，然后基于車牌字符的幾何特征和排列規(guī)則進行字符分割[9-16]。然而，邊緣檢測和顏色匹配受環(huán)境光的影響較大，在復(fù)雜的環(huán)境中往往難以準確定位車牌。

支持向量機（Support Vector Machine，SVM）是一種判別方法，在機器學(xué)習(xí)領(lǐng)域，被廣泛應(yīng)用于模式識別、分類和回歸分析，SVM稀疏性和穩(wěn)定性使其具有良好的泛化能力和較少的計算量。最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regions，MSER）最早是由Matas在2002年提出的，它是目前常用的一種區(qū)域求取局部穩(wěn)定區(qū)域的算法，廣泛應(yīng)用于文本字符識別。該算法具有仿射不變性，對光不敏感，適用于復(fù)雜環(huán)境下的車牌識別。

本文提出了一種基于MSER和SVM算法的車牌定位識別算法，充分利用了兩者的優(yōu)點，可以極大的提高車牌識別的準確率，從而在交通管制中發(fā)揮重要的作用。

1??車牌字符定位算法

實際場景中，采集的原始圖像不僅僅包含車牌字符信息還包含比如車標等干擾物品。為了提高識別的準確率，需要先對車牌字符進行定位處理，消除干擾標志物對識別結(jié)果的影響。傳統(tǒng)的車牌定位主要分為三個步驟。第一個對原始圖像進行預(yù)處理，第二步對圖像的邊緣輪廓信息進行提取，第三步利用像素點之間的關(guān)聯(lián)性對車牌進行精確定位。本文則通過MSER對直接對字符區(qū)域進行提取，得到若干最小矩形的候選區(qū)域，然后通過SVM分類算法刪除非字符區(qū)域，保留車牌字符區(qū)域。具體流程的示意圖如圖1所示。

1.1??原始圖像預(yù)處理

MSER是一種基于分水嶺思想來求取局部穩(wěn)定區(qū)域的算法。由于MSER處理的是灰度圖像，而這里我們采集的原始車輛圖像往往是彩色的，因此首先要將原彩色圖像轉(zhuǎn)換為灰度圖像。為了提高灰度圖像的質(zhì)量并且減少光、噪聲對檢測過程帶來的影響，這里采取了分段線性灰度變換式（1）和自適應(yīng)對比度增強算法[17]對圖像進行了預(yù)處理。

上述方法檢測的是灰度圖像的黑色區(qū)域，而不是白色區(qū)域。同理，若需要對白色區(qū)域進行檢測，則在二值化處理時，將閾值從255～0之間依次減小取值，并對連通區(qū)域面積進行分析，獲得穩(wěn)定區(qū)域MSER-。最后將MSER+，MSER-合并即可得到MSER。

為了方便后續(xù)處理，我們將用一個能夠容納MSER的最小矩形作為車牌字符的候選區(qū)域。并且如圖2所示，我們將二值化處理后的圖像替換為原始的彩色圖像，以便于我們后續(xù)的觀察。

1.3??車牌字符區(qū)域提取

上節(jié)中我們得到了若干矩形區(qū)域，但由于有著例如車標、車燈以及拍攝背景的干擾，在這些矩形區(qū)域中，有著與車牌字符無關(guān)的非字符區(qū)域。因此，我們需要將非字符區(qū)域刪除，留下帶有車牌字符信息的字符區(qū)域。本文我們通過四個步驟來實現(xiàn)對車牌字符區(qū)域的提取。

首先，由于機動車牌照按照國家要求有著嚴格的幾何尺寸和排列規(guī)則，我們可以求得車牌字符的高寬比以及圖像填充系數(shù)。通過這個兩個特征的比對我們可以消除很多非字符候選區(qū)域，圖3為為標準牌照尺寸圖。

根據(jù)上圖的標準車牌尺寸圖可得，每個字符的高寬比是2∶1，但是在實際的拍攝條件下，我們所得到的車牌可能有所傾斜或扭曲，為了避免誤刪字符區(qū)域，我們將高寬比的篩選范圍定位1.5～3，圖像的填充系數(shù)最小為0.2，符合這個兩個尺寸條件的，我們認為是標準車牌字符尺寸驗證后的候選區(qū)域。標準車牌字符尺寸的驗證結(jié)果圖4所示。

從圖4中可以看出，經(jīng)過標準車牌字符尺寸驗證后，仍然有許多非字符區(qū)域未被刪除，許多候選區(qū)域相互包含或交叉，因此僅僅依靠直接利用車牌字符的排列規(guī)則和尺寸標準來篩選出字符區(qū)域是非常困難的。本文采用了了一種基于SVM的訓(xùn)練特征區(qū)域識別模型。SVM也叫支持向量機，是一種按照監(jiān)督學(xué)習(xí)方式對數(shù)據(jù)進行二分類的分類器，其決策邊界是對學(xué)習(xí)樣本求解的最大邊距超平面，這里我們使用的是?c_svm函數(shù)對樣本進行分類，如圖5所示，第一行是車牌上的字符區(qū)域，第二行是非字符區(qū)域，大致可以分為非車牌區(qū)域和車牌上非字符區(qū)域，因此為確保模型的準確性，我們選出2000張屬于車牌字符區(qū)域的圖片作為正樣本，選出4000張非字符區(qū)域的圖片作為負樣本，并且為了盡可能多的提取特征信息，正負樣本均采用彩色圖片。我們利用這個方法，對圖4中每個矩形區(qū)域是否為字符區(qū)域進行了校核。

結(jié)果如圖6所示，所有字符區(qū)域都保留了下來。與圖4相比，圖6中的結(jié)果要簡單得多，大大降低了提取字符區(qū)域的難度。

通過機器學(xué)習(xí)算法去除了非字符區(qū)域后，只剩下包含著同一字符區(qū)域的很多矩形和少量非字符區(qū)域，所以我們需要移除包含彼此的矩形區(qū)域，使得每個字符區(qū)域只被單個矩形包含。如果兩個互相包含的矩形rect1和rect2滿足式（3）的關(guān)系，則我們假設(shè)rect1包含rect2，保留rect1，移除rect2。在這一步之前，所有的矩形區(qū)域都要按照它們的左邊界進行排序，這樣就可以簡單的去除互相包含問題。

去除了互相包含的車牌字符區(qū)域后，通?？赡軙辛阈菐讉€非字符區(qū)域。最后我們可以使用車牌字符的排列規(guī)則來消除非字符區(qū)域。在去除車牌水平線上方的非字符區(qū)域時，我們可以將矩形區(qū)域按其上邊界從小到大排序，再依次計算每個矩形的中心高度。最后，我們根據(jù)中心的高度對相鄰的矩形盒子進行偏移，求出偏移的跳變。每一次偏差的跳躍代表兩條線的邊界。同時，每行需要計算矩形區(qū)域的數(shù)量。只有當每行的矩形區(qū)域數(shù)大于5時，才認為是字符區(qū)域。剔除其余非字符區(qū)域后的結(jié)果如圖7所示。

2??基于SVM的車牌字符識別

提取車牌字符后，根據(jù)原始圖像中矩形區(qū)域的位置進行裁剪，如圖8所示。

同樣的，車牌字符的識別模塊也是基于SVM算法的。在這里，我們用作訓(xùn)練的樣本數(shù)據(jù)課分為數(shù)字、字母和漢字，依次對訓(xùn)練數(shù)據(jù)進行分類和標記后，將數(shù)據(jù)放入SVM模型中進行訓(xùn)練。我們采取了大量的字符樣本數(shù)據(jù)用作訓(xùn)練，上圖所示車牌字符識別的最終結(jié)果如圖9所示。在整個過程中，輸入是一個包含車牌的彩色圖下像，而輸出則是車牌字符的識別結(jié)果。經(jīng)過我們的測試，該字符識別模型對字符的識別率可以達到95%左右。

3??結(jié)語

本文提出了一種基于MESR與SVM支持向量機算法的車牌識別系統(tǒng)，使用的Opencv的版本為2.4.9和Visual Studio 2015 進行這個系統(tǒng)的開發(fā)，選取200張不同的車牌進行測試發(fā)現(xiàn)，這個系統(tǒng)的車牌定位率達到了98.32%，車牌字符的識別率達到了95.64%，該系統(tǒng)適應(yīng)于復(fù)雜環(huán)境，對車牌的識別速度快，具有很強的實用性。

參考文獻

張婷曼， 閆文耀， 王慶. 基于圖像處理的車牌定位及字符識別算法研究[J]. 現(xiàn)代雷達， 2014， 36（8）： 26-30.

Sedighi A， Vafadust M. A new and robust method for character segmentation and recognition in license plate images[J]. Expert Systems with Applications， 2011， 38（11）： 13497-13504.

陳麗娟. 基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌提取算法[J]. 軟件， 2016， 37（9）： 39-43.

柯海豐， 應(yīng)晶. 基于R-ELM的實時車牌字符識別技術(shù)[J]. 浙江大學(xué)學(xué)報（工學(xué)版）， 2014（7）： 1209-1216.

王晶. 基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的車牌字符識別技術(shù)的研究[J].?工業(yè)控制計算機， 2017， 30（3）： 51-52.

王宏濤， 孫劍偉. 基于BP神經(jīng)網(wǎng)絡(luò)和SVM的分類方法研究[J]. 軟件， 2015， v.36; No.427（11）： 102-105.

王林華， 袁明輝， 黃慧， 等. 太赫茲安檢系統(tǒng)人體圖像邊緣物體識別[J]. 紅外與激光工程， 2017， 46（11）： 139-144.

張玉英， 譚榮建， 張東升， et al. 小波變換的動態(tài)灰色模型研究[J]. 軟件， 2018， 39（11）： 173-177.

Zhang L， Chen G. Extracting music image from images based on region labeling algorithm with erosion and dilation[C]. International Conference on Computer Science and Service System. IEEE， 2011： 1271-1274.

Zhao J， Wang X. Vehicle-logo recognition based on modified HU invariant moments and SVM[J]. Multimedia Tools & Applications， 2019， 78（1）： 75-97.

Bulan O， Kozitsky V， Ramesh P， et al. Segmentation- and Annotation-Free License Plate Recognition With Deep Localization and Failure Identification[J]. IEEE Transactions on Intelligent Transportation Systems， 2017， 18（9）： 2351-2363.

Hui L， Peng W， Shen C. Toward End-to-End Car License Plate Detection and Recognition With Deep Neural Networks[J]. IEEE Transactions on Intelligent Transportation Systems， 2017， PP（99）： 1126-1136.

Yun Y， Li D， Duan Z. Chinese vehicle license plate recognition?using kernel-based extreme learning machine with deep convolutional features[J]. Iet Intelligent Transport Systems， 2018， 12（3）： 213-219.

Zhao Y， Yu Z， Li X. Evaluation methodology for license plate recognition systems and experimental results[J]. Iet Intelligent Transport Systems， 2018， 12（5）： 375-385.

趙薇. 基于紋理特征的動態(tài)車牌識別二次快速定位技術(shù)研究[J]. 機械設(shè)計與制造， 2014（5）： 182-185.

張浩鵬， 王宗義. 基于灰度方差和邊緣密度的車牌定位算法[J]. 儀器儀表學(xué)報， 2011， 32（5）： 1095-1102.

李曉燃. 基于深度學(xué)習(xí)的傾斜車牌矯正識別[J]. 軟件， 2018， 39（10）： 223-227.

尤波， 陳國杰， 梁強， 陳瀟磊， 武坤. 基于色度向量聚類的保險片識別及插接方法[J]. 儀器儀表學(xué)報， 2018， 39（07）： 191-199.

孫琦龍， 張明亮. 一種HSV顏色空間量化的藏毯圖像檢索方法[J]. 軟件， 2016， v.37; No.431（03）： 44-47.

姚楠， 耿奇. 基于MATLAB GUI的車牌自動識別系統(tǒng)設(shè)計[J]. 軟件， 2016（3）： 44-46.