基于SVM的偏斜車(chē)牌識(shí)別

張笑，張明

（上海海事大學(xué)信息工程學(xué)院，上海201306）

基于SVM的偏斜車(chē)牌識(shí)別

張笑，張明

（上海海事大學(xué)信息工程學(xué)院，上海201306）

車(chē)牌識(shí)別系統(tǒng)一直是當(dāng)今科研的熱點(diǎn)。研究與實(shí)現(xiàn)車(chē)牌圖像以達(dá)到SVM（支持向量機(jī)）的識(shí)別分類(lèi)格外重要。其中的困難是實(shí)現(xiàn)對(duì)偏斜程度大的車(chē)牌圖像識(shí)別分類(lèi)，采用一種擴(kuò)大圖像旋轉(zhuǎn)和仿射變換結(jié)合的識(shí)別算法。最后利用得到的正視角矩形，用于后期的SVM訓(xùn)練和測(cè)試。實(shí)驗(yàn)結(jié)果表明：該算法適用于復(fù)雜的車(chē)牌定位環(huán)境，而且準(zhǔn)確率高和實(shí)用性強(qiáng)。

車(chē)牌識(shí)別；支持向量機(jī)；偏斜程度；擴(kuò)大圖像旋轉(zhuǎn)；仿射變換

0　引言

目前圖像處理與模式識(shí)別技術(shù)在智能交通中的應(yīng)用——車(chē)牌識(shí)別，其中車(chē)牌的精確定位和車(chē)牌字符的準(zhǔn)確識(shí)別是車(chē)牌識(shí)別系統(tǒng)的關(guān)鍵問(wèn)題。目前國(guó)內(nèi)外還沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)用來(lái)識(shí)別車(chē)牌，本文主要研究是大偏斜程度車(chē)牌的定位和識(shí)別，這是基于下一步字符識(shí)別的前提，在車(chē)牌識(shí)別系統(tǒng)中占有很重要的地位。

一般的車(chē)牌定位方法都會(huì)遇到同樣的問(wèn)題，即通過(guò)給定閾值來(lái)獲取ROI區(qū)域，而通過(guò)閾值的最小矩形ROI區(qū)域的視角并非是正視角，最小矩形ROI區(qū)域的車(chē)牌也未必是正角矩形，如果把整個(gè)圖像旋轉(zhuǎn)，則算法效率太低，就算對(duì)整個(gè)圖像旋轉(zhuǎn)成正視角圖像，但是ROI中的車(chē)牌也并非是正角矩形，這極大地影響后面的車(chē)牌識(shí)別，導(dǎo)致識(shí)別效率低。

本文首先利用HSV顏色空間［1］和邊緣特征獲取大程度偏斜圖像［2］的車(chē)牌，為了避免整個(gè)圖像旋轉(zhuǎn)的計(jì)算量大問(wèn)題，使用對(duì)截取的ROI區(qū)域進(jìn)行旋轉(zhuǎn)來(lái)減少計(jì)算時(shí)間，之后利用擴(kuò)大旋轉(zhuǎn)方法和仿射變換方法來(lái)獲得正視角的正角矩形車(chē)牌。至此，就可以利用此車(chē)牌來(lái)進(jìn)行SVM訓(xùn)練［3］，訓(xùn)練的結(jié)果可以用來(lái)后續(xù)的測(cè)試［4］，也可以識(shí)別一幅圖像中多個(gè)車(chē)牌。實(shí)現(xiàn)證明：此方法較好地解決了偏斜程度大車(chē)牌圖像的識(shí)別準(zhǔn)確率，可以運(yùn)用到以后的項(xiàng)目中。

1　車(chē)牌識(shí)別

1.1識(shí)別分類(lèi)流程

車(chē)牌識(shí)別的大體流程如圖1所示，主要分為HVS顏色定位、正視角判斷、擴(kuò)大旋轉(zhuǎn)、四邊形判斷、仿射變換、SVM訓(xùn)練和測(cè)試。即通過(guò)交通采集的大程度偏斜圖像進(jìn)行HSV定位車(chē)牌，然后一步一步進(jìn)行修正處理，最后得到正視角車(chē)牌給SVM訓(xùn)練和測(cè)試。

圖1　車(chē)牌識(shí)別分類(lèi)流程

1.2顏色定位

采集到合適的圖像是完成車(chē)牌識(shí)別的前提，本次實(shí)現(xiàn)采用的是交通拍攝的圖片，百度或其他網(wǎng)站下載的圖片由于像素、大小、分辨率等原因可能識(shí)別效果不是很好。本文使用HSV顏色模型來(lái)定位車(chē)牌。其中H表示色調(diào)，S表示飽和度，V表示亮度。由RGB模型到HSV模型的轉(zhuǎn)化公式如下：

其中，max=max（R，G，B），min=min（R，G，B）

中國(guó)車(chē)牌有4種顏色包括藍(lán)色、黃色、黑色和白色，由統(tǒng)計(jì)數(shù)據(jù)可得到各顏色在HSV空間中的范圍，如表1所示。

表1　車(chē)牌顏色HSV分布

車(chē)牌定位方法如下［1］：

（1）將圖像的顏色空間從RGB轉(zhuǎn)為HSV，對(duì)于圖像使用直方圖均衡進(jìn)行預(yù)處理；

（2）依次遍歷圖像的所有像素，當(dāng)H值落在200-280之間并且S值與V值也落在0.35-1.0之間時(shí)標(biāo)記為白色像素，否則為黑色像素；

（3）對(duì)僅有黑白二值圖使用閉操作，取輪廓等方法截取外接矩形出來(lái)。

1.3正二值化

通過(guò)判斷是否是正視角矩形或者角度差在正負(fù)5度左右，如果是可以直接進(jìn)行訓(xùn)練，如果不是，將進(jìn)行擴(kuò)大圖像處理。將顏色定位的圖像加強(qiáng)，能夠更加清晰車(chē)牌與背景的區(qū)別，采用正二值化方法公式如下：

直接采用上述的二值化后的圖像旋轉(zhuǎn)，計(jì)算量大，增加系統(tǒng)處理時(shí)間，所以采用外接含有車(chē)牌部分圖塊得到外接矩形ROI塊，并保存ROI塊到新的圖像中，不在和原來(lái)圖像有任何關(guān)聯(lián)，首先了解簡(jiǎn)單旋轉(zhuǎn)如下圖2：

圖2　旋轉(zhuǎn)矩形

產(chǎn)生三個(gè)問(wèn)題：

（1）一種是在原圖像對(duì)應(yīng)點(diǎn)且還在視框內(nèi)的，這些點(diǎn)被正常顯示；

（2）另一種是在視框內(nèi)但找不到原圖像與之對(duì)應(yīng)的點(diǎn)，這些點(diǎn)被置0值（顯示為黑色）；

（3）最后一種是有原圖像與之對(duì)應(yīng)的點(diǎn)，但不在視框內(nèi)的，這些點(diǎn)被拋棄。

解決方法：新建一個(gè)尺寸為原始圖像1.5倍左右的新圖像，顯示區(qū)域擴(kuò)大以后，把原始圖像映射到新圖像上，那些在原圖像中沒(méi)有值的像素被置了一個(gè)初值。于是我們得到一個(gè)包含所有感興趣區(qū)域的，都被完整顯示的旋轉(zhuǎn)后圖像。

1.4判斷車(chē)牌是否是四邊形

為了判斷正二值化圖像中白色部分是否是平行四邊形。就是直在獲取的ROI中獲取其矩形的四個(gè)坐標(biāo)點(diǎn)如下圖3：

圖3　ROI圖塊

為了實(shí)現(xiàn)一個(gè)魯棒性更好的計(jì)算方法，用這四個(gè)點(diǎn)來(lái)計(jì)算斜率。判斷平行四邊形是左斜還是右斜公式如下5所示：

1.5仿射變換

在實(shí)現(xiàn)了旋轉(zhuǎn)功能后，并且在旋轉(zhuǎn)后的區(qū)域中截取了車(chē)牌區(qū)域ROI，然后判斷車(chē)牌區(qū)域中的圖形是平行四邊形。那么平行四邊形如何變換成一個(gè)直角矩形？仿射方法要求輸入的參數(shù)是原始圖像的左上點(diǎn)，右上點(diǎn)，左下點(diǎn)，以及輸出圖像的左上點(diǎn)，右上點(diǎn)，左下點(diǎn)。如圖4將矩形變成四邊形，注意必須保證這些點(diǎn)的對(duì)應(yīng)順序，需要的是三個(gè)點(diǎn)對(duì)（共六個(gè)點(diǎn)）的坐標(biāo)，然后建立一個(gè)映射關(guān)系，將原始圖像的所有點(diǎn)映射到目標(biāo)圖像上。

圖4　變換原理

而目標(biāo)是把車(chē)牌區(qū)域中的平行四邊形映射為一個(gè)直角矩形。選取了車(chē)牌區(qū)域中的平行四邊形車(chē)牌的三個(gè)關(guān)鍵點(diǎn)，然后再確定車(chē)牌扭正成的矩形的三個(gè)關(guān)鍵點(diǎn)，但是圖像會(huì)根據(jù)斜率的正負(fù)，而左偏或右偏。需要采取辦法調(diào)整，為保證新的正視框中心能夠正好與車(chē)牌的中心重合，只要選擇偏移xidff/2長(zhǎng)度。正如下圖5所顯示的一樣。

圖5　仿射變換

坐標(biāo)調(diào)整意旨當(dāng)中心點(diǎn)保持不變時(shí)，平行四邊形扭正為矩形時(shí)，恰好是左上的點(diǎn)往左偏移了xdiff/2的距離，左下的點(diǎn)往右偏移了xdiff/2的距離，形成一種對(duì)稱(chēng)的平移。

1.6SVM訓(xùn)練和測(cè)試

（1）訓(xùn)練過(guò)程［4］

至此，已經(jīng)完美的將大偏移程度的車(chē)牌扭轉(zhuǎn)成正視角的正角矩形，此時(shí)就可以用來(lái)訓(xùn)練，注意在第一步通過(guò)HSV得到的不一定是正真的車(chē)牌，同樣需要進(jìn)行上面的所有步驟進(jìn)行扭轉(zhuǎn)得到樣本。將SVM訓(xùn)練參數(shù)設(shè)置為自動(dòng)訓(xùn)練參數(shù)，將車(chē)牌和非車(chē)牌一起訓(xùn)練并且打標(biāo)簽，是車(chē)牌的打1標(biāo)簽，非車(chē)牌的打0標(biāo)簽。最后發(fā)現(xiàn)可以測(cè)試單幅圖像中多車(chē)牌的情況。

（2）評(píng)價(jià)

但是實(shí)際過(guò)程中用生成的SVM模型去測(cè)試數(shù)據(jù)時(shí)，也會(huì)產(chǎn)生一個(gè)預(yù)測(cè)標(biāo)簽，與定義的標(biāo)簽存在誤差，這是模型的誤差。下面兩種誤差，①圖片是真車(chē)牌，而SVM模型判斷是非車(chē)牌；②圖片不是車(chē)牌，SVM判斷是車(chē)牌。設(shè)計(jì)兩個(gè)指標(biāo)就是下面要說(shuō)的“準(zhǔn)確率”（precision）和“查全率”（recall）。準(zhǔn)確率是統(tǒng)計(jì)已經(jīng)預(yù)測(cè)為車(chē)牌的圖片中真正車(chē)牌數(shù)量所占的比例。查全率表示統(tǒng)計(jì)真正車(chē)牌中，統(tǒng)計(jì)出為車(chē)牌數(shù)量的比例。用ptrue_rtrue表示預(yù)測(cè)（p）為車(chē)牌并且實(shí)際（r）為車(chē)牌的數(shù)量，而用ptrue_rfalse表示實(shí)際不為車(chē)牌的數(shù)量。而pfalse_rtrue表示實(shí)際為車(chē)牌，但預(yù)測(cè)為非車(chē)牌的統(tǒng)計(jì)數(shù)量。

機(jī)器學(xué)習(xí)引入了Fscore［5］這個(gè)數(shù)值。當(dāng)precise和recall兩者中任一者比較高，而另一者比較低的，F(xiàn)score都會(huì)較低。兩者中等的情況下Fscore表現(xiàn)比一高一低要好。當(dāng)兩者都很高時(shí)，F(xiàn)score會(huì)很高，計(jì)算公式如8：

2　實(shí)驗(yàn)結(jié)果與分析

2.1實(shí)驗(yàn)說(shuō)明

實(shí)驗(yàn)程序是在Visual Studio 2013軟件上開(kāi)發(fā)，使用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV3.0.計(jì)算機(jī)硬件：Intel Pentium CPU主頻2.5GHz，內(nèi)存4GB。

2.2偏斜程度大的車(chē)牌圖像的扭正

實(shí)驗(yàn)數(shù)據(jù)采用的是交通圖像，圖像像素大小一般沒(méi)有限制，實(shí)驗(yàn)實(shí)現(xiàn)了偏斜程度大的車(chē)牌的扭正。如下圖6：

圖6　扭正過(guò)程

由圖可知：通過(guò)HSV定位后的車(chē)牌，通過(guò)二值化后更加清晰可見(jiàn)，使用外接矩形法可以減少計(jì)算量，擴(kuò)大旋轉(zhuǎn)法保證了圖像不會(huì)丟失信息，并且仿射變換能夠?qū)⑵叫兴倪呅蔚能?chē)牌扭成正視角矩形，其效果明顯可見(jiàn)。

2.3SVM車(chē)牌識(shí)別分類(lèi)

利用SVM將最后得到車(chē)牌和非車(chē)牌進(jìn)行訓(xùn)練和測(cè)試，并將SVM訓(xùn)練參數(shù)設(shè)置為自動(dòng)訓(xùn)練參數(shù)。利用HSV可以定位到圖像中多車(chē)牌，將得到圖塊進(jìn)行訓(xùn)練和測(cè)試如下圖7：

圖7　SVM識(shí)別過(guò)程

由圖可知，可以識(shí)別一幅車(chē)牌圖像中有多個(gè)車(chē)牌的定位，再用SVM測(cè)試集來(lái)測(cè)試車(chē)牌，這樣就可以判斷是否是車(chē)牌，解決了大尺度偏斜程度能夠提高SVM訓(xùn)練效果。經(jīng)過(guò)測(cè)試車(chē)牌的識(shí)別率提高到90%以上。

2.4性能評(píng)價(jià)

SVM訓(xùn)練集、訓(xùn)練集以及性能評(píng)價(jià)如下表3和表4：

表3　訓(xùn)練數(shù)據(jù)

表4　測(cè)試數(shù)據(jù)

從表中可以看出：當(dāng)選用是車(chē)牌和非車(chē)牌結(jié)合的SVM訓(xùn)練集中，識(shí)別率達(dá)到92%；當(dāng)選用是車(chē)牌和非車(chē)牌結(jié)合中，precise準(zhǔn)確率為87.5%；當(dāng)只有真實(shí)車(chē)牌時(shí)，查全率recall為97.8%；而Fscore為92.3%，所以偏斜程度大的車(chē)牌扭正之后識(shí)別率超過(guò)了90%。

3　結(jié)語(yǔ)

本文很好地解決了偏斜程度大的車(chē)牌圖像識(shí)別過(guò)程，首先利用HSV參數(shù)范圍定位中國(guó)車(chē)牌，然后正二值化，以及如何減少整個(gè)圖像旋轉(zhuǎn)的計(jì)算量，利用擴(kuò)大旋轉(zhuǎn)方法解決了圖像旋轉(zhuǎn)之后會(huì)丟失信息的問(wèn)題，同時(shí)通過(guò)仿射變化把平行四邊形修正成正視角正角矩形，在得到的所有車(chē)牌或非車(chē)牌通過(guò)SVM訓(xùn)練的得到訓(xùn)練集用來(lái)測(cè)試所給的任意交通車(chē)牌圖像。實(shí)驗(yàn)結(jié)果證明，本文采取的擴(kuò)大旋轉(zhuǎn)和仿射變換結(jié)合的方法有利于車(chē)牌的識(shí)別和提高了識(shí)別效率，具有很強(qiáng)的實(shí)用性，有利于后期的字符識(shí)別，為字符識(shí)別提供了可靠的車(chē)牌圖像塊。

［1］王夏黎，周明全，耿國(guó)華．一種基于HSV顏色空間的車(chē)輛牌照提取方法［J］．計(jì)算機(jī)工程，2004，30（17）：133－135．

［2］王國(guó)良，梁德群．一種新的車(chē)牌定位與傾斜校正方法［J］．計(jì)算機(jī)應(yīng)用，2008，28（7）：1890－1891．

［3］劉江華，程君實(shí)，陳佳品.支持向量機(jī)訓(xùn)練算法綜述［J］.信息與控制，2002（01）.

［4］David M.J.Tax，Robert P.W.Duin.Support Vector Data Description［J］.Machine Learning，2004（1）.

［5］Kaushik Deb，Ibrahim Khan，Anik Saha，Kang-Hyun Jo.An Efficient Method of Vehicle License Plate Recognition Based on Sliding Concentric Windows and Artificial Neural Network［J］.Procedia Technology，2012.

Skew License Plate Recognition Based on SVM

ZHANG Xiao，ZHANG Ming
（Department of Information Engineering，Shanghai Maritime University，Shanghai 201306）

LPR system has been a hot research today.Research and implementation of license plate images to achieve the SVM classification identify is particularly important.Which it is difficult to achieve a large degree skew license plate image recognition and classification，uses a combination of expanded image rotation and affine transformation recognition algorithm.Finally gets a positive perspective rectangle for the latter part of SVM training and testing.Experimental results show that：the algorithm is suitable for complex license plate positioning environment，and has high accuracy and practicality.

License Plate Recognition；Support Vector Machine；Skew Degree；Expanded Image Rotation；Affine Transformation

1007-1423（2016）23-0064-05DOI：10.3969/j.issn.1007-1423.2016.23.016

張笑（1991-），男，江蘇淮安人，碩士研究生，研究方向?yàn)閳D像處理技術(shù)與模式識(shí)別開(kāi)發(fā)

2016-05-19

2016-08-10

張明（1957-），男，江蘇盱眙人，博士，教授，研究方向?yàn)槎嗝襟w信息處理、計(jì)算機(jī)視覺(jué)、人工智能等