一種基于OpenCV的高效車牌識(shí)別系統(tǒng)實(shí)現(xiàn)

浙江萬(wàn)里學(xué)院 劉云鵬 李 瑾

國(guó)網(wǎng)浙江寧波市鄞州區(qū)供電公司 潘 聞

1.緒論

車牌識(shí)別包括車牌定位、字符分割和字符識(shí)別。車牌定位技術(shù)有基于紋理特征的方法[1]；基于顏色特征的方法[2]；基于紋理和顏色結(jié)合的方法；基于Adaboost等各種分類器的方法；基于曲量場(chǎng)空間的方法[3]； 基于最近鄰鏈的方法[4]。字符分割技術(shù)有基于投影的方法[5]；基于連通域的方法[6]；將上述方法與其他技術(shù)進(jìn)行結(jié)合[7]；基于聚類方法[8]。字符識(shí)別技術(shù)有模版匹配法[9]；機(jī)器學(xué)習(xí)訓(xùn)練法[10-13]。

事實(shí)上，沒(méi)有一種特別通用的方法可以針對(duì)所有不同應(yīng)用場(chǎng)景的車牌識(shí)別。本文所提出的基于OpenCV的車牌識(shí)別系統(tǒng)，主要針對(duì)車距在2-3米范圍內(nèi)的靜態(tài)車輛圖像，光照可以有一定的模糊，并且允許車牌有輕微角度的傾斜。本文將灰度空間與HVS顏色空間結(jié)合來(lái)獲取垂直邊緣，可以獲取更加精確的車牌候選區(qū)域，并通過(guò)SVM(支持向量機(jī))機(jī)器學(xué)習(xí)的方法定位最終車牌區(qū)域。由于本應(yīng)用中，車牌定位區(qū)域相對(duì)精確，車牌圖像也不存在高光、模糊和遮擋等情況，使用連通域方法可以取得較好的字符分割效果。最后根據(jù)中國(guó)車牌的字符分布特點(diǎn)，不同字符位置使用不同的ANN(人工神經(jīng)網(wǎng)絡(luò))訓(xùn)練，可以獲得較高的識(shí)別率。

2.系統(tǒng)實(shí)現(xiàn)

2.1 車牌定位

2.1.1 自適應(yīng)二值化

(1)顏色空間轉(zhuǎn)換

原始圖像除了要轉(zhuǎn)為普通的灰度圖像，同時(shí)要轉(zhuǎn)為HVS色度空間，因?yàn)樵诒疚乃岬膽?yīng)用中，是近距離的車牌識(shí)別，大部分情況下車牌區(qū)域在S顏色空間有較為突出的效果。在OpenCV中通過(guò)函數(shù)cvtColor(src,dst,code)進(jìn)行顏色轉(zhuǎn)換，對(duì)于灰度轉(zhuǎn)換code值為CV_BGR2GRAY，HVS轉(zhuǎn)為code值為CV_BGR2HSV。兩種顏色空間都要轉(zhuǎn)換和處理的目的會(huì)在“重疊區(qū)域選擇”部分詳細(xì)描述。

(2)高斯濾波

為了消除噪聲點(diǎn)，進(jìn)行高斯濾波，使用OpenCV函數(shù)blur(src,dst,Size(5,5))，blur的缺省操作為高斯濾波，所以沒(méi)有設(shè)置類型，設(shè)置經(jīng)驗(yàn)值為5*5的模板。

(3)獲取垂直邊緣

車牌區(qū)域和圖像中其他區(qū)域相比，有著比較明顯的垂直邊緣，使用Sobel算子提取垂直邊緣，OpenCV函數(shù)為Sobel(src,dst,CV_8U,1,0,3,1,0)。

(4)自適應(yīng)二值化

二值分割閾值由系統(tǒng)根據(jù)邊緣圖像內(nèi)容自適應(yīng)的確定，使用OpenCV函數(shù)threshold(src,dst,0,255,CV_THRESH_OTSU+CV_THRESH_BINARY)，結(jié)果如圖1所示。

2.1.2 形態(tài)學(xué)閉操作

為了進(jìn)一步獲取連通有效的車牌候選區(qū)域，要進(jìn)行區(qū)域合并和剔除噪聲，使用形態(tài)學(xué)的閉操作可以有較好實(shí)現(xiàn)，OpenCV函數(shù)為morphologyEx(src,dst,CV_MOP_CLOSE,element)，此處element為閉操作使用的結(jié)構(gòu)化元素，根據(jù)經(jīng)驗(yàn)取形狀為矩形，大小為15*1，通過(guò)函數(shù)getStructuringElement(MORPH_RECT,Size(15,1))創(chuàng)建。操作結(jié)果如圖2所示。

圖1 自適應(yīng)二值化圖像

圖2 閉操作結(jié)果

2.1.3 區(qū)域過(guò)濾

調(diào)用OpenCV函數(shù)findContours(src,contours,CV_RETR_EXTERNAL,CV_CHAIN_APPROX_NONE)查找所有封閉區(qū)域的外輪廓，每個(gè)輪廓坐標(biāo)保存在vector>格式的contours集合對(duì)象中。然后通過(guò)方法minAreaRect獲取輪廓的外接矩形，并根據(jù)矩形的面積和長(zhǎng)寬比確定候選區(qū)域，車牌區(qū)域的長(zhǎng)寬比一般為3左右，誤差范圍設(shè)定為40%。同時(shí)根據(jù)所測(cè)試圖片的特征，設(shè)置區(qū)域最小面積為20*20*3，最大面積為60*60*3。

2.1.4 重疊區(qū)域選擇

重疊區(qū)域選擇是為了更加準(zhǔn)確的獲取到車牌區(qū)域，在前面所述的“顏色空間轉(zhuǎn)換”中，需要對(duì)普通灰度圖像和S顏色空間圖像同時(shí)處理，這是因?yàn)榇蠖鄷r(shí)候S顏色空間獲取的結(jié)果更加精確，當(dāng)然有時(shí)也會(huì)出現(xiàn)普通灰度圖像獲取候選車牌區(qū)域更加準(zhǔn)確的情況，不管何種情況，兩者的獲取區(qū)域都會(huì)有重疊，根據(jù)經(jīng)驗(yàn)取重疊區(qū)域中小的區(qū)域?yàn)楹蜻x，此處設(shè)定重疊比例閾值為40%。

2.1.5 候選區(qū)域標(biāo)準(zhǔn)化

對(duì)有傾斜的矩形區(qū)域進(jìn)行水平旋轉(zhuǎn)處理，使用getRotationMatrix2D(rect.center,angle,1)產(chǎn)生變形矩陣對(duì)象rmat，rect為候選矩形區(qū)域，rect.center表示其中心點(diǎn)。有了變形矩陣對(duì)象，使用仿射變換進(jìn)行旋轉(zhuǎn)。由于仿射變換會(huì)產(chǎn)生在原圖中沒(méi)有的像素點(diǎn)，需要插值處理，本文選用雙線性插值，如公式(1)所示：

式中G(x,y)表示仿射變化前對(duì)應(yīng)像素，x和y為實(shí)數(shù)，j和u分別為x的整數(shù)和小數(shù)部分，k和v分別為y的整數(shù)和小數(shù)部分。對(duì)于仿射變換，可以表示為公式(2)形式：

式中，(x1,y1)和(x2,y2)分別表示未轉(zhuǎn)換和已轉(zhuǎn)換坐標(biāo)，T為仿射變換矩陣。仿射與插值調(diào)用OpenCV方法warpAffine(ori gin,rotated,rmat,origin.size(),INTER_LINEAR)實(shí)現(xiàn)，此處origin為原始輸入圖像，rotated為旋轉(zhuǎn)后的矩陣。旋轉(zhuǎn)后調(diào)用函數(shù)getRectSubPix(rotated,rect.size,rect.center,result)來(lái)提取水平像素矩陣。為了有效的訓(xùn)練和分類圖像數(shù)據(jù)，將用于訓(xùn)練的候選車牌區(qū)域標(biāo)準(zhǔn)化為144*33的大小，同時(shí)通過(guò)直方圖均衡來(lái)消除光線的影響。

2.1.6 學(xué)習(xí)與定位

SVM訓(xùn)練樣本來(lái)自上面步驟中最終生成并保存的144*33標(biāo)準(zhǔn)圖像，如圖3所示，上面兩行為正確車牌圖像，下面兩行為非車牌圖像，將正確樣本與錯(cuò)誤樣本分類到不同的目錄進(jìn)行標(biāo)識(shí)，并使用CvSVM類的train方法進(jìn)行訓(xùn)練，predict方法進(jìn)行定位預(yù)測(cè)，如果返回值為1，說(shuō)明該區(qū)域是車牌位置的可能性最高。

圖3 車牌正確區(qū)域與錯(cuò)誤區(qū)域位置樣本圖

圖4 字符外接矩形

2.2 字符分割

本文使用連通域方法可以取得較好的字符分割效果，具體步驟如下：

Step1：對(duì)標(biāo)準(zhǔn)化的車牌圖像進(jìn)行二值化，調(diào)用OpenCV函數(shù)threshold(src,dst,140,255,CV_THRESH_BINARY)，此處取經(jīng)驗(yàn)值140作為黑白分割點(diǎn)；

Step2：獲取連通區(qū)域的輪廓與最小外接矩形，方法與“區(qū)域過(guò)濾”的方法一致，不再描述；

Step3：根據(jù)長(zhǎng)寬比和高度進(jìn)行過(guò)濾，長(zhǎng)寬比例為33:20，取35%的誤差，最小高度為11，最大高度設(shè)置為33，由于數(shù)字1的寬度很小，所以將最小的長(zhǎng)寬比設(shè)定為0.15。獲取外接矩形并過(guò)濾后結(jié)果如圖4所示。

Step4：將外接矩形中對(duì)應(yīng)的字符圖像進(jìn)行標(biāo)準(zhǔn)化處理。首先調(diào)用OpenCV的函數(shù)warpAffine(char_mat,dst,trans_mat,dst.size(),INTER_LINEAR,BORDER_CONSTANT,Scalar(0))對(duì)輸入的字符圖像char_mat仿射變換為正方形，所以dst為正方形矩陣，邊長(zhǎng)取char_mat長(zhǎng)和寬的最大值，trans_mat為2*3的變換矩陣。然后調(diào)用resize函數(shù)將dst轉(zhuǎn)為20*20的標(biāo)準(zhǔn)大小圖像；

Step5：如果未獲取ANN字符訓(xùn)練樣本，則對(duì)所有標(biāo)準(zhǔn)化的字符圖像進(jìn)行文件保存。

2.3 字符識(shí)別

本文采用ANN機(jī)器學(xué)習(xí)來(lái)進(jìn)行單個(gè)字符的識(shí)別，使用最常用的MLP(多層感知器)算法。中國(guó)車牌中的7個(gè)字符從左到右，第一個(gè)是漢字，第二個(gè)是英文字母，第三個(gè)和第四個(gè)可能是英文字母或數(shù)字，最后三個(gè)是數(shù)字，根據(jù)這個(gè)特點(diǎn)，可以分成四種類型進(jìn)行訓(xùn)練，即：(1)全部使用漢字的訓(xùn)練；(2)全面使用字母的訓(xùn)練；(3)全部使用數(shù)字的訓(xùn)練；(4)字母和數(shù)字一起的訓(xùn)練。這樣可以大大提高字符識(shí)別率。每種類型的學(xué)習(xí)與識(shí)別過(guò)程是一致的，具體步驟如下。

Step1：讀取訓(xùn)練樣本中標(biāo)準(zhǔn)化的字符圖像；

Step2：分別在5*5，10*10，15*15和20*20四種不同分辨率圖像上使用水平和垂直累計(jì)直方圖的方法進(jìn)行特征提取。使用函數(shù)countNonZero計(jì)算每行或每列非零像素?cái)?shù)量，并將結(jié)果存儲(chǔ)在一個(gè)矩陣對(duì)象m，通過(guò)所有元素除以m中最大值進(jìn)行歸一化；

Step3：將特征矩陣和對(duì)應(yīng)的分類標(biāo)識(shí)進(jìn)行存儲(chǔ)。全數(shù)字、全字母、數(shù)字字母和漢字分別對(duì)應(yīng)訓(xùn)練文件digi.xml、letter.xml、digi_letter.xml和chn.xml；

Step4：根據(jù)當(dāng)前車牌字符的位置選擇對(duì)應(yīng)的訓(xùn)練文件進(jìn)行讀入，選擇四種分辨率數(shù)據(jù)之一待訓(xùn)練。對(duì)于如何選擇5*5，10*10，15*15和20*20，一般情況下是每種都進(jìn)行訓(xùn)練和識(shí)別，選擇效果最佳的一組分辨率；

Step5：定義每一層的神經(jīng)元對(duì)ANN初始化。本文使用一個(gè)隱藏層，定義一行三列的矩陣，第一列為特征數(shù)，第二列為隱藏神經(jīng)元數(shù)，第三列為分類數(shù)。OpenCV中ANN對(duì)應(yīng)CvANN_MLP類，通過(guò)其create函數(shù)來(lái)初始化層數(shù)、神經(jīng)元、激勵(lì)函數(shù)、alpha和 beta 參數(shù)。訓(xùn)練通過(guò)CvANN_MLP類的train函數(shù)實(shí)現(xiàn)；

Step6：獲取當(dāng)前待識(shí)別字符圖像的特征向量，方法與Step2中一致；

Step7：CvANN_MLP類調(diào)用predict函數(shù)來(lái)獲取特征向量的分類結(jié)果，分類結(jié)果為一個(gè)向量，長(zhǎng)度與分類數(shù)一致，數(shù)據(jù)為特征向量屬于該分類的概率，再調(diào)用minMaxLoc函數(shù)得到概率最高的分類。

表1 實(shí)驗(yàn)結(jié)果

3.實(shí)驗(yàn)與分析

算法在CPU主頻2.7GHz，內(nèi)存4Gb的WindowXP系統(tǒng)中實(shí)驗(yàn)，開(kāi)發(fā)工具為VS2010+OpenCV2.4.4。測(cè)試車輛圖片300張，拍攝距離2-3米，車牌傾斜在10%左右的小角度內(nèi)，圖片分辨率為320*240，光照相對(duì)柔和。SVM訓(xùn)練樣本數(shù)為170，樣本分辨率為144*33，正確車牌數(shù)100，非車牌數(shù)70。ANN訓(xùn)練樣本總數(shù)為150，其中漢字、數(shù)字、字母以及數(shù)字字母訓(xùn)練樣本數(shù)分別為40、30、40和40，樣本圖像分辨率為20*20。實(shí)驗(yàn)結(jié)果如表1所示。

從實(shí)驗(yàn)結(jié)果可以看出，本文中車牌定位準(zhǔn)確率高達(dá)98.01%，識(shí)別準(zhǔn)確率也有94.73%，每副平均識(shí)別時(shí)間60ms，達(dá)到了實(shí)時(shí)識(shí)別的需求。這是因?yàn)樵诒疚牡能嚺谱R(shí)別應(yīng)用中，車輛拍攝距離較近，光照較好，沒(méi)有任何遮擋和車牌相似的噪聲區(qū)域，只有少部分車牌有小角度的傾斜，所以車牌定位和識(shí)別的準(zhǔn)確率都很高。

4.結(jié)論

本文針對(duì)車距在2-3米范圍內(nèi)的靜態(tài)車輛圖像，提出一種基于SVM和ANN的車牌定位與識(shí)別算法，并使用OpenCV庫(kù)有效實(shí)現(xiàn)。首先將灰度空間和色度空間進(jìn)行結(jié)合，在Sobel邊緣提取基礎(chǔ)上，進(jìn)行自適應(yīng)閾值下的二值化處理，通過(guò)對(duì)輪廓外接矩形的面積和長(zhǎng)寬比初步定位車牌位置，然后利用SVM線下機(jī)器學(xué)習(xí)的方法更加精確的定位車牌位置。并采用尋找有效外部輪廓的方法進(jìn)行字符分割，最后對(duì)漢字位置、英文位置、數(shù)字位置和英文數(shù)字混合位置分別使用ANN方法進(jìn)行字符識(shí)別。實(shí)驗(yàn)證明，該方法定位準(zhǔn)確率和字符識(shí)別率高，有一定應(yīng)用價(jià)值。進(jìn)一步研究?jī)?nèi)容包括：(1)在圖像較模糊和噪聲較大情況下的車牌識(shí)別；(2)遠(yuǎn)距離下的車牌識(shí)別。

[1]Lang Yao,Sun Yanpeng.The study of license plate location and character segmentation[C].Proceedings of SPI E,Singapore,Singapore;SPIE,2012,8349:83491W.

[2]鄭成勇.一種RGB顏色空間中的車牌定位新方法[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(11):1623-1628.

[3]姜文濤,劉萬(wàn)軍.基于曲量場(chǎng)空間的車牌定位與識(shí)別[J].電子學(xué)報(bào),2011,39(11):2554-2560.

[4]苗立剛.基于最近鄰鏈的車牌檢測(cè)算法[J].自動(dòng)化學(xué)報(bào),2011,37(10):1272-1279.

[5]Roy A,Ghoshal D P.Number plate recognition for use in different contries using an improved segmentation[C].Proceedings of International Conference on Emerging Trends and Applications in Computer Scence.Shillong,India;IEEE,2011:1-5.

[6]Yoon Y W,Ban K D,Yoon H,et al.Blob extraction based character segmentation method for automatic license plate recognition system[C].Proceedings of IEEE International Conference on System,Man,and Cybernetics.Gyeongiu,Kor ea;IEEE,2011:2192-2196.

[7]顧弘,趙光宙,齊冬蓮,等.車牌識(shí)別中先驗(yàn)知識(shí)的嵌入及字符分割方法[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(5):749-756.

[8]李旭,徐舒暢,尤玉才,等.基于聚類分析的個(gè)性化美國(guó)車牌分割算法[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2012,46(12):2155-2159.

[9]Gao Jianjun,Blasch Erik,Pham Khanh,et al.Automatic vehicle license plate recognition with color component texture detection and template matching[C].Proceedings of SPIE,Baltimore,MD,United states;SPIE,2013,8739:87390Z.

[10]Sedighi Amir,Vafadust Mansur.A new and robust method for character segmentation and recognition in license plate images[J].Expert Systems with Applicatio ns,2011,38(11):13497-13504.

[11]磨少清,劉正光,張軍.基于圖像模糊度與主成分分析的車牌漢字識(shí)別[J].光電子.激光,2010,21(3):444-447.

[12]劉高平,趙杜娟,黃華.基于自編碼神經(jīng)網(wǎng)絡(luò)重構(gòu)的車牌數(shù)字識(shí)別[J].光電子.激光,2011,22(1):144-148.

[13]Wan Yan,Yao Li.An efficient license plate character recognition algorithm based on shape context[C].Proceedings of SPIE,Sanya,China;SPIE,2013,8761:876109.