面向車牌字符分割的圖像預(yù)處理方法研究

賴道亮，趙 平，鐘 昆，牛新征

(1.西南財經(jīng)大學(xué)經(jīng)濟信息工程學(xué)院，成都 611130;2.自貢市公安局交通警察支隊，四川自貢 643000;3.電子科技大學(xué)計算機科學(xué)與工程學(xué)院，成都 611731)

0 引言

在車牌字符分割中，車牌的預(yù)處理是整個分割過程的重要組成部分。然而車牌在使用過程中，難免會出現(xiàn)磨損、畸變、顏色褪變等情況，并且由于拍攝硬件和拍攝環(huán)境的干擾，會造成車牌的成像模糊，這對車牌進行精準(zhǔn)的分割造成了極大的挑戰(zhàn)。因此在進行車牌的字符分割前，消除干擾因素，強化成像效果是極其重要的。

文獻［1］通過改進二值化閾值選取的方法來進行車牌預(yù)處理，然而該方法對強光和污損的車牌，字符和背景的區(qū)分效果并不理想。文獻［2］基于邊緣檢測的方法來區(qū)分背景和字符區(qū)域，當(dāng)車牌顏色褪變、車牌磨損時，字符和背景存在較多邊緣交集，進而無法區(qū)分字符和背景。文獻［3］和文獻［4］通過改善車牌光照情況來提升車牌的圖像質(zhì)量，對強光下的車牌有一定的提升，但是當(dāng)車牌破損、背景不均勻時效果不明顯。上述方法幾乎都是基于車牌的灰度圖像進行處理，由于灰度圖融合RGB顏色空間信息，使得在各顏色通道產(chǎn)生的干擾均得以保留，不利于干擾特征的消除。為解決基于灰度圖預(yù)處理方法的缺陷，本文提出了基于圖像RGB顏色空間R通道的預(yù)處理方法，該方法對各種成像干擾下的車牌圖片都能表現(xiàn)出較好的效果。方法的處理流程如圖1所示。

圖1 預(yù)處理流程

1 車牌預(yù)處理

1.1 基于R通道的車牌預(yù)處理

本文主要研究民用車牌，即藍底白字的車牌。車牌的長期使用，環(huán)境對車牌造成了不可逆轉(zhuǎn)的圖像質(zhì)量下降。探索車牌在各種干擾因素下圖像的穩(wěn)定表現(xiàn)形式，成為了本文的研究核心。圖像的顏色空間有 RGB，HSI，HSV，YUV等，由于RGB空間各個通道側(cè)重表現(xiàn)紅色、綠色、藍色，并且車牌底色為藍色，因此采用RGB空間單個通道進行處理，將有利于對字符和背景進行區(qū)分，同時也將減少成像干擾的影響?；谏鲜隹紤]，下面分別展示不同情況下車牌的灰度圖，RGB顏色空間各個通道的圖像，如圖2所示。

圖2 車牌灰度圖、R、G、B通道圖

圖2(a)為灰度圖，圖2(b)為R通道圖，圖2(c)為G通道圖，圖2(d)為B通道圖，其中第1列為標(biāo)準(zhǔn)的車牌，第2列為高亮的車牌，第3列為車牌顏色褪變損壞嚴重的車牌。通過對圖2第2列的觀察，很容易發(fā)現(xiàn)，針對高亮的車牌，G通道和B通到的圖像幾乎無法正常觀察車牌的字符。對比圖 (a)和圖 (b)，可以直觀感覺到R通道的圖像，車牌的字符和背景的對比度要高于灰度圖。為了進一步的驗證觀察的結(jié)果，本文采用RMS對比度評價方法來對車牌圖像做一個對比度分析。其中RMS的計算公式為:

N表示圖像的寬度，M表示圖像的長度，表示圖像所有像素的平均值，表示圖像第行列的像素，公式的最終計算結(jié)果為圖像的對比度，圖像的對比度和公式 (1)的計算結(jié)果成正相關(guān)。圖2對比度如表1所示。

表1 車牌灰度圖和RGB各通道圖對比度

對比表1中的數(shù)據(jù)，可以推斷在R通道中車牌圖像保持有較好的對比度，G通道和B通道對比度穩(wěn)定性較差。車牌是藍色的底色，而B通道主要表現(xiàn)的是藍色信息，這樣就造成了車牌背景和車牌字符之間的區(qū)分度降低。當(dāng)車牌顏色蛻變時，通常比較接近綠色，所以G通道最后效果不理想。R通道和車牌藍色的底色差異大，因此更明顯的突出了車牌背景和車牌之間的對比。灰度圖是綜合了3個通道的信息計算得到的，所以灰度圖保持著和G通道和B通道的依賴關(guān)系，因此魯棒性相對R通道要弱。

1.2 改進的對灰度拉伸算法

通過1.1節(jié)對車牌圖像對比度的分析，本文得到車牌在R通道下具有較高的圖像對比度。為了進一步提高圖像的對比度，本文采用灰度拉伸［5］的圖像增強方法來繼續(xù)突出車牌背景和車牌字符的差異?；叶壤斓挠嬎愎饺缦滤?

為了使灰度拉伸方法完美的使背景和目標(biāo)分離，關(guān)鍵是確定像素值的兩個邊界a，b。假定圖像的像素取值為［0，255］，圖像大小為M*N，計算a，b的算法描述如下。

Step 1:初始化參數(shù)背景比例u，目標(biāo)占比重v。

Step 2:遍歷整個圖像，統(tǒng)計每個像素值出現(xiàn)的次數(shù)，用數(shù)組p［i］保存，i取值為 ［0，255］;

Step 3:計算每個像素值出現(xiàn)的頻率q［i］ =p［i］ /M*N，i取值為 ［0，255］;

Step 4: 計算 q［i+1］ =q［i+1］ +q［i］，i取值為［0，254］;

Step 5:順序遍歷q［i］，當(dāng)時q［i］＜=u，令a=1;反序當(dāng) 1－q ［i］ ＜=v時，令 b=i。

Step 6:算法結(jié)束，得到a，b。

算法的流程如圖3所示。

算法的時間復(fù)雜度為，即。算法的關(guān)鍵在于要判斷出背景和目標(biāo)的比重。在車牌中，本文采用車牌字符的有效比重為10%，即，背景的有效比重為50%，即。通過對R通道車牌圖片進行灰度拉伸，得到實驗的結(jié)果如圖4所示。

圖4(a)為灰度拉伸處理結(jié)果，圖4(b)為改進的灰度拉伸處理結(jié)果。從圖4第3列的對比可以發(fā)現(xiàn)，改進后的灰度拉伸方法對車牌破損的情況，極大的提升了車牌字符和背景的對比度。通過改進灰度拉伸方法后，采用OUTS(大津算法)［6］對灰度拉伸后的車牌圖像進行二值化處理，如圖5中展示了二值化后的結(jié)果，此時車牌字符與背景已

其中，f(x，y)為原圖像素值，g(x，y)為灰度拉伸后圖像像素值，a，b表示像素值的兩個邊界，c，d表示要最終拉伸的像素值區(qū)間 ［c，d］。通過觀察公式，當(dāng)a≤f(x，y) ＜b時，如果 d－c＞b－a，那么 g(x，y) ＞ (x，y)，對像素值進行了提升。然而針對破損嚴重的車牌，車牌字符和背景的部分區(qū)域?qū)Ρ榷容^低，如圖2的第3列所示，因此需要抑制和車牌字符接近的區(qū)域。針對這種情況，對灰度拉伸公式進行了調(diào)整改進，如下所示:經(jīng)完全分離。

圖3 a，b計算流程

圖4 灰度拉伸處理

圖5 二值化效果

2 投影和模板匹配車牌分割算法的改進

車牌預(yù)處理完成后，依然存在邊框和字符傾斜的情況，本文采用文獻［7］和文獻［8］中的方法分別進行車牌上下邊框的去除和車牌傾斜矯正，結(jié)果如圖6所示。然后得到車牌圖像的垂直投影如圖7所示，其中中間車牌的投影存在粘連的情況。

圖6 去除上下邊框和傾斜矯正

常用的車牌字符分割方法有投影和模板匹配的方法［9］，投影的方法針對字符有粘連的情況表現(xiàn)乏力，并且針對“川”，“滬”等漢字投影不連通的情況無法準(zhǔn)確得到字符的位置;模板匹配的方法根據(jù)車牌字符之間固定的尺寸規(guī)律可以忽視字符粘連的情況，但是需要事先知道字符的具體位置。文獻［10］和文獻［11］采用了投影和模板匹配相結(jié)合的方法，充分利用兩種方法的優(yōu)點，但是文中提出的模板依賴車牌尺寸，難以適用現(xiàn)實中車牌尺寸變化的問題。本文提出了一種改進的模板，使模板匹配的方法魯棒性更好。

圖7 車牌投影

圖8 車牌示意圖

如圖8車牌的簡單示意圖所示，a1～a7表示字符中心到車牌左邊界的距離，dmin表示字符間較小的距離，dmax表示字符間較大的距離，計算字符中心到車牌左邊界的相對距離為:

為車牌的長度，根據(jù)公式 (4)計算標(biāo)準(zhǔn)車牌字符中心位置到車牌左邊界的相對距離如表2所示。

表2 字符中心相對車牌左邊界的相對距離

本文字符分割的核心思路為，利用投影找到疑似車牌字符的中心位置，用公式 (4)計算這些位置的相對距離，然后和表2中數(shù)據(jù)匹對，從而確認哪些疑似的位置為字符的位置，用確認的字符位置去計算未知字符的位置。計算的流程圖如圖9。

詳細的算法如下。

Step 1:按標(biāo)準(zhǔn)的車牌比例縮放車牌到固定大小;

Step 2:從右到左遍歷車牌的垂直投影圖像，當(dāng)投影的兩個波谷的距離大于字符長度的一半、小于字符長度的1.5倍時，判斷為字符的可疑區(qū)域，當(dāng)存在“1”的特殊情況時，可以根據(jù)“1”離左右投影距離較大的特征加入可疑區(qū)域，然后計算這些可疑區(qū)域的中心位置，最多得到6個可疑的中心位置，停止遍歷，進而由公式 (4)得到中心位置的相對距離;

Step 3:用得到的可疑中心位置的相對距離和表2中的標(biāo)準(zhǔn)相對距離匹對，當(dāng)匹對誤差小于0.06時，可以確定可疑的中心位置對應(yīng)的是第幾個車牌字符。

圖9 字符分割流程

Step 4:通過已經(jīng)確認的字符中心位置，利用字符之間的距離，推斷出未確定位置的字符，從而得到所有字符中心位置;

Step 5:把字符的中心位置向左右擴展，直到左右邊界的距離不大于字符的寬度，由此得到所有字符的左右邊界距離，完成字符的分割。

算法中設(shè)定最多確認6個可疑的中心位置，一方面因為漢字筆畫之間存在斷裂，投影的方法無法得到所有字符的位置，另一方面通過模板可以推斷其它未知字符的位置。由表2所示，相對距離之間的差值接近0.13，所以剛好是字符的左右邊界的相對距離，取配對誤差為0.06，提高了可疑的中心位置和標(biāo)準(zhǔn)中心位置匹配成功的概率。利用本文的分割算法，字符的分割結(jié)果如圖10所示，成功分割出了車牌的字符，并且克服了字符粘連的情況。

圖10 字符分割結(jié)果

3 實驗對比及分析

本次實驗采用某市卡口車牌圖片以及網(wǎng)上收集的車牌圖片作為測試數(shù)據(jù)。測試數(shù)據(jù)集分成高亮、過暗、顏色褪變3個部分，每個部分有200張車牌圖片，部分數(shù)據(jù)展示如圖11所示，前2張為高亮車牌，中間2張為顏色褪變車牌，最后2張為過暗車牌。觀察圖11(a)中所示原圖，車牌由于光照和使用周期的影響，車牌字符和背景對比度不高，顏色的褪變，造成了字符和背景表現(xiàn)出極大的粘連性。

3.1 車牌預(yù)處理測試

為了測試本文預(yù)處理方法的有效性，本文和文獻 ［4］進行了車牌預(yù)處理對比實驗，兩種方法預(yù)處理之后的部分效果如圖11(b)和11(c)所示。對比兩種方法的預(yù)處理結(jié)果，文獻［4］預(yù)處理后，字符的筆畫較粗，尤其針對車牌顏色褪變的情況，字符和背景像素值極為接近，這樣很容易導(dǎo)致二值化后，字符粘連在一起。如圖11(d)文獻［4］二值化效果，字符之間間隙很小，在顏色褪變的情況下，字符已經(jīng)粘連在一起，甚至字符輪廓都難以辨認。圖11(e)是本文的二值化效果，相比文獻 ［4］的結(jié)果，字符的間隙變大，同時輪廓很清晰。本文的預(yù)處理效果，極大的降低了字符的筆畫寬度，字符和背景對比度提升，處理效果直觀上優(yōu)于文獻［4］中的方法。

為了更精確的評估兩種方法的預(yù)處理效果，本文采用文獻［4］的指標(biāo)進行測試，分別為圖像均值、圖像清晰度、圖像方差。圖像均值反映了圖像整體像素分布情況，均值間接反映了字符占整個圖像的比重，均值越小，字符之間產(chǎn)生粘連的概率越小。圖像清晰度反映了字符和背景的對比度。圖像方差反映了數(shù)據(jù)和均值的偏離程度，同時也刻畫了字符和背景的對比度。表3是所有高亮、顏色褪變、過暗車牌評估指標(biāo)統(tǒng)計結(jié)果。兩種方法相對于原圖在均值、清晰度、方差上都有了極大改善，本文方法在各種車牌情況下，清晰度和方差和文獻［4］的結(jié)果十分接近，但是均值明顯比文獻［4］的結(jié)果小。表4是所有車牌評估指標(biāo)的統(tǒng)計結(jié)果，本文方法預(yù)處理后，均值相對文獻［4］降低了24.7%，結(jié)合前面的分析，說明本文處理方法相對文獻［4］極大減輕了字符粘連的情況，提高了后面字符分割的準(zhǔn)確率。

表3 3種車牌環(huán)境下預(yù)處理實驗結(jié)果

表4 所有車牌預(yù)處理實驗結(jié)果

3.2 車牌字符分割測試

分割算法都采用第2節(jié)提出的算法，表5展示了文獻［4］和本文的預(yù)處理方法，在不同的車牌條件下字符分割的準(zhǔn)確率。本文方法和文獻［4］方法比直接對原圖進行字符分割準(zhǔn)確率有了很大提升。針對車牌高亮和過暗的情況，本文方法略優(yōu)于文獻［4］的方法，當(dāng)針對顏色褪變的車牌時，本文方法的分割準(zhǔn)確率比文獻［4］高出15%，因此說明本文在針對車牌顏色褪變情況的預(yù)處理效果優(yōu)于文獻［4］。本文整體分割準(zhǔn)確率達到了99%以上，相比文獻［4］有了不小的提升，因此也間接說明了本文提出的預(yù)處理方法的有效性和魯棒性。

表5 車牌字符分割準(zhǔn)確率

4 結(jié)束語

車牌預(yù)處理的關(guān)鍵點在于消除車牌字符外的其它干擾因素，使車牌字符和背景完全分離。本文重點研究了車牌不同表現(xiàn)形式 (灰度圖、RGB顏色通道等)下，車牌字符和背景的對比度，發(fā)現(xiàn)車牌在RGB顏色空間R通道下具有很好的效果，并且在車牌高亮，顏色褪變，過暗等特殊情況下依然保持很好的魯棒性。本文改進了基于投影和模板匹配的方法，設(shè)計了新的匹配模板，對預(yù)處理后的車牌進行字符分割測試，得到了99%以上的準(zhǔn)確率，達到實際應(yīng)用的水平。