車牌定位及傾斜校正方法

姜誼，嚴(yán)京旗

0 引言

車牌定位和校正對(duì)車牌識(shí)別系統(tǒng)有著非常重要的作用，快速、準(zhǔn)確的車牌定位及校正直接關(guān)系到整個(gè)系統(tǒng)的性能。目前車牌定位的方法總的來說可以分為兩大類，一類是基于灰度圖像的車牌定位，另一類是基于彩色圖像的車牌定位?；叶葓D像數(shù)據(jù)量小，處理迅速簡單，對(duì)于車牌的灰度圖像處理的算法中，比較常用的算法有以下幾種：（1）基于 Hough變化法[1]，利用車牌的矩形邊框具有比較明顯的直線邊緣，通過邊緣提取，再結(jié)合 Hough變換檢測出車牌邊框直線來定位車牌，但是這種方法受車牌圖像傾斜的影響較大，另外，還有很多車牌并沒有明顯的邊框直線；（2）基于邊緣和數(shù)學(xué)形態(tài)學(xué)的車牌定位算法[2，3]，通過腐蝕和膨脹以及由其組合而成的開、閉運(yùn)算，將目標(biāo)區(qū)域顯示出來；（3）基于統(tǒng)計(jì)學(xué)習(xí)的車牌檢測方法[4]。

在車牌校正方面，常用的方法有：（1）基于Hough變換算法，尋找車牌邊框直線確定車牌水平傾斜角度[5]；（2）使用投影法[6]，該方法計(jì)算量較大，且對(duì)于本文所處理車牌圖像不是很適用。

本文基于車牌的字符信息提出了一種準(zhǔn)確、快速的車牌定位及其校正的方法。除了水平校正外，還要對(duì)這種具有兩排字符的車牌，做針對(duì)性的垂直校正。

1 灰度形態(tài)學(xué)預(yù)處理

對(duì)車牌定位系統(tǒng)來而言，由于背景、光照等因素，汽車圖像二值化后車牌區(qū)域字符消失或則部分消失了。針對(duì)這種情況，本文所采用的方法是利用灰度形態(tài)學(xué)的頂帽操作（top-hat）減少背景信息。

圖1表示了該方法的過程，使得車牌區(qū)域字符在原圖中具有更高的對(duì)比度，這樣有利于后面的圖像二值化操作。

圖1 形態(tài)學(xué)頂帽操作

2 車牌定位

2.1 車牌圖像的二值化

本文主要采用OTSU二值化方法，該方法簡單、快速。二值化效果如圖2所示，可以看出經(jīng)過上面所提出的灰度形態(tài)學(xué)預(yù)處理后，車牌區(qū)域可以很好的顯示在二值圖。為了要在各種背景下得到很好的二值化圖，本文還用到多種二值化方法的結(jié)合，二值化的研究不是本文的研究重點(diǎn)，不詳細(xì)敘述。

圖2 汽車圖像的二值化

2.2 車牌圖像的定位

本文基于車牌的字符信息提出了一種快速的車牌定位方法。對(duì)定位好的車牌候選區(qū)，依據(jù)車牌的先驗(yàn)知識(shí)找到真正的車牌區(qū)域。

2.2.1 車牌候選區(qū)域

以上面車牌圖像為例，本文列出的圖例是兩排字符的車牌圖像，上面一排字符很小而且模糊粘連，所以以下面一排比較大的字符為對(duì)象，找到聚集在一起的連通元模塊。根據(jù)車牌圖像的先驗(yàn)知識(shí)，如：車牌的字符大小，長寬比等，尋找符合條件的候選字符連通元。由于車牌出現(xiàn)傾斜的原因，連通元中心點(diǎn)垂直方向上的距離差距為y，y滿足一定的范圍，同樣連通元中心點(diǎn)水平方向上的距離差x也有一定的范圍，可以從圖3（a）中看出車牌定位的具體過程。其中，矩形表示字符以及干擾塊的連通元，小圓圈表示連通元中心點(diǎn)，則根據(jù)式（1）可以得到車牌候選區(qū)域，即使在背景復(fù)雜、光照不均勻的情況下，該方法定位到的候選區(qū)域也相當(dāng)少，大多數(shù)只有一個(gè)。

上式中，minwidth表示字符之間的最小距離，Cx表示連通元水平方向上相差的最大距離，Cy表示垂直方向上相差的最大距離，找到字符連通元聚集在一塊，然后就可以根據(jù)車牌先驗(yàn)知識(shí)定出車牌區(qū)域具體的上下、左右邊框。令車牌區(qū)域上下左右邊框分別為left，right，top，bottom，本文采用如下計(jì)算獲取：

式中，（minx，y1）表示聚集塊最左邊連通元的中心點(diǎn)坐標(biāo)，（maxx，y2）表示聚集塊最右邊連通元的中心點(diǎn)坐標(biāo)，可以參考圖3（a）。length指最左邊中心點(diǎn)到最右邊中心點(diǎn)的距離，a1，a2，a3，a4是依據(jù)具體車牌所作出的參數(shù)（本文取值，a1，a2，a3，a4 分別為0.5，0.2，0.5，0.2）。

圖3 車牌定位過程

2.2.2 去除偽車牌區(qū)域

上面的處理可能會(huì)找到一個(gè)以上候選區(qū)域，對(duì)此應(yīng)去除偽車牌，本文主要從兩方面去除偽車牌區(qū)域。

1）通過車牌的高寬比等過濾非車牌區(qū)域。

式（3）中，minwidth表示車牌可能的最小寬度值，maxwidth表示車牌可能的最大寬度值，minwidth表示車牌可能的最小高度值，maxwidth表示車牌可能的最大高度值，C1表示高寬比的可能最小值，C2表示高寬比的可能最大值；wid是指定位到的車牌區(qū)域的實(shí)際長度，hei則表示定位到的車牌區(qū)域的實(shí)際寬度。

2）由于本文處理的對(duì)象是具有2排字符的日本車牌，上面字符較小，下面字符較大。所以可以根據(jù)候選區(qū)域上面一排小字符進(jìn)一步排除偽車牌區(qū)域。

3 車牌的校正

拍攝到的車牌圖像經(jīng)常會(huì)產(chǎn)生傾斜，不可避免的影響車牌字符的分割和識(shí)別。因此，需要在字符分割之前進(jìn)行車牌的傾斜校正，包括水平校正和垂直校正。

3.1 水平校正

首先，尋找字符連通元，然后通過字符連通元的中心坐標(biāo)求取傾斜斜率，從而得到傾斜角度。水平校正具體過程：

1）首先要將定位到的車牌圖像進(jìn)行歸一化處理，字符大小才能接近，本文是將車牌圖像統(tǒng)一歸一化成200*100。

2）采用8鄰域連通元法尋找連通元，根據(jù)歸一化后的字符大小、規(guī)格篩選出候選連通元，令連通元個(gè)數(shù)為n。

3）計(jì)算每個(gè)連通元的中心坐標(biāo)點(diǎn)（xi，yi），1≤i≤n，并計(jì)算各個(gè)中心點(diǎn)之間的斜率，令斜率個(gè)數(shù)為m，此時(shí)存入數(shù)組array。1≤i≤n，1≤j≤n（表示第i個(gè)和第j個(gè)連通元之間的斜率）由于實(shí)際車牌水平角度有一定的上限，假設(shè)為y（本文取45°），把超過y角度的從數(shù)組中去掉，減少計(jì)算量。

4）相差在一定范圍內(nèi)認(rèn)為是同一個(gè)斜率，把相同斜率的個(gè)數(shù)存入數(shù)組num中，計(jì)算數(shù)組num中的最大值，即相同斜率個(gè)數(shù)最多值，該值即為車牌水平傾斜的斜率值，可以轉(zhuǎn)換成相應(yīng)的角度。

圖4 車牌水平校正過程示例

3.2 垂直校正

在水平校正后，垂直方向上很多車牌還是發(fā)生變形的，如圖5（b）所示。因本文的對(duì)象車牌是2行字符的，下面一行的字符相對(duì)比較大，且易于處理，故選擇下面一行字符來處理，如圖5所示。使用投影分析的方法求出水平校正后垂直方向的傾斜角度，再進(jìn)行圖像的像素平移。

垂直校正的處理過程：

令垂直方向傾斜角度為φ，在30±°之間平移圖像，可以采取每次平移1°，然后求取對(duì)應(yīng)的投影值，如圖5（c）和圖5（d）所示。

找到投影值最小情況下所需移動(dòng)的角度，該角度即為垂直方向的傾斜角度，如圖5（d）所示的位置。

最后按照上面所求垂直方向的傾斜角度平移圖像，這里所指的平移圖像是指圖像的每一行移動(dòng)相應(yīng)的像素值，達(dá)到校正的目的。圖5（e）表示了如何根據(jù)垂直方向的傾斜角度校正圖像，已知車牌圖像的高度為Height，y為車牌圖像上的行數(shù)，則相應(yīng)行要移動(dòng)的像素量：。圖5（f）是按上述方法垂直校正后的車牌圖像。

圖5 車牌垂直校正過程示例

4 實(shí)驗(yàn)結(jié)果及結(jié)論

本文的實(shí)驗(yàn)是基于日本車牌庫，庫中有各種類型的車牌圖像，有白天的、晚上的；有前面的、后面的；有左傾斜的、右傾斜的，共526幅圖像。正確定位到的圖像有518幅，定位率達(dá)到96.48%，在定位到車牌的基礎(chǔ)上，實(shí)驗(yàn)中的圖像的校正率達(dá)到99.2%（可以存在小角度、不影響車牌識(shí)別后面工作的偏移）。通過實(shí)驗(yàn)表明，文中所提出的方法能夠在一定復(fù)雜背景下快速、準(zhǔn)確定位到車牌，并且傾斜校正效果很好。在CPU為p4 3.0GHz，內(nèi)存為1G的機(jī)器上，整個(gè)過程運(yùn)行時(shí)間約為140ms，完全滿足實(shí)時(shí)性。

經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文所提出的算法，處理速度快、便于實(shí)現(xiàn)。而且本文特別針對(duì)具有2排字符的車牌進(jìn)行處理，雖然本文圖例對(duì)象是日本的2排字符車牌，但是對(duì)于國內(nèi)的一排字符車牌的處理也同樣具有適用性，而在實(shí)際應(yīng)用中，要想進(jìn)一步提高準(zhǔn)確率，還需要重視所拍取圖像的質(zhì)量，車牌字符若是過于模糊不清會(huì)直接影響到算法的結(jié)果。

[1]Kamat V，Ganesan S.An efficient Implementationof the Hough transform for detecting vehicle lice-nse plates using DSP'S[C]//IEEE Proceedings of Real-Time Technology and Applications Symposium.CA: Computer Society Press，1995.

[2]Faradji F，Rezaie A H，Ziaratban M.Amorphol-ogical based license plate location[J].ICIP，2007，1（16），57-60.

[3]Ying-NongChen，Chin-Chun Han，Cheng-Tzu Wang，et al.The Application of a Convolution Neural NetworkonFace and License Plate Detection[C]// 18th International Conference on Pattern Recognition，ICPR.Hong Kong，China: IEEE Computer Society，2006.

[4]Zhang H，Jia W，He X and Wu Q.Learningbased license plate detection using global andlocal features[C]//18th International Conferenceon Pattern Recognition，ICPR.Hong Kong，China: IEEE Computer Society，2006.

[5]Ming G H，Harvey A H，Vinay T.Hough transformin car number plate skew detection[J].Signal Proc-essing and Its Application，1996，25（30）:593-596.

[6]路小波，包明，黃衛(wèi).基于投影的車牌傾斜檢測方法[J].交通運(yùn)輸工程與信息學(xué)院，2004，2（4）:10-15.