一種復(fù)雜環(huán)境中的車牌定位算法

李 耀,程 勇,曹雪虹,

（1．南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2．南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167）

車牌識(shí)別（License Plate Recognition，LPR）是模式識(shí)別和機(jī)器視覺應(yīng)用在智能交通系統(tǒng)領(lǐng)域中的一個(gè)重要研究課題，在公共安全、交通監(jiān)測(cè)和管理以及電子收費(fèi)系統(tǒng)等方面具有重要的應(yīng)用價(jià)值。車牌定位是車牌識(shí)別中的一項(xiàng)關(guān)鍵技術(shù)，其準(zhǔn)確度直接影響著后續(xù)的字符分割和識(shí)別。

車牌定位是基于車牌區(qū)域的特征將車牌區(qū)域從車牌圖像中分割出來。常見的車牌定位方法有：1）基于灰度圖像紋理特征的分析方法[1]。此類方法一般先利用圖像處理的手段獲取車牌圖像的紋理特征，并基于車牌區(qū)域紋理特征獨(dú)有的特點(diǎn)搜尋車牌區(qū)域在整幅圖像中的位置。但基于紋理特征的車牌定位方法對(duì)于噪聲比較敏感，且受光照因素影響較大，需結(jié)合光照魯棒的方法提升其準(zhǔn)確度。2）基于數(shù)學(xué)形態(tài)學(xué)的車牌定位算法[2-3]。此類算法一般在對(duì)車牌圖像進(jìn)行二值化后，利用結(jié)構(gòu)算子對(duì)二值化圖像進(jìn)行腐蝕運(yùn)算和閉運(yùn)算消除噪聲，并形成閉合的連通區(qū)域。然后計(jì)算出每個(gè)連通區(qū)域的外接矩形框，利用車牌區(qū)域的一些特點(diǎn)完成車牌定位。3）基于小波變換的車牌定位算法[4]。小波變換將輸入的原始車牌圖像信號(hào)分解成一系列不同分辨率、不同頻率特性的子帶信號(hào)，然后利用這些信號(hào)的特性完成對(duì)信號(hào)在時(shí)域和頻域的局部變換。4）基于神經(jīng)網(wǎng)絡(luò)的車牌定位算法[5]。為了提高車牌定位的速度和準(zhǔn)確度，通常情況下，基于神經(jīng)網(wǎng)絡(luò)的車牌定位算法要求車牌特征保持基本不變，如果牌照特征發(fā)生了較大的變化，那么就必須對(duì)神經(jīng)網(wǎng)絡(luò)重新訓(xùn)練，而對(duì)于車牌采集環(huán)境的復(fù)雜性來講，車牌特征常常發(fā)生較大范圍的變化，所以對(duì)于在不同環(huán)境中采集到的車牌圖像利用神經(jīng)網(wǎng)絡(luò)進(jìn)行車牌定位往往達(dá)不到滿意的效果。5）基于車牌區(qū)域顏色特征的車牌定位算法[6]。該算法主要是根據(jù)車牌底色和字符顏色只有固定幾種顏色搭配的特點(diǎn)，通過提取圖像中的顏色信息結(jié)合其他算法來進(jìn)行車牌定位。由于車牌圖像在不同的光照條件下有一定程度的色偏，所以需要考慮對(duì)車牌圖像進(jìn)行顏色校正。上述車牌定位方法都有各自的優(yōu)缺點(diǎn)，但值得指出的是，目前尚未發(fā)現(xiàn)性能能夠全面超越其他方法的某一車牌定位算法。

本文提出了一種基于車牌圖像邊緣特征和梯度方向特征的車牌定位方法，其主要任務(wù)是消除干擾邊緣并盡可能保留車牌區(qū)域的邊緣特征。該方法提取車牌圖像的垂直邊緣，然后根據(jù)邊緣長(zhǎng)度、邊緣點(diǎn)密度及梯度方向移除干擾邊緣以凸顯車牌區(qū)域位置，最后將車牌區(qū)域從原圖像中分割出來。

1 車牌圖像處理

在本方法中，輸入的車牌圖像首先會(huì)被轉(zhuǎn)換為384×288像素的灰度圖像。車牌圖像背景中的樹葉、建筑物、走廊和倒影等會(huì)產(chǎn)生大量的密集干擾邊緣。此時(shí)，僅依靠邊緣長(zhǎng)度來去除干擾邊緣的效果通常不夠理想。相比之下，本文提出的方法能夠很好地從邊緣圖像中消除此類干擾邊緣。

1.1 邊緣圖像獲取

1）灰度變換

原始的RGB圖像包含的數(shù)據(jù)量較大。為加快后續(xù)的圖像處理過程，本文首先利用一個(gè)灰度變換公式將原始的彩色圖像轉(zhuǎn)換為灰度圖像，利用加權(quán)平均的方法完成灰度轉(zhuǎn)換，表示為

2）垂直邊緣提取

車牌周圍的背景區(qū)域存在較多的水平邊緣，且該區(qū)域中比較常見的是一些較長(zhǎng)的邊緣和隨機(jī)噪聲。而車牌區(qū)域的邊緣較為集中，具有強(qiáng)烈的紋理特征。如果只提取車牌圖像的垂直邊緣，則會(huì)損失少量車牌區(qū)域的水平邊緣信息，但大量的背景區(qū)域邊緣可以被移除，從而使得車牌區(qū)域在車牌圖像中進(jìn)一步被凸顯出來?？紤]到以上事實(shí)，本文利用垂直Sobel算子對(duì)灰度圖像進(jìn)行邊緣檢測(cè)以獲得垂直方向的梯度圖像。盡管車牌區(qū)域的少量水平邊緣信息會(huì)丟失，但這種損失是值得的。垂直Sobel算子的定義為

接下來需要找到一個(gè)合適的閾值對(duì)梯度圖像進(jìn)行二值化。本文通過計(jì)算圖像梯度的平均絕對(duì)值并將其乘以一個(gè)調(diào)節(jié)因子作為二值化閾值。最后，對(duì)梯度圖像進(jìn)行水平方向的非極大值抑制[7]，并利用前面得到的閾值最終獲得一個(gè)單邊緣圖像，結(jié)果如圖1所示。圖1a是原始圖像，圖1b是經(jīng)過式（1）灰度變換后的圖像，圖1c是利用Sobel算子提取的垂直邊緣圖像，從圖中可以看出，車牌圖像背景中紛雜的樹葉、建筑物以及走廊等形成大量密集的干擾邊緣被凸顯出來，這些會(huì)對(duì)車牌定位造成極大的干擾。

圖1 處理前圖像和處理后圖像

1.2 梯度方向圖像獲取

Gradientfaces方法[8]最初用于人臉識(shí)別領(lǐng)域，主要任務(wù)是在不同光照條件下獲取一種光照不變量。該方法對(duì)光照變化不敏感，在不同光照條件下具有較好的魯棒性。此外，Gra?dientfaces方法源于圖像的梯度域。因?yàn)樘荻瓤臻g中梯度信息包含有相鄰像素間的關(guān)系，所以Gradientfaces方法能夠找出圖像中隱含的固有結(jié)構(gòu)。

Gradientfaces方法的實(shí)現(xiàn)過程如下：

1）通過將輸入圖像I與高斯核函數(shù)G卷積，對(duì)輸入圖像I進(jìn)行平滑處理。

2）通過與x和y方向上的高斯核派生函數(shù)卷積來計(jì)算圖像I的梯度值。

式中，Gx(x，y，σ)和Gy(x，y，σ)分別為x方向和y方向上的高斯核派生函數(shù)。

3）最后，利用等式（5）求得圖像I的梯度方向圖像。

這就是梯度方向矩陣G。車牌圖像的處理結(jié)果如圖2所示。

2 干擾邊緣移除

2.1 根據(jù)邊緣長(zhǎng)度移除干擾邊緣

圖2 利用Gradientfaces方法獲取的梯度方向圖像

在1.1節(jié)中獲取的垂直邊緣圖像中存在大量過長(zhǎng)或過短的背景邊緣，它們不同于車牌區(qū)域的邊緣特征。因此，本文根據(jù)邊緣長(zhǎng)度可以移除部分干擾邊緣。

在本文中，M和N是與垂直邊緣圖像同等大小的矩陣；Tlong和Tshort均為邊緣長(zhǎng)度的閾值。算法描述如下：首先，從左到右從上到下掃描邊緣點(diǎn)并將對(duì)應(yīng)邊緣點(diǎn)累計(jì)的邊緣長(zhǎng)度記錄在矩陣M中；然后，從右到左從下到上掃描圖像中的邊緣點(diǎn)，并將對(duì)應(yīng)邊緣點(diǎn)累計(jì)的邊緣長(zhǎng)度記錄在矩陣N中；最后，計(jì)算M和N的和矩陣，若該矩陣中某個(gè)值大于Tlong或小于Tshort，則消除掉邊緣圖像中對(duì)應(yīng)的邊緣點(diǎn)。

這里，邊緣長(zhǎng)度是當(dāng)前像素Pi，j的相關(guān)鄰域像素值的累積。如圖3所示，陰影網(wǎng)格表示當(dāng)前像素的相關(guān)鄰域像素。

圖3 Pi，j的相關(guān)鄰域像素

2.2 根據(jù)邊緣密度移除干擾邊緣

因?yàn)檐嚺茍D像的車牌區(qū)域具有高度集中的邊緣信息，邊緣點(diǎn)相對(duì)稀疏的區(qū)域可以被排除，據(jù)此可以消除邊緣圖像中此類區(qū)域中邊緣點(diǎn)。

本方法利用一個(gè)以邊緣點(diǎn)為中心的小矩形窗口（如32×24）從左到右從上到下對(duì)經(jīng)2.1節(jié)處理后的邊緣圖像進(jìn)行掃描。如果窗口內(nèi)的邊緣點(diǎn)所占比例低于某個(gè)閾值，則將窗口中所有的邊緣點(diǎn)全部移除。

2.3 根據(jù)梯度方向移除干擾邊緣

為了降低這一步驟的復(fù)雜度，本文首先對(duì)1.2節(jié)中獲取的梯度方向矩陣G求取絕對(duì)值，將其中的負(fù)值取正。觀察車牌特點(diǎn)可知，在矩陣G中，車牌區(qū)域中邊緣點(diǎn)的梯度方向主要集中在0°，45°，90°，135°，180°左右。對(duì)于矩陣G中在指定取值范圍內(nèi)的值，利用2.1節(jié)的方法重新統(tǒng)計(jì)2.2節(jié)中得到的邊緣圖像中對(duì)應(yīng)位置邊緣點(diǎn)的邊緣長(zhǎng)度。值得注意的是，此次統(tǒng)計(jì)除了需要考慮當(dāng)前像素的相關(guān)鄰域像素是否為邊緣點(diǎn)外，還要考慮鄰域邊緣點(diǎn)的梯度方向是否與當(dāng)前邊緣點(diǎn)的梯度方向相近，只有兩個(gè)條件均符合時(shí)方可將兩個(gè)邊緣點(diǎn)視為在同一條邊緣上。然后重新設(shè)定一個(gè)閾值Tshort，消除邊緣長(zhǎng)度小于Tshort的邊緣點(diǎn)。處理結(jié)果如圖4所示，圖4a是經(jīng)過2.1節(jié)的方法處理后的圖像，圖4b是經(jīng)過2.2節(jié)方法處理后的圖像，圖4c是經(jīng)過2.3節(jié)方法處理后的圖像，可以看到，原邊緣圖像中大部分的干擾邊緣已被移除。

圖4 干擾邊緣剔除結(jié)果

3 車牌檢測(cè)與分割

在經(jīng)過上述若干步處理后，原大部分的干擾邊緣已被移除的情況下，利用一個(gè)比車牌區(qū)域稍大的全1矩陣與處理后的邊緣圖像做卷積運(yùn)算。找出卷積結(jié)果中最大值的位置，以最大值位置的對(duì)應(yīng)點(diǎn)為中心從原車牌圖像中將車牌區(qū)域分割出來。分割出的車牌區(qū)域如圖5所示。

圖5 車牌定位結(jié)果

4 實(shí)驗(yàn)結(jié)果與分析

在仿真實(shí)驗(yàn)中，筆者用本文方法對(duì)來自不同拍攝環(huán)境中的301幅車牌圖像進(jìn)行處理。這些圖像均具有較復(fù)雜的背景，且拍攝于各不相同的光照環(huán)境中，如多云、陰雨天、白天、晚上等等。一些示例圖像及它們的處理結(jié)果如圖6所示。

圖6 車牌圖像及定位結(jié)果

實(shí)驗(yàn)結(jié)果顯示，大部分車牌區(qū)域可以被成功地從車牌圖像中分割出來，其定位準(zhǔn)確率為93.7%。此外，筆者將本文方法與文獻(xiàn)[9]和文獻(xiàn)[10]的方法分別進(jìn)行對(duì)比，三者均應(yīng)用于同一實(shí)驗(yàn)環(huán)境中，后二者的定位準(zhǔn)確率分別為89.7%和90.4%。結(jié)果顯示文獻(xiàn)[9]的方法在復(fù)雜背景情況下受干擾嚴(yán)重，會(huì)出現(xiàn)定位不準(zhǔn)的現(xiàn)象；文獻(xiàn)[10]的方法受光照偏色影響較大，在光照條件不理想或車牌顏色失真時(shí)效果會(huì)大打折扣；而本文方法在應(yīng)對(duì)復(fù)雜背景或光照不足的情況時(shí)具有更高的定位準(zhǔn)確度和更好的適應(yīng)性。

5 結(jié)論

本文提出了一種有效的車牌定位方法，該方法結(jié)合車牌區(qū)域邊緣特征和梯度方向特征進(jìn)行車牌定位。實(shí)驗(yàn)結(jié)果表明，本文方法定位準(zhǔn)確度高，且對(duì)不同環(huán)境具有良好的適應(yīng)性。因此，該方法對(duì)車牌定位具有很高的實(shí)際應(yīng)用價(jià)值。

[1] DU Yuren，SHI Wen，LIU Caiyun.Research on an efficient meth?od of license plate location[J].Physics Procardia，2012（2）：1990-1995.

[2]REZAIE F A H，ZIARATHAN M.A morphological-based license plate location[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2007：57-60.

[3] WANG Aili，LIU Xusheng，HAN Yuhui，et al.License plate loca?tion algorithm based on edge detection and morphology[C]//Proc.2012 7th International Forum on Strategic Technology（IFOST）.[S.l.]：IEEE Press，2012：1-4.

[4] 陳歡.基于小波分析的車牌識(shí)別系統(tǒng)的研究[D].西安：西安電子科技大學(xué)，2013.

[5] 岳兆新，曾黃麟.一種改進(jìn)的基于邊緣特征提取BP網(wǎng)絡(luò)車牌定位的新方法[J].計(jì)算機(jī)應(yīng)用與軟件，2011（12）：97-103.

[6] XIE K，WANG K.A new method of license plate location based on multi-threshold quantization segmentation of color image[C]//Proc.3rd International Symposium on Information Processing.[S.l.]：IEEE Press，2010：9-13.

[7] ZHENG D，ZHAO Y，WANG J.An efficient method of license plate location[J].Pattern Recognition Letters，2005，26（15）：2431-2438.

[8] ZHANG Taiping，TANG Y Y，F(xiàn)ANG B，et al.Face recognition under varying illumination using gradientfaces[J].IEEE Trans.Im?age Process，2009，18（11）：2599-2606.

[9] NEUBECK A，GOOL L V.Efficient non-maximum suppression[C]//Proc.18th International Conference on Pattern Recognition（ICPR）.[S.l.]：IEEE Press，2006，3：850-855.

[10] TAN Chang，CAO Jun.An algorithm for license plate location based on color and texture[C]//Proc.2013 Fifth International Conference on Intelligent Human-Machine Systems and Cyber?netics.[S.l.]：IEEE.Press，2013：356-359.