基于Gabor濾波多特征融合的車牌定位算法

于海河，楊 碩，李大舟

(沈陽化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 沈陽 110020)

0 引 言

在現(xiàn)在社會中汽車數(shù)量的增長速度很快，于是對車輛進(jìn)行有效的管理成為了一個(gè)很大的問題。車牌作為車輛的唯一識別標(biāo)志，準(zhǔn)確檢測出車牌非常重要?，F(xiàn)在車牌識別[1]的算法有很多，并且車牌識別已經(jīng)運(yùn)用到很多地方，例如高速公路路口、十字路口、小區(qū)門口、地下停車場等等。

目前主要有以下幾種識別方法：(1)基于彩色圖像識別算法，這類算法使用的是車牌的顏色特征。車牌的顏色具有很高的飽和度，并且底色和字體的顏色區(qū)分度很高。這類識別算法容易實(shí)現(xiàn)。但是，當(dāng)周圍背景顏色與車牌顏色較為接近的時(shí)候識別效果較差，并且計(jì)算速度較慢，不適合實(shí)時(shí)系統(tǒng)。相關(guān)算法如基于RGB顏色空間的檢測方法[2]，該算法使用了顏色特征。顏色特征提取過程中使用了車牌底色的特殊性，當(dāng)?shù)咨撬{(lán)色時(shí)，該像素點(diǎn)的藍(lán)色分量的值大于紅色分量和綠色分量，依據(jù)該方法提取顏色特征。但是當(dāng)車身顏色為藍(lán)色或黃色時(shí)，會造成檢測不準(zhǔn)確。單一特征雖然檢測速度較快，但在準(zhǔn)確度上會有不足。(2)基于車牌自身結(jié)構(gòu)特征的車牌定位算法[3-4]，這類算法主要使用的是車牌的邊緣特征、字符結(jié)構(gòu)的幾何特征和紋理特征。車牌字符區(qū)域顏色很平穩(wěn)，字符筆畫的高曲率特征也很穩(wěn)定，是區(qū)別于其他區(qū)域的重要特征。車牌字符區(qū)域的字符結(jié)構(gòu)的幾何特征可以使用邊緣檢測算子、角點(diǎn)檢測器等算法檢測出。這類算法計(jì)算量較小，對硬件要求不高。在光照不均的情況下，檢測效果較差。相關(guān)算法如基于形態(tài)學(xué)的車牌定位方法[3]，使用了邊緣檢測算子對圖像提取邊緣特征，然后使用開操作處理特征圖，再進(jìn)行掃描法粗定位，使用霍夫變換精確定位車牌。這種檢測方法快速、簡單，準(zhǔn)確度較高，但是對復(fù)雜的紋理情況檢測狀況不理想。如文獻(xiàn)[4]，基于邊緣的車牌顏色輔助檢測方法，使用了模板對垂直邊緣密度進(jìn)行建模，同時(shí)輔助使用顏色紋理作為檢測提示。(3)基于多特征的融合算法，多特征融合算法顧名思義就是融合了車牌的多個(gè)特征，將多個(gè)特征組合使用，在不同階段使用不同的特征，或者在不同階段組合使用多個(gè)特征，比如在候選確定階段可以同時(shí)使用灰度投影和顏色特征。多特征融合算法是目前研究較多的算法，如文獻(xiàn)[5-16]，這類算法主要使用了車牌的多個(gè)特征，例如在預(yù)定位階段使用顏色和角點(diǎn)特征，在確定候選階段使用字符和幾何特征，在候選確定階段使用灰度投影和顏色特征。多特征融合算法是現(xiàn)在使用較多的算法，它定位精度高，能充分使用車牌的所有特征，在實(shí)際應(yīng)用中也很廣泛。

文中算法里主要使用車牌的垂直特征，輔助使用車牌的底色、字符顏色和字符紋理特征。

1 算法描述

1.1 Gabor濾波

Gabor變換的基本思想：將Gabor核和車牌圖像卷積。首先需要生成Gabor核。

則Gabor定義如式(1)所示:

(1)

則完整的實(shí)部Gabor濾波公式為：

原圖像I(x,y)與Gabor濾波卷積以后的圖像f(x,y)關(guān)系如式(3)所示。

f(x,y)=I(x,y)*G(x,y,a,b,θ)

(3)

Gabor特征是一種可以用來描述圖像紋理信息的特征，Gabor濾波器的頻率和方向與人類的視覺系統(tǒng)類似，特別適合于紋理表示與判別。車牌字符區(qū)域的紋理信息集中且豐富，對Gabor濾波器的響應(yīng)很高。在使用Gabor濾波的時(shí)候車牌區(qū)域必定會響應(yīng)，同時(shí)干擾區(qū)域也會響應(yīng)，利用車牌的其他特征可將干擾區(qū)域篩除。

1.2 算法概述

文中要解決的是國內(nèi)的車牌定位問題。國內(nèi)小型轎車的車牌底色為藍(lán)色，字體的顏色為白色，貨車的車牌底色為黃色，字體顏色為黑色，車牌寬度均為440 mm，高度均為140 mm。圖1為文中算法流程，使用的主要算法和技術(shù)如下：

圖1 車牌定位算法流程

(1)圖像預(yù)處理，主要去除干擾，改善圖片質(zhì)量，提高定位準(zhǔn)確度。

(2)Gabor濾波處理灰度圖像形成一幅離散的垂直紋理圖，車牌有復(fù)雜的漢字和字母，漢字和字母都具有特殊的曲率，在Y方向上會有較大的響應(yīng)。

(3)形態(tài)學(xué)處理，膨脹是將離散的垂直紋理連接起來形成連通區(qū)域，腐蝕操作是將連通區(qū)域的邊緣縮小，使其更加偏向于真實(shí)的區(qū)域。

(4)字符角點(diǎn)檢測，漢字和字母在書寫過程中的筆畫結(jié)構(gòu)存在較大的曲率，相對于其他物體的紋理，是一種特殊的紋理，于是可以使用角點(diǎn)檢測器將曲率較大的筆畫檢測出來，若不包含字符，則響應(yīng)較小或者不響應(yīng)，可以排除一些干擾連通區(qū)域。

(5)角點(diǎn)鄰域顏色檢測，車牌的底色固定并且顏色種類較少，主要為藍(lán)色和黃色。角點(diǎn)的響應(yīng)區(qū)域主要在字符上，字符的鄰域通常為車牌底色，即藍(lán)色和黃色。使用這些顏色特征可以進(jìn)一步排除干擾，生成候選區(qū)。

(6)字符投影，車牌里共有7個(gè)字符，每個(gè)字符中間有固定間距，在二值圖像中，若將字符垂直投影，則會在圖像底部形成特殊的峰谷，該特征可以進(jìn)一步確定車牌區(qū)域，也可以同于字符分割。于是在候選區(qū)中，對每個(gè)候選區(qū)的灰度圖像在Y方向上進(jìn)行投影，可用于驗(yàn)證車牌區(qū)域。

2 算法實(shí)現(xiàn)

2.1 圖像預(yù)處理

在采集車輛圖像過程中使用的是移動(dòng)設(shè)備，或者是監(jiān)控?cái)z像頭，移動(dòng)設(shè)備采集的圖像會使圖像存在輕微的抖動(dòng)使圖像質(zhì)量降低，監(jiān)控?cái)z像頭采集的圖像則會因?yàn)樘鞖狻⒃O(shè)備老化等原因使圖像模糊。為了降低車牌定位的操作難度，需要對車輛圖像進(jìn)行預(yù)處理。圖像預(yù)處理是為了減少干擾，減少噪聲對定位的影響，提高成功率。圖像預(yù)處理包括三部分：首先，對圖像進(jìn)行去噪聲處理；其次，直方圖均衡化提高車牌的圖像質(zhì)量；最后將圖像進(jìn)行灰度處理。

2.2 Gabor濾波器對圖像進(jìn)行濾波

原圖像I(x,y)與Gabor濾波卷積以后的圖像f(x,y)關(guān)系如式(3)所示。這里取實(shí)部形式，基于文中采集到的圖像庫，經(jīng)過實(shí)驗(yàn)，卷積核的大小取(11,11)，相位偏移量取0，標(biāo)準(zhǔn)差取10，波長取10，長寬比取0.5，θ取0時(shí)效果最好。Gabor卷積核以圖片的形式顯示，如圖2所示。

圖2 Gabor卷積核

經(jīng)過實(shí)驗(yàn)可看出，Gabor濾波對車牌區(qū)域有很好的響應(yīng)。圖3為濾波處理后的圖像，可以看出處理后的圖像中，車牌區(qū)域的響應(yīng)較高。

圖3 Gabor濾波的處理圖像

通過圖3可以看出，干擾區(qū)域比較密集的地方主要分布在車輛的輪廓邊緣上和車輛的擋風(fēng)玻璃上，周圍環(huán)境造成的干擾較小，在車牌周圍存在的干擾較少，當(dāng)定位車牌時(shí)，能準(zhǔn)確地將車牌區(qū)域定位，為后續(xù)字符分割降低操作難度。

2.3 形態(tài)學(xué)處理

通過上述實(shí)驗(yàn)可看出，雖然車牌區(qū)域?qū)V波響應(yīng)較高，但是車牌區(qū)域的垂直特征較為離散，但是各個(gè)垂直條紋之間的間距很小，周圍干擾區(qū)域到此區(qū)域的距離較大，于是可以使用膨脹算子進(jìn)行膨脹，將垂直條紋連接起來形成完整的車牌區(qū)域。

在數(shù)學(xué)形態(tài)學(xué)里，可以使用的算子很多，大部分為3*3、5*5、7*7的算子。數(shù)學(xué)形態(tài)學(xué)的算子應(yīng)該根據(jù)實(shí)際情況進(jìn)行選擇。在上述實(shí)驗(yàn)中可看出響應(yīng)區(qū)域大部分為垂直特征，而且在車牌區(qū)域這些特征之間的間距較小，且與周圍的干擾相距較遠(yuǎn)，所以采用一種只在水平方向上膨脹的算子，針對該實(shí)驗(yàn)采用的算子尺寸為7*3。圖4為采用水平方向算子膨脹的實(shí)驗(yàn)結(jié)果。

圖4 形態(tài)學(xué)處理

從上述實(shí)驗(yàn)可看出，雖然車牌區(qū)域已經(jīng)連接起來，但是還存在其他干擾連通區(qū)域。通過圖4可看出車牌區(qū)域的尺寸較大，可根據(jù)連通區(qū)域的大小初步篩選，將尺寸較小的連通區(qū)域去除。在圖4中可以看出大部分連通區(qū)域面積大的干擾區(qū)域都是垂直長度大于水平長度，可根據(jù)此特點(diǎn)進(jìn)一步排除干擾區(qū)域。

2.4 候選生成

在去除尺寸較小的干擾連通區(qū)域之后，依舊存在較多的干擾區(qū)域。由于車牌具有固定幾何尺寸，其長寬比為3.14，在實(shí)驗(yàn)過程中，根據(jù)實(shí)際情況將長寬比設(shè)置為1.5～4.5。通過長寬比的篩選之后，可排除大量的干擾區(qū)域。將符合長寬比的連通區(qū)域裁剪出來，形成單獨(dú)的圖像。

車牌中包含大量字符，字符的筆畫結(jié)構(gòu)有特殊的曲率，這些局部的特征[17-18]是一個(gè)較為穩(wěn)定的紋理結(jié)構(gòu)特征，可以用特征檢測算法檢測出來。在這里使用了Harris算法對圖像進(jìn)行檢測，Harris算法具有實(shí)現(xiàn)簡單、檢測速度快、對曲率響應(yīng)好的優(yōu)點(diǎn)。Harris算法檢測實(shí)驗(yàn)如圖5(a)所示，可以發(fā)現(xiàn)在車牌區(qū)域中特征點(diǎn)的密度很大。

圖5 特征點(diǎn)檢測

通過圖5(a)和圖5(b)之間的對比可發(fā)現(xiàn)，在車牌區(qū)域特征點(diǎn)的密度很高，而干擾區(qū)域的特征點(diǎn)很少，因此可以將干擾濾除。

對于干擾區(qū)域內(nèi)特征點(diǎn)較少的情況可以使用上述方法，如果干擾區(qū)域內(nèi)特征點(diǎn)較多，使用上述方法則效果較差。通過圖6(a)和圖6(b)的對比發(fā)現(xiàn)，在干擾區(qū)域的范圍內(nèi)有大量特征點(diǎn)，此時(shí)根據(jù)特征點(diǎn)密度來篩選明顯不行，可通過車牌字符角點(diǎn)鄰域顏色進(jìn)行篩選。經(jīng)過研究發(fā)現(xiàn)，在一般情況下藍(lán)色車牌中的底色為藍(lán)色，通過分離顏色通道發(fā)現(xiàn)單個(gè)像素點(diǎn)的B分量的值遠(yuǎn)大于G分量和R分量，同樣在黃色車牌中底色為黃色，單個(gè)像素點(diǎn)的B分量遠(yuǎn)小于G分量和R分量，因此車牌具有特殊的顏色分布，是區(qū)分車牌底色和字體顏色的特征。在該算法中的實(shí)現(xiàn)方法為：首先將裁剪的連通區(qū)域選定，再在這張圖片里進(jìn)行角點(diǎn)檢測獲取角點(diǎn)，角點(diǎn)的鄰域可選擇為7，9，11等，該角點(diǎn)的鄰域就是以該角點(diǎn)為中心，周圍9*9的像素點(diǎn)，實(shí)驗(yàn)中取9。將該連通區(qū)域所有Si的B分量的像素值相加、G分量的像素值相加、R分量的像素值相加，得到B分量像素值總和SUMB，G分量像素值總和SUMG，R分量像素值總和SUMR。對于藍(lán)色車牌，篩選公式為：

圖6 特征點(diǎn)檢測特殊情況

(4)

同理對于黃色車牌的公式為：

(5)

通過篩選可將干擾連通區(qū)域?yàn)V除，生成候選區(qū)，將候選區(qū)裁剪出單獨(dú)的圖像，方便后續(xù)實(shí)驗(yàn)驗(yàn)證。

2.5 候選驗(yàn)證

在候選驗(yàn)證過程中不能使用單一特征進(jìn)行驗(yàn)證，會使得精度不高，需要多個(gè)特征同時(shí)使用提高精度。

在候選驗(yàn)證階段可以使用的方法有很多，比如字符分割方法[19]、灰度投影方法。在該算法中將使用顏色和字符投影對候選驗(yàn)證，具體步驟如下：將候選的顏色空間從RGB轉(zhuǎn)化為HSV空間，僅對亮度通道V進(jìn)行直方圖平坦化處理，并轉(zhuǎn)換為原RGB圖像，再轉(zhuǎn)為灰度圖像。

將上述轉(zhuǎn)換完成的灰度圖像進(jìn)行灰度投影操作，得到車牌字符投影圖。首先計(jì)算出投影圖中投影塊的數(shù)目，記為K。(1)若K剛好為7，則候選確定；(2)若K大于7，那么計(jì)算出每個(gè)投影塊的中線位置，可以算出每個(gè)相鄰?fù)队皦K中線之間的距離。若這個(gè)距離小于字符的寬度，那么將該投影塊及其前一個(gè)投影塊進(jìn)行合并，同時(shí)將K減一。重復(fù)該步驟，直到K為7，并且每個(gè)投影塊的寬度在設(shè)定的閾值范圍內(nèi)，則候選確定，否則為偽候選；(3)若K小于7，計(jì)算每個(gè)投影塊的寬度。找出寬度大于閾值范圍的投影塊，計(jì)算該投影塊的投影最小值，并在該位置分割投影塊。重復(fù)該操作使K等于7，并且投影塊的寬度在預(yù)設(shè)的范圍內(nèi)，則候選確定，否則為偽候選。

3 實(shí)驗(yàn)和結(jié)果分析

算法在QT5.9.7+OpenCV環(huán)境下實(shí)現(xiàn)，計(jì)算機(jī)主要配置為,主頻2.3 GHz(Intel Core I5-8300H)，8 G內(nèi)存。實(shí)驗(yàn)使用的圖像庫是由600張包含單個(gè)車牌的圖像以及200張不包含車牌的圖像組成。這800張圖片中成功檢測出車牌區(qū)域的有574張。包含車牌的圖像主要來自互聯(lián)網(wǎng)下載和街拍，圖像類型包含了街道、小區(qū)門口、監(jiān)控視頻、停車場等場景，涵蓋了復(fù)雜背景、車牌傾斜、顏色干擾、天氣模糊等，能夠真實(shí)地反映出算法效果。圖7分別選取了具有代表性的車牌，如A組中選取了小區(qū)門口門禁系統(tǒng)監(jiān)控視頻截圖，車牌都略微傾斜；B組選取了道路監(jiān)控視頻截圖，圖像質(zhì)量較差且圖像略微傾斜；C組選取了在停車場和街道行進(jìn)的車輛，“川AQQ999”圖像為強(qiáng)光照射，“冀A5D307”車身為藍(lán)色，與車牌顏色較為接近。

圖7 車牌定位實(shí)驗(yàn)結(jié)果

基于文中采集到的車牌數(shù)據(jù)庫，選擇了幾種具有代表性的車牌定位算法作為實(shí)驗(yàn)對比，如一種RGB顏色空間中的車牌定位新方法[2]、多特征融合的車牌定位算法[15]、基于Gabor濾波車牌區(qū)域定位算法[17]。實(shí)驗(yàn)結(jié)果如表1所示，文中車牌圖像數(shù)據(jù)庫中默認(rèn)一張圖片中只包含一輛車。表1中成功率、精確度和準(zhǔn)確率的定義如下:成功率:成功定位圖像數(shù)/正例數(shù);精確度:成功定位圖像數(shù)/(成功定位圖像數(shù)+錯(cuò)誤定位圖像數(shù))，其中錯(cuò)誤定位圖像即為表1中的誤檢數(shù);準(zhǔn)確率:成功定位的包圍框與絕對真包圍框的覆蓋比率。對于成功次數(shù)的計(jì)數(shù)定義如下:算法得到的車牌包圍框與絕對真包圍框覆蓋率大于50%的結(jié)果計(jì)為成功一次，反之計(jì)為失敗一次。

表1 圖像庫的對比實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，多特征融合算法在成功率和準(zhǔn)確度上都比單特征算法高。第二組對比實(shí)驗(yàn)雖然也使用了Gabor濾波，但是在后續(xù)操作中只使用了顏色特征，沒有使用到車牌字符紋理和幾何特征，使其準(zhǔn)確度較低。第三組對比實(shí)驗(yàn)使用了多種特征，其成功率較高，由于在數(shù)學(xué)形態(tài)學(xué)處理過程中連接的是顏色特征點(diǎn)，造成包圍框較大，降低了準(zhǔn)確度，若將結(jié)果作為粗定位，進(jìn)一步使用其他方法進(jìn)行精確定位將提高準(zhǔn)確度。

通過對比實(shí)驗(yàn)表明，文中算法具有較高的定位成功率和精確度。對于圖像質(zhì)量較差的圖像能得到較高的準(zhǔn)確度，高準(zhǔn)確度可以為后續(xù)的車牌精確定位和字符分割省去許多操作并且能提高識別準(zhǔn)確率。該算法也具有較強(qiáng)的抗干擾性，車牌傾斜狀態(tài)下也能較好地定位，在高光狀態(tài)下也能較為準(zhǔn)確地定位車牌。在算法效率方面，對于高分辨率車牌圖片，如圖7(a)、(c)，文中算法的平均運(yùn)算時(shí)間為1.37 s，對于低分辨率車牌圖片，如圖7(b)，文中算法的平均運(yùn)算時(shí)間為0.72 s。由于操作步驟較多，耗時(shí)較多的地方主要有Gabor濾波和Harris特征點(diǎn)檢測。文中算法是基于OpenCV庫[20]實(shí)現(xiàn)的，部分函數(shù)使用的是庫函數(shù)，雖然耗時(shí)較多但準(zhǔn)確度較高，基本能滿足目前的需求。

4 結(jié)束語

基于單特征定位車牌的不足，提出了一種基于Gabor濾波多特征融合的車牌定位算法。該算法使用了車牌的字符垂直特征、字符角點(diǎn)、車牌底色、車牌紋理等特征，對這些特征進(jìn)行了合理的組合和使用。在這些特征中字符垂直特征、車牌底色和字符角點(diǎn)是核心特征，這三個(gè)特征是篩選偽候選的重要特征。因?yàn)檫@三個(gè)特征不可能同時(shí)檢測到，并且這三者是車牌的固有特征，在真實(shí)場景的復(fù)雜環(huán)境下較為穩(wěn)定，不容易受到干擾，是特征融合算法的核心。同時(shí)使用了眾多的技術(shù)手段，包括：特征點(diǎn)檢測、Gabor濾波、數(shù)學(xué)形態(tài)學(xué)、灰度投影等，保證了定位的準(zhǔn)確性和成功率。該算法雖然有較好的效果，但是基于Gabor濾波的方法耗時(shí)較為嚴(yán)重，且濾波核大小的選取十分重要，若能自適應(yīng)選取濾波核的尺寸將能進(jìn)一步提高準(zhǔn)確度和效率。接下來將對該問題進(jìn)行深入研究，找到解決方案。