劉德山 ,趙 穎
(1.遼寧師范大學(xué) 計算機與信息技術(shù)學(xué)院,遼寧 大連 116081;2.遼寧工業(yè)大學(xué) 計算中心,遼寧 錦州121001)
汽車牌照自動識別系統(tǒng)LPR(License Plate Recognition)是實現(xiàn)智能化道路車輛的監(jiān)控基礎(chǔ),也是光學(xué)字符識別(OCR)研究的一個重要領(lǐng)域,由于巨大的市場需求,長期以來,開發(fā)實用、可靠、高性能的LPR系統(tǒng)一直是國內(nèi)外學(xué)者研究的重要課題。
車牌識別系統(tǒng)主要由車牌定位、字符分割和字符識別三大部分組成。車牌定位為其核心技術(shù),正確而可靠地檢測出車牌區(qū)域是提高系統(tǒng)識別率的關(guān)鍵。目前主要有下列車牌定位方法:基于紋理特征的車牌定位方法[1-3],基于邊緣檢測的車牌定位方法[4],基于數(shù)學(xué)形態(tài)學(xué)的車牌定位方法[5,6],基于遺傳算法的車牌定位方法[7],基于顏色信息的車牌定位方法[8-10],基于神經(jīng)網(wǎng)絡(luò)的車牌定位方法[11]??v觀這些方法,若僅單一利用紋理或邊緣信息,則當(dāng)車牌圖像的對比度較小及有類似車牌紋理特征干擾時,誤識率會增加?;谶z傳和神經(jīng)網(wǎng)絡(luò)的算法抗噪性好,但是計算量過大,速度慢,不能較好地滿足實時性。而大多數(shù)基于顏色的定位方法僅利用了車牌底色的顏色信息,未充分利用車牌的顏色特征。在基于顏色的定位方法中,基于邊緣顏色對車牌定位的算法考慮到了車牌底色和字符顏色的固定搭配,但由于應(yīng)用彩色邊緣檢測,影響了快速性,同時在圖像模糊的情況下,定位效果不理想。本文提出一種基于FCM顏色聚類的車牌定位方法,該方法基于高斯差分二值化圖像,基于形態(tài)濾波,利用車牌的結(jié)構(gòu)特征進(jìn)行車牌的粗定位,最后基于FCM顏色聚類實現(xiàn)車牌的精定位。實驗結(jié)果表明,該方法能夠快速、準(zhǔn)確地定位車牌,且抗干擾能力強。
人眼視覺的主觀性使圖像適合用模糊手段處理,訓(xùn)練樣本圖像的匱乏又需要無監(jiān)督分析,而模糊聚類正好滿足這兩方面的要求,因此成為圖像處理中一個較強的分析工具。
設(shè) X={x1,x2,…,xn}?Rs是特征空間 Rs上一個具有 n個樣本的有限數(shù)據(jù)集合,c是需要劃分的類數(shù),2≤c≤n。定義目標(biāo)函數(shù)Jm(U,V)為:
其中 k=1,…,n;i=1,…,c。
其中 U=[μik]為模糊劃分矩陣;V=[vi]為聚類原型矩陣;μik為第k個樣本對第i個類別的隸屬度;dik=‖xk-vi‖,‖·‖為 Rs中由內(nèi)積誘導(dǎo)出的范數(shù);m∈(1,∞)為一個加權(quán)指數(shù)。則目標(biāo)函數(shù)的最小值(或鞍點)可由式(2)迭代獲得:
(k=1,…,n;i=1,…,c)
設(shè)I(x,y)為原始圖像,將其轉(zhuǎn)換為灰度圖像,然后進(jìn)行高斯差分(DOG),即:
G(x,y,σ)是高斯函數(shù),即:
其中,(x,y)是圖像坐標(biāo),標(biāo)準(zhǔn)差σ是圖像平滑的尺度。由高斯函數(shù)的性質(zhì)及“3σ”定理可知,若設(shè)W為筆畫寬度,則當(dāng)σ=W/6時,在筆畫的中心位置DOG取得最大值。因此可根據(jù)W的大小動態(tài)地選擇σ。圖1為原始圖像,圖2為高斯差分結(jié)果。
由于DOG算子在字符中心取得最大值,因此為了突出字符區(qū)域,進(jìn)行二值化:
其中,M為高斯差分結(jié)果絕對值的最大值;A為一系數(shù),其值通過實驗選取。
二值化的結(jié)果如圖3所示。
為去除不必要的干擾信息,對二值圖像進(jìn)行中值濾波。這里選取的是N×N的方形濾波器,其中N為與筆畫寬度W最相近的奇數(shù)。濾波后的結(jié)果如圖4所示。
車牌具有明顯的結(jié)構(gòu)特征:標(biāo)準(zhǔn)車輛的前部車牌寬、高比為3.14(考慮到傾斜等原因,寬高比范圍可取1.3~3.5),車牌區(qū)域的面積也有一個變化范圍。
利用形態(tài)學(xué)中的閉運算得到連通域圖像如圖5所示,根據(jù)連通域的填充度和其面積進(jìn)行車牌粗定位。
連通域的填充度如下定義[10]:設(shè)連通域面積為 S1,連通域中像素的水平坐標(biāo)的最小值和最大值分別為Xmin和Xmax,垂直坐標(biāo)的最小值和最大值分別為Ymin和Ymax,它們所圍成的面積為 S=(Xmax-Xmin)×(Ymax-Ymin),則定義F=S1/S為連通域的填充度。
車牌區(qū)域F值較大,非車牌區(qū)域F值較小,選取合適的閾值,將F值小于閾值的非車牌區(qū)域剔除;然后,去除不符合車牌面積變化范圍的區(qū)域。此時,剩下的可能是車牌、車燈、散熱器等候選區(qū)域,如圖6所示。
我國車牌的顏色特征是車牌背景與字符顏色對比強烈,具有固定的顏色搭配,且各顏色像素所占比例有一定范圍。散熱器不具備車牌的顏色特征,它的顏色分布較為單一,多數(shù)散熱器的背景是黑色,前景為金屬色。車燈的色差則較小且沒有明顯的前后景。因此對這些區(qū)域進(jìn)行基于FCM的顏色聚類,分別得到各個聚類中心和顏色像素的比例分布,根據(jù)所得結(jié)果進(jìn)行判斷便可準(zhǔn)確定位車牌。圖7是候選區(qū)域聚類后的結(jié)果,圖8是定位結(jié)果。
2.4.1 候選區(qū)域的顏色聚類
對于每一個區(qū)域,通過初始化、顏色聚類和類合并進(jìn)行顏色中心和顏色分布的計算,以此判斷是否為車牌區(qū)域。
設(shè)有 M×N 個樣本,樣本序列為 X=(x1,x2,…,xk,…,xM×N)T,xk=(xkR,xkG,xkB)為顏色矢量,其中k是樣本的序列號,xkR、xkG、xkB分別是第 k個樣本在 RGB彩色空間中的紅、綠和藍(lán)顏色分量。算法步驟如下:
(1)初始化:由于候選區(qū)域的顏色種類較少,設(shè)置最大分類數(shù) C=6,加權(quán)指數(shù) m=2。
(2)顏色聚類:利用 FCM求出 j=2~6的各個目標(biāo)函數(shù) Jm(U,V)。 按下式計算 resj[14]:
其中,d是j類中任意兩類類間距的最大值,Jm(U,V)為此時的目標(biāo)函數(shù)。
比較resj,resj為最大值時的分類為最佳的分類。求取各個聚類中心和顏色的分布情況。
(3)類合并:計算各個聚類中心間的色差,生成色差矩陣Dm,如果式(7)成立,則把兩類進(jìn)行合并,同時求取類合并后的新的聚類中心
其中Di,j是任意兩類i和 j的類間距,Dmax是此時色差矩陣中的最大值,T是經(jīng)驗閾值。
2.4.2 車牌的精確定位
車牌的候選區(qū)域主要有車牌、散熱器和車燈等,需要根據(jù)顏色聚類的結(jié)果,剔除散熱器、車燈等干擾區(qū)域,準(zhǔn)確地提取車牌。
對大量車牌圖片進(jìn)行顏色聚類,獲得其顏色聚類中心范圍如表1所示。
表1 車牌顏色聚類中心
受合并閾值的影響,白色車牌會被分成2類或3類,當(dāng)分成2類時,由于黑色與紅色的色差小于黑色與白色的色差,因此紅色和黑色被合并為一類,此時,所形成的新的聚類中心不能很好地反映字符的聚類中心,但這并不影響底色的聚類中心。因此在表1中,對白色車牌只給了底色的顏色范圍。
對散熱器進(jìn)行顏色聚類,可得到兩個聚類中心,設(shè)其顏色矢量分別為 C1=(C1R,C1G,C1B)和 C2=(C2R,C2G,C2B),兩類樣本點的比例分別是 P1%和 P2%,且 P1>P2,則 C1類對應(yīng)的顏色為底色,然后對照表1中該底色車牌的字符RGB值范圍,就可判斷該區(qū)域是否為散熱器。
車燈經(jīng)過顏色聚類后,各類樣本點所占比例較為均衡,最大的比例一般不會超過60%;同時車燈各類樣本點的色差很小,即車燈沒有藍(lán)白、黃黑、白黑這些色差較大的組合,據(jù)此可判斷該區(qū)域是否為車燈。
對圖6中上部連通域?qū)?yīng)的車牌候選區(qū)域進(jìn)行顏色聚類,可得到兩個聚類中心,C1=(16.01,21.12,36.87),C2=(66.82,89.43,116.78),并且兩類樣本點的比例分別是84%和16%。如果該區(qū)域是車牌,則比例大的顏色為底色,根據(jù)其RGB值可知底色是藍(lán)或黑色。對照表1中藍(lán)牌和黑牌的字符RGB值范圍,可判斷該區(qū)域為干擾區(qū)域。由于只有兩個車牌候選區(qū)域,因此下部連通域所對應(yīng)的圖像區(qū)域為車牌。
對在不同背景、不同光照條件下拍攝的250幅分辨率為640×480的圖像應(yīng)用本文算法,其中100幅圖像為強光(晴朗)條件下獲得,100幅為逆光條件下獲得,50幅為人為輕微抖動相機的情況下獲得,實驗結(jié)果如表2所示。經(jīng)測試,總體有效定位率在98%以上。該算法在Intel PIV2.0 GHz、512 MB內(nèi)存計算機,Matlab 6.5環(huán)境下,平均運行時間為3.74 s。如果該算法在C環(huán)境下,運算速度會大大提高,能夠滿足實時性。
表2 三種條件下定位結(jié)果
部分測試結(jié)果如圖9~圖11所示,圖9是當(dāng)光照較強時的車牌定位結(jié)果,圖10是逆光時的車牌定位結(jié)果,圖11是拍攝時攝像機輕微抖動,即圖像模糊時的車牌定位結(jié)果。
本文提出了一種基于FCM顏色聚類的車牌定位方法。該方法基于高斯差分進(jìn)行車牌圖像的二值化,突出了車牌的字符特征;基于形態(tài)濾波,應(yīng)用車牌的結(jié)構(gòu)特征進(jìn)行車牌的粗定位;基于FCM技術(shù)進(jìn)行顏色聚類,利用車牌的顏色特征進(jìn)行車牌的精定位。該方法能夠很好地解決對比度較小、有類似車牌紋理特征干擾或車牌圖像模糊、字符邊界不清等情況下的車牌定位問題。實驗表明本文方法具有很好的定位效果。進(jìn)一步的工作是在顏色信息丟失及車牌圖像質(zhì)量退化嚴(yán)重時對本方法進(jìn)行改進(jìn)。
[1]肖淑琴,劉錦高.基于紋理特征和連通域分析的車牌定位[J].計算機科學(xué),2009,36(4A):290-293.
[2]朱成軍,蒲菊華,高磊,等.基于 Tophat變換和文字紋理的車牌定位算法[J].北京航空航天大學(xué)學(xué)報,2008,34(5):541-545.
[3]應(yīng)宏徽,姚明海,張永華.基于紋理分析和垂直投影的車牌定位算法[J].控制工程,2004,11(5):432-435.
[4]KIM S,KIM D,RYU Y,et al.A robust license plate extraction method under complex image conditions[C].Proc IEEE 16th International Conference on Pattern Recognition.Seoul South Korea,2002:216-219.
[5]李剛,曾銳利,林凌,等.基于數(shù)學(xué)形態(tài)學(xué)的車牌定位算法[J].儀器儀表學(xué)報,2007,28(7):1323-1327.
[6]戴青云,余英林.一種基于小波與形態(tài)學(xué)的車牌圖像分割方法[J].中國圖象圖形學(xué)報,2005,5A(5):410-415.
[7]陳梅.改進(jìn)遺傳算法在車牌定位中的應(yīng)用[J].現(xiàn)代電子技術(shù),2008(10):155-159.
[8]張慶豐,岑豫皖,杜培明.基于顏色的車牌定位技術(shù)的研究[J].安徽工業(yè)大學(xué)學(xué)報,2005,22(1):63-67.
[9]聶洪印,周衛(wèi)東,劉輝.多顏色模型和綜合特征下的車牌定位新方法[J].計算機工程與應(yīng)用,2010,46(12):221-223.
[10]李文舉,梁德群,張旗,等.基于邊緣顏色對的車牌定位新方法[J].計算機學(xué)報,2004,27(2):204-208.
[11]趙濤,楊曉莉,王緒本,等.一種用于車牌定位的改進(jìn) BP神經(jīng)網(wǎng)絡(luò)方法[J].計算機仿真,2007,24(2):240-243.
[12]鄭華利,周獻(xiàn)中,王建宇.FCM圖像分割算法的特征分析與改進(jìn)[J].計算機工程,2004,30(5):17-18.
[13]高新波.模糊聚類分析及其應(yīng)用[M].西安:西安電子科技大學(xué)出版社,2004.
[14]Wang Weina,Zhang Yunjie,Li Yi,et al.The global fuzzy C-means clustering algorithm[C].Proceedings of the 6th World Congress on Intelligent Control and Automation,Dalian,2006:3604-3607.