復雜光照下的車牌圖像二值化新方法

王 珺，彭進業(yè)，吳 俊，李丹嬌

（西北工業(yè)大學 電子信息學院，陜西 西安 710129）

車牌識別系統(tǒng)是智能交通管理的一個重要組成部分。車牌識別系統(tǒng)主要由車牌定位、字符分割、字符識別等三部分組成。由于字符分割和識別是基于車牌二值化進行的，因此其效果將直接影響整個車牌識別系統(tǒng)的性能。然而，車牌區(qū)域經(jīng)常受到光照變化的影響，出現(xiàn)光照過度、光照不足、光照不均等復雜光照的情況，給車牌圖像的二值化帶來很大的困難。所以，復雜光照下的車牌圖像二值化，成為車牌識別系統(tǒng)中的技術(shù)難點之一。

目前，針對不同光照下的車牌圖像二值化問題，提出了各種不同的方法。對于光照不足或光照過度的情況，文獻[1]提出先用高低帽變化增強車牌圖像的字體，再采用迭代圖像分塊的二值化方法，該方法對高低帽變換后圖像質(zhì)量要求較高，然而高低帽變換的窗口大小不易選擇；對于光照不均的情況，文獻[2]提出用同態(tài)濾波增強再用Bernsen方法對車牌圖像二值化，該方法耗時較多并且同態(tài)濾波器的截止頻率不易確定；對于更一般的復雜光照問題，文獻[3]提出背景補償法，通過車牌先驗知識、車牌圖像均值和標準差并結(jié)合背景照度函數(shù)求出最優(yōu)閾值；文獻[4]在文獻[3]的基礎(chǔ)上做出改進，修正了其車牌區(qū)域范圍和字符分布概率，以適應同態(tài)濾波后的車牌圖像；文獻[5]采用遙感圖像處理中的灰度拉伸方法提高灰度圖像對比度，再通過設(shè)定的固定閾值對所有車牌圖像二值化。這些研究方法都是在通用的RGB三原色到灰度的轉(zhuǎn)換公式Gray=0.30×R+0.59×G+0.11×B得到的灰度圖上做不同處理。由這一通用的轉(zhuǎn)換公式得到的灰度圖不一定能很好區(qū)分字符和背景，從而影響二值化效果。

文中方法從這一角度出發(fā)，提出利用車牌顏色較為單一的特點，通過重新分配R、G、B顏色分量的權(quán)重構(gòu)造新的車牌灰度圖像，從根本上提高了車牌灰度圖像的質(zhì)量；再利用空域同態(tài)濾波，在進一步提高對光照魯棒性的同時，較傳統(tǒng)方法，降低了同態(tài)濾波的運算時間，避免了傳統(tǒng)方法中選擇高通截止頻率不準確的問題；并且采用雙閾值二值化方法，更全面的兼顧全局和局部信息對圖像二值化。文中方法能在不影響正常光照二值化效果的前提下，有效提高復雜光照下二值化效果，滿足實際應用。

1 提出的車牌圖像二值化方法

在實際車牌圖像處理過程中,經(jīng)常遇到由復雜光照引起的光線異常反射造成車牌圖像降質(zhì)的情況，如圖1所示，出現(xiàn)光照過度、光照不足和光照不均的情況。對其直接進行二值化將會丟失很多信息，甚至嚴重影響后面的處理過程。因而，文中分別從提高由彩色圖像得到灰度圖像的質(zhì)量和二值化方法的優(yōu)化，兩方面入手提高復雜光照下車牌圖像二值化效果。

圖1 不同光照車牌圖像Fig.1 Vehicle license plate images of different light

1.1 構(gòu)造新的灰度圖像

基于灰度圖像的車牌二值化算法[6]，是選擇一個合適的閾值，將車牌上的字符與車牌背景有效分開。因此，灰度圖像質(zhì)量的好壞將直接影響到車牌圖像二值化的效果，如圖1所示。

觀察發(fā)現(xiàn)，國內(nèi)車牌圖像顏色較為單一，只包含兩種（藍、白或黃、黑）或3種顏色（黑、白、紅），并且字符顏色與背景顏色不同。因此，新的灰度圖像對這兩種或3種顏色區(qū)分度越大就越有利于提高車牌圖像二值化效果。由于目前車牌數(shù)據(jù)的采集設(shè)備基本都是基于RGB彩色空間的，并且其他顏色空間一般也是由RGB彩色空間轉(zhuǎn)換得到的，所以文中從RGB彩色空間出發(fā)，分析在不同光照下，車牌字符與背景顏色在各個顏色通道中的分布情況與二值化效果的關(guān)系，如圖2所示。

分別為提取光照過度（圖 1（a））、光照不足（圖 1（b））和光照正常（圖1（d））的彩色車牌圖像中的R、G、B顏色通道圖像，對各個顏色通道中的字符顏色與背景顏色采樣后，得到各個顏色通道中字符與背景顏色的采樣分布圖。圖中橫坐標為0到255灰度級，縱坐標為采樣點數(shù)，實線代表背景顏色，虛線代表字符顏色。為了觀察方便，各個通道分布圖的縱坐標略有縮放，實際上字符與背景顏色在各個通道中的采樣點數(shù)完全相同。

分析圖2可以發(fā)現(xiàn)，在光照過度（圖2（a））和光照不足（圖2（b））的情況下，B通道中字符與背景顏色分布幾乎重合，說明通過B分量已經(jīng)無法區(qū)分出字符與背景區(qū)域，甚至會混淆字符與背景區(qū)域，給車牌圖像二值化帶來干擾；而在R通道和G通道中，字符與背景顏色明顯成雙峰分布，說明字符與背景顏色在R通道和G通道中區(qū)分度較大。在正常光照（圖2（c））情況下，B通道中的雙峰間隔小于 R和G通道。由于各個顏色分量對同種顏色的區(qū)分度不同，所以對二值化效果的貢獻不同。其中R分量和G分量字符與背景的區(qū)分度大，并且在不同光照下受光照影響較小，有利于車牌圖像二值化；而B分量字符與背景的區(qū)分度較小，甚至使字符與背景混在一起對車牌圖像二值化產(chǎn)生干擾。

圖2 不同光照下字符與背景顏色在R、G、B通道中的分布圖Fig.2 Distribution of R,G,B channels of character and background color under different light

對于光照不均的情況主要是由光照過度、光照不足和光照正常合成的（如圖1（c）所示），對于光照不均的情況，其分析方法與光照過度、光照不足和光照正常的情況相同，文中不再重復論述。

通過對不同顏色組合的車牌在不同光照下 （各100副）字符與背景顏色分別在RGB3個通道的采樣和二值化效果的分析，發(fā)現(xiàn)在藍白車牌中，R分量對字符與背景的區(qū)分度最大，雙峰平均間隔約為63個灰度級，G分量雙峰平均間隔約為28個灰度級，B分量區(qū)分度較小甚至產(chǎn)生較大干擾；在黃黑車牌中，G分量區(qū)分最大，雙峰平均間隔約為152個灰度級，R分量約為93個灰度級，B分量區(qū)分度較??；在黑白紅三色車牌中，R分量對紅色與白色區(qū)分度較小，G分量對3種顏色區(qū)分度最大，B分量次之。然而，雖然對某種顏色的車牌字符與背景顏色會有一種分量區(qū)分度最大，但是如果直接把該分量的灰度圖作為新的灰度圖，會使顏色信息過于單一，對某一分量依賴性過大，仍然會導致二值化效果不理想。所以在降低某些顏色分量對二值化效果產(chǎn)生干擾的同時，又要充分利用原始彩色圖像提供的顏色信息。文中提出通過重新賦予R、G、B分量的權(quán)重構(gòu)造更適合車牌二值化灰度圖的方法。

通過分析每種分量的雙峰平均間隔和采用下述的二值化效果實驗，可得到以下對不同顏色車牌構(gòu)造灰度圖的規(guī)則。該規(guī)則適用于同種車牌顏色下的不同光照。

由此規(guī)則構(gòu)造出的新灰度圖像與原始從RGB三原色到灰度的轉(zhuǎn)換公式得到的灰度圖像的灰度直方圖如圖3所示。

圖3 原始灰度圖像和新灰度圖像直方圖Fig.3 Histogramof original grey images and text constitution grey images

分析圖3可以發(fā)現(xiàn)，新構(gòu)造出的灰度圖的雙峰分布較原始灰度圖像更明顯。從圖3(a)與圖3(b)和圖3(e)與圖3(f)的比較可以看出新灰度圖雙峰間灰度等級間隔更大；從圖3(c)與圖3（d)可以看出新灰度圖的直方圖較原來的直方圖雙峰分布更明顯。由此構(gòu)造規(guī)則可以得到更適合車牌圖像二值化的灰度圖像。

1.2 基于空域同態(tài)濾波的增強

通過構(gòu)造新的灰度圖能在一定程度上加大字符與背景顏色的可區(qū)分度并抑制區(qū)分度較差的顏色分量帶來的干擾，可以提高灰度圖的質(zhì)量。但是在復雜光照下，特別是光照不均情況下，受入射和反射光的影響對復雜光照車牌圖像增強是很有必要的，可以進一步提高對光照的魯棒性。此類方法主要有以直方圖均衡化為代表的灰度變換法和基于照明—反射模型的同態(tài)濾波法。直方圖均衡化能增強圖像的細節(jié)，但是會出現(xiàn)塊效應的問題。文中采用基于光照—反射模型的同態(tài)濾波法對圖像進行濾波。

傳統(tǒng)的同態(tài)濾波是在頻域進行的。頻域同態(tài)濾波有以下不足[7]：1）要對整幅圖像處理完之后才能看到結(jié)果；2）計算FFT和IFFT要擴展的復數(shù)域占用運算時間和空間較大；3）高通截止頻率的選擇較為困難。空域同態(tài)濾波可以有效克服上述不足。其基本思想是先對圖像低通濾波，再用原圖減去低通濾波后的圖像，以達到抑制低頻增強高頻的增強目的?？紤]到文獻[8]的同態(tài)濾波方法會降低圖像的對比度，不利于圖像的二值化，并且還涉及低通濾波的權(quán)值取舍、邊緣效應補償?shù)葐栴}，有待進一步研究，所以文中采用滑塊鄰域平均[9]的空域同態(tài)濾波。

一副灰度圖像f（x，y）可以看成入射分量i（x，y）和反射分量r（x，y）的乘積：f（x，y）=i（x，y）×r（x，y）。 滑塊鄰域平均的空域同態(tài)濾波是對上式取對數(shù)分離入射分量和反射分量；通過滑塊鄰域平均法構(gòu)造低通濾波器LPF，文中設(shè)置滑塊窗口的大小為車牌圖像寬的0.1倍并且使之為奇數(shù)；再用取對數(shù)后的圖像減去低通濾波后的圖像得到濾除低頻分量的灰度圖；最后對此圖進行對數(shù)反變換得到最終同態(tài)濾波的增強圖像g（x，y）。文中空域同態(tài)濾波算法的流程如圖4所示。

圖4 空域同態(tài)濾波算法流程示意圖Fig.4 Schematic flow of airspace homomorphic filtering algorithms

圖 4 中，f（x，y）表示輸入的灰度圖像；log 表示對數(shù)運算；LPF表示滑塊鄰域平均低通濾波；exp表示指數(shù)運算；g（x，y）表示輸出的同態(tài)濾波增強圖像。

1.3 基于雙閾值的車牌二值化方法

文獻 [8]利用全局二值化思想對Bernsen算法進行了改進，同時考慮灰度圖像的整體和局部特征，又最大避免了偽影及筆畫斷裂現(xiàn)象，實驗驗證該算法在一般情況下優(yōu)于單獨采用Otsu法或Bernsen法。文中采用其求取局部閾值的方法并結(jié)合Otsu法對車牌圖像二值化，算法描述過程如下：

2）計算局部閾值其中采用平均濾波的方法對閾值曲面進行平滑，以避免局部二值化易出現(xiàn)偽影的情況。

其中，局部窗口大小為,文中取w=1。

3）利用全局閾值和局部閾值逐點二值化

① 若f（x，y）>（1+α）×T1，b（x，y）=1；若f（x，y）＜（1-α）×T1，b（x，y）=0；其中：α 取 0.20～0.40 之間任意值，文中取 α=0.25。

② 如果（1-α）×T1≤f（x，y）≤（1+α）×T1

2 實驗結(jié)果及分析

文中數(shù)據(jù)是由安裝在郊縣地區(qū)路口全天候工作的攝像頭采集得到。實驗的開發(fā)工具為Visual C++6.0與Opencv函數(shù)庫，系統(tǒng)平臺為 Windows XP，CPU配置為 Intel Core2 Duo CPU 2.8 GHz，內(nèi)存2 GB。實驗算法流程如圖5所示。

圖5 算法流程圖Fig.5 Flow chart of proposed method

現(xiàn)對光照過度、光照不足和光照不均的各20副車牌，分別采用基于背景補償?shù)膫鹘y(tǒng)方法[4]、基于原始灰度圖和文中方法即構(gòu)造灰度圖再采用空域同態(tài)濾波和雙閾值二值化的方法進行二值化處理。3種光照情況下各選擇1副典型車牌圖像為代表，其二值化效果如圖6所示。

圖6 幾種方法的二值化效果Fig.6 Results of several binarization methods

由圖6可以看出，文中方法噪聲顆粒[11]遠低于基于原始灰度圖的二值化效果，并且漢字和字符更為清晰。這是因為文中根據(jù)不同分量對車牌區(qū)域二值化效果的貢獻程度重新分配各分量的權(quán)重，構(gòu)造新的灰度圖，在提高灰度圖雙峰分布效果的同時，濾除了在復雜光照下對字符和背景顏色貢獻較小甚至產(chǎn)生干擾的分量，所以在采用文中構(gòu)造灰度圖二值化時能得到更清晰、噪聲顆粒數(shù)更少的二值化圖像。而原始灰度圖沒有考慮各個分量在復雜光照時對二值化效果的貢獻情況。

分別統(tǒng)計了傳統(tǒng)方法和文中方法處理60副車牌圖像平均耗費時間情況，傳統(tǒng)方法方法消耗0.045 138/s，文中方法消耗0.027 964/s。并且由圖6可以看出，文中方法取得較好效果。這是因為：1）由于文中采用空域同態(tài)濾波，不需要進行FFT和IFFT的復數(shù)域運算，所以文中算法耗時僅為傳統(tǒng)方法的61.95%并且適合應用于實時的車牌識別系統(tǒng)；2）文中算法通過構(gòu)造更利于車牌圖像二值化的灰度圖從根本上提高了灰度圖的質(zhì)量，而傳統(tǒng)方法方法是在原始灰度圖上處理的；3）文中方法采用空域同態(tài)濾波，低通濾波窗口大小隨車牌的大小而改變，達到自適應濾波，而傳統(tǒng)方法方法是對不同光照車牌采用固定截止頻率濾波，所以濾波效果沒有文中方法理想；4）文中方法采用雙閾值方法二值化，各點處閾值隨局部閾值改變，而傳統(tǒng)方法是利用背景補償對二值化閾值改進得到固定閾值，所以導致漢字的二值化效果不是很理想。

3 結(jié) 論

復雜的光照變化經(jīng)常影響車牌圖像二值化效果，降低車牌識別系統(tǒng)的整體性能。文中提出了一種通過構(gòu)造灰度圖從根本上提高車牌灰度圖質(zhì)量的方法。利用空域同態(tài)濾波在提高算法對光照魯棒性的同時克服了傳統(tǒng)頻域同態(tài)濾波不能自適應選取截止頻率、占用較大運算時間和空間等不足。同時結(jié)合雙閾值方法實現(xiàn)動態(tài)閾值的車牌圖像二值化。實驗結(jié)果表明，重新構(gòu)造灰度圖能有效提高車牌圖像二值化效果，并且文中方法對光照有良好的魯棒性，已在自主研發(fā)的車牌識別系統(tǒng)中得到良好的應用。

[1]趙建蕾，王匯源，方穎.偏暗或泛白背景的車牌圖像二值化方法[J].計算機工程，2008，34（6）：210-213.

ZHAO Jian-lei， WANG Hui-yuan， FANG Ying.Binarization of license plate images with unclear and faded background[J].Computer Engineering，2008，34（6）：210-213.

[2]歐陽慶.不均勻光照下車牌圖像二值化研究[J].武漢大學學報：工學版，2006，39（4）：143-146.

OU YANG Qing.Study on license plate binarization method under nonuniform illumination[J].Engineering Journal of Wuhan University，2006，39（4）：143-146.

[3]YANG Feng， MA Zheng， XIE Mei.A novel binarization apprach for license plate[C]//LUO Fang-lin,1st IEEE conf on IndustrialElectronicsand Applications.Singapore， s.n.，2006：1-4.

[4]陳亮，杜宇人.改進背景補償?shù)能嚺茍D像二值化算法[J].揚州大學學報：自然科學版，2008，11（1）：55-58.

CHEN Liang，DU Yu-ren.Improved background compensation algorithm of license plate image binarization[J].Journal of Yangzhou University：Natural Science Edition，2008，11（1）：55-58.

[5]毛曉蛟.基于車牌識別的二值化算法研究[J].電腦知識與技術(shù)，2010，6（12）：2999-3001.

MAO Xiao-jiao.Research of binary conversion based on license plate recognition [J].Computer Knowledge and Technology，2010，6（12）：2999-3001.

[6]Rahman C A，Badaw Y W，Radmanesh A.A real time vehicle’s license plate recognition system [C]//IEEE Conference on Advanced Video and Signal Based Surveillance，2003：163-166.

[7]WANG Wei-zhi，LIU Bing-han.The vehicle edge detection based on homomorphism filtering and fuzzy enhancement in Night-time environments [C]//2010 IEEE International Conference on Intelligent Computing and Intelligent Systems， 2010：714-718.

[8]陳丹，張峰，賀貴明.一種改進的文本圖像二值化算法[J].2003，計算機工程，2003，29（13）：85-86.

CHEN Dan， ZHANG Feng， HE Gui-ming.An improved rinarization algorithm for document image [J].Computer Engineering，2003，29（13）：85-86.