雨天條件下基于總變差和頻域處理的車牌檢測

陳 麗，黃玉清，郭 江

(西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621000)

雨天條件下基于總變差和頻域處理的車牌檢測

陳 麗，黃玉清，郭 江

(西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621000)

在惡劣的雨天環(huán)境中，隨機分布了大量快速運動的雨滴，造成目標(biāo)物體與背景光線的反射和折射，使得圖像對比度降低、成像模糊、細節(jié)信息丟失，從而降低成像系統(tǒng)獲取的汽車圖像質(zhì)量，影響了車牌檢測的效果。針對該問題，提出了一種基于相對總變差模型和頻域處理的車牌檢測方法。首先,基于相對總變差模型分解圖像，可以得到包含雨線的紋理圖；然后，將紋理圖作離散傅里葉變換后，在頻域內(nèi)有效地對雨線進行分析和濾除，對去除雨線后的紋理圖與結(jié)構(gòu)圖重構(gòu)得到去雨后的汽車圖像；最后，采用基于局部統(tǒng)計濾波的方法對去除雨線后的圖像進行車牌檢測。試驗結(jié)果表明，該方法可以有效地檢測出雨天條件下的車牌，并且車牌檢測準(zhǔn)確率高、耗時短，具有實際工程應(yīng)用意義。

智能交通； 車牌檢測； 頻域處理； 傅里葉變換； 濾波； 圖像

0 引言

智能交通系統(tǒng)(intelligent transportation system，ITS)在日常生活中扮演著重要角色[1]。車牌識別系統(tǒng)是ITS的重要組成部分，一般分為車牌檢測、字符分割和字符識別三部分[2-3]。車牌檢測是車牌識別系統(tǒng)的關(guān)鍵步驟[4]，很多文獻[5-8]已經(jīng)針對霧天條件下的車牌檢測作了相關(guān)研究，但雨天條件下的車牌檢測相關(guān)研究相對較少。

針對圖像中雨線去除的問題，已經(jīng)有不少優(yōu)秀的研究成果。Kang等[9]提出利用雙邊濾波器分解圖像的方法去除雨線；周遠等[10]采用符合人腦感知與理解信息的內(nèi)部生成機制理論,結(jié)合稀疏編碼方法實現(xiàn)了單幅圖像的雨線檢測與去除。

本文首先采用相對總變差模型分解圖像；然后，圖像經(jīng)傅里葉變換后，在頻域內(nèi)對雨線進行分析和濾除；最后，采用基于局部統(tǒng)計濾波方法對去除雨線后的汽車圖像進行車牌檢測。

1 基于相對總變差模型的圖像分解

相對總變差模型可以有效分解圖像中的結(jié)構(gòu)信息和紋理信息，并且對紋理的規(guī)則或?qū)ΨQ情況沒有特別要求。該模型具有一般性和隨意性，適用于非統(tǒng)一的或各向異性的紋理[11]，可以在頻域內(nèi)對分解得到的紋理信息進行分析和濾波。

在實際分解過程中，不同圖像的紋理是千變?nèi)f化的，不能直接確定紋理的類型。因此，引入D來度量一個總像素窗口的總變差，將D按x、y兩個方向分解為：

(1)

(2)式中：p為二維圖像像素點的索引；q為以p點為中心的正方形區(qū)域內(nèi)所有像素點的索引；R(p)為以p為中心的矩形區(qū)域；S為輸出的結(jié)構(gòu)圖像；gp,q為高斯核函數(shù)。

該高斯核函數(shù)可以寫為：

(3)

式中：σ為窗口大小的影響因子。

σ決定了窗口的大小，其選取取決于紋理的尺度大小，對結(jié)構(gòu)紋理分解至關(guān)重要。一般σ在0～8之間。為了得到更好的結(jié)構(gòu)紋理分解效果，經(jīng)過試驗，將σ設(shè)為3。

為了從紋理圖像中提取結(jié)構(gòu)圖，還引入L來度量一個新窗的內(nèi)在變差，同理將其按x、y兩個方向分解為：

(4)

(5)

(6)

由基于相對總變差的模型可以得到結(jié)構(gòu)圖S，如果用T表示紋理圖，則：

T=I-S

(7)

基于相對總變差模型，對包含雨線的汽車圖像進行結(jié)構(gòu)紋理分解，效果如圖1所示。圖1(b)中沒有明顯雨線，圖1(c)中包含紋理部分和雨線。后文會對分解所得的包含雨線的紋理圖中作去除雨線處理。

圖1 結(jié)構(gòu)紋理分解效果圖

2 汽車圖像雨線去除

為了去除紋理圖中的雨線，本文將圖像作離散傅里葉變換(discrete Fourier transform，DFT)之后，在頻域內(nèi)進行雨線分析和濾除。該方法將雨線作為一種周期性噪聲，并將該周期性噪聲作為一個集中爆發(fā)的能量出現(xiàn)在傅里葉變換的圖像中,從而通過抑制雨線作為噪聲所產(chǎn)生的能量來達到去除雨線的目的。

2.1 原理與實現(xiàn)過程

基于周期性噪聲在傅里葉變換圖像中作為能量的思想，找到了一種能有效去除雨線的方法。

①將包含雨線的紋理圖T進行離散傅里葉變換,得到傅里葉圖像F1，并規(guī)定F1中所有系數(shù)值在0～1的范圍內(nèi)。為了保證系數(shù)值顯著，以0.5作為閾值，F(xiàn)1中任何小于0.5的系數(shù)值都被換成0。

紋理圖和原始圖像的離散傅里葉變換效果圖分別如圖2、圖3所示。

圖2 紋理圖的離散傅里葉變換效果圖

圖3 原始圖像的離散傅里葉變換效果圖

圖2(a)為紋理圖T，其中兩條帶箭頭的黑線分別為雨的下落方向和雨的能量爆發(fā)方向；圖2(b)為傅里葉圖像F1；圖2(c)為被閾值化的傅里葉圖像F2。在F2中，虛線白框框出的區(qū)域是由于雨的能量爆發(fā)引起的。

圖3(a)～圖3(c)分別表示帶雨線的原始圖像及其傅里葉圖像和閾值傅里葉圖像。通過對比可以發(fā)現(xiàn)，如果選擇直接對原始圖像進行傅里葉變換，在頻域內(nèi)對雨進行分析時，圖像的部分非雨元素被歸為雨元素，會造成過度去雨，使圖像失去有用元素。由此可以證明，在對圖像進行分解之后再進行傅里葉變換的方法更可靠。

②確定雨的能量爆發(fā)方向。由于周期性噪聲的方向(假設(shè)雨為正弦噪聲)垂直于雨線的方向，那么能量爆發(fā)的方向垂直于圖像T中雨線的方向。為了定位閾值傅里葉圖像F2中雨的能量爆發(fā)方向，對每個方向的能量構(gòu)造能量直方圖。因為T中雨線的方向相對于垂直方向不超過45°也不低于-45°，所以直方圖的方向范圍也為-45°～45°。能量爆發(fā)方向分析如圖4所示。

圖4 能量爆發(fā)方向分析示意圖

在圖4(a)中，包含了能量直方圖計算過程中所考慮的所有方向(用91條白色線表示)。由于閾值傅里葉圖像F2是沿中心軸垂直對稱的，因此在能量直方圖計算過程只需要考慮閾值傅里葉圖像F2的右半部。圖4(b)是閾值傅里葉圖像F2右半部的例子，其能量爆發(fā)的方向是23°。圖4(c)為閾值傅里葉圖像F2右半部的能量直方圖，其方向在-45°～45°之間。從該圖也可以看出，從能量直方圖選擇一點可以給出能量爆發(fā)的方向信息；同時，該圖顯示了能量直方圖的峰值，且其方向為23°。

得到雨的能量爆發(fā)方向之后，在該方向上設(shè)置一個雨罩，并且將雨罩應(yīng)用于傅里葉圖像F1，消除了傅里葉圖像F1中雨的能量部分。對傅里葉圖像F1求離散傅里葉反變換，得到去除雨線后的紋理圖T′如圖5所示。

圖5 去除雨線后的紋理圖

根據(jù)上述算法，可以得到去除雨線后的紋理圖T′，然后再采用基于相對總變差圖像分解的方法，將結(jié)構(gòu)圖S與T′相加來重構(gòu)圖像，即：

I′=S+T′

(8)

式中：T′為重構(gòu)得到圖像，即去除雨線后的汽車圖像。

2.2 去雨效果分析

為了驗證本文方法的去雨效果，通過Adobe Photoshop軟件對無雨的汽車圖像人工添加雨線。

Azam 等[12]采用在頻域內(nèi)進行雨線分析和濾除的方法直接對雨天圖片的灰度圖進行去雨處理。這種方法造成了過度去雨，可以發(fā)現(xiàn)去除雨線后的圖像部分輪廓變得模糊一些，這是由于在去除雨線時部分輪廓信息被當(dāng)成雨濾除掉了。本文是對圖像分解后的紋理圖在頻域內(nèi)進行去雨處理，對比表明，本文方法更有效。

周遠等[10]采用符合人腦感知與理解信息的內(nèi)部生成機制(internal generative mechanism,IGM)有關(guān)理論,結(jié)合基于形態(tài)學(xué)分量分析(morphological component analysis,MCA)的稀疏編碼方法，實現(xiàn)了圖像中的雨線檢測與去除。但在去除雨線的同時，該方法對車牌字符和車牌檢測效果影響較大，并且稀疏編碼過程比較耗時，使時效性大大降低。與周遠等的方法比較，本文方法得到的去除雨線后的汽車圖像可以大大提高車牌檢測準(zhǔn)確率，并且具有時效性。

3 車牌檢測

對去除雨線后的汽車圖像進行車牌檢測，由于我國車牌一般是由一個漢字和幾個數(shù)字或字母組成，車牌區(qū)域的顯著特征在于它由若干個相同高度或?qū)挾鹊淖址凑找欢ǖ囊?guī)則排列而成。在進行車牌檢測時會出現(xiàn)多個疑似車牌區(qū)域的候選區(qū)域，而真正的車牌區(qū)域內(nèi)會出現(xiàn)多個與車牌字符幾何特征相似的連通體，所以可以通過匹配車牌字符幾何特征的方式篩選出真正的車牌區(qū)域。本文采用基于局部統(tǒng)計濾波器的車牌檢測方法。首先，比較整幅圖像的標(biāo)準(zhǔn)差和均值來進行二值化；然后，利用局部統(tǒng)計濾波器及形態(tài)學(xué)開運算檢測出所有的可能車牌區(qū)域；最后，根據(jù)車牌字符的排列規(guī)則，設(shè)計兩組變長的方波模板對候選車牌區(qū)域進行匹配，最佳匹配的為車牌區(qū)域，并以最佳切割位置切割車牌區(qū)域。

3.1 標(biāo)準(zhǔn)差和均值二值化

在灰度圖中，由于車牌字符的密度和背景特點，車牌區(qū)域具有明顯的局部不規(guī)則性[12]。也就是說，字符和背景之間的像素對比度很有可能在車牌區(qū)域體現(xiàn)，在二值化過程中發(fā)現(xiàn)灰度圖中的所有局部不規(guī)則區(qū)域形成了高度密集的白色像素區(qū)。在二值化過程中，采用一個大小為l×l的窗與重構(gòu)得到的灰度圖，按照文獻[13]中的步驟進行卷積來計算局部標(biāo)準(zhǔn)差，且把每個像素點作為窗的中心，最終得到與灰度圖I′同樣大小的標(biāo)準(zhǔn)差圖SD。再用一個大小為l×l的窗與灰度圖I′卷積計算得到均值圖M。根據(jù)標(biāo)準(zhǔn)差圖像SD和均值圖像M，并基于以下條件得到二值圖B1。具體計算公式如下：

(9)

式中：(i,j)為像素位置；k為在0～1范圍內(nèi)的經(jīng)驗值，對于雨天圖像,k的最佳值為0.3。

上文所述的l為字符與字符之間的間距，通過使用本文二值化方法可以把所有分開的字符連接在一起，一般l=5。

二值化法效果圖如圖6所示。

圖6 二值化法效果圖

3.2 局部統(tǒng)計濾波和形態(tài)學(xué)開運算

本文采用局部統(tǒng)計濾波器來保留二值圖中高度密集的白色區(qū)域，但是有一些微小的高度密集區(qū)域被同時保留下來。采用一個大小為h×h的窗與二值圖B卷積，h為車牌高度的一半，由于采用的車牌高度為40像素，那么h為20像素。同時，對窗口中的白色像素計數(shù)，如果局部窗口中的白色像素超過50%，則將中心像素點置1，否則置0。經(jīng)局部統(tǒng)計，濾波后的圖像中，除了存在多個大塊白色區(qū)域以外，還存在微小的白色區(qū)域，這些微小的白色區(qū)域會給檢測帶來不必要的干擾。

采用數(shù)學(xué)形態(tài)開運算[14](先腐蝕后膨脹)消除了在上一階段存在的微小白色區(qū)域，并且大塊的白色區(qū)域面積相對增大，在圖像中更加明顯。運算過程中，采用一個半徑為20像素的圓盤形結(jié)構(gòu)元，其半徑取決于車牌區(qū)域的大小，最后得到的白色區(qū)域為候選車牌區(qū)域，要得到實際的車牌還需下一階段處理。

3.3 車牌區(qū)域匹配

為了在多個候選車牌區(qū)域中篩選出實際車牌區(qū)域，本文根據(jù)車牌字符的排列規(guī)則，設(shè)計了兩組變長的方波模板[15]，對水平和垂直投影曲線進行匹配，最佳匹配區(qū)域即為車牌區(qū)域，并以最佳切割位置切割車牌區(qū)域。在匹配之前，需要對車牌進行幾何糾正。在進行水平投影匹配時，可以針對高度不確定的字符設(shè)計多個不同大小的方波模板。當(dāng)方波模板與投影曲線的相關(guān)程度最大時，可以估計車牌字符的上下邊界。在垂直投影匹配中，由于我國車牌一般為7個字符，故根據(jù)這7個字符的寬度和間隔設(shè)計一組由7個方波組成的模板。通過垂直投影匹配，可以確定車牌字符寬度和左右邊界；當(dāng)垂直投影相關(guān)程度最大時，對應(yīng)車牌區(qū)域最有效，則該車牌區(qū)域被認為是實際車牌區(qū)域。按水平投影和垂直投影確定的邊界切割出實際車牌，切割車牌的位置準(zhǔn)確，車牌中的字符清晰度高。

4 試驗結(jié)果

本文基于MatlabR2013a仿真平臺，對所提出的方法進行了大量的試驗。選取了300張400×300像素的普通無雨汽車圖像，通過AdobePhotoshop軟件對無雨圖像人工添加雨線來模擬雨天條件。利用周遠等提出的基于稀疏編碼的方法對雨天條件下的圖像去除雨線后，采用本文同樣的車牌檢測方法進行車牌檢測，然后與本文方法的車牌檢測效果進行對比。2種車牌檢測方法的檢測效果對比如表1所示。

表1 2種車牌檢測方法的效果對比

5 結(jié)束語

本文提出的基于相對總變差模型和頻域處理的車牌檢測方法，適用于雨天條件下的車牌檢測。本文的工作重點及創(chuàng)新點在于：提出基于相對總變差模型實現(xiàn)圖像分解，并對分解后的紋理圖像進行離散傅里葉變換來濾除雨線；采用去除雨線的汽車圖像進行車牌檢測，通過基于局部統(tǒng)計濾波和形態(tài)學(xué)開運算后得到候選車牌區(qū)域，并以方波模板匹配的方法得到實際車牌。與周遠等提出的基于稀疏編碼的方法相比，本文的方法可以成功檢測雨天條件下的車牌，并且檢測準(zhǔn)確率較高，檢測時間較短。

當(dāng)然，本文的方法也存在不足。該方法主要針對快速運動雨滴導(dǎo)致圖像對比度降低、成像模糊的問題，雨天條件還可能存在光線暗、霧氣等影響圖像的因素，在進一步研究中將會針對這些因素進行改進。

[1] DEB K,HOSSEN M K,KHAN M I,et al.Bangladeshi vehicle license plate detection metho geometrical properties[C]//IEEE,2012:1-5.

[2] DUN J Y，ZHANG S Y，YE X Z，et al． Chinese license plate localization in multi-Lane with complex background based on concomitant Colors[J]．IEEE Intelligent Transportation Systems Magazine，2015,7(3):51- 61．

[3] ANGELINE L，KOW W Y，KHONG W L，et al．License plate character recognition via signature analysis and features extraction[C]//IEEE International Conference on Computational Intelligence， Modelling and Simulation， 2012:1- 6．

[4] DU S,IBRAHIM M,SHEHATA M,et al.Automatic license plate

recognition(ALPR):A state-of-the-art review[J].IEEE Transactions on Circuits & Systems for Video Technology,2013,23(2):311-325.

[5] 王靜,王歡,劉潔.惡劣天氣環(huán)境下車牌識別方法研究與仿真[J].計算機仿真，2011(10)：358-361.

[6] 蘭希.惡劣條件下車牌識別關(guān)鍵技術(shù)研究[D].蘇州:蘇州大學(xué),2014.

[7] 唐紅梅,申瑾,周亞同,等.霧霾天氣條件下車牌信息的識別[J].電視技術(shù),2014(5):194-197.

[8] 張曉娟.雨天霧氣干擾下的車牌圖像識別技術(shù)仿真[J].計算機仿真,2015(12):133-136.

[9] KANG L W,LIN C W,FU Y H.Automatic single-image-based rain streaks removal via image decomposition[J].IEEE Transactions on Image Processing,2012,21(4):1742-1755.

[10]周遠,韓裕生,周浦城.一種單幅圖像雨滴去除的方法[J].圖學(xué)學(xué)報,2015(3):438-443.

[11]GONZALEZ R C,WOODS R E,EDDINS S L.Digital image processing using MATLAB[M].2nd ed.Beijing:Publishing House of Electronics Industry,2009.

[12]AZAM S,ISLAM M M.Automatic license plate detection in hazardous condition [J].Journal of Visual Communication & Image Representation,2016,36(C):172-186.

[13]GONZALEZ R C,WOODS R E.Digital image processing[M].3rd ed.Upper Saddle River: Prentice Hall,2008.

[14]何新英,王家忠,孫晨霞,等.基于數(shù)學(xué)形態(tài)學(xué)和Canny算子的邊緣提取方法[J].計算機應(yīng)用,2008(2):477-478+483.

[15]苗立剛.基于最近鄰鏈的車牌檢測算法[J].自動化學(xué)報,2011(10):1272-1279.

License Plate Inspection Based on Total Variation and Frequency-Domain Processing under Rainy Condition

CHEN Li，HUANG Yuqing，GUO Jiang

(School of Information Engineering,Southwest University of Science and Technology,Mianyang 621000,China)

In the harsh environment of rain,a lot of fast moving and randomly distributed raindrops cause the reflection and refraction of the light on the objects and background,so the image contrast is reduced,the image becomesblurred,and the detail information may be lost.Thus,the quality of images of vehicle obtained by the imaging system is worse,and the license plate inspection is greatly influenced.To deal with this problem,the license plate inspection method based on total variation and frequency domain processing is proposed.Firstly,the image is decomposed based on the model of relative total variation for extractingtexture image with rain lines.Secondly,the texture image is transformed by discrete Fourier transformation,so the rain lines are effectively analyzed and filtered out in frequency domain;then,the vehicle image is obtained by reconstructing the structural image and texture image without raindrops.Finally,the license plate inspection is conducted by adopting the method based on local statistic filtering and the image with rain removing.The experimental results show that this method can detect the license plate effectively under rainy conditions,and it is of higher accuracy and shorter time consuming,and providing practical applicable significance in engineering.

Intelligent transportation; License plate inspection; Frequency domain processing; Fourier transform; Filtering; Image

陳麗(1992—)，女，在讀碩士研究生，主要從事圖形圖像處理技術(shù)、目標(biāo)識別技術(shù)的研究。E-mail：2653849707@qq.com。 黃玉清(通信作者)，女，碩士，教授，碩士生導(dǎo)師，主要從事圖像處理與機器視覺、智能技術(shù)、無線測控及無線通信技術(shù)的研究。E-mail：228696851@qq.com。

TH164;TP391.9

A

10.16086/j.cnki.issn1000-0380.201704018

修改稿收到日期：2017-01-12