基于L0正則化的車牌圖像去模糊

王超，陳亞運(yùn)

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥　230009）

基于L0正則化的車牌圖像去模糊

王超，陳亞運(yùn)

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥230009）

隨著視頻監(jiān)控技術(shù)的發(fā)展、監(jiān)控?cái)z像頭的普及和人們對(duì)安全信息需求的提升，監(jiān)控中圖像去模糊技術(shù)得到迫切需求?；趫D像強(qiáng)度和梯度的L0正則化去模糊算法能有效恢復(fù)模糊的文本圖像，但是由于車牌圖像的灰度值為零的點(diǎn)較少，導(dǎo)致該方法對(duì)模糊的車牌圖像復(fù)原結(jié)果有瑕疵。本文根據(jù)的灰度直方圖的特性，提出一種改進(jìn)方法，并與兩種方法對(duì)比，本文方法取得較好的結(jié)果。

圖像去模糊；L0正則化；灰度直方圖；梯度直方圖

近年來(lái)，隨著車輛越來(lái)越多，闖紅燈、肇事逃逸等違規(guī)違法事件也隨之增多，雖然攝像頭也越來(lái)越清晰，但是由于各種原因，往往采集到的違章車的車牌模糊不清，這樣就很難獲取這些車的具體信息，從而讓違法者逍遙法外。因此，針對(duì)視頻監(jiān)控中的模糊圖像處理技術(shù)就顯得重要。

車牌圖像和常見(jiàn)的自然圖像的性質(zhì)不同，不服從自然圖像的尾重效應(yīng)［1］。但是與文本圖像的特性非常相似，可以利用文本圖像去模糊的方法進(jìn)行處理。近年來(lái)文本圖像處理方法發(fā)展迅速，2002年，Li等［2］提出利用兩中顏色圖像來(lái)估計(jì)模糊核的聯(lián)合估計(jì)方法。但是該方法只適合有兩種顏色的圖像，對(duì)于背景復(fù)雜的模糊文字圖像處理效果不好。2011年Chen等提出一種基于圖像像素值新的先驗(yàn)知識(shí)［3］。然而這種方法只適合二值化的文本圖像，且不適合雜亂的文字圖像。隨后，Lou等［4］提出一種利用自然圖像的稀疏特性的方法來(lái)進(jìn)行自然圖像和文本圖像的去模糊。但是，該方法不能準(zhǔn)確的估計(jì)出模糊核。2012年，Cho等［5］人混合圖像的特殊性（如文字和背景的灰度值相差較大，文字內(nèi)像素點(diǎn)的梯度一致）來(lái)進(jìn)行去模糊。雖然這個(gè)方法得到了理想的結(jié)果，但是模糊核估計(jì)非常復(fù)雜，核估計(jì)的好壞取決于SWT（Stroke Wideth Transform）區(qū)分圖像的文本和非文本區(qū)域的好壞。2014年P(guān)an等［6］人提出一種基于圖像強(qiáng)度先驗(yàn)和梯度先驗(yàn)的L0正則化項(xiàng)的去文字圖像模糊方法。該方法對(duì)文字圖像去模糊取得很好的結(jié)果，然而對(duì)車牌圖像的去模糊不能得到理想的結(jié)果，本文將在此基礎(chǔ)上結(jié)合車牌圖像的特征，提出一種改進(jìn)的方法，首先對(duì)車牌進(jìn)行預(yù)處理，然后在對(duì)車牌圖像去模糊操作。

1　車牌圖像去運(yùn)動(dòng)模糊方法

1.1車牌圖像的特征

車牌圖像和文本圖像具有以下兩個(gè)個(gè)特性：1）字的顏色和背景顏色強(qiáng)烈的對(duì)比；2）每個(gè)字的顏色都是一樣的顏色，這樣，每個(gè)字上像素的梯度值接近零。

除了上述兩個(gè)特性，觀察圖1文字圖像的統(tǒng)計(jì)圖，（a）是清晰圖像，（b）和（c）分別是（a）的灰度直方圖和水平梯度直方圖。（d）是模糊圖像，（e）和（f）分別是圖像（d）的灰度直方圖和水平梯度直方圖。從（b）圖可以看出文本圖像的像素值主要集中在零點(diǎn)和255點(diǎn)兩點(diǎn)附近，形成兩個(gè)沖擊峰波。如果僅僅考慮零點(diǎn)，則圖像的像素值非常稀疏。而從模糊之后的像素統(tǒng)計(jì)直方圖（e）得出，模糊之后的圖像的零值附近的像素點(diǎn)變少，這使得圖像變得密集，減少了圖像的稀疏性。根據(jù)文字圖像像素值的統(tǒng)計(jì)直方圖特性，對(duì)一幅圖像x，定義如下：

‖x‖0用來(lái)計(jì)算圖像x的非零值。用這個(gè)標(biāo)準(zhǔn)把模糊圖像和清晰圖像區(qū)分開(kāi)。

因?yàn)閳D像的梯度先驗(yàn)?zāi)苓^(guò)有效的抑制人工效應(yīng)，所以被廣泛的用在圖像去模糊鄰域。雖然清晰圖像的像素值方圖是兩個(gè)波峰，但是其梯度直方圖只有很少的非零值點(diǎn)。圖 1中的（c）和（f）分別是清晰圖像和模糊圖像的梯度直方圖。從圖中可以看出模糊圖像的非零值點(diǎn)比清晰圖像的非零值點(diǎn)更多。這樣用L0正則化先驗(yàn)來(lái) Pt（▽x）來(lái)模擬圖像梯度。

圖1　文本圖像統(tǒng)計(jì)圖Fig.1　Statistical chart of text image

這樣就得到車牌圖像去模糊的先驗(yàn)條件，定義如下，式中σ是權(quán)值。

圖2　車牌圖像的統(tǒng)計(jì)圖Fig.2　Statistical chart of license plate

車牌圖像的統(tǒng)計(jì)如圖2所示，對(duì)比圖1文本圖像的統(tǒng)計(jì)圖，可以看出，車牌圖像灰度直方圖和文本圖像灰度直方圖非常相似。但是仔細(xì)對(duì)比（b）和（h）這兩個(gè)圖，清晰圖像的像素值主要集中在像素值為25和150這兩個(gè)點(diǎn)附近，也可以看成是兩個(gè)窄波波峰，這與圖1中的（b）圖像相似。但是清晰的車牌圖像的像素值不是集中在零點(diǎn)附近。這樣清晰車牌圖像比清晰的文字圖像更密集，零點(diǎn)較少。

為了增加車牌圖像的稀疏性，提出一種改進(jìn)的方法，將車牌的左邊的波峰平移到零點(diǎn)，如圖3所示，這樣零值增多。這樣對(duì)式子（2）改寫(xiě)成如下公式：

式中x0表示像素值統(tǒng)計(jì)直方圖中左邊第一個(gè)波峰的像素值，如圖2中（h）所示。

圖3　車牌圖像像素值統(tǒng)計(jì)圖平移后的圖像Fig.3　Statistical chart of the license plate image after changing

1.2基于L0正則化先驗(yàn)車牌圖像的去模糊

前面介紹的先驗(yàn)條件P（x）用于下面的公式來(lái)去模糊：

其中，x和y分別表示原始的清晰圖像和已知模糊圖像，K是模糊核，是卷積操作，表示L2正則約束項(xiàng)，λ和 γ是權(quán)值。通常將式（4）分成下面兩個(gè)公式：

根據(jù)這兩個(gè)公式來(lái)進(jìn)行交替迭代求最優(yōu)化，首先假設(shè)k已知來(lái)求x，公式（5）是一個(gè)L0正則項(xiàng)問(wèn)題，通常直接最小化很難求解。因此，采用基于半二次分裂L0最小化的方法，利用交替最小化的方法求解。設(shè)置兩個(gè)輔助變量μ和g=（gh，gv）T，分別與x和▽x對(duì)應(yīng)，目標(biāo)方程改為：

其中，σ是公式（2）定義的權(quán)值。當(dāng)β和μ趨向無(wú)窮大時(shí)，公式（7）的解和公式（5）接近。這樣，公式（7）就可以用固定x、μ和g其中兩個(gè)個(gè)變量，來(lái)交替最小化。

變量μ和g初始化的值均為零，在每次迭代過(guò)程中，通過(guò)下面的式子來(lái)求解x的值：

這也是求解最小二乘最小化問(wèn)題，解的形式為：

式中的F（·）和F-1（·）分別表示快速傅里葉變換（FFT）和快速傅里葉逆變換。（·）是復(fù)共軛操作，F(xiàn)G=▽h）F（gh）+（▽v）F（gv），▽h和▽g分別表示水平方和垂直方向的微分操作。

當(dāng)給定x時(shí)，分別有下面兩個(gè)式子來(lái)求解μ和g：

可以看出公式（10）是一個(gè)最小化問(wèn)題，這樣μ和g的解可以根據(jù)文獻(xiàn)［7］來(lái)獲得：

通過(guò)上面的方法求出最優(yōu)的x，然后根據(jù)這個(gè)x來(lái)估計(jì)模糊核k，公式（6）是一個(gè)封閉解的最小二乘最小化問(wèn)題，可以用快速傅里葉變換來(lái)求解。由于直接用圖像像素值求解公式（6）得到的解不準(zhǔn)確，改用下面在梯度域估計(jì)模糊核：

這個(gè)式子用快速傅里葉變換來(lái)進(jìn)行求解。在獲得模糊核k之后，把負(fù)值設(shè)為零，并把模糊核進(jìn)行歸一化，以便于元素的和為1。模糊核估計(jì)是根據(jù)圖像金字塔來(lái)由低分辨率到高分辨率逐步計(jì)算。

公式（5）對(duì)背景復(fù)雜的模糊車牌圖像估計(jì)的復(fù)原效果不太好。利用拉普拉斯先驗(yàn)的非盲去卷積方法能很好的保存圖像的細(xì)節(jié)［8］，但是同時(shí)也引入了人工效應(yīng)。而基于L0正則化先驗(yàn)的產(chǎn)生了較少的振鈴，同時(shí)也減少了圖像的細(xì)節(jié)。為了進(jìn)一步提高復(fù)原圖像的質(zhì)量，我們將結(jié)合這兩個(gè)先驗(yàn)的優(yōu)點(diǎn)進(jìn)行復(fù)原圖像。首先先用拉普拉斯先驗(yàn)的方法來(lái)估計(jì)清晰圖像Il。再用公式（5）中的梯度信息Pt（▽x）估計(jì)清晰圖像I0。其次計(jì)算出這兩個(gè)估計(jì)圖片的差異圖，并用雙邊濾波來(lái)抑制此圖的振鈴效應(yīng)［9］。最后，用Il減去濾波后的圖像得出清晰的圖像。

2　實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本章針對(duì)視頻監(jiān)控中車牌圖像和行人圖像去運(yùn)動(dòng)模糊所提出的方法，本節(jié)將用實(shí)驗(yàn)數(shù)據(jù)來(lái)說(shuō)明本文方法的可行性，對(duì)比實(shí)驗(yàn)結(jié)果由對(duì)應(yīng)的方法作者給出的代碼跑出。

實(shí)驗(yàn)是在Intel Xeon處理器和20 G內(nèi)存臺(tái)式機(jī)上運(yùn)行，在MATLAB2012b上，對(duì)一幅800×300的車牌圖像大約600 s左右。本實(shí)驗(yàn)算法的參數(shù)設(shè)置：λ=4e-3，γ=2，σ=1。

圖4第一行是原始的清晰圖像，第二行分別對(duì)應(yīng)的是仿真得到的模糊圖像。圖5是本文結(jié)果與Cho算法和Pan算法對(duì)比試驗(yàn)展示圖每一列對(duì)應(yīng)一種算法，每一行是同一幅模糊圖像三種方法的恢復(fù)結(jié)果。

圖4　清晰圖像和模糊圖像Fig.4　Clear image and the blurred image

圖5　結(jié)果對(duì)比圖像Fig.5　The comparison of different results

表1　圖像復(fù)原結(jié)果對(duì)比（PSNR/SSIM）Tab.1 Comparison of the results of image restoration（PSNR/SSIM）

從復(fù)原結(jié)果對(duì)比可以看出，對(duì)于模糊不太嚴(yán)重的c圖車牌，3種算法復(fù)原的結(jié)果都挺好，但是本文的PSNR和SSIM均有提高。對(duì)模糊較嚴(yán)重的a車牌和b車牌，Cho算法和Pan的處理結(jié)果雖然車牌能夠看的更清晰，但是振鈴現(xiàn)象較嚴(yán)重，本文在很大程度上減少了振鈴現(xiàn)象，同時(shí)PSNR和SSIM都提高。

由此可見(jiàn)，本文算法與對(duì)比算法對(duì)車牌恢復(fù)的效果更好，既提高了峰值信噪比和結(jié)構(gòu)相似度，也增加了車牌的清晰度，大大減少了振鈴現(xiàn)象。

3　結(jié)　論

文中分析了車牌圖像的特征，并與文本圖像的特征作對(duì)比，得出車牌圖像更密集，文本圖像更稀疏，為了增加車牌圖像的稀疏性，文中對(duì)車牌圖像預(yù)處理，首先統(tǒng)計(jì)圖像的灰度直方圖，得到兩個(gè)灰度值最多的點(diǎn)，取其中像素值小的點(diǎn)，與圖像所有點(diǎn)作差。再利用車牌圖像的灰度值和梯度值的L0正則化先驗(yàn)進(jìn)行去模糊處理，增加了車牌的辨識(shí)率，取得較好的實(shí)驗(yàn)結(jié)果。

［1］Fergus R，Singh B，Hertzmann A，et al.Removing camera shake from a single photograph［C］//ACM Transactions on Graphics（TOG）.ACM，2006，25（3）:787-794.

［2］Li T H，Lii K S.A joint estimation approach for two-tone image deblurring by blind deconvolution［J］.Image Processing，IEEE Transactions on，2002，11（8）:847-858.

［3］Chen X，He X，Yang J，et al.An effective document image deblurring algorithm［C］//Computer Vision and Pattern Recognition（CVPR），2011 IEEE Conference on.IEEE，2011:369-376.

［4］Lou Y，Bertozzi A L，Soatto S.Direct sparse deblurring［J］. Journal of Mathematical Imaging and Vision，2011，39（1）:1-12.

［5］Cho H，Wang J，Lee S.Text image deblurring using text-specific properties［C］//Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012:524-537.

［6］Pan J，Hu Z，Su Z，et al.Deblurring text images via L0-regularized intensity and gradient prior［C］//Computer Vision and Pattern Recognition（CVPR），2014 IEEE Conference on. IEEE，2014:2901-2908.

［7］Xu L，Lu C，Xu Y，et al.Image smoothing via L0gradient minimization［C］//ACM Transactions on Graphics（TOG）.ACM，2011，30（6）:174.

［8］Krishnan D，F(xiàn)ergus R.Fast image deconvolution using hyper-Laplacian priors［C］.Advances in Neural Information Processing Systems，2009:1033-1041.

［9］Tomasi C，Manduchi R.Bilateral filtering for gray and color images［C］//Computer Vision，1998.Sixth International Conference on.IEEE，1998:839-846.

License plate image deblurring based on L0regularization

WANG Chao，CHEN Ya-yun
（School of Computer and Information，Hefei University of Technology，Hefei 230009，China）

With the development of video surveillance technology，surveillance cameras has become more and more popular. Thus the requirement for protecting individual information and monitoring the image deblurring technology is increasingly demanded.We can restore blurred text image by L0-Regularized Intensity and Gradient Prior.However，this method do not work efficiently when it comes to the restoration of license plate images，since it has less pixel witch the intensity is zero. According to the characteristics of histogram of pixel intensities，the paper will put forward an improved method，compare it with two methods and get better results.

image deblur；L0regularization；intensity histogram；gradient histogram

TN911.73

A

1674－6236（2016）05-0055-03

2015-04-08稿件編號(hào)：201504067

王 超（1989—），男，安徽滁州人，碩士。研究方向：圖像與多媒體信息處理。