基于超分辨率重建的車牌圖像增強(qiáng)算法

山顯響，劉云清

（長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022）

車牌識(shí)別技術(shù)是目前智能交通系統(tǒng)的重要組成部分之一，其主要采用電子技術(shù)和圖像處理技術(shù)對(duì)采集到車牌圖像進(jìn)行處理，主要步驟包括車牌圖像預(yù)處理、車牌定位、字符分割和字符識(shí)別等。車牌圖像預(yù)處理在整個(gè)識(shí)別過(guò)程中占據(jù)著重要的地位，是整個(gè)車牌識(shí)別過(guò)程成功與否的關(guān)鍵。但是在一些特殊情況下，例如，在監(jiān)控設(shè)備中獲取車牌信息，由于受環(huán)境和車體速度等條件的影響，拍攝到的車體圖像分辨率比較低；在車載攝像機(jī)車牌識(shí)別技術(shù)中，由于車體相對(duì)運(yùn)動(dòng)、攝像機(jī)抖動(dòng)、環(huán)境光線等因素的影響使得獲取的圖像分辨率較低，圖像模糊。這些情況下普通的圖像增強(qiáng)技術(shù)將不再適用。因此在本文中采用圖像的超分辨率重建技術(shù)來(lái)解決車體圖像分辨率較低的問(wèn)題。超分辨率重建即從一低分辨率視頻序列（LR）中重建出一幅高分辨率圖像（HR），在高分辨率圖像中包含了低分辨率圖像中所有的紋理細(xì)節(jié)信息，從而提高車牌識(shí)別的精度。

超分辨率重建技術(shù)算法分類很多，且每個(gè)超分辨率重建算法都有其自身特點(diǎn)。頻域處理的方法是最早提出的基于重建的超分辨率方法之一［1］；非均勻插值方法是最簡(jiǎn)單的超分辨率重建方法，但是其方法較為簡(jiǎn)單且適用性不強(qiáng)，因此在實(shí)際研究中較少；凸集投影（Projection onto convex sets，POCS）［2，3］是另一種比較經(jīng)典的超分辨率重建算法，該算法思想比較簡(jiǎn)單，且方法形式靈活，但是其計(jì)算復(fù)雜度較高，收斂速度比較慢；最大后驗(yàn)率（Maximum a posterior，MAP）方法，是目前應(yīng)用較多的方法之一，該算法比較靈活，尤其是在MAP方法的正則部分［1］，常用的正則項(xiàng)包括：雙邊全變差正則項(xiàng)、二范數(shù)正則項(xiàng)等。

圖像的超分辨率重建通常包括兩大部分，即圖像的配準(zhǔn)和圖像的重建［4］。圖像配準(zhǔn)的精度對(duì)于整個(gè)過(guò)程中有著至關(guān)重要的地位，本文在第一部分對(duì)車牌圖像的亞像素級(jí)配準(zhǔn)進(jìn)行了詳細(xì)的敘述。圖像重建是本文算法的核心部分，本文采用了各向異性的歸一化卷積的超分辨率重建技術(shù)對(duì)低分辨率車牌圖像進(jìn)行重建，很好的提高了車牌圖像的分辨率。

1 圖像配準(zhǔn)

圖像配準(zhǔn)的精確度直接影響著后續(xù)圖像重建的效果。本文將圖像配準(zhǔn)分為兩個(gè)過(guò)程，即整數(shù)倍像素估計(jì)和亞像素估計(jì)。整數(shù)倍像素估計(jì)采用了相位相關(guān)的算法進(jìn)行實(shí)現(xiàn)，在整數(shù)倍像素估計(jì)的基礎(chǔ)上利用了矩陣的離散傅里葉變換（DFT）的高倍數(shù)重采樣的算法實(shí)現(xiàn)了亞像素的運(yùn)動(dòng)估計(jì)［5］。

1.1 整數(shù)倍像素運(yùn)動(dòng)估計(jì)

假設(shè)模板圖像f1(x,y)和待配準(zhǔn)圖像f2(x,y)是由同一監(jiān)控視頻中獲取的兩幀相鄰的大小為M×N的車牌圖像信息，兩幀車牌圖像之間存在著Δx的位移關(guān)系，其中Δx=(x0,y0)，因此兩幀車牌圖像之間的關(guān)系為：

基于傅里葉變換中的平移定理，式（1）對(duì)應(yīng)的頻域關(guān)系表達(dá)式為：

式中，F(xiàn)1(u,v)和F2(u,v)分別為f1(x,y)和f2(x,y)的傅里葉變換。故兩幅車牌圖像之間的互相關(guān)功率譜Rfg為：［5，6］

式中，為F2(u,v)的復(fù)共軛為幅度歸一化因子。由式（2）可知，F(xiàn)1(u,v)和F2(u,v)之間存在著幅值相同相位不同的關(guān)系，且相位之間相差2π(ux0+vy0)，即式（3）互相關(guān)功率譜中的相位值。因此空間域的位移只影響了頻域中的相位值。通過(guò)對(duì)互相關(guān)功率譜的離散傅里葉逆變換（IDFT）將得到2維單位脈沖函數(shù)δ(x-x0,y-y0)，單位脈沖函數(shù)的坐標(biāo)給出了兩幅車牌圖像的位移待配準(zhǔn)關(guān)系，即(x0,y0)。通過(guò)該方法計(jì)算出的兩幅圖像的位移關(guān)系只是一個(gè)整數(shù)倍像素估計(jì)，由于車牌圖像的超分辨率重建的過(guò)程中對(duì)圖像像素精度要求較高，因此需要進(jìn)一步對(duì)車牌的圖像信息進(jìn)行亞像素估計(jì)。下面將進(jìn)一步介紹基于矩陣乘法的DCT重采樣對(duì)圖像位移的亞像素估計(jì)。

1.2 亞像素級(jí)運(yùn)動(dòng)估計(jì)

定義二維離散信號(hào)f(X,Y)，其對(duì)應(yīng)的矩陣傅里葉變化為［6］：

式中,f(X,Y)是車牌圖像中的大小為NA×NB的小區(qū)域；U=(u0,u1,…,uNB-1)T；X=(x0,x1,…,xNA-1)T；V=(v0,v1,…,vNB-1)T；Y=(y0,y1,…,yNA-1)T；其中k=0,1,2,…NA-1；i=0,1,2,…NB-1。

由上面所介紹的相位相關(guān)配準(zhǔn)中，得到兩幅車牌圖像互功率譜的峰值(x0,y0)，取峰值位置的L鄰域范圍內(nèi)的圖像并對(duì)其進(jìn)行n倍重采樣的大小為NB×NB局部圖像f(X,Y)，用U、V進(jìn)行表示，則U=(u0,u1,…,uNB-1)T，V=(v0,v1,…,vNB-1)T，其中通過(guò)矩陣乘法的DCT的n倍重采樣，得其像素位移估計(jì)參數(shù)為(Δx0,Δy0)。由于對(duì)局部圖像進(jìn)行了n倍重采樣，因此得亞像素位移估計(jì)為

結(jié)合相位相關(guān)法得到的整數(shù)倍像素位移估計(jì)和矩陣乘法的DCT重采樣得到的亞像素運(yùn)動(dòng)位移估計(jì)得到車牌圖像的總體像素位移為：

2 圖像超分辨率重建

低分辨率車牌序列圖像之間的運(yùn)動(dòng)估計(jì)中，每一個(gè)車牌的低分辨率圖像都包含有車牌圖像中的唯一的信息，因此下一步將進(jìn)行低分辨率車牌圖像的融合，將不同序列中包含的不同車牌信息融合成一幅高分辨率圖像。

2.1 歸一化卷積介紹

歸一化卷積［7］是將局部信號(hào)模型映射到一系列基函數(shù)的建模技術(shù)，通常采用的基函數(shù)是多項(xiàng)式基函數(shù)，即{1,x,y,x2,y2,xy…}。假設(shè)s0=(x0,y0)是圖像中某一像素點(diǎn)的坐標(biāo)，s=(x+x0,y+y0)是像素點(diǎn)s0某一鄰域內(nèi)的坐標(biāo)，則坐標(biāo)s處的像素值強(qiáng)度可以近似表示為在s0處的一個(gè)局部多項(xiàng)式級(jí)數(shù)展開［8］，即：

選定誤差方程ε（s0），進(jìn)行最小誤差逼近，用以求解最佳投影系數(shù)P，其中：

式中，f(s)為輸入信號(hào)的強(qiáng)度，a(s,s0)為適應(yīng)度函數(shù)，c(s,s0)為確定度函數(shù)。為了使用函數(shù)來(lái)求解N個(gè)采樣信號(hào)的車牌原圖像，用加權(quán)的最小二乘法，則引入一個(gè)加權(quán)矩陣W，相應(yīng)的最優(yōu)投影系數(shù)為：

式中，f表示輸入信號(hào)，是一個(gè)N×l的矩陣；B為基函數(shù)構(gòu)成N×m矩陣；加權(quán)矩陣W是由確定度函數(shù)和適應(yīng)度函數(shù)構(gòu)成的對(duì)角矩陣。

確定度函數(shù)描述信號(hào)在采樣點(diǎn)處的取值可信度，能夠?qū)铝⒌脑肼朁c(diǎn)進(jìn)行穩(wěn)健的處理，其取值范圍為［0，1］，當(dāng)取值為1時(shí)表示數(shù)據(jù)非?？尚?，0則表示數(shù)據(jù)完全不可采用，因此確定度函數(shù)可以表示為高斯加權(quán)函數(shù)：

式中，f(s)為輸入信號(hào)的強(qiáng)度，(s,s0)為通過(guò)級(jí)數(shù)展開估計(jì)的信號(hào)強(qiáng)度，參數(shù)δr表示信號(hào)殘差的可接收范圍。

如式（10）所示為式（7）的解得矩陣形式，將其簡(jiǎn)化到零階基函數(shù)，得到零階歸一化卷積解，即：

式中為插值圖像，c?f表示適用度函數(shù)與灰度圖像像素的乘積。

2.2 適用度函數(shù)的構(gòu)造

當(dāng)樣本不足時(shí)所包含的車牌圖像的結(jié)構(gòu)信息較少，此時(shí)重建效果較差，因此需要得到車牌圖像足夠多的樣本信息對(duì)車牌圖像進(jìn)行超分辨率重建。由于結(jié)構(gòu)張量中包含了區(qū)域內(nèi)圖像的足夠多的結(jié)構(gòu)信息，因此構(gòu)造圖像的結(jié)構(gòu)張量來(lái)獲得更多的車牌圖像信息。假設(shè)I(x)表示像素I(x,y)處的灰度值，那么像素的梯度信息可以用表示，而局部矢量梯度記為?I(x)=[Ix,Ix]T，此時(shí)梯度結(jié)構(gòu)張量（gradient structure tensor，GST）可定義為：

通常，為了從鄰域中整合周圍像素的結(jié)構(gòu)信息，需要用高斯核函數(shù)對(duì)結(jié)構(gòu)張量進(jìn)行光滑，由此得到像素x處的局部結(jié)構(gòu)張量：LST(x)=Gδ?GST(x)；為了設(shè)計(jì)出局部結(jié)構(gòu)自適應(yīng)核函數(shù)，對(duì)像素x處的局部結(jié)構(gòu)張量做主成分分析得：

式中，{λu,λv}(λu≥λv)為特征值，對(duì)應(yīng)的特征向量記為{u，v}。這些特征向量包含了局部結(jié)構(gòu)方向的分布信息。根據(jù)分布信息，沿u方向的像素灰度變化最快，而沿v方向的像素灰度變化最慢。此外，特征值{λu,λv}也體現(xiàn)了這兩個(gè)方向上灰度的變化與局部區(qū)域內(nèi)圖像的形態(tài)信息。λu≈λv≈0描述了圖像無(wú)明顯結(jié)構(gòu)變化的局部區(qū)域；λu?λv≈0描述了圖像中呈線性結(jié)構(gòu)的局部區(qū)域；λu?λv?0描述了圖像中角點(diǎn)處的局部區(qū)域?；谏鲜鼋Y(jié)構(gòu)張量的計(jì)算，設(shè)計(jì)的核函數(shù)應(yīng)該滿足：在局部圖像中包含有明顯的結(jié)構(gòu)信息時(shí)，核函數(shù)表現(xiàn)各項(xiàng)異性；在沒(méi)有明顯結(jié)構(gòu)區(qū)域中，核函數(shù)表現(xiàn)為各項(xiàng)同性，因此在二維情況下設(shè)計(jì)的局部結(jié)構(gòu)自適應(yīng)高斯核函數(shù)可以表示為：

式中，d表示x0到x的矢量，{du，dv}為矢量d在{u，v}上的投影，{δu，δv}由各向異性A決定，在A＞β時(shí)，取：

式中，β為一固定參數(shù)本文中取0.5，A=(λu-λv)/(λu+λv)，δc為局部結(jié)構(gòu)尺度，其公式為δc(x)=為局部結(jié)構(gòu)Si上的灰度均值，δk,δl分別表示局部結(jié)構(gòu)Si，Sj結(jié)構(gòu)尺度的光滑函數(shù)，c1為一常數(shù)。

3 算法重建步驟及結(jié)果分析

3.1 算法重建步驟

本文基于相位相關(guān)和重采樣算法實(shí)現(xiàn)車牌圖像的高精度位移估計(jì)和基于歸一化卷積的超分辨率重建算法對(duì)車牌圖像信息進(jìn)行重建，其主要步驟為：

步驟1：獲取低分辨率的車牌圖像序列。

步驟2：選取其中一幅低分辨率車牌圖像作為參考圖像，根據(jù)1.1中所述算法對(duì)車牌圖像進(jìn)行整數(shù)倍像素估計(jì)，根據(jù)1.2中所述算法對(duì)車牌圖像進(jìn)行亞像素運(yùn)動(dòng)估計(jì)，并得到各幅車牌圖像的像素位移信息。

步驟3：利用已知的配準(zhǔn)參數(shù)將低分辨率車牌圖像序列投影到高分辨率網(wǎng)格上，形成非均勻采樣數(shù)據(jù)。

步驟4：利用固定的適用度函數(shù)對(duì)已配準(zhǔn)的高分辨率圖像進(jìn)行一次卷積得到第一幅高分辨率車牌圖像HR0，并求解出車牌圖像在x，y方向上的方向?qū)?shù)Ix和Iy。

步驟5：構(gòu)造結(jié)構(gòu)張量，并求解相應(yīng)的特征值和特征向量，同時(shí)計(jì)算各向異性A，并構(gòu)造其結(jié)構(gòu)適用度函數(shù)，并進(jìn)行第二次歸一化卷積。

步驟6：根據(jù)最小二乘估計(jì)判斷是否滿足均方誤差最小，若不滿足則重復(fù)步驟5，若滿足則輸出高分辨率圖像HR。

3.2 模擬仿真結(jié)果及分析

為了驗(yàn)證本算法的有效性，現(xiàn)獲取一幅高分辨率的車牌圖像，對(duì)理想高分辨率車牌圖像進(jìn)行：（1）模糊點(diǎn)擴(kuò)展函數(shù)平滑（大小為3×3，標(biāo)準(zhǔn)差為0.5的高斯模板）；（2）添加均值為0，方差為0.005的高斯噪聲而形成的模糊含噪聲的高分辨率圖像；（3）隨機(jī)的亞像素平移；（4）經(jīng)過(guò)下采樣率4進(jìn)行下采樣產(chǎn)生10幅低分辨率圖像，如圖1所示。

為了更能說(shuō)明本算法的有效性，分別用本文算法、正則化MAP法［11］、凸集投影（POCS）算法［9］、Papoulis-Gerchberg算法［12］、雙三次插值算法［10］對(duì)上述十幅低分辨率圖像進(jìn)行超分辨率重建。如圖2（a）～（e）圖像，為各算法對(duì)上述10幅低分辨率車牌圖像重建后的圖像。從視覺(jué)的角度來(lái)看，由圖（e）可知，本文算法效果最好，整個(gè)車牌區(qū)域能夠很好的重構(gòu)出來(lái)；圖（a）為雙三次插值算法重構(gòu)出的圖像，可以看出，圖像質(zhì)量較差，并沒(méi)有什么改善效果。圖（b）為利用PG算法重構(gòu)出的圖像，由圖可知該算法重構(gòu)出的圖像存在著較為嚴(yán)重的“柵格”效應(yīng)，在對(duì)圖像進(jìn)行放大處理時(shí)，該效應(yīng)將會(huì)有嚴(yán)重的影響；圖（c）為正則化MAP算法重建出的高分辨率圖像，該圖像噪聲較為嚴(yán)重，且不清晰。圖（d）為利用POCS算法重建的圖像，其效果并不理想，圖像中仍然存在著較大的模糊現(xiàn)象。

圖1 高分辨率圖像構(gòu)建低分辨率圖像序列

圖2 多種超分辨率重建算法比較

峰值信噪比（PSNR）和均方誤差（MSE）是圖像質(zhì)量評(píng)價(jià)的常用指標(biāo)，PSNR值越大、MSE值越小表示圖像質(zhì)量越好，PSNR和MSE計(jì)算公式分別如式（15）和式（16）所示：

如表1所示，為不同算法重建效果的PSNR值和MSE值的比較，從表可以看出本文采用的算法PSNR值最大且MSE值最小，能夠更好的獲取高分辨率車牌圖像。

表1 不同算法重建結(jié)果的PSNR和MSE比較

3.3 現(xiàn)實(shí)仿真結(jié)果及分析

現(xiàn)用手機(jī)拍攝一個(gè)低分辨率錄像，獲取其低分辨率序列并手工摳取其中的低分辨率的車牌圖像［13］，如圖3所示為其中兩幅低分辨率車牌圖像。圖4（a）～（e）分別為雙三次插值、PG算法、正則化MAP算法、POCS算法和本文算法對(duì)低分辨率圖像重建的結(jié)果。通過(guò)觀察可知，本文提出的算法處理效果優(yōu)于其余四個(gè)算法，且有很好的結(jié)構(gòu)保持性。其余四種算法中雙三次插值法重建出的高分辨率圖像和低分辨率圖像相比沒(méi)有太大的改善，結(jié)果最不能接受；PG算法有較嚴(yán)重的柵格效應(yīng)，嚴(yán)重的影響了視覺(jué)效果；正則化MAP算法噪聲污染較為嚴(yán)重，較低分辨率圖像改善效果不大；POCS算法重建出的圖像較為模糊，且邊緣處有明顯的鋸齒形狀。通過(guò)對(duì)比充分顯示了本文算法的有效性。

圖3 其中2幅低分辨率的車牌圖像

圖4 重建出的高分辨率圖像

4 結(jié)語(yǔ)

在一些特殊情況下（例如從低分辨率的監(jiān)控視頻中獲取車牌信息）的車牌圖像增強(qiáng)中，本文提出了合理的方法，在車牌圖像進(jìn)行高精度配準(zhǔn)的基礎(chǔ)上，利用各向異性的歸一化卷積的超分辨率重建技術(shù)重構(gòu)高分辨率的車牌圖像，與傳統(tǒng)的超分辨率重建技術(shù)相比，該算法重建出的高分辨率圖像質(zhì)量更高，結(jié)構(gòu)保持性更好。

［1］蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述［J］.自動(dòng)化學(xué)報(bào)，2013（08）：1202-1213.

［2］陳健，王偉國(guó)，劉廷霞，等.基于梯度圖的快速POCS超分辨率復(fù)原算法研究［J］.儀器儀表學(xué)報(bào)，2015（02）：327-338.

［3］謝甜.使用改進(jìn)的POCS算法的超分辨率圖像復(fù)原［J］.電子設(shè)計(jì)工程，2013（18）：142-144.

［4］Vandewalle P，Vetterli M.A frequency domain approach to registration of aliased images with application to super-resolution［M］.Hindawi Limited，2006.

［5］周武，胡躍明.基于相位相關(guān)和重采樣的亞像素圖像配準(zhǔn)算法［J］.華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2010（10）：68-73.

［6］王彩玲，程勇，趙春霞，等.局部相位相關(guān)用于圖像亞像素級(jí)配準(zhǔn)技術(shù)研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2011（03）：427-432.

［7］徐楓，嚴(yán)錫君，黃陳蓉，等.特征驅(qū)動(dòng)先驗(yàn)的歸一化卷積超分辨率重建［J］.中國(guó)圖象圖形學(xué)報(bào)，2014（10）：1514-1523.

［8］Pham T Q.Robust fusion of irregularly sampled data using adaptive normalized convolution ［J］.EURASIP Journal on Advances in Signal Processing，2006（1）：1-12.

［9］羅國(guó)中，殷建平，祝恩.基于非局部POCS的超分辨率圖像重建［J］.計(jì)算機(jī)科學(xué)，2014（08）：47-49.

［10］李展，韓國(guó)強(qiáng)，陳湘驥，等.基于Keren配準(zhǔn)和插值的快速超分辨率圖像重建［J］.華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2011（05）：84-90.

［11］婁帥，丁振良，袁峰，等.一種空間自適應(yīng)正則化MAP超分辨率重建算法［J］.計(jì)算機(jī)應(yīng)用與軟件，2009，26（12）：238-240.

［12］馬俊，景維立，范沖.一種基于改進(jìn)Keren空域配準(zhǔn)方法的Papoulis-Gerchberg超分辨率重建［J］.測(cè)繪通報(bào)，2007（12）：14-17.

［13］Suresh K V，Kumar G M，Rajagopalan A N.Superresolution ofLicense Plates in RealTraffic Videos［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8（2）：321-331.