車牌識(shí)別系統(tǒng)中的超分辨率圖像重建技術(shù)研究

林明儒

( 黎明職業(yè)大學(xué) 信息與電子工程學(xué)院，福建 泉州 362000 )

摘要：針對(duì)車牌識(shí)別系統(tǒng)中圖像模糊和分辨率低而影響車牌識(shí)別效果的問(wèn)題，提出利用超分辨率重建來(lái)提高車牌圖像分辨率的解決方法.建立了凸集投影(POCS)算法的數(shù)學(xué)模型，研究了凸集投影超分辨率重建的實(shí)現(xiàn)過(guò)程，并用仿真實(shí)驗(yàn)進(jìn)行了驗(yàn)證.實(shí)驗(yàn)結(jié)果表明：采用凸集投影算法進(jìn)行圖像重建，可以提高車牌圖像分辨率，豐富圖像細(xì)節(jié)信息，能夠有效提高車牌識(shí)別的準(zhǔn)確率，并且迭代次數(shù)越多，圖像重建效果越好.

關(guān)鍵詞：超分辨率； 圖像重建； 凸集投影； 車牌識(shí)別

收稿日期：2015-06-24

基金項(xiàng)目：福建省教育廳科技研究項(xiàng)目(JB12290)；黎明職業(yè)大學(xué)校級(jí)課題研究項(xiàng)目(LZ2012102)；黎明職業(yè)大學(xué)科研團(tuán)隊(duì)建設(shè)項(xiàng)目(LMTD2014104)

文章編號(hào)：1004-4353(2015)03-0233-05

中圖分類號(hào)：TP391.41

Research of super-resolution image reconstruction in license plate recognition system

LIN Mingru

(SchoolofInformationandElectronicEngineering,LimingVocationalUniversity，

Quanzhou362000,China)

Abstract：In the license plate recognition system,blurred image and low resolution affect the effect of license plate recognition. A method which uses the super-resolution image reconstruction to improve the resolution of plate image is proposed. In this paper,mathematical model of projection onto convex sets (POCS) is established and the process of image reconstruction based on POCS is researched. Simulation experiments are conducted to verify the research. Experimental results show that，image reconstruction based on POCS algorithm can improve the resolution of license plate image,rich detail information of the image,enhance the vehicle license plate recognition system performance. Through the experiments,the more iterations are made,the better effects of image reconstruction appear.

Key words： super-resolution; image reconstruction; projection onto convex sets; license plate recognition

0引言

車牌識(shí)別作為智能交通管理的重要組成部分，在違章車輛監(jiān)控、高速公路不停車電子收費(fèi)、智能停車場(chǎng)管理等領(lǐng)域得到廣泛應(yīng)用.車牌識(shí)別系統(tǒng)包括車牌圖像采集、圖像預(yù)處理、車牌定位、字符分割和字符識(shí)別等部分[1].在實(shí)際應(yīng)用中，車牌圖像的采集因?yàn)槭艿焦庹铡⒊上裨O(shè)備、車輛運(yùn)動(dòng)快慢、圖像傳輸?shù)纫蛩氐挠绊懀菀壮霈F(xiàn)圖像分辨率低、干擾噪聲多、圖像模糊等現(xiàn)象，影響車牌識(shí)別的準(zhǔn)確率.為提高車牌圖像的分辨率，通常采用硬件技術(shù)和軟件處理來(lái)提高圖像的分辨率.文獻(xiàn)[2]通過(guò)改善硬件設(shè)備方法提高了車牌字符識(shí)別率，但該方法工作量大，成本高.文獻(xiàn)[3]通過(guò)采用插值放大與雙邊濾波相結(jié)合的車牌圖像超分辨率重建方法，提高了車牌圖像的亞像素級(jí)精度.文獻(xiàn)[4]基于馬爾可夫隨機(jī)場(chǎng)的車牌圖像重建方法，對(duì)圖像進(jìn)行分塊后通過(guò)建立模型進(jìn)行字符訓(xùn)練，然后根據(jù)訓(xùn)練結(jié)果預(yù)測(cè)圖像高頻細(xì)節(jié)信息.文獻(xiàn)[5]基于稀疏編碼的超分辨率車牌圖像重建技術(shù)建立了高低分辨率圖像之間的關(guān)系，該方法先定位車牌的目標(biāo)區(qū)域，然后再通過(guò)壓縮感知重建高分辨率車牌圖像.本文研究是基于凸集投影算法的超分辨率圖像重建技術(shù)，從視頻中提取多幅低分辨率車牌圖像進(jìn)行超分辨率重建，以此提高車牌圖像質(zhì)量.

1超分辨率圖像重建技術(shù)

圖像超分辨率重建技術(shù)就是利用一組低質(zhì)量、低分辨率圖像來(lái)產(chǎn)生單幅高質(zhì)量、高分辨率圖像[6].通過(guò)超分辨率重建，可以彌補(bǔ)硬件原因造成的圖像像素丟失，消除圖像的噪聲，恢復(fù)圖像的細(xì)節(jié)信息，獲得高分辨率圖像.超分辨率重建方法在遙感成像、醫(yī)學(xué)影像等領(lǐng)域已經(jīng)得到應(yīng)用[7-8].超分辨率圖像重建分為頻域法[9]和空域法[10]兩大類.頻域法計(jì)算簡(jiǎn)單，但由于沒有充分利用圖像的先驗(yàn)信息，一般只用在全局平移運(yùn)動(dòng)的圖像上，可對(duì)于運(yùn)動(dòng)模糊和干擾噪聲的圖像，其重建效果和靈活性較差.空域法能夠較好地利用圖像的先驗(yàn)知識(shí)，對(duì)運(yùn)動(dòng)模糊、全局或局部運(yùn)動(dòng)、噪聲干擾等圖像進(jìn)行重建，應(yīng)用范圍廣.常見的空域重建方法有基于插值重建法[11]、基于概率論方法[12]、基于集合論方法[13]和迭代反投影法[14].

隨著超分辨率重建技術(shù)研究的深入，國(guó)內(nèi)外許多學(xué)者提出了一些新的圖像重建技術(shù).Kim等[15]提出了基于稀疏回歸的單幀圖像重建技術(shù)，這是一種基于學(xué)習(xí)的圖像超分辨率重建技術(shù).文獻(xiàn)[16]的作者通過(guò)先進(jìn)行大量圖像訓(xùn)練，建立圖像梯度分布模型，然后利用模型中的梯度場(chǎng)對(duì)預(yù)重建圖像的梯度場(chǎng)進(jìn)行正則性約束，以實(shí)現(xiàn)增強(qiáng)圖像進(jìn)行重建.韓玉兵等[17]提出了基于MG-GMRES算法的圖像重建方法，他們?cè)诟怕使烙?jì)和加權(quán)二乘的基礎(chǔ)上，通過(guò)對(duì)非對(duì)稱線性稀疏關(guān)系進(jìn)行求解，來(lái)實(shí)現(xiàn)圖像超分辨率重建，結(jié)果顯示該算法重建效果較好.陳湘驥[18]提出了基于多尺度相似學(xué)習(xí)的圖像重建方法，該方法先將圖像拆分再進(jìn)行多重匹配，以提高匹配精度，然后再結(jié)合近鄰嵌入方法進(jìn)行圖像重建，該算法魯棒性高.此外，文獻(xiàn)[19]提出了基于曲率的迭代插值圖像重建方法，文獻(xiàn)[20]提出了基于學(xué)習(xí)和基于重構(gòu)相結(jié)合的超分辨率重建方法.雖然超分辨率圖像重建技術(shù)近年來(lái)得到大力發(fā)展和研究，但仍存在一些不足：圖像信息密集區(qū)域重建后容易出現(xiàn)邊緣模糊；大多圖像重建方法只針對(duì)單幀圖像，而從視頻中獲取的多幀運(yùn)動(dòng)模糊圖像重建效果較差；圖像重建方法大多是放大2n倍的圖像重建，針對(duì)任意倍數(shù)放大的圖像重建成功范例較少.

2基于凸集投影的超分辨率圖像重建

凸集投影(POCS)算法具有觀測(cè)模型靈活、算法簡(jiǎn)單、重建過(guò)程能夠充分利用圖像先驗(yàn)信息等優(yōu)點(diǎn)，又因?yàn)檐嚺凭哂泄潭ǖ囊?guī)格，容易為凸集投影提供先驗(yàn)信息，因此車牌圖像超分辨率重建適宜選用凸集投影法.

2.1　凸集投影算法數(shù)學(xué)模型

設(shè)m,n∈S，存在am+(1-a)n∈S(其中0≤a≤1)，則稱S是一個(gè)凸集.

凸集投影法是根據(jù)約束凸集進(jìn)行圖像超分辨率重建，約束凸集分為誤差噪聲約束集、幅值約束集、數(shù)據(jù)一致性約束集3種[21]，約束凸集可以定義為

S(m,n)={f(m,n):|α(f)(m,n)|≤δ(m,n)},

(1)

式中δ(m,n)用來(lái)表示對(duì)觀測(cè)結(jié)果信任度的參數(shù)，α(f)(m,n)表示低分辨率圖像與擬重建的高分辨率圖像之間的差值.

設(shè)r(m1,n1;m2,n2)為點(diǎn)擴(kuò)展函數(shù)，則擬重建高分辨率圖像f(m,n)各像素點(diǎn)在約束凸集S(m,n)上的投影G(m,n)[f(m,n)]可以表示為

(2)

根據(jù)8bit圖像的先驗(yàn)知識(shí)可知，其取值范圍為[0,255]，所以幅值約束集SA可以表示為

SA={f(m,n):0≤f(m,n)≤255}.

(3)

根據(jù)式(2)和式(3)，圖像f(m,n)在幅值約束集SA的投影GA為

(4)

2.2　凸集投影超分辨率圖像重建的實(shí)現(xiàn)

凸集投影超分辨率重建過(guò)程為：

1) 從視頻獲取連續(xù)多幀低分辨率圖像序列；

2) 從獲取的低分辨率圖像序列中選擇其中一幅作為初始圖像，對(duì)其進(jìn)行插值放大(插值放大倍數(shù)根據(jù)需要自行設(shè)置)后作為高分辨率圖像的參考圖像；

3) 設(shè)置迭代次數(shù)(迭代次數(shù)根據(jù)實(shí)際需要設(shè)置)，迭代次數(shù)初始值為1；

4) 讀取下一幀，并計(jì)算參考幀與相鄰幀圖像像素之間的運(yùn)動(dòng)系數(shù)；

5) 根據(jù)運(yùn)動(dòng)系數(shù)，轉(zhuǎn)化為高分辨率圖像網(wǎng)格上的坐標(biāo)；

6) 對(duì)各幀中的每個(gè)像素進(jìn)行凸集運(yùn)算，求得一個(gè)差值R；

7) 根據(jù)在步驟6)中所得的差值R對(duì)范圍內(nèi)各像素進(jìn)行修正，直至差值R在(-1,1)之間；

8) 該幀圖像像素全部修復(fù)完后，以該幀圖像作為參考圖像，重復(fù)步驟4)，直至所有圖像序列全部重建完成；

9) 迭代終止，獲得高分辨率圖像.

3實(shí)驗(yàn)與結(jié)果分析

原始圖像為從視頻中獲取的連續(xù)4幀低分辨率圖像，分辨率為320×240，如圖1所示.分別采用本文提出的凸集投影法、文獻(xiàn)[4]提出的基于馬爾可夫隨機(jī)場(chǎng)和文獻(xiàn)[14]提出的迭代反投影法對(duì)原始圖像進(jìn)行2倍放大圖像重建，重建后圖像分辨率為640×480，峰值信噪比PSNR值分別為24.252、22.370、21.688，重建效果圖如圖2所示.實(shí)驗(yàn)結(jié)果表明，采用凸集投影法進(jìn)行圖像重建的視覺效果明顯優(yōu)于基于馬爾可夫隨機(jī)場(chǎng)和迭代反投影法的重建效果，即采用凸集投影法進(jìn)行圖像重建的圖像其細(xì)節(jié)信息更加豐富，圖像信息密集區(qū)域重建后邊緣更清晰，反映圖像重建效果的PSNR值更高.

將在視頻中獲取的原始低分辨率圖像(圖1(a))和本文算法重建的高分辨率圖像(圖2(a))分別在Matlab編寫的車牌識(shí)別系統(tǒng)中進(jìn)行車牌定位和字符識(shí)別，其結(jié)果如圖3和圖4所示.這表明，采用凸集投影算法重建可以提高圖像分辨率，進(jìn)而提高系統(tǒng)的車牌定位和字符識(shí)別的準(zhǔn)確率.

表1為采用不同迭代次數(shù)進(jìn)行重建實(shí)驗(yàn)獲得的PSNR值.從表1可知，迭代次數(shù)越多，PSNR值越大.這表明，迭代次數(shù)越多，重建算法精度越高，圖像重建效果越好.

圖1　視頻獲取的4幀低分辨率原始圖像

圖2　采用不同方法的超分辨率圖像重建效果比較

圖3　原始低分辨率圖像進(jìn)行車牌定位和字符識(shí)別的結(jié)果

圖4　重建后高分辨率圖像進(jìn)行車牌定位和字符識(shí)別的結(jié)果

迭代次數(shù)PSNR值324.252425.130525.845626.215

4結(jié)論

本文實(shí)驗(yàn)結(jié)果表明，采用凸集投影法進(jìn)行圖像重建的視覺效果明顯優(yōu)于基于馬爾可夫隨機(jī)場(chǎng)和迭代反投影法的重建效果，即圖像細(xì)節(jié)信息更加豐富，圖像信息密集區(qū)域重建后邊緣更清晰，反映圖像重建效果的PSNR值更高，能夠?yàn)檐嚺谱R(shí)別后續(xù)工作提供高質(zhì)量的圖像，進(jìn)而提高車牌識(shí)別的準(zhǔn)確率.實(shí)驗(yàn)還表明，迭代次數(shù)越多，圖像重建質(zhì)量越高.由于迭代次數(shù)越多，圖像重建時(shí)間越長(zhǎng)，因此在后續(xù)工作中，筆者將進(jìn)一步研究圖像重建效果和重建時(shí)間的關(guān)系，通過(guò)獲取迭代次數(shù)最佳閾值，以進(jìn)一步提高算法的效率.

參考文獻(xiàn)：

[1]林明儒.基于邊緣分析和紋理信息統(tǒng)計(jì)的車牌定位研究[J].阜陽(yáng)師范學(xué)院學(xué)報(bào),2010,27(3):66-69.

[2]李彥.探究車牌識(shí)別中的超分辨率算法[J].淮海工學(xué)院學(xué)報(bào)，2013,22(2):29-31.

[3]Yang Q X,Yang R G,Davis J,et al. Spatial depth super resolution for range images[C] //Proceedings of Computer Vision and Pattern Recognition Minneapolis. MN，USA: IEEE Computer Society Press,2007.

[4]吳煒,楊曉敏,卿粼波,等.基于馬爾可夫隨機(jī)場(chǎng)的低分辨率車牌圖像復(fù)原算法[J].計(jì)算機(jī)應(yīng)用研究,2010,27(3):1170-1172.

[5]姚振杰,易衛(wèi)東.一種用于車牌識(shí)別的圖像超分辨率算法[J].中國(guó)科學(xué)院研究生院學(xué)報(bào),2013,30(1):137-143.

[6]李翠華,施華,戴平陽(yáng),等.引入格式塔理論的超分辨率圖像重建技術(shù)[J].廈門大學(xué)學(xué)報(bào),2011,50(2):261-270.

[7]鐘九生,江南,胡斌,等.一種遙感影像超分辨率重建的稀疏表示建模及算法[J].測(cè)繪學(xué)報(bào),2014，43(3):276-283.

[8]袁晶.基于超分辨重建數(shù)學(xué)模型的醫(yī)學(xué)圖像處理方法[J].計(jì)算機(jī)仿真,2014,31(5):243-245.

[9]Tsai R Y,Huang T S. Multiframe image restoration and registration[J].Advances in Computer Vision and Image Processing,1984,1:317-339.

[10]余永松,吳煒,陳為龍.基于凸集投影(POCS)的車牌圖像超分辨率重建研究[J].計(jì)算機(jī)與數(shù)字工程,2009,37(2):139-142.

[11]王茜艷,陳力,李萌.基于插值的圖像修復(fù)算法[J].汕頭大學(xué)學(xué)報(bào),2015,30(2):72-80.

[12]王春霞,蘇紅旗,范郭亮.圖像超分辨率重建技術(shù)綜述[J].計(jì)算機(jī)技術(shù)與發(fā)展,2011,21(5):124-127.

[13]孫玉剛.數(shù)字圖像修復(fù)技術(shù)研究[D].南京:南京航空航天大學(xué),2011.

[14]郭偉偉,章品正.基于迭代反投影的超分辨率圖像重建[J].計(jì)算機(jī)科學(xué)與探索,2009,3(3):321-329.

[15]Kim K I，Kwon Y. Single-image super-resolution using sparse regression and natural image prior[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(6):1127-1133.

[16]Sun J,Xu Z,Shum H Y. Gradient profile prior and its applications in image super-resolution and enhancement[J]. IEEE Transactions on Image Processing,2011,20(6):1529-1542.

[17]韓玉兵,束鋒,孫錦濤,等.基于MG-GMRES算法的圖像超分辨率重建[J].計(jì)算機(jī)學(xué)報(bào),2007,30(6):1028-1034.

[18]陳湘驥.基于多尺度相似學(xué)習(xí)的圖像超分辨率重建算法研究[D].廣州:華南理工大學(xué)，2014.

[19]Giachetti A,Asuni N. Real time artifact-free image up scaling[J].IEEE Transactions on Image Processing,2011,20(10):2760-2768.

[20]Yu J,Gao X,Tao D,et al. A unified learning framework for single image super-resolution[J]. IEEE Trans on Neural Networks and Learning Systems,2014,25(4):780-792.

[21]梅文蘭.車牌識(shí)別中超分辨率算法的研究[D].成都:西南交通大學(xué),2011.