基于流形學(xué)習(xí)的車牌圖像超分辨率算法

劉 穎, 魏麗娜, 王殿偉, 李大湘

(1.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121；2.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院， 陜西 西安 710121)

基于流形學(xué)習(xí)的車牌圖像超分辨率算法

劉 穎1, 魏麗娜2, 王殿偉1, 李大湘1

(1.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121；2.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院， 陜西 西安 710121)

為了解決視頻監(jiān)控系統(tǒng)中車牌圖像分辨率較低、車牌字符難以辨識(shí)的問題，提出一種基于流形學(xué)習(xí)的車牌圖像超分辨率重建算法。首先學(xué)習(xí)訓(xùn)練樣本庫中高、低分辨率圖像之間的映射關(guān)系，然后利用線性判別分析(Linear Discriminant Analysis ,LDA)算法提取圖像特征，并利用流形學(xué)習(xí)中的局部線性嵌入(Locally Linear Embedding ，LLE)算法對(duì)特征向量進(jìn)行參數(shù)建模，最后通過特征映射關(guān)系獲得高分辨率圖像。實(shí)驗(yàn)表明，該方法對(duì)監(jiān)控系統(tǒng)中的低分辨率車牌圖像具有較好的超分辨率復(fù)原效果，不僅提高了字符的可讀性，而且具有更高的峰值信噪比。

超分辨率；流形學(xué)習(xí)；車牌圖像；局部線性嵌入

在視頻監(jiān)控系統(tǒng)中，由于攝像頭與車輛的距離較遠(yuǎn)，成像設(shè)備獲取的視頻圖像的分辨率低、數(shù)據(jù)的編碼和存儲(chǔ)過程中的有損壓縮，以及光線強(qiáng)度和大氣擾動(dòng)等因素，導(dǎo)致獲取車牌圖像分辨率比較低，車牌數(shù)據(jù)的辨識(shí)能力低下，嚴(yán)重影響了這些視頻圖像在違章監(jiān)管、案件偵破等工作中的應(yīng)用價(jià)值。為了有效地提高車牌圖像的分辨率，增加車牌識(shí)別的正確率，利用低分辨率的車牌圖像復(fù)原出高分辨率的圖像就顯得尤為重要。

目前提高圖像分辨率的方法主要有提高單位面積上的像素?cái)?shù)量、改變成像系統(tǒng)探測(cè)元排列方式、增加成像芯片的尺寸以及采用超分辨率技術(shù)四大類。前三種提高成像分辨率的方法都是通過硬件技術(shù)進(jìn)行的，成本較高。超分辨率技術(shù)是通過軟件方法從單幅或多幅低分辨率圖像中復(fù)原出高分辨率圖像的方法，它是一種快速、低成本的提高圖像質(zhì)量的方法，具有很高的實(shí)用價(jià)值，所以一直是圖像處理領(lǐng)域研究的熱點(diǎn)[1]。

超分辨率技術(shù)有基于重建的超分辨率技術(shù)[2-3]和基于學(xué)習(xí)的超分辨率技術(shù)[4-5]兩種復(fù)原方法?；谥亟ǖ某直媛史椒ㄊ菑妮斎雸D像中得到可用信息，求解過程相當(dāng)于信息提取和信息融合；基于學(xué)習(xí)的超分辨率方法依靠一個(gè)事先建立的圖像訓(xùn)練庫，對(duì)低分辨率圖像進(jìn)行超分辨率放大，能夠彌補(bǔ)基于重建方法的很多不足，比較適合于具有固定模式的圖像，如人臉和文字。車牌圖像屬于文字類型，所以本文將其應(yīng)用于車牌圖像[6]。

Baker等人[7]在2000年提出基于學(xué)習(xí)的圖像超分辨率方法，將其用于人臉圖像的分辨率增強(qiáng)。Freeman[8-9]等人提出了一種基于例子的超分辨率方法，利用馬爾科夫網(wǎng)絡(luò)建模，學(xué)習(xí)高分辨率(HR)圖像與其對(duì)應(yīng)的低分辨率(LR)圖像之間的關(guān)系。Su[10]等討論“近鄰問題”，提出一種新的特征提取方法來提高圖像超分辨率的重建性能。Chan[11]等提出的特征提取方法是利用一階梯度和歸一化亮度組成特征矢量，但該方法的效果也不是很令人滿意。因此，需要更合適的特征來改進(jìn)超分辨率的重建性能。香港科技大學(xué)的Chang[12]等學(xué)者提出一種基于鄰域嵌入的超分辨率重建算法，假設(shè)高分辨率和低分辨率圖像塊的局部幾何特征是類似的，通過學(xué)習(xí)訓(xùn)練集中LR圖像及其對(duì)應(yīng)的HR圖像的映射關(guān)系，估計(jì)未知的超分辨率圖像。Chang的算法效果很好，對(duì)后面學(xué)者的研究有重要的意義。但該算法也存在著不足：(1)用歐式方法計(jì)算距離，該算法易受到近鄰點(diǎn)個(gè)數(shù)的影響；(2)選取的特征較為簡(jiǎn)單。本文將流形學(xué)習(xí)的思想用于車牌圖像的超分辨率復(fù)原，針對(duì)以上兩點(diǎn)做了改進(jìn)，提出一種基于線性鑒別分析(Linear Discriminant Analysis ,LDA)和局部線性嵌入(Locally Linear Embedding ，LLE)相結(jié)合的車牌圖像超分辨率重建方法。首先利用LDA算法提取圖像特征，然后用LLE算法對(duì)其進(jìn)行建模，通過學(xué)習(xí)模型獲得高分辨率圖像。

1 理論簡(jiǎn)述

Roweis等[13]在2000年提出了局部線性嵌入算法，假設(shè)兩個(gè)點(diǎn)在高維空間中相鄰，那么其映射到低維空間中的兩個(gè)點(diǎn)也相鄰,保存流形中的局部幾何特征是其核心思想。

LLE[14]的具體算法實(shí)現(xiàn)為:設(shè)在高維歐氏空間RD中有數(shù)據(jù)集X={x1,x2,…,xN},該方法希望將X嵌入到一個(gè)相對(duì)低維的空間Rd中(d

LLE算法可以歸納為如下3個(gè)步驟。

步驟1 計(jì)算出每個(gè)樣本點(diǎn)的k個(gè)近鄰點(diǎn)；

步驟2 由每個(gè)樣本點(diǎn)的近鄰點(diǎn)計(jì)算出該樣本點(diǎn)的局部重建權(quán)值矩陣；

步驟3 由該樣本點(diǎn)的局部重建權(quán)值矩陣和其近鄰點(diǎn)計(jì)算出該樣本點(diǎn)的輸出值。

為了客觀地評(píng)價(jià)超分辨率算法的效果，通常使用峰值信噪比(PSNR)做衡量的指標(biāo)。峰值信噪比(PSNR)定義為

PSNR=20×lg(L/RMSE),

(1)

其中RMSE(均方根誤差)定義為

RMSE=

(2)

其中HR為原始的高分辨率圖像；SR為低分辨率圖像復(fù)原得到的超分辨率圖像；M,N為圖像的長(zhǎng)度和寬度；對(duì)8_bit的圖像來說，L=255。

2 算法重建

2.1 改進(jìn)距離度量的局部線性嵌入算法

在文獻(xiàn)[12]中，Chang首次將流形學(xué)習(xí)算法應(yīng)用到超分辨率算法中，假設(shè)高分辨率與低分辨率圖像塊的流形結(jié)構(gòu)是相似的，實(shí)驗(yàn)結(jié)果也證實(shí)了相鄰的高分辨率圖像塊退化后的低分辨率圖像塊也相鄰。如果數(shù)據(jù)點(diǎn)是從單個(gè)流形上采樣得到時(shí)，歐式距離能夠代表流形的局部幾何結(jié)構(gòu)，但當(dāng)數(shù)據(jù)點(diǎn)是從多個(gè)流形結(jié)構(gòu)采樣得到時(shí)，歐式距離方法就不能精確描述流形的局部幾何特征。因此，可以利用數(shù)據(jù)集的先驗(yàn)信息來學(xué)習(xí)新的距離度量，使局部鄰域能夠更精確地近似流形的局部幾何結(jié)構(gòu)。本文在傳統(tǒng)LLE算法上對(duì)距離的求取進(jìn)行改進(jìn)，利用相關(guān)成分分析學(xué)習(xí)馬氏距離來代替?zhèn)鹘y(tǒng)的歐式距離，馬氏距離公式為

(3)

其中Xi,Xj為樣本向量，S為協(xié)方差矩陣。這種新的距離方法使局部鄰域能更精確近似流形的局部幾何結(jié)構(gòu)。

2.2LDA特征提取方法

線性判別分析(LDA)[15]，其主要目的是盡量減小同類樣本間的距離，使不同類別的樣本盡可能的分離。

在文獻(xiàn)[12]中，Chang等在特征提取方面只是簡(jiǎn)單地提取了像素亮度值的一階、二階梯度，將其作為低分辨率圖像塊的特征，這種方法對(duì)噪聲比較敏感，魯棒性不是很好。本文提出了一種新的特征提取方法，將LDA算法引入到LLE算法中，可最大化不同類別數(shù)據(jù)間的可分性。

2.3 算法流程

基于流形學(xué)習(xí)的車牌超分辨率算法分為兩個(gè)過程，即訓(xùn)練過程和學(xué)習(xí)過程。訓(xùn)練過程是對(duì)訓(xùn)練集中的數(shù)據(jù)進(jìn)行處理，獲取訓(xùn)練庫中LR圖像和HR圖像的特征。學(xué)習(xí)過程是對(duì)輸入的低分辨率圖像進(jìn)行處理，提取特征，利用訓(xùn)練過程獲得的映射關(guān)系重建出超分辨率圖像，算法流程如圖1所示。

(a)訓(xùn)練過程流程

(b)學(xué)習(xí)過程流程

3 實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)中，以車牌為研究對(duì)象進(jìn)行LLE+LDA模型下的基于流形學(xué)習(xí)的超分辨率復(fù)原。收集200幅車牌圖像，圖像大小為480×160，將采集的車牌圖像作為訓(xùn)練集中的高分辨率圖像，對(duì)其進(jìn)行模糊、下采樣后，得到訓(xùn)練集中的低分辨率圖像。實(shí)驗(yàn)隨機(jī)選擇5幅車牌圖像作為測(cè)試圖像，其余的195幅車牌圖像當(dāng)做訓(xùn)練集。

為了驗(yàn)證所提出算法的有效性，將與Chang的算法及最近鄰插值算法進(jìn)行比較，結(jié)果如圖2和圖3所示。

(a) 低分辨率圖像

(b) 最近鄰插值結(jié)果

(c) Chang算法的結(jié)果

(d) 本文方法的結(jié)果

(a) 低分辨率圖像

(b)最近鄰插值結(jié)果

(c) Chang算法的結(jié)果

(d) 本文方法的結(jié)果

從圖2和圖3中可以看出，Chang的方法和本文的方法要明顯的優(yōu)于最近鄰插值算法，這兩種方法在處理細(xì)節(jié)方面都有較好的效果，而本文結(jié)果要比Chang的算法結(jié)果更清晰，更平滑。從圖中還可以看出處理前的低分辨率圖像的字符比較模糊，很難辨識(shí)，本文方法處理后的圖像可以較好的辨識(shí)出各個(gè)字符，顯著地提高了字符的可辨識(shí)性，具有較好的復(fù)原效果。經(jīng)統(tǒng)計(jì)，本文方法處理后的字符具有較高的辨識(shí)率，表1是4種情況下處理前和處理后的字符可辨識(shí)率。

表1 字符可辨識(shí)率

圖4為5幅測(cè)試樣本不同方法的峰值信噪比，從圖中可以看出，最近鄰插值算法具有最低的峰值信噪比，本文方法比Chang的方法具有更高的峰值信噪比。

圖4 車牌圖像不同方法的峰值信噪比

4 結(jié)束語

為了取得更好的超分辨率復(fù)原效果，將流形學(xué)習(xí)中的LLE算法引入到超分辨率復(fù)原，采用LLE和LDA算法相結(jié)合的方法對(duì)車牌圖像進(jìn)行基于學(xué)習(xí)的超分辨率復(fù)原，并使用馬氏距離度量方法對(duì)局部線性嵌入算法進(jìn)行改進(jìn)，可以更精確地近似流形的局部幾何結(jié)構(gòu)，在一定程度上縮短了分類時(shí)間。實(shí)驗(yàn)結(jié)果表明，本文提出的超分辨率方法顯著提高了車牌字符的可辨識(shí)性，具有更高的峰值信噪比。

[1] 吳煒,陶青川.基于學(xué)習(xí)的圖像增強(qiáng)技術(shù)[M].西安：西安電子科技大學(xué)出版社,2013:53-65.

[2] 楊宇翔.圖像超分辨率重建算法研究[D].中國(guó)科學(xué)技術(shù)大學(xué),2013:10-14.

[3] Park S C, Park M K, Kang M G．Super-resolution image reconstruction:a technical overview[J]．IEEE Signal Processing Magazine,2003,20(3):21-36.

[4] Yang Min Chun,Wang Yu Chiang Frank.A self-learning approach to single image superresolution[J]. IEEE Transactions on Multimedia, 2013, 15(3):498-508.

[5] 黃東軍,侯松林.一種基于學(xué)習(xí)的非線性人臉圖像超分辨率算法[J].計(jì)算機(jī)應(yīng)用,2009,29 (5):1139-1344.

[6] 吳煒,楊曉敏,卿粼波.基于馬爾可夫隨機(jī)場(chǎng)的低分辨率車牌圖像復(fù)原算法[J].計(jì)算機(jī)應(yīng)用研究，2010,27(3):1170-1173.

[7] Simon B,Takeo K. Limits on super-resolution and how to break them[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2000,9(2): 372-379.

[8] Freeman W T, Jones T R, Carmichael O T. Learning low-level vision[J].International Journal of Computer Vision ,2000, 40(1):25-47.

[9] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J].IEEE Computer Graphics and Applications, 2002,22(2): 56-65.

[10] Su K，Qi T，Qing X，et al．Neighborhood issue in single frame image super-resolution[C]∥IEEE conference on Multimedia and Expo．Amsterdam：IEEE．2005 ,6(5):109-112．

[11] Chan Tak Ming，Zhang Junping，Pu Jian．et a1．Neighbor embedding based super-resolution algorithm through edge detection and feature se1ection[J]. Pattern Recognition Letters,2009,30(5):494 -502．

[12] Chang Hong, Yeung Dit Yan, Xiong Yimin. Super-resolution through neighbor embedding[C] // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. USA Washington DC, 2004,10(1): 275-282.

[13] Roweis S T , Saul L K .Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500):2323-2326.

[14] 羅四維,趙連偉.基于譜圖理論的流形學(xué)習(xí)算法.計(jì)算機(jī)研究與發(fā)展,2006,43(7):1173-1179.

[15] 董吉文,趙磊，李秀麗. KPCA和NS-LDA相結(jié)合的人臉識(shí)別研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，23(5):100-114.

[責(zé)任編輯:祝劍]

A license plate super-resolution reconstruction algorithm based on manifold learning

LIU Ying1, WEI Lina2, WANG Dianwei1, LI Daxiang1

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2.School of Computer Science and Technology,Xi’an University of Posts and Telecommunications,Xi’an 710121,China)

In order to address the problem of low resolution in surveillance video which causes the difficulty in recognizing license plates, a new license plate image super-resolution reconstruction method based on manifold learning is presented in this paper. Firstly, the mapping between low-resolution images and high-resolution images in training set is obtained by learning method. Secondly image feature vectors are extracted by linear discriminant analysis (LDA) algorithm and its parameters are modeled by locally linear embedding (LLE) algorithm. Finally the high resolution image is reconstructed by the mapping relation. The experimental results show that the proposed algorithm has good reconstructed performance for real surveillance system, which enhances video quality in terms of peak signal to noise ratio (PSNR) and improves interpretation of license plates.

super-resolution, manifold learning, license plate image, locally linear embedding

10.13682/j.issn.2095-6533.2014.06.005

2014-06-18

國(guó)家自然科學(xué)基金青年基金資助項(xiàng)目(61202183)；陜西省國(guó)際科技合作計(jì)劃基金資助項(xiàng)目(2013KW04-05)；公安部科技強(qiáng)警基礎(chǔ)工作專項(xiàng)基金資助項(xiàng)目(2014GABJC024，2014GABJC023);陜西省教育廳科學(xué)研究計(jì)劃資助項(xiàng)目(14JK1680)

劉穎(1972-),女，博士，高級(jí)工程師，從事圖像檢索及圖像/視頻特征分析研究。E-mail: ly_yolamda@sina.com 魏麗娜(1989-),女，碩士研究生，研究方向?yàn)槎嗝襟w與應(yīng)用研究。E-mail:weilina89@126.com

TN911.7

A

2095-6533(2014)06-0022-04