基于改進(jìn)的特征提取方法和稀疏表示的單幅圖像超分辨率重建算法

王亞輝，賈媛媛，何中市

（重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶 400044）

基于改進(jìn)的特征提取方法和稀疏表示的單幅圖像超分辨率重建算法

王亞輝，賈媛媛，何中市

（重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶 400044）

為了改善單幅圖像的超分辨率重建效果，在基于過(guò)完備字典圖像的超分辨率重構(gòu)算法的架構(gòu)上，應(yīng)用改進(jìn)的高斯Laplace算子來(lái)提取低頻圖像的特征，應(yīng)用于圖像重建。該算子主要用于在重建圖像的預(yù)處理階段，有效地提取各個(gè)方向的邊緣特征，既不會(huì)造成漏檢，也不會(huì)加重噪聲。實(shí)驗(yàn)表明，與現(xiàn)有的幾類算法相比較，使用該算子提取特征后，重建圖像的效果無(wú)論在峰值信噪比還是結(jié)相似性都有所提高。

圖像的超分辨重建；過(guò)完備字典；高斯Laplace

0 引言

圖像的超分辨重建是利用一幅或多幅低分辨圖像構(gòu)建出高分辨圖像的技術(shù)[1]。圖像的超分辨重建技術(shù)廣泛應(yīng)用于遠(yuǎn)程監(jiān)控、軍事偵察、醫(yī)療圖像等領(lǐng)域，有廣闊的前景。因此，近三十來(lái)，超分辨率重建技術(shù)引起了圖像處理界的廣泛關(guān)注。目前主流圖像的超分辨率重建方法主要分為三大類。第一類是基于插值[2-3]的方法：主要是通過(guò)臨近的像素點(diǎn)進(jìn)行加權(quán)來(lái)預(yù)估插值點(diǎn)的像素，這類算法的復(fù)雜度較低，試用于簡(jiǎn)單的場(chǎng)景，但是在圖像的邊緣會(huì)產(chǎn)生顯而易見(jiàn)的偽影；第二類是基于重建[4-7]的方法：這類方法集中探索重建圖像的先驗(yàn)知識(shí)和約束項(xiàng)，與第一類算法相比，能夠得到清晰的圖像，但當(dāng)重建尺度較大時(shí)不能得到較好的邊緣細(xì)節(jié)；第三類是基于學(xué)習(xí)的方法：這類方法的觀點(diǎn)主要是估計(jì)高分辨率圖像（HR，High Resolution）和低分辨率圖像（LR，Low Resolution）中圖像塊之間的映射關(guān)系。Freeman[8]等人首先提出了一個(gè)馬爾科夫隨機(jī)場(chǎng)模型來(lái)學(xué)習(xí)HR和LR之間的關(guān)系，但是需要大量的HR和LR的圖像塊，算法的復(fù)雜度非常高。Dong[9]等人采用卷積神經(jīng)網(wǎng)絡(luò)直接對(duì)高分辨率圖像和低分辨率圖像進(jìn)行端到端的學(xué)習(xí)。目前研究的主要熱點(diǎn)集中于由Yang[10-12]等人在2008年提出的基于稀疏表示的圖像的超分辨重建技術(shù)。這種技術(shù)基于壓縮感知理論，假定圖像塊能夠由字典中的少數(shù)原子線性表示。根據(jù)這種思想，Yang等人提出首先基于訓(xùn)練集合分別學(xué)習(xí)高、低分辨率過(guò)完備字典，然后根據(jù)低分辨率過(guò)完備字典對(duì)LR圖像塊稀疏表示，最后利用稀疏系數(shù)和高分辨過(guò)完備字典重建HR圖像塊。這類方法有較好的自適應(yīng)性，圖像重建效果也令人滿意。但字典訓(xùn)練過(guò)程中的特征標(biāo)志搜索算法速度過(guò)于緩慢，一般需要三四個(gè)小時(shí)。Elad[13]等人在Yang的基于稀疏表示的超分辨率重建算法框架上進(jìn)行了一些有效的改進(jìn)，字典訓(xùn)練采用了K-SVD[14]（KSingular Value Decomposition）算法，并且運(yùn)用主成分分析法（PCA，Principal Component Analysis）對(duì)圖像特征降維，稀疏表示采用OMP[15]（Orthogonal Matching Pursuit）算法。這些方法的使用大量地減少了字典的訓(xùn)練時(shí)間，降低了整個(gè)算法的時(shí)間復(fù)雜度，同時(shí)提高了重建圖像的質(zhì)量。但是該算法特征提取方法過(guò)于簡(jiǎn)單，沒(méi)有充分利用圖像的先驗(yàn)特征。針對(duì)該問(wèn)題，本文在Elad等人基于稀疏表示圖像超分辨重建算法框架上，認(rèn)真對(duì)比了對(duì)圖像塊特征提取的方法，采用了高斯平滑的拉普拉斯算子，更有效地提取邊緣高頻特征，充分利用圖像的先驗(yàn)特征，從而提高了重建圖像的質(zhì)量。

1 基于稀疏表示單幅圖像的超分辨重建

高分辨率圖像的降質(zhì)表達(dá)式如下（1）所示：

其中，yh，yl∈RNh，H是和S分別是對(duì)yh進(jìn)行低通濾波和向下采樣，Q是對(duì)低分辨率圖像進(jìn)行插值，使其尺寸大小與高分辨圖像的尺寸大小一致，v是高斯噪聲，服從v～N（0，σ2I）。

單幅圖像的分辨率重建問(wèn)題可描述為給定一幅低分辨率圖像yl，重建成同一場(chǎng)景下較高分辨率圖像yh。

單幅圖像的超分辨率重建問(wèn)題可表示為：

該問(wèn)題為病態(tài)反問(wèn)題，即不存在唯一解，因此需要引入正則項(xiàng)，將病態(tài)反問(wèn)題轉(zhuǎn)換為適定問(wèn)題。即：

其中R（yh）為正則項(xiàng)，基于稀疏表示的超分辨率重建算法引入圖像的稀疏和冗余特征作為正則項(xiàng)，即：

1.1 訓(xùn)練階段

（4）使用K-SVD訓(xùn)練低分辨率圖像塊的字典Al。

（5）構(gòu)建與Al相對(duì)應(yīng)的高分辨率圖像塊的字典Ah。

1.2 重建階段

（1）給定一個(gè)測(cè)試的低分辨圖像zl，插值得到與目標(biāo)大小相同的需要重建的低分辨率圖像yl，并對(duì)yl進(jìn)行與訓(xùn)練階段一樣的預(yù)處理。

（4）將重建好的高分辨圖像塊合并成最終的高分辨圖像yh。

2 改進(jìn)的高斯Laplace特征提取

文獻(xiàn)[13]對(duì)低分辨率圖像塊進(jìn)行特征提取，使用的高通濾波器為梯度算子和Laplace算子：

Laplace算子是二階導(dǎo)數(shù)的算子，有很好的各項(xiàng)同性，具有位移不變性和旋轉(zhuǎn)不變性的特點(diǎn)；但丟失了邊緣的方向信息，并且加重了噪聲。經(jīng)典的高斯Laplace算子采用高斯濾波和Laplace銳化濾波結(jié)合起來(lái)，先用高斯平滑噪聲，再采用Laplace進(jìn)行銳化，可以得到優(yōu)于Laplace的效果。故本文采用了一種改進(jìn)的高斯Laplace算子用來(lái)提取圖像的高頻特征，再應(yīng)用于整個(gè)圖像重建過(guò)程中。

文獻(xiàn)[16]中提出了一種改進(jìn)的高斯Laplace算子，如下（6）所示：

整個(gè)Laplace模板[16]在16個(gè)方向上都有不同的向量權(quán)重，而且不同方向上的權(quán)重不同，而同方向權(quán)重相等；整個(gè)模板沒(méi)有零點(diǎn)，保證了16個(gè)方向都能檢測(cè)到邊緣特征，既不會(huì)造成漏檢，也不會(huì)加重噪聲。

3 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)采用與文獻(xiàn)[13]一致的參數(shù)，將低分辨率圖像重建為3倍大小的高分辨圖像，K-SVD的迭代次數(shù)為40，訓(xùn)練字典的原子為1000，圖像塊的大小為[9 9]。將Bicubic插值算法、文獻(xiàn)[11]和文獻(xiàn)[13]提出的算法和本文采用算法的重建結(jié)果進(jìn)行了對(duì)比。主要采用峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）兩個(gè)度量標(biāo)準(zhǔn)，其計(jì)算方法如公式（7）（8）所示

其中，M和N代表x和y的維數(shù)，μx和μy是均值，σx和σy代表方差，σxy代表x和y之間的協(xié)方差。PSNR的值越高，SSIM越接近于1，代表重建效果越好。

圖1展示了圖像Comics四種方法重建結(jié)果。從圖一中可以看出，使用插值方法處理的圖像比較平滑，導(dǎo)致圖像模糊，邊緣鋸齒明顯，偽影嚴(yán)重。與文獻(xiàn)[11]和文獻(xiàn)[13]方法對(duì)比，本文的方法在臉部邊緣的輪廓的清晰度度上略勝一籌，從Comics圖像的右邊脖子中可以看出，邊緣清晰，顏色較統(tǒng)一，均勻，較少出現(xiàn)偽影。

表1和表2分別是用四種方法對(duì)10幅圖像進(jìn)行重建結(jié)果的PSNR和SSIM值展示，可以看出，應(yīng)用本文方法重建的圖像，優(yōu)于其他三種方法的PSNR和SSIM值。例如Comics圖像的重建效果，PSNR結(jié)果是Bicubic的最差，為23.3，文獻(xiàn)[11]和文獻(xiàn)[13]比Bicubic要顯著好的多，分別是23.9和24.0，本文的方法是24.2。對(duì)于SSIM結(jié)果的對(duì)比依舊是Bicubic方法最差，為0.691，文獻(xiàn)[11]和文獻(xiàn)[13]和本文的方法對(duì)比結(jié)果遞增，分別為0.747、0.750和0.753。

圖1 圖片Comics四種方法重建的結(jié)果

表1 四種方法對(duì)10幅圖像重建結(jié)果的PSNR

表2 四種方法對(duì)10幅圖像重建結(jié)果的SSIM

4 結(jié)語(yǔ)

本文在基于稀疏表示的圖像超分辨重建算法的框架上，采用了高斯Laplace算子對(duì)圖像提取高頻特征，用于圖像重建。實(shí)驗(yàn)結(jié)果表明，無(wú)論是從感官上還是從實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)上表明，本文方法都是要優(yōu)于傳統(tǒng)的插值算法，以及文獻(xiàn)[11]和文獻(xiàn)[13]兩種基于稀疏表示的SR算法，同時(shí)也證明了本文的改進(jìn)是有效的。

[1]沈煥鋒，李平湘，張良培，等.圖像超分辨率重建技術(shù)與方法綜述[J].光學(xué)技術(shù)，2009，35（2）：194-199.

[2]Hou H，Andrews H.Cubic Splines for Image Interpolation and Digital Filtering[J].IEEE Transactions on Acoustics，Speech，and Signal Processing，1978，26（6）:508-517.

[3]Keys R.Cubic Convolution Interpolation for Digital Image Processing[J].IEEE Transactions on Acoustics，Speech，and Signal Processing，1981，29（6）:1153-1160.

[4]Stark H，Oskoui P.High-Resolution Image Recovery from Image-Plane Arrays，Using Convex Projections[J].JOSA A，1989，6（11）: 1715-1726.

[5]Irani M，Peleg S.Improving Resolution by Image Registration[J].CVGIP:Graphical Models and Image Processing，1991，53（3）:231-239.

[6]A.Gholipour，J.A.Estroff，S.K.Warfield.Robust Super-Resolution Volume Reconstruction from Slice Acquisitions:Application to Fetal Brain MRI[J].IEEE Transactions on Medical Imaging，2010，29（10）:1739-1758.

[7]K.Jafari-Khouzani.MRI Upsampling Using Feature-Based Nonlocal Means Approach[J].IEEE Transactions on Medical Imaging，2014，33（10）:1969-1985.

[8]Freeman W T，Jones T R，Pasztor E C.Example-Based Super-Resolution[J].IEEE Computer Graphics and Applications，2002，22（2）:56-65.

[9]Chao Dong，Chen Change Loy，Xiaoou Tang.Image Super-Resolution Using Deep Convolutional Networks.IEEE Transactions on Pattern Analysis and Machine Intelligence，38（2）:295-307，F(xiàn)eb.2016.

[10]Yang J，Wright J，Huang T，et al.Image Super-Resolution as Sparse Representation of Raw Image Patches[C].Computer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on.IEEE，2008:1-8.

[11]Yang J，Wright J，Huang T，et al．Image Super-Resolution Via Sparse Representation[J].IEEE Transactions on Image Processing，2010，19（11）:2861-2873．

[12]Yuanyuan Jia，Zhongshi He，Ali Gholipour，Simon K.Warfield（2015）Single Anisotropic 3D MR image Upsampling via Over-Complete Dictionary Trained from In-plane High Resolution Slices[J].IEEE journal of biomedical and Health Informatics.（Publish online）

[13]Zeyde R，Elad M，Protter M.On Single Image Scale-up Using Sparse-Representations［DB］.Curves and Surfaces，Springer，2012．

[14]Elad M，Aharon M，Bruckstein A M.The K-SVD:an Algorithm for Designing of Overcomplete Dictionaries for Sparse Representations [J].IEEE Trans.Image Process，2006，15（12）:3736-3745.

[15]Pati Y C，Rezaiifar R，Krishnaprasad P S.Orthogonal Matching Pursuit:Recursive Function Approximation with Applications to Wavelet Decomposition[C].Signals，Systems and Computers，1993.1993 Conference Record of The Twenty-Seventh Asilomar Conference on.IEEE，1993:40-44.

[16]劍玲，鄒輝.基于高斯Laplace算子圖像邊緣檢測(cè)的改進(jìn)[J].微電子學(xué)與計(jì)算機(jī)，2007，24（9）:155-157.

Single Image Super-Resolution Reconstruction Algorithm Based on Improved Feature Extraction and Sparse Representation

WANG Ya-hui，JIA Yuan-yuan，HE Zhong-shi

（College of Computer Science,Chongqing University,Chongqing 400044）

In order to improve the super-resolution reconstruction effect of single image,uses an improved Gaussian Laplace operator to extract the features of low-frequency on image for the image super-resolution reconstruction algorithm based on over-complete dictionary.This operator is mainly used to extract the edge features of each direction effectively during the preprocessing phase of the reconstructed image, which will not result in missed detection and no increase of noise.Experiments show that,compared with the existing algorithms,the effect of reconstructing the image using the operator is improved both in the PSNR and the SSIM.

Super-Resolution Reconstruction of Image;Over-Complete Dictionary;Gaussian Laplace;Timer

1007-1423（2017）02-0063-05

10.3969/j.issn.1007-1423.2017.02.016

王亞輝（1992-），男，湖南益陽(yáng)人，碩士，研究方向?yàn)閿?shù)字圖像處理

2016-11-01

2017-01-05

賈媛媛，教師，研究方向?yàn)獒t(yī)學(xué)圖像處理

何中市，教授，博士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘、自然語(yǔ)言、處理與數(shù)字圖像處理