一種改進(jìn)的稀疏表示超分辨率重建算法

張曉燕，秦龍龍，錢　淵，單　勇

(空軍工程大學(xué)，西安 710077)

?

一種改進(jìn)的稀疏表示超分辨率重建算法

張曉燕，秦龍龍，錢淵，單勇

(空軍工程大學(xué)，西安 710077)

摘要：針對(duì)稀疏表示超分辨率重建算法中稀疏表示系數(shù)正則化效果不明顯、字典完備性弱以及重建圖像存在虛邊緣等問(wèn)題，提出了一種改進(jìn)的稀疏表示超分辨率重建算法。首先對(duì)正則化正交匹配追蹤(regularized orthogonal matching pursuit，ROMP)稀疏表示系數(shù)求解算法進(jìn)行了改進(jìn)，通過(guò)引入局部約束加權(quán)來(lái)提高稀疏表示系數(shù)的精度、增強(qiáng)圖像的紋理特性；然后，將Huber影響函數(shù)用于提取圖像的先驗(yàn)特征信息，以增強(qiáng)圖像特征、提升高分辨率字典的表示能力；最后，提出了基于學(xué)習(xí)的迭代反投影方法，提高了圖像后處理階段預(yù)測(cè)誤差的準(zhǔn)確性，進(jìn)一步改善了高分辨率重建圖像效果。實(shí)驗(yàn)結(jié)果表明，該方法在峰值信噪比和視覺(jué)效果上都有所提高，重建圖像的紋理特性和質(zhì)量得到了有效增強(qiáng)。

關(guān)鍵詞：超分辨率重建；稀疏表示；字典訓(xùn)練；圖像特征；迭代反投影

0前言

目前，超分辨率重建技術(shù)主要包括基于插值、基于重建以及基于學(xué)習(xí)等方法?；趯W(xué)習(xí)的方法能夠通過(guò)學(xué)習(xí)從樣本庫(kù)獲取先驗(yàn)信息，方法靈活、準(zhǔn)確性較高，已成為目前超分辨率算法中最流行的一類。其中經(jīng)典的方法有：Example-based方法[1]、鄰域嵌入方法[2]、支持向量回歸方法[3]、稀疏表示方法[4]等。在這些方法中，稀疏表示方法不僅解決了如何靈活方便選取先驗(yàn)信息的問(wèn)題，而且節(jié)省了空間，提高了效率。因此，該方法被認(rèn)為是超分辨率領(lǐng)域中最有前途、實(shí)用性最好的方法。

稀疏表示的方法是由Yang將壓縮感知的部分思想引入到超分辨率重建而提出的[4]，該方法加入了字典訓(xùn)練的過(guò)程，在確保高低分辨率圖像塊表示系數(shù)一致性的同時(shí)降低了重建復(fù)雜度，取得了更好的重建效果，但該算法字典訓(xùn)練過(guò)程采用的特征標(biāo)志搜索算法復(fù)雜度高、速度慢，而且重建圖像邊緣相對(duì)光滑，紋理結(jié)構(gòu)沒(méi)有得到很好恢復(fù)。Zeyde等[5]在基于稀疏表示超分辨率重建的框架上，進(jìn)行了一些重要的改進(jìn)，比如采用K奇異值分解 (singular value decomposition，K-SVD) 算法[6]來(lái)提升字典訓(xùn)練速度；超分辨率重建過(guò)程采取正交匹配追蹤 (orthogonal matching pursuit，OMP)方法[7]降低求解稀疏表示系數(shù)的復(fù)雜度；運(yùn)用主成份分析(principal component analysis，PCA) 法[8]進(jìn)行字典的降維等，提高了超分辨率重建算法的速度和重建圖像的質(zhì)量。Figueiredo等提出的正則化正交匹配追蹤(regularized orthogonal matching pursuit，ROMP)算法[9]在每次的迭代過(guò)程中進(jìn)行2次原子選擇，實(shí)現(xiàn)時(shí)比OMP算法更快、更加有效，但是算法中2次原子的選擇都是基于相關(guān)性進(jìn)行的，正則化效果并不明顯。鄧承志[10]借鑒局部約束線性編碼[11]的思想，針對(duì)低分辨率圖像中局部像素灰度分布集中, 導(dǎo)致圖像紋理模糊的問(wèn)題，提出了一種基于局部約束的群稀疏表示模型，但其在稀疏表示系數(shù)求解上很難與常用的快速稀疏表示系數(shù)求解算法相結(jié)合。劉梓等[12]采用多成分字典分別表示圖像的不同結(jié)構(gòu)特征，對(duì)單幅圖像的超分辨率重建具有較好的通用性，但高分辨率字典的完備性依然較弱，重建圖像仍沒(méi)能很好地利用先驗(yàn)信息。

綜上所述，雖然國(guó)內(nèi)外學(xué)者對(duì)稀疏表示超分辨重建提出了諸多改進(jìn)，但是稀疏表示系數(shù)的稀疏度與精度難以平衡、字典完備性弱及虛邊緣等問(wèn)題依然沒(méi)有得到有效解決。因此，本文主要從稀疏表示系數(shù)求解、圖像特征提取以及圖像后處理等方面著手，提出了一種改進(jìn)的稀疏表示超分辨率重建算法。

1稀疏表示的超分辨率重建原理

1.1圖像的稀疏表示

圖像的稀疏表示是指圖像塊S可以完全或者近似地由樣本庫(kù)特征集合中數(shù)目較少的圖像原子線性組合來(lái)表示，其數(shù)學(xué)描述表示為下列最小化問(wèn)題。

(1)

(1)式中：D為過(guò)完備字典，是由所有圖像原子組成的集合；‖α‖0是稀疏表示系數(shù)α的0范數(shù)，即α中非零元素的個(gè)數(shù)；S是待表示圖像塊。

對(duì)稀疏系數(shù)α的求解本質(zhì)上是NP-hard的組合優(yōu)化問(wèn)題，一般將其轉(zhuǎn)化為(2)式無(wú)約束的優(yōu)化問(wèn)題求解

(2)

(2)式中，λ1為稀疏表示系數(shù)的正則化參數(shù)。

1.2超分辨率重建

稀疏表示的超分辨率重建可分為2個(gè)階段：字典訓(xùn)練階段和稀疏重建階段。

1.2.1字典訓(xùn)練

字典訓(xùn)練階段的主要目的是獲得高完備性的低分辨率字典Dl和高分辨率字典Dh，其實(shí)現(xiàn)步驟為

2)訓(xùn)練低分辨率字典Dl。首先將樣本庫(kù)低分辨率圖像特征集{Pl}對(duì)應(yīng)位置的n×n大小的塊轉(zhuǎn)換成n·n×1的列向量，然后對(duì)列向量按次序縱向拼接得spl，并將所有的列向量spl組成特征矩陣SPl，再用SPl代替(2)式中的S得到(3)式，對(duì)(3)式采用交替迭代的方式求出低分辨率圖像特征集{Pl}下的Dl和稀疏表示訓(xùn)練系數(shù)α。

(3)

交替迭代過(guò)程為：先預(yù)先設(shè)定出低分辨率字典Dl，然后用ROMP算法求出稀疏表示訓(xùn)練系數(shù)α，再對(duì)預(yù)定的Dl和求出的α采用K-SVD算法進(jìn)行迭代優(yōu)化，得到最優(yōu)解。

3)訓(xùn)練高分辨率字典Dh。首先將樣本庫(kù)高分辨率圖像集Y中每幅圖像和自身降采樣再插值后的圖像相減得到樣本庫(kù)高分辨率圖像補(bǔ)償集Yb，然后，利用與低分辨率圖像特征提取類似的方法提取樣本庫(kù)高分辨率圖像補(bǔ)償集Yb的特征集{Ph}，并將其轉(zhuǎn)換為特征矩陣SPh，再利用(4)式求解高分辨率字典Dh。

(4)

(4)式中，α+代表稀疏表示系數(shù)α的偽逆。

1.2.2稀疏重建

2改進(jìn)的稀疏表示超分辨率重建

2.1字典訓(xùn)練

本文對(duì)上述字典訓(xùn)練算法進(jìn)行了改進(jìn)，首先依照1.2.1提取低分辨率圖像特征集{Pl}，在訓(xùn)練字典Dl時(shí)，提出了改進(jìn)的ROMP算法求解稀疏表示訓(xùn)練系數(shù)α，提高求解過(guò)程的正則化效果；在訓(xùn)練字典Dh時(shí)，提出用Huber影響函數(shù)提取的圖像先驗(yàn)特征信息，進(jìn)一步增加高分辨率圖像特征Ph，以有效增強(qiáng)字典完備性。

2.1.1改進(jìn)ROMP算法的稀疏表示系數(shù)求解

稀疏表示系數(shù)直接影響著訓(xùn)練字典的性能與超分辨率重建結(jié)果的質(zhì)量，因此對(duì)于稀疏表示系數(shù)算法的優(yōu)化與改進(jìn)尤為重要。目前，通常采用貪婪算法進(jìn)行稀疏系數(shù)的求解，其中包括匹配追蹤(marching pursuit ，MP)算法[13]、OMP算法、ROMP算法等。但這些算法的稀疏度與精度難以平衡，正則化的優(yōu)勢(shì)不明顯，本文提出了基于局部約束對(duì)相關(guān)系數(shù)加權(quán)的ROMP算法，其具體步驟如下。

輸入：待重建圖像塊s，字典D，選擇的原子數(shù)k。

輸出：稀疏表示系數(shù)α。

步驟1初始化。殘差r0=s，索引集Λ=Θ，J=Θ，迭代次數(shù)t=1；

步驟2第1次原子選擇。計(jì)算殘差rt與字典D中原子相關(guān)系數(shù)u，從中尋找處k個(gè)最大值，將與其坐標(biāo)對(duì)應(yīng)的索引加入J中；

步驟3第2次原子選擇(正則化)。計(jì)算局部約束加權(quán)系數(shù)ω=dist(s,D)，其中ω表示殘差s與D之間相似性，dist(s,D)=[dist(s,d1),…,dist(s,dm)]T表示殘差s與字典di(i=1,…,m)間的歐式距離。然后對(duì)k個(gè)最大相關(guān)系數(shù)u進(jìn)行加權(quán)，并將相關(guān)系數(shù)滿足條件2|ui|≥|umax|的原子加到Λ，以更新支撐集；

步驟4更新殘差。 采用最小二乘法進(jìn)行信號(hào)逼近：αt=arg min‖s-DΛαt-1‖2，計(jì)算新支撐集下的殘差rt=s-DΛαt；

步驟5停止條件。如果‖rt‖2<10-1或者稀疏系數(shù)個(gè)數(shù)num(Λ)≥6，則跳轉(zhuǎn)至步驟6)；否則返回重復(fù)步驟(2)，直到滿足停止條件；

步驟6輸出。稀疏表示系數(shù)α。

改進(jìn)的ROMP算法通過(guò)對(duì)相關(guān)系數(shù)進(jìn)行局部約束加權(quán)，提高了原子選擇的正則化，從而得到更準(zhǔn)確的α，在此基礎(chǔ)上可迭代優(yōu)化出高性能的Dl。

2.1.2高分辨率圖像特征增強(qiáng)

(5)

(6)

(6)式中，α為閾值參數(shù)，控制著模型的不連續(xù)性。

2.2超分辨率圖像重建及后處理

(7)

迭代反投影通過(guò)多次迭代能使得重建圖像誤差最小，但是它只是將預(yù)測(cè)誤差插值后從預(yù)測(cè)結(jié)果中去除，沒(méi)有充分利用高低分辨率字典間的有用信息。考慮到稀疏重建與迭代反投影之間的相似性，本文提出了基于學(xué)習(xí)的迭代反投影方法。

(8)

(9)

3實(shí)驗(yàn)及結(jié)果分析

選用WindowsXP操作系統(tǒng)、Matlab2013b軟件、2GB內(nèi)存、PentiumDual-Core處理器的作為實(shí)驗(yàn)平臺(tái)，并選定ZEYDE實(shí)驗(yàn)樣本庫(kù)的前45張圖像作為樣本庫(kù)，對(duì)待測(cè)試圖像從平均峰值信噪比(peaksignaltonoiseratio，PSNR)和視覺(jué)效果2個(gè)方面進(jìn)行比較分析。

表1　超分辨率重建圖像的PSNR

(注：Bicubic表示雙三次插值重建；ROMP表示采用ROMP求解稀疏表示系數(shù)的稀疏重建算法(文獻(xiàn)[9])；Proposed(1)表示采用改進(jìn)的ROMP求解稀疏表示系數(shù)的稀疏重建算法；Proposed(2)表示在Proposed(1)的基礎(chǔ)上加入高分辨率特征增強(qiáng)方法進(jìn)行重建；IBP表示對(duì)Proposed(2) 采用文獻(xiàn)[14]迭代反投影后處理；本文算法表示在Proposed(2)基礎(chǔ)上采用基于學(xué)習(xí)的迭代反投影后處理方法。)

從表1可以看出，所列重建方法中插值效果最差，而ROMP因利用了學(xué)習(xí)獲得的先驗(yàn)信息得到了較好的重建效果。相比ROMP的重建結(jié)果，改進(jìn)的ROMP算法對(duì)于大部分圖像而言，重建結(jié)果都有所提高，但對(duì)于flowers這樣細(xì)節(jié)較多的圖像容易造成紋理過(guò)重，導(dǎo)致重建質(zhì)量下降。由Proposed(2)的重建結(jié)果可知，經(jīng)過(guò)高分辨率圖像特征增強(qiáng)處理后的重建效果都得到了提高，表明了通過(guò)增強(qiáng)高分辨率圖像特征來(lái)增加字典的先驗(yàn)信息、保證字典完備性和必要性。在對(duì)重建圖像結(jié)果虛邊緣的處理中，本文提出的基于學(xué)習(xí)的迭代反投影比IBP方法效果更好，這就表明利用字典中含有的先驗(yàn)信息能夠提高迭代誤差的準(zhǔn)確性，有效消除重建圖像中的虛邊緣。

在客觀驗(yàn)證的基礎(chǔ)上，本文比較了Bicubic，ROMP以及本文算法重建圖像的主觀視覺(jué)效果，實(shí)驗(yàn)結(jié)果如圖1所示。

從圖1中可以看出，利用Bicubic重建的結(jié)果過(guò)于平滑，同時(shí)細(xì)節(jié)比較模糊；ROMP重建效果有所提升，但細(xì)微的圖像結(jié)構(gòu)仍沒(méi)有得到恢復(fù);本文算法重建的結(jié)果在紋理上要比ROMP重建結(jié)果清晰，從圖像zebra鬃毛局部細(xì)節(jié)、flowers花瓣上的斑點(diǎn)以及foreman墻面污點(diǎn)放大的局部均可以看出。

在對(duì)本文算法的主客觀驗(yàn)證之后，我們又對(duì)表1中提及的各種算法的運(yùn)行時(shí)間進(jìn)行比較分析，如表2所示。

圖1　三種不同算法的重建結(jié)果Fig.1　Reconstruction results of three different algorithms

算法BicubicROMPProposed(1)Proposed(2)IBP本文算法運(yùn)行時(shí)間/s0.28154.46454.69461.37361.46164.427

通過(guò)表2可以看出，插值算法簡(jiǎn)單，運(yùn)行時(shí)間短，常用在實(shí)時(shí)性要求較高的應(yīng)用中；ROMP算法所需的訓(xùn)練字典通常是利用龐大的樣本庫(kù)圖像訓(xùn)練而成，該字典紋理特征豐富，但需要花費(fèi)很長(zhǎng)的時(shí)間；本文的Proposed(1)算法對(duì)ROMP算法中稀疏系數(shù)過(guò)程進(jìn)行了改進(jìn)，采用局部約束加權(quán)系數(shù)對(duì)原子進(jìn)行正則化約束，提高了原子選擇的準(zhǔn)確性，但是引入了計(jì)算殘差與字典原子間歐式距離的過(guò)程，耗費(fèi)了一定時(shí)間；其他算法都是在此基礎(chǔ)上的進(jìn)一步改進(jìn)，所以運(yùn)行時(shí)間也相應(yīng)增加，本文算法有效提高了準(zhǔn)確性，但實(shí)時(shí)性稍有降低。

4結(jié)束語(yǔ)

本文提出了一種改進(jìn)的稀疏表示超分辨率重建算法，該方法主要從稀疏表示系數(shù)求解、圖像特征提取以及圖像后處理等方面進(jìn)行了改進(jìn)與完善。通過(guò)實(shí)驗(yàn)對(duì)比分析可知，本文算法能夠有效提高稀疏表示重建算法的性能。但是本文算法提出的改進(jìn)ROMP算法仍具有一定的局限性，特別是對(duì)于細(xì)節(jié)較多的圖像，容易造成紋理過(guò)重，導(dǎo)致重建質(zhì)量下降。因此，增強(qiáng)改進(jìn)ROMP算法的適用性，進(jìn)一步提高算法性能仍需做進(jìn)一步研究。

參考文獻(xiàn)：

[1]FREEMAN W, JONES T, PASZTOR E. Example based super resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[2]CHANG H,YEUNG D,XIONG Y.Super-resolution through neighbor embedding[C]∥Proceedings of IEEE Conf CVPR.Washington,DC:IEEE Press,2004:275-282.

[3]NI K, NGUYEN T Q. Image super resolution using support vector regression[J]. IEEE Transactions on Image Processing, 2007, 16(6): 1596-1610.

[4]YANG J, WRIGHT J, MA Y, et al. Image super-resolution as sparse representation of raw image patches[C]∥Proceedings of IEEE Conf CVPR. Anchorage, Alaska: IEEE Press, 2008:1-8.

[5]ZEYDE R, ELAD M, PROTTER M. On Single Image Scale-up using Sparse Representations[C]∥Proceedings of the 7th International Conference on Curves and Surfaces.Avignon，F(xiàn)rance:[s.n.],2012(6920):711-730.

[6]AHARON M, ELAD M, BRUCKSTEIN A. K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transaction on Image Processing, 2006, 54(11): 4311-4322.

[7]TROPP J,GILBERT A.Signal recovery from random measurements via orthogonal matching pursuit[J].Transactions on Information Theory,2007,53(12):4655-4666.

[8]TURK M, PENTLAND A. Face recognition using eigenfaces[C]∥Computer Vision and Pattern Recognition, 1991. Proceeding CVPR 91. IEEE Computer Society Conference on. [s.l.]: IEEE, 1991: 586-591.

[9]FIGUEIREDO M, NOWAK R, WRIGHT S. Gradient projection for sparse reconstruction: application to compressed sensing and other inverse Problems[J]. IEEE Journal of Selected Topics in Signal processing, 2007, 1(4): 586-597.

[10] 鄧承志，田偉，陳盼, 等. 基于局部約束群稀疏的紅外圖像超分辨率重建[J]. 物理學(xué)報(bào)，2014,63(4), 044202-1-044202-8.

DENG C Z, TIAN W, CHEN P, et al. Infrared image super-resolution via locality-constrained group sparse model[J]. Acta Phys Sin, 2014, 64(4): 044202-1-044202-8.

[11] WANG J, YANG J, YU K, et al. Locality constrained linear coding for image classification[C]∥IEEE Conference on Computer Vision and Pattern Recognition(CVPR). San Francisco, USA: IEEE Press, 2010: 3360-3367.

[12] 劉梓,宋曉寧,於東軍, 等. 基于多成分字典和稀疏表示的超分辨率重建算法[J]. 南京理工大學(xué)學(xué)報(bào), 2014,38(1):1-5.

LIU Z, SONG X N, YU D J, et al. Super-resolution reconstruction algorithm based on multi-component dictionary and sparse representation[J]. Journal of Nanjing University of Science and Technology, 2014, 38 (1):1-5.

[13] 汪雄良,冉承其,王正明. 基于緊致字典的追蹤方法在SAR圖像超分辨率中的應(yīng)用[J]. 電子學(xué)報(bào),2006, 34(6): 996-1001.

WANG X L, RAN C Z, WANG Z M. Super-resolution processing of SAR images by basis pursuit method based on compacted dictionary[J]. Acta Electronica Sinica, 2006, 34(6): 996-1001.

[14] 陳華華,姜寶林,劉超,等. 基于殘差的圖像超分辨率重建[J].中國(guó)圖象圖形學(xué)報(bào), 2013 ,18(1): 42-48.

CHEN H H, JIANG B L, LIU C, et al. Image super-resolution reconstruction based on residual error[J]. Journal of Image and Graphics, 2013, 18(1):42-48.

An improved sparse representation of super resolution reconstruction algorithm

ZHANG Xiaoyan, QIN Lonlong, QIAN Yuan, SHAN Yong

(Air Force Engineering University，Xi'an 710077，P.R. China)

Abstract:This paper proposes an improved algorithm of super-resolution to solve the problems that the sparse representation coefficient regularization is not effect, the high-resolution dictionary’s completeness is weak and the reconstruction image has false edges. Firstly, the ROMP algorithm is improved by introducing weighted partial constraint to improve the effect of regularization and enhance the texture features of images. Secondly, the prior information of image is extracted by Huber influence function, so that image features are enhanced and the expression capacity of high resolution dictionary is improved. Finally, an iterative back projection method based on study is proposed, which can improve accuracy of the prediction error in image post-processing stage and achieve the high quality resolution reconstruction effectively. The simulation and analysis show that the proposed method has certain improvement on the peak signal-to-noise ratio and visual effect, and it can improve the quality of reconstruction images.

Keywords：super-resolution reconstruction; sparse representation; dictionary training; image features; iterative back projection

DOI：10.3979/j.issn.1673-825X.2016.03.020

收稿日期：2015-06-05

修訂日期：2015-08-14通訊作者：秦龍龍qinlonglong1258@163.com

基金項(xiàng)目：陜西省自然科學(xué)基金資助(2013JM8025)；航空科學(xué)基金資助(20141996018)

Foundation Items：The Shanxi Provincial Natural Science Fund (2013JM8025)；The Aeronautical Science Fund(20141996018)

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-825X(2016)03-0400-06

作者簡(jiǎn)介：

張曉燕(1970-)，女，陜西西安人，副教授，博士，主要研究方向?yàn)閳D像超分辨率重建、多媒體信息融合。E-mail:zxyxjwxxj@163.com。

秦龍龍(1988-)，男，陜西咸陽(yáng)人，碩士研究生，主要研究方向?yàn)閳D像超分辨率重建、計(jì)算機(jī)視覺(jué)。E-mail:qinlonglong1258@163.com。

錢淵(1972-)，男，上海人，副教授，主要研究方向?yàn)槎嗝襟w信息融合、多媒體通信。

單勇(1976-)，男，甘肅蘭州，講師，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像理解、視頻分析。

(編輯：魏琴芳)