稀疏閾值的超分辨率圖像重建

何　陽，黃　瑋，王新華，郝建坤

(1．中國科學院 長春光學精密機械與物理研究所 應用光學國家重點實驗室，吉林 長春 130033；2．中國科學院大學，北京 100049)

?

稀疏閾值的超分辨率圖像重建

何陽1,2，黃瑋1*，王新華1，郝建坤1,2

(1．中國科學院 長春光學精密機械與物理研究所 應用光學國家重點實驗室，吉林 長春 130033；2．中國科學院大學，北京 100049)

為了解決基于字典學習的超分辨重構算法耗時過長的問題，提出了基于稀疏閾值模型的圖像超分辨率重建方法。首先，將聯合字典理論與圖像塊稀疏閾值方法相結合，訓練得到高、低分辨率過完備圖像字典對。接著，通過稀疏閾值OMP算法對圖像特征塊進行稀疏表示。然后，通過高分辨率字典重構出初始的超分辨圖像。最后，通過改進迭代反投影算法對初始的超分辨圖像進行全局優(yōu)化，從而進一步提高圖像重構質量。實驗結果表明，超分辨圖像重構平均峰值信噪比(PSNR)為30.1 dB，平均結構自相似度(SSIM)為0.937 9，平均計算時間為10.2 s。有效提高了超分辨重構的速度,改善了重構高分辨圖像的質量。

超分辨率；稀疏閾值；字典學習；迭代反投影算法

1　引　言

圖像的超分辨率重構[1]一直是數字圖像處理的熱點之一。超分辨率圖像重構可以突破傳統(tǒng)光學上物理極限分辨率的限制，實現對圖像高分辨率重建。在光學成像系統(tǒng)中，由于受到硬件和環(huán)境的制約，獲取高分辨率圖像比較困難而且成本較高，利用軟件實現高分辨率圖像重構是一種低成本的解決方法。

按圖像輸入方式對圖像超分辨重建進行分類，一般可以分為多幀圖像輸入和單幀圖像輸入超分辨圖像重構兩種類型。其中，多幀圖像序列超分辨重構是對低分辨率圖像序列進行圖像匹配和圖像融合，從而恢復圖像的細節(jié)信息。在圖像匹配不準的情況下，重構得到的圖像質量會急速下降。對于單幀圖像輸入的超分辨，主要是通過基于學習的方法，從訓練樣本中提取所需的高頻信息，從而對輸入的單幀圖像進行超分辨重構[2-4]。目前，實現超分辨的主要方法有插值、基于多幀重構和基于學習3種。插值主要包括雙線性插值、雙三次插值和鄰近插值等；基于重建的方法[5-6]有凸集投影法、貝葉斯后驗概率法、迭代反投影法和正則化方法等；基于學習的方法主要包括基于例子學習、基于字典學習方法等。圖像插值法理論模型簡單，計算量小，程序處理速度快，但是所能恢復圖像細節(jié)信息少，重建得到的圖像質量不高；基于重建的方法是通過建立數學模型重建圖像，能在一定程度恢復出圖像細節(jié)，但是由于圖像所包含的信息較多，很難采用一種數學模型對其進行良好的描述，在圖像放大倍率較大的情況下，重建圖像質量下降明顯。目前大多數學者主要是對基于學習的重構算法進行研究，該方法能夠克服上述缺點，通過學習高低分辨率圖像之間的關系來重建圖像?；趯W習的方法相對于插值法和重構方法能夠恢復出更多的細節(jié)信息。

基于學習方法的基本思想是捕捉高低分辨率圖像塊之間的共同特性，從而進行圖像的高分辨率恢復重構。Freeman[3,7]提出的基于例子的重構算法，是最先利用圖像間的約束進行圖像的恢復重構的算法。Sun等人[8]在Freeman算法的基礎上進行改進，通過使用原始圖像輪廓的先驗性條件的方法來消除圖像邊緣的模糊，提高圖像的質量。Yang等人[4]提出了基于稀疏表示的圖像超分辨率重構算法，對圖像進行稀疏表示，不但能夠保證重建圖像所需的先驗性條件，而且能夠在重建過程中降低數據計算量。在此之后，國內外學者提出了諸多基于稀疏表示的超分辨率重建的改進算法[9-11]。

本文在Yang提出的聯合字典訓練理論的基礎上，改進其稀疏表示算法和重構優(yōu)化算法，實現高分辨率重構。對單幀低分辨率圖像輸入，能夠快速對其進行超分辨率圖像重構。

2　稀疏表示基本原理

2.1基本理論框架

單幅圖像的超分辨重構問題：給定一幅低分辨率的圖像Y，恢復同一場景的高分辨率像X。觀測得到的低分辨率Y是高分辨率圖像X經過了降采樣和模糊之后得到的圖像，圖像獲取模型可以表示為:

(1)

式中，S是降采樣矩陣，H是模糊矩陣，n表示高斯白噪聲。超分辨問題可以描述為：

(2)

給定一個低分辨率圖像，基于不同的約束條件可以重構恢復很多高分辨率圖像。Yang等人提出了基于圖像稀疏先驗性條件來進行圖像超分辨率重建。

D∈Rn×K表示為一個具有K個元素(K>n)的過完備字典，對于信號X∈Rn可以利用過完備字典D的稀疏線性組合表示。

(3)

式中，X表示高分辨率圖像，Y表示低分辨率圖像(或者提取出來的低分辨率圖像特征)。通過少數對X的線性觀測能夠得到Y:

(4)

式中，L∈Rk×n(k

設圖像X的第i個圖像塊用過完備字典Dh∈Rm×K進行表示：

(5)

式中，圖像塊中的像素數用m來表示，K表示過完備字典Dh中的原子數，qi的l0范數表示向量中非零元素的個數。和為對應高低分辨率圖像塊對，由式(1)可以得到：

(6)

圖像對和有相同的稀疏系數，因此可以通過求解低分辨率圖像塊的稀疏表示，然后通過式(5)求解相應的高分辨率圖像塊。

2.2聯合字典學習

圖像的稀疏表示的一個關鍵問題是找到過完備字典，對于給定的一系列高低分辨率圖像對{Xh,Xl}訓練得到，從待訓練的圖像數據中提取出高低分辨率的圖像塊{和}訓練得到過完備字典。其中Dh表示的用于高分辨率圖像塊稀疏的過完備字典，而與此對應的Dl是低分辨率圖像塊稀疏表示的過完備字典，訓練得到的Dh和Dl用于圖像的超分辨重構。從一系列訓練樣本X={x1，x2，…，xn}學習得到過完備字典?？梢员硎緸槿缦鹿剑?/p>

(7)

式中，Z的L1范數是為了保證稀疏性，D的行的L2范數的限制條件是去除圖片尺寸的模糊性。式(7)在文獻[15]中有著詳細而廣泛的研究。

對于高低分辨率的圖像塊對P={Xh,Yl}，希望通過相應的字典，高低分辨率圖像塊有著相同的稀疏表示。其中高分辨率圖像塊和低分辨率圖像塊單獨的稀疏表示問題可以進行如下表示：

(8)

(9)

考慮到希望最后有著相同的稀疏表示，將式(8)和式(9)的目標函數相結合，強制使得高低分辨率圖像塊有著相同的稀疏表示:

(10)

式中，N和M是高分辨率和低分辨率圖像塊表示為向量形式的長度。

可以將式(10)進行簡化得到：

(11)

其中：

(12)

在圖像重建過程中，通過對提取的低分辨率圖像的細節(jié)數據進行處理，能夠得到更好的重建結果。有多種濾波器可以用于提取低分辨率圖像塊Yl中的特征，Freeman[5]使用高頻濾波器提取低分辨率圖像塊的邊緣信息；Sun等人[8]使用高斯微分濾波器提取圖像的輪廓信息；Chang等人[16]使用的是一階和二階微分濾波器提取圖像特征。本文算法對進行特征提取，使用的是4個一維濾波器：

(13)

與圖像進行卷積就能得到4個圖像細節(jié)特征矩陣。

3　基于稀疏閾值的超分辨圖像重構

3.1稀疏閾值OMP算法

圖像塊的稀疏表示在圖像超分辨重構的過程中有著重要的影響，稀疏表示會影響到程序的運行速度和重構圖像的質量。本文通過加入稀疏閾值條件的OMP方法對圖像塊進行稀疏表示，即

(14)

式中，q為圖像塊的稀疏表示，λ表示約束項系數，λ∈(0,+∞)。在本文中，‖q‖1表示q的L1范數。

稀疏度閾值t的設定會影響到程序的運行速度和最后重構圖像PSNR[17]，在實驗中綜合考慮將每個圖像塊稀疏閾值t設定為6。

學習得到字典在后續(xù)的超分辨重構過程中起著很重要的作用，不同的字典最后可能獲得不同的重構圖像質量。在進行字典學習的過程中加入稀疏表示閾值，即在式(11)基礎上加入額外限制條件‖Z‖0≤Threshold，表示為：

(15)

為了保證高低分辨率圖像對具有相近的稀疏系數，采用式(15)方法訓練Dh和Dl字典對。采用交替迭代的方法對式(15)進行求解，即先對字典對Dc，進行固定，求解在此字典上訓練樣本的稀疏表示Z；然后再固定稀疏表示Z，求解字典對Dc。其具體步驟如下：

步驟1:采用隨機高斯矩陣初始化字典對Dc；

步驟2:固定字典對Dc，計算稀疏表示Z；優(yōu)化式(14)問題，即:

(16)

解決式(16)問題，通過上述的稀疏閾值OMP算法進行求解；

步驟3:固定稀疏表示Z，對字典Dc更新；優(yōu)化式(15)問題，即:

(17)

采用類似K-SVD[4]的算法進行求解；

步驟4:判定循環(huán)終止條件，否則返回步驟2繼續(xù)求解。

3.2改進迭代反投影

通過低分辨率訓練字典得到了低分辨率圖像塊的稀疏表示qi，高分辨率高頻圖像塊可以求得xi=Dhqi，由重建得到圖像塊高頻信息集合{xi}與從Bicubic插值放大圖像塊提取的低頻信息集合進行疊加得到高分辨率圖像Xh可能會由于重建過程中引入的噪聲導致不滿足Y=SHX,對Xh進行投影迭代優(yōu)化，將初始高分辨率圖像設定X0。

(18)

對重構圖像采用迭代反投影算法[18]，求解式(18)的優(yōu)化問題采用改進的迭代反投影算法，其中更新迭代為：

(19)

(20)

式中，α、β是系數，為了使得算法具有收斂性，其取值范圍需要滿足一定條件。Y=SHX=RX，將R分解R=C-T，其中C是正定且易于求逆的矩陣。α、β系數的取值范圍需要滿足0<α<2,0<β<2α/λmax條件，λmax表示C-1R的最大特征值[19]。Y表示低分辨率圖像，R=SH為降質矩陣，↑s表示放大倍率因子，p是反投影算子，本文采用的是高斯濾波器。

本節(jié)介紹了基于稀疏閾值OMP超分辨算法和改進的迭代反投影算法。圖像超分辨率重構的基本思路是，利用訓練得到的高低分辨率過完備Dh和Dl字典對，通過稀疏閾值算法對圖像特征塊進行稀疏表示，然后通過高分辨率字典估計出初始超分辨圖像。最后通過改進迭代反投影算法對初始超分辨圖像進行全局優(yōu)化，進一步提高圖像成像質量。超分辨率圖像重構算法基本步驟如下：

步驟2:對每個圖像塊利用得到的訓練字典Dl，采用上述稀疏閾值OMP算法求解式(14)得到圖像塊的稀疏表示{qi}；

步驟3:利用訓練得到的高分辨率字典Dh求得高分辨率圖像塊xi=Dhqi,由{xi}和從Bicubic插值圖像Xl中提取得到的圖像低頻信息構成初始高分辨率圖像Xh；

步驟4:使用改進的迭代反投影算法對Xh進行優(yōu)化得到X*。

4　實驗測試與結果

本程序采用Matlab2011b編寫，硬件環(huán)境為：CPU為Interl(R) Core(TM)2 Duo;主頻2.79 GHz；內存2.99 G。隨機選取文獻[4]圖像庫中的10萬對高、低分辨率圖像特征塊將其作為字典的訓練樣本。其中，圖像塊大小是3×3，圖像塊間采取最大重疊方式。訓練的字典大小為1 024，即Dh∈R9×1024，Dl∈R36×1024。字典訓練時，迭代次數設定為40(終止條件)。其中實驗具體參數：λ=0.18，α=1.67，β=3.31。客觀上，重建圖像質量采用峰值信噪比(PSNR)和圖像結構自相似度(SSIM)[20]兩種方式進行評價。實驗選取圖像處理中的標準圖像庫中的圖像進行測試。

表1是標準圖像庫中通過3種方法恢復重構結果的PSNR和SSIM的比較結果。從表1可以看出，在PSNR和SSIM兩方面，相對于Bicubic算法和Yang算法的結果，本文算法得到的PSNR和SSIM數值都是最高的。通過客觀評價方式對PSNR和SSIM的數值進行比較，本文的平均PSNR為30.1 dB，平均SSIM為0.937 9，相對于Bicubic算法平均PSNR提高了1.4 dB,平均SSIM提高了0.021 4，相對于Yang算法平均PSNR提高了0.6 dB，平均SSIM提高了0.011 1。

表1　3種算法重構圖像峰值信噪比(PSNR/dB)和結構自相似度(SSIM)對比

圖1　3倍超分辨率Lena圖像重建結果 Fig.1　Results of 3×super-resolultion reconstruction for image of Lena

圖1和圖2全局低分辨率圖像像素值為170×170，恢復出的高分辨率圖像像素為510×510，其中截取了Pepper圖像中的局部圖像進行表示，局部低分辨率圖像大小45×45，高分辨率圖像大小為135×135。觀測圖1，3種算法在圖像平滑區(qū)域所恢復得到的效果區(qū)別不大，在細節(jié)恢復方面，Bicubic算法較差，而Yang和本文算法恢復的較好。從圖1中的人物面部對比可以看到，Yang算法相對于本文算法將面部信息處理得更加平滑；視覺效果上，相比于Yang算法，本文算法在圖像平滑區(qū)域上的處理與原始圖像較為一致；在圖像亮度方面，Bicubic算法與原始圖像相比偏暗，Yang算法重建得到的圖像偏亮，與原始高分辨率圖像相差較大，本文算法得到的圖像在亮度方面與原始圖像保持較為一致。觀測圖2，Bicubic插值所得到的圖像直觀視覺上較模糊，而Yang算法和本文算法視覺上較清晰。在圖像的平滑區(qū)域，圖像的細節(jié)信息較少，3種算法恢復出的結果都較為一致。在圖2中紅框中，原始圖像中下面有兩個小白點，Yang算法中基本上觀測不到第二次小白點這一細節(jié)信息，在Bicubic算法和本文算法中都能觀測到相應的小白點，本文算法中的第二個小白點信息相對于Bicubic算法清晰。對比Yang算法和本文算法的圖像，在Pepper圖像的重構上，Yang算法重構得到的圖像有著一條明顯的豎直白線，而本文算法重構圖像與原始圖像較為一致。

通過圖像庫中的6幅圖像進行超分辨重構，計算平均重構時間。將本文提出的算法和Yang算法進行比較，Yang算法在重構過程中需要427.5 s，本文算法重構時間為10.2 s，本文算法相對于Yang算法，在運行速度上有明顯提高，提速近42倍。

5　結　論

本文在Yang聯合字典學習理論的基礎上，通過對圖像塊稀疏表示算法和迭代反投影算法的改進,實現了超分辨圖像的快速重建。實驗結果表明，本文方法與Bicubic插值方法相比，視覺效果方面有很大提高；與Yang 算法相比，PSNR方面平均提高了0.60 dB，在結構自相似度方面平均提高了0.011 1。在處理速度上，相對于Yang的算法，運行速度提高42倍。

[1]KANG M,CHAUDHURIS. Super-resolution image reconstruction[J].IEEE,2003,20(3):1920-1935..

[2]彭真明,景亮,何艷敏，等.基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學 精密工程,2014,22(1):169-176.

PENG ZH M,JING L,HE Y M,etal.. Superresolution fusion of multi-focus image based on multiscale sparse dictionary[J].Opt.PrecisionEng.,2014,22(1):169-176.(in Chinese)

[3]FREEMAN W T,PASZTOR E C,CARMICHAEL O T. Learning low-level vision," IJCV[J].J.ComputerVision,2000,40:25-47.

[4]YANG J,WRIGHT J,HUANG T,etal.. Image super-resolution via sparse representation[J].IEEE,2010,19(11):2861-2873.

[5]陳健,高慧斌,王偉國,等.超分辨率復原方法相關原理研究[J].中國光學,2014,7(6):897-910.

CHEN J,GAO H B,WANG W G,etal.. Correlation theory of super-resolution restoration method[J].ChineseOptics,2014,7(6):897-910.

[6]張振東,陳健,王偉國,等.基于SSIM_NCCDFT的超分辨率復原評價方法研究[J].液晶與顯示,2015,30(4):713-721.

ZHANG ZH D,CHEN J,WANG W G,etal.. Evaluation method of super-resolution restoration based on SSIM_NCCDFT[J].ChineseJ.LiquidCrystalsandDisplays,2015,30(4):713-721.(in Chinese)

[7]FREEMAN W T,JONES T R,PASZTOR E C. Example-based super-resolution[J].ComputerGraphics&ApplicationsIEEE,2002,22(2):56-65.

[8]SUN J,ZHENG N,TAO H,etal.. Image hallucination with primal sketch priors[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE,In Madison,USA，June 18-20，2003:729-736.

[9]鄧承志,田偉,汪勝前，等.近似稀疏正則化的紅外圖像超分辨率重建[J].光學 精密工程,2014,22(6):1648-1654.

DENG CH ZH,TIAN W,WANG SH Q,etal.. Super-resolution reconstruction of approximate sparsity regularized infrared images[J].Opt.PrecisionEng.,2014,22(6):1648-1654.(in Chinese)

[10]TANG Y,YUAN Y,YAN P K ,etal.. Greedy regression in sparse coding sparse for single-image super-resolution[J].J.Vis.Commum.ImageR,2013,24(2):148-159.

[11]鄧建青,劉晶紅,劉鐵軍.基于DSP系統(tǒng)的超分辨率圖像重建技術研究[J].液晶與顯示,2012,27(1):114-120.

DENG J Q,LIU J H,LIU T J. Super-resolution image reconstruction technology based on DSP system[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(1):114-120.(in Chinese)

[12]HE X,NIYOGI P. Locality preserving projections[J].AdvancesinNeuralInformationProcessingSystem,2004,45(1):186-197.

[13]DONOHO D L. Compressed sensing[J].InformationTheoryIEEETransactionson,2006,52(4):1289-1306.

[14]CANDES E,ROMBERG J. Sparsity and incoherence in compressive sampling[J].InverseProblems,2006,23(3):969-985.

[15]LEE H,BATTLE A,RAINA R,etal.. Efficient sparse coding algorithms[J].Nips,2007:721-728.

[16]CHANG H,YEUNG D Y,XIONG Y M. Super-resolution through neighbor embedding[J].IEEEConferenceonComputerVision&PatterRecognition,2004,1:275-282

[17]WANG J,ZHU S,GONG Y. Resolution enhancement based on learning the sparse association of image patches[J].PatternRecognitionLetters,2010,31(1):1-10.

[18]WANG S,HUANG T Z,LIU J,etal.. An alternating iterative algorithm for image deblurring and denoisingproblems[J].CommunicationsinNonlinearScience&NumericalSimulation,2014,19(3):617-626.

[19]BIOUCAS-DIAS J M,FIGUEIREDO M A T. A new twist:two-step iterative shrinkage/thresholding algorithms for image restoration[J].IEEETransactionsonImageProcessing,2007,16(12):2992-3004.

[20]BRUNET D，VRSCAY E R,WANG Z. On the mathematical properties of the structural similarity index[J].IEEETransactiononImageProcessing,2012,21(4):1488-1499.

Super-resolution image reconstruction based on sparse threshold

HE Yang1,2, HUANG Wei1*， WANG Xin-hua1, HAO Jian-kun1,2

(1.State Key Laboratory of Applied Optics,Changchun Institute of Optics,Fine MechanicsandPhysics,ChineseAcademyofSciences,Changchun130033,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China)*Correspondingauthor,E-mail:huangw@ciomp.ac.cn

In order to solve the problem of the time consuming of the super-resolution reconstruction algorithm based on dictionary learning, a method of super-resolution image reconstruction based on sparse threshold model is proposed. First of all, the over-complete dictionary couple based on the theory of joint dictionary by method of sparse threshold is obtained. And then, the sparse representation of feature block image is represented by sparse threshold OMP algorithm. Then, the initial super-resolution image is reconstructed by the high resolution dictionary. Finally, the global optimization of the initial super-resolution image is improved by the modified iterative back projection algorithm, which can improve the quality of reconstructed image. The experimental results show that the average peak signal to noise ratio(PSNR) is 30.1 dB; the average structure self-similarity(SSIM) is 0.937 9; the average computation time is 10.2 s. This method can improve not only the speed of super-resolution reconstruction, but also the quality of reconstructed high resolution images.

super resolution;sparse threshold;dictionary learning;iterative inverse projection algorithm

2016-05-11；

2016-06-13

應用光學國家重點實驗室自主基金資助項目(No.Y4223FQ141)

2095-1531(2016)05-0532-08

TP394.1； TH691.9

Adoi:10.3788/CO.20160905.0532

何陽(1990—)，男，湖南常德人，碩士研究生，2013年于華中科技大學獲得學士學位，主要從事超分辨圖像重建方面的研究。E-mail:merelyyang@163.com

黃瑋(1965—)，男，吉林長春人，研究員，博士生導師，主要從事光學系統(tǒng)設計方面的研究。E-mail：huangw@ciomp.ac.cn

Supported by Foundation Project of State Key Laboratory of Applied Optics of China(No.Y4223FQ141)