基于局部回歸和自相似性的圖像超分辨率重建

李 欣，崔子冠，陳 杰，朱秀昌

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

基于局部回歸和自相似性的圖像超分辨率重建

李 欣，崔子冠，陳 杰，朱秀昌

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

近年來，基于樣本的圖像超分辨率重建逐漸成為研究熱點，該算法一般利用外部訓練樣本，測試圖像與訓練樣本的相似度在一定程度上影響著重建結(jié)果。針對此類問題，提出一種基于局部回歸和自相似性的圖像超分辨率重建算法。應用不同尺度圖像間的自相似特性，對圖像塊建立一階回歸模型完成重建的算法，充分利用圖像自身信息，并用稀疏表示的方法替代遍歷搜索自相似塊的方法，可以在自相似塊不足的情況下保證重建質(zhì)量。實驗結(jié)果表明，該算法的重建質(zhì)量較高，可以一定程度減少外部訓練樣本帶來的虛假高頻問題，且在重建質(zhì)量與重建時間上有著較好的折中。

超分辨率；自相似性；局部回歸；字典學習；稀疏表示

0 引 言

圖像超分辨率(Super Resolution，SR)重建技術(shù)旨在從一個或多個低分辨率(Low Resolution，LR)輸入圖像中建立高分辨率(High Resolution，HR)圖像，文中側(cè)重于單幅圖像超分辨率重建，即輸入僅有一幅低分辨率圖像。由于在從高分辨率到低分辨率的降質(zhì)過程中有大量信息丟失，這是一個典型的病態(tài)問題，為了得到準確的唯一解，超分辨率重建需要輔助一些統(tǒng)計或結(jié)構(gòu)先驗[1-3]。

傳統(tǒng)的多幀圖像超分辨率重建如果得到的低分辨率圖像具有亞像素平移(Subpixel Shifts)，重建時，一個高分辨率圖像塊就可以由多個相似又不完全相同的圖像塊組合而成。單圖像超分辨率重建時，由于不具有這樣的條件，常常利用機器學習的方法，借助外部圖像訓練集，找到高、低圖像塊間的聯(lián)系，估計出圖像塊的高頻信息[4-6]。一些研究[2,7-8]指出，當輸入的LR圖像與訓練圖像不匹配時，可能產(chǎn)生錯誤的高頻信息。同時，一些研究[9-12]發(fā)現(xiàn)，自然圖像中包含重復的視覺內(nèi)容，即局部圖像塊會多次重復出現(xiàn)在跨尺度圖像的不同位置，這種局部圖像尺度不變性稱為自然圖像的自相似性(self-similarity)，這些自相似的圖像塊，可以看成是多幀圖像超分辨率重建時那些具有亞像素平移的圖像塊，對這些圖像塊進行組合可以完成超分辨率重建。

在之前的研究中，筆者利用圖像對應位(in-place)相似性[13]建立了一種局部回歸模型，文中在此基礎(chǔ)上提出一種基于局部回歸和自相似性的單圖像超分辨率重建方法，采用小尺度放大保證準確提取相似塊的準確性，并采用PCA完成字典訓練，保證算法的實用性。

1 基于局部回歸和自相似性的圖像超分辨率重建

1.1 基于尺度不變性的對應位樣本匹配

1.2 基于非局部自相似的加權(quán)一階回歸模型

(1)

xl≈u+

(2)

由式(2)可見，在局部一階回歸模型中無需直接得到映射函數(shù)，而只需要其梯度函數(shù)f。文中用主成分分析(PrincipalComponentAnalysis，PCA)對高分辨率及其低頻帶圖像塊對進行學習得到過完備字典，用稀疏表示的方法快速準確地估計出映射梯度函數(shù)f。

xl≈xl-1+

(3)

根據(jù)上述討論，每次放大的尺度因子不能太大，通常s<2，且不為整數(shù)，這樣下采樣和上采樣過程中存在亞像素采樣或插值。正因為此，本中算法可以將多幀圖像超分辨率重建時利用亞像素平移特性的優(yōu)點結(jié)合到單圖像超分辨率重建中，但這也造成對應位樣本很難準確定位?？紤]到自然圖像具有豐富的非局部冗余特性，即空間位置并不直接相鄰的一些圖像塊也可能具有非常相似的顯著結(jié)構(gòu)，文中算法為yl找到多個非局部自相似塊的對應位樣本對，對多個對應位樣本塊對分別重建的結(jié)果再加權(quán)平均。

(4)

其中，權(quán)值wj滿足：

(5)

用最小二乘估計有：

(6)

由此，可以得到基于非局部自相似的加權(quán)一階回歸模型重建出的高分辨率圖像塊xl。

第l次放大的重建方案如圖1所示。

圖1 第l次放大的重建方案示意圖

1.3 字典學習

1.3.1 稀疏表示

Yang等[5-6]提出的基于稀疏表示的單圖像超分辨率方法，由高分辨率自然圖像建立一個過完備字典Φh∈RM×K，其中K列表示K個大小為M的“原子”，待重建的HR圖像X中的任意塊x∈RM可以由Φh的原子的稀疏線性組合表示。

x≈Φhα,‖α‖0?K,α∈RK

(7)

觀察到的LR圖像中的塊y可以用相同的稀疏表示系數(shù)向量α在相應的LR字典Φl上的線性組合表示，這可以由聯(lián)合訓練HR塊和相應的LR塊得到字典Φh和Φl來保證。

對于給定的輸入LR圖像塊y，可以由下式求出稀疏解向量。

(8)

其中，F(xiàn)是一個特征提取算子。

將稀疏表示思想套入到文中算法，則低頻帶圖像塊yl-1對應式(8)中的LR圖像塊，式(8)改寫為：

(9)

結(jié)合上文分析，選擇一階梯度為圖像特征，故F是由一階梯度濾波器組組成，包括：

(10)

F是將上述濾波器組應用到圖像上得到的響應組合。結(jié)合文中算法及稀疏表示思想，式(7)改寫為：

(11)

根據(jù)文中算法的思想，用于訓練字典的樣本是直接從輸入圖像或其上采樣圖像及其對應的低頻帶圖像中采集的對應位樣本圖像塊對，因而式(11)的稀疏表示實際上也就是用圖像不同尺度上的自相似塊來表征待重建圖像塊(特征)。

1.3.2 字典訓練

(12)

其中，Λk表示Pk在Φk上的稀疏表示系數(shù)矩陣；參數(shù)λ表示平衡系數(shù)的稀疏性及其對原始信號的逼近能力。

2 實 驗

通過下列實驗來驗證文中算法的有效性。實驗中參數(shù)設置：圖像塊大小5×5，放大倍數(shù)為3，尺度因子s=1.25；輸入圖像的低頻帶圖像通過一個標準差為0.4的低通濾波器獲得；非局部自相似塊的個數(shù)J=10；字典學習階段，每次隨機選取的對應位樣本圖像塊對個數(shù)固定為Q=10 000，分類數(shù)設為K=50。

將文中算法與Yang[5]提出的基于稀疏表示的超分辨重建算法、Freedman[8]提出的基于局部自相似樣本的圖像超分辨重建算法、Glasner[7]提出的基于圖像塊尺度不變的圖像超分辨率重建算法進行比較，如表1所示。

表1 各超分辨率重建方法PSNR對比(×3)

表1給出了文中算法與相關(guān)算法超分辨率圖像重建的PSNR值。實驗結(jié)果顯示，文中算法取得了最好的重建質(zhì)量。Yang的基于稀疏表示的超分辨率重建算法前面章節(jié)已有討論，重建圖像的質(zhì)量較好，對于一些自相似性不是非常明顯的圖像(如Koala、Girl、Zebra)，其重建結(jié)果甚至高于Freedman的算法；Freedman的算法屬于快速算法，對于重建模型中的部分先驗是根據(jù)經(jīng)驗設計的，故該算法的圖像重建質(zhì)量一般要低于Glasner和文中算法；與文中算法重建質(zhì)量最為接近的是Glasner算法，該算法通過對輸入的低尺度圖像再次下采樣，從低尺度圖像及多層下采樣圖像中找到足夠多的自相似塊來完成重建，對于少數(shù)圖像的重建效果與文中算法相當或略高。

圖2、圖3分別是測試圖像放大3倍的結(jié)果，其主觀效果與表1的客觀參數(shù)結(jié)果相當，而且文中算法的主觀重建質(zhì)量也是最優(yōu)的。Koala屬于毛發(fā)細節(jié)豐富的圖像，除了雙立方插值，其余四種算法都是基于圖像塊處理的，對重疊圖像塊分別重建平均，所以最終重建出來的圖像中毛發(fā)都無法如原始圖像那樣細，會顯得比較模糊，相比較而言，文中算法對于耳朵部分毛發(fā)的重建效果與原始高分辨率圖像最相近。Parthenon屬于內(nèi)部圖像塊自相似性較強的圖像，因而基于圖像塊自相似的算法重建質(zhì)量要優(yōu)于基于稀疏表示的算法，F(xiàn)reedman算法出現(xiàn)了一些錯誤的重建細節(jié)，Glasner和文中算法重建結(jié)果比Freedman的錯誤細節(jié)要少得多，文中算法與原始高分辨率圖像相比細節(jié)重建的準確度更高。

圖2 各種算法對Koala圖像的超分辨率重建結(jié)果

圖3 各種算法對Parthenon圖像的超分辨率重建結(jié)果

對于運行時間，F(xiàn)reedman的算法為了減少運算量，未對整幅圖像的所有自相似塊進行搜索，而是根據(jù)經(jīng)驗設計出重建模型中的濾波器或映射函數(shù)，估計重建速度較快，一般一幅256×256圖像三倍放大的重建時間約在幾秒內(nèi)就可完成；Glasner算法重建除了多層迭代放大，還要多輸入圖像向下采樣得到更低尺度圖像來搜索足夠多的自相似塊，運算時間約在5～6min；文中算法利用分類字典稀疏表示，不需要逐個搜索自相似塊，但每次迭代放大時都需要進行字典訓練，故實驗中選擇了圖像塊分類+PCA訓練的處理縮短了運算時間，一般每次需要20s左右，對于三倍放大需要約2～3min。

3 結(jié)束語

局部圖像塊會多次重復出現(xiàn)在相同的尺度圖像和不同的尺度圖像中這種圖像塊的尺度不變性，為超分辨率重建提供了很好的方向。利用圖像自身圖像塊的自相似性進行圖像重建，可以不借助外部訓練圖像樣本，完成圖像超分辨率重建。文中提出一種利用圖像的自相似性對圖像塊建立一階回歸模型完成重建的算法。實驗結(jié)果表明，該算法的重建質(zhì)量較高，可以一定程度減少外部訓練樣本帶來的虛假高頻問題，而且在重建質(zhì)量與重建時間上都有較好的折中。

[1]DaiS,HanM,XuW,etal.Softcuts:asoftedgesmoothnesspriorforcolorimagesuper-resolution[J].IEEETransactionsonImageProcessing,2009,18(5):969-981.

[2]FattalR.Imageupsamplingviaimposededgestatistics[J].ACMTransactionsonGraphics,2007,26(3):95-102.

[3]SunJ,XuZ,ShumHY.Gradientprofileprioranditsapplicationsinimagesuper-resolutionandenhancement[J].IEEETransactionsonImageProcessing,2011,20(6):1529-1542.

[4]WangQ,TangX,ShumH.Patchbasedblindimagesuperresolution[C]//ProcoftenthIEEEinternationalconferenceoncomputervision.[s.l.]:IEEE,2005:709-716.

[5]YangJ,WrightJ,HuangTS,etal.Imagesuper-resolutionviasparserepresentation[J].IEEETransactionsonImageProcessing,2010,19(11):2861-2873.

[6]YangJ,WangZ,LinZ,etal.Coupleddictionarytrainingforimagesuper-resolution[J].IEEETransactionsonImageProcessing,2012,21(8):3467-3478.

[7]GlasnerD,BagonS,IraniM.Super-resolutionfromasingleimage[C]//Procof12thinternationalconferenceoncomputervision.[s.l.]:[s.n.],2009:349-356.

[8]FreedmanG,FattalR.Imageandvideoupscalingfromlocalself-examples[J].ACMTransactionsonGraphics,2011,30(2):474-484.

[9]YangCY,HuangJB,YangMH.Exploitingself-similaritiesforsingleframesuper-resolution[C]//ProcofACCV.Berlin:Springer,2010:497-510.

[10]YangJ,LinZ,CohenS.Fastimagesuper-resolutionbasedonin-placeexampleregression[C]//ProcofIEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2013:1059-1066.

[11]HuJ.Single-imagesuperresolutionbasedonlocalregressionandnonlocalself-similarity[J].JournalofElectronicImaging,2014,23(3):6-8.

[12]PanL,YanW,ZhengH.Super-resolutionfromasingleimagebasedonlocalself-similarity[J].MultimediaToolsandApplications,2015,25(8):1-21.

[13] 李 欣，崔子冠，孫林慧，等.基于局部回歸模型的圖像超分辨率重建[J].計算機應用，2016，36(6)：1654-1658.

[14]GuoC,ZhuSC,WuYN.Primalsketch:integratingstructureandtexture[J].ComputerVisionandImageUnderstanding,2007,106(1):5-19.

Image Super-resolution Reconstruction Based on Local Regression and Self-similarity

LI Xin,CUI Zi-guan,CHEN Jie,ZHU Xiu-chang

(College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

In recent years,image super-resolution reconstruction based on samples has gradually become a hot research topic,which usually uses the external training samples.The similarity between the test image and the training samples affects the reconstruction results to a certain extent.To solve this problem,a super-resolution image reconstruction algorithm based on local regression and self-similarity is proposed.This algorithm,which makes use of the self-similarity between images at different scales and reconstructs the image by establishing the first-order autoregressive model of the patches,could make full use of the information of the image itself,and replace the traversal search of self-similar patches with the sparse representation method.So it can guarantee the reconstruction quality even the number of the self-similar patches is not enough.The experimental results show that the reconstruction quality of this algorithm is high.It can alleviate the false high-frequency problem brought by the external training samples to a certain extent and have a good tradeoff between the reconstruction quality and reconstruction time.

super-resolution;self-similarity;local regression;dictionary learning;sparse representation

2015-12-28

2016-04-21

時間：2016-09-19

國家自然科學基金青年基金項目(61501260)；江蘇省自然科學基金項目(BK20130867,BK20140891)；江蘇省高校自然科學基金項目(13KJB510020)；江蘇省普通高校研究生科研創(chuàng)新計劃(CXLX12_0474)

李 欣(1981-)，女，講師，博士研究生，研究方向為圖像超分辨率重建、多媒體通信；朱秀昌，教授，博士生導師，研究方向為多媒體信息，圖像和視頻的采集、處理、傳輸和顯示。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.024.html

TP301.6

A

1673-629X(2016)10-0017-05

10.3969/j.issn.1673-629X.2016.10.004