基于結(jié)構(gòu)自相似性和形變塊特征的單幅圖像超分辨率算法

向文 張靈 陳云華 姬秋敏

摘 要：針對單幅圖像超分辨率（SR）復(fù)原樣本資源不足和抗噪性差的問題，提出一種基于結(jié)構(gòu)自相似和形變塊特征的單幅圖像超分辨率算法。首先，該方法通過構(gòu)建尺度模型，盡可能地?cái)U(kuò)展搜索空間，克服單幅圖像超分辨率訓(xùn)練樣本不足的缺陷;接著，通過樣例塊的幾何形變提升了局限性的內(nèi)部字典大小;最后，為了提升重建圖片的抗噪性，利用組稀疏學(xué)習(xí)字典來重建圖像。實(shí)驗(yàn)結(jié)果表明：與Bicubic、稀疏字典學(xué)習(xí)（ScSR）算法和基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率（SRCNN）等優(yōu)秀字典學(xué)習(xí)算法相比，所提算法可以得到主觀視覺效果更為清晰和客觀評價(jià)更高的超分辨率圖像，峰值信噪比（PSNR）這種描述過于籠統(tǒng)，需明確說明是哪種評價(jià)指標(biāo)？英文摘要處作相應(yīng)修改平均約提升了0.35dB。另外所提算法通過幾何形變的方式擴(kuò)展了字典規(guī)模和搜索的準(zhǔn)確性，在算法時(shí)間消耗上也得到了一定提升在算法時(shí)間消耗上平均約提升減少了時(shí)間消耗應(yīng)該是“減少”吧，不能是“提升”吧？請明確。英文摘要翻譯得是否正確？請明確。回復(fù)：沒有問題，是減少不是提升，英文翻譯沒問題。80s描述過于籠統(tǒng)，需具體量化一下。英文摘要處作相應(yīng)修改。

關(guān)鍵詞：形變塊;塊匹配;字典學(xué)習(xí);自相似性;組稀疏

中圖分類號(hào)： TP391.413

文獻(xiàn)標(biāo)志碼：A

Abstract： To solve the problem of insufficient sample resources and poor noise immunity for single image Super Resolution （SR） restoration， a single image super-resolution algorithm based on structural self-similarity and deformation block feature was proposed. Firstly， a scale model was constructed to expand search space as much as possible and overcome the shortcomings of lack of a single image super-resolution training sample. Secondly， the limited internal dictionary size was increased by geometric deformation of sample block. Finally， in order to improve anti-noise performance of reconstructed picture， the group sparse learning dictionary was used to reconstruct image. The experimental results show that compared with the excellent algorithms such as Bicubic， Sparse coding Super Resolution （ScSR） algorithm and Super-Resolution Convolutional Neural Network （SRCNN） algorithm， the super-resolution images with more subjective visual effects and higher objective evaluation can be obtained， the Peak Signal-To-Noise Ratio （PSNR） of the proposed algorithm is increased by about 0.35dB on average. In addition， the scale of dictionary is expanded and the accuracy of search is increased by means of geometric deformation， and the time consumption of algorithm is averagely reduced by about 80s.

Key words： deformation block; block matching; dictionary learning; self-similarity; group sparseness

0 引言

圖像超分辨率（Super Resolution， SR）算法從性質(zhì)上分為插值、重建和學(xué)習(xí)三類方法?，F(xiàn)大多數(shù)現(xiàn)代單幅圖像超分辨率方法專注于學(xué)習(xí)外部數(shù)據(jù)庫中低分辨率（Low Resolution， LR）和高分辨率（High Resolution， HR）圖像補(bǔ)丁之間的關(guān)系?，F(xiàn)有的學(xué)習(xí)這種LR到HR的映射關(guān)系的外部數(shù)據(jù)庫算法包括最近鄰域方法[1]、流形學(xué)習(xí)[2]、字典學(xué)習(xí)[3]、局部線性回歸[4-6]和卷積網(wǎng)絡(luò)[7]等。然而從外部數(shù)據(jù)庫學(xué)習(xí)LR/HR映射的方法有一定的缺點(diǎn)：首先，為達(dá)到令人滿意的復(fù)原效果所需的訓(xùn)練圖像的數(shù)量和類型并不清楚;其次，通常需要大規(guī)模訓(xùn)練集才能學(xué)習(xí)足夠富有表現(xiàn)力的LR/HR詞典。

為了避免使用外部數(shù)據(jù)庫及其相關(guān)問題，出現(xiàn)了一系列基于自然圖像的斑塊在相同圖像存在尺度內(nèi)和跨尺度重現(xiàn)的方法[8-11]。這些方法的內(nèi)部LR/HR補(bǔ)丁數(shù)據(jù)庫可以使用給定圖像本身的縮放空間金字塔來構(gòu)建。與外部字典相比，內(nèi)部字典已被證明包含更多相關(guān)的訓(xùn)練補(bǔ)丁[12]，這是提取內(nèi)部數(shù)據(jù)庫的理論基礎(chǔ)。

采用縮放空間金字塔去提取尺度內(nèi)和跨尺度的重現(xiàn)字塊，這意味著提取了自然圖像的另一個(gè)重要屬性——結(jié)構(gòu)自相似性。有研究表明，結(jié)構(gòu)相似性可以與卷積神經(jīng)網(wǎng)絡(luò)模型聯(lián)系起來達(dá)到更好的效果[13-14]，但是此算法時(shí)間復(fù)雜度過高。采用內(nèi)部樣例字典會(huì)出現(xiàn)內(nèi)部數(shù)據(jù)訓(xùn)練樣本過少而導(dǎo)致的訓(xùn)練效果不佳等問題，但是盲目地增加樣本數(shù)就會(huì)增加算法的時(shí)間消耗。于是，本文針對外部數(shù)據(jù)庫匹配度不高和內(nèi)部訓(xùn)練數(shù)據(jù)樣本過少兩大問題，提出了一種基于結(jié)構(gòu)自相似性和形變塊特征的單幅圖像超分辨率算法。該算法采取內(nèi)部字典學(xué)習(xí)的方式，構(gòu)建縮放空間金字塔，提取其結(jié)構(gòu)自相似性，避免了外部字典學(xué)習(xí)的一系列問題。另外利用幾何變換圖像塊，大幅度擴(kuò)展了所搜索空間，增強(qiáng)字典的表現(xiàn)力大小，卻不會(huì)產(chǎn)生過多的時(shí)間消耗，最后利用組稀疏學(xué)習(xí)的方式，增強(qiáng)了其抗噪性。

1 形變塊估計(jì)模型

設(shè)Ω是輸入LR圖像I的像素索引的集合。對于以I中位置ti=（txi;tyi）為中心的每個(gè)目標(biāo)小片P（ti），我們的目標(biāo)是估計(jì)在下采樣的圖像ID中將P（ti）補(bǔ)丁映射到其最近鄰居的映射目標(biāo)的變換矩陣Ti。為了估計(jì)變換矩陣而不使得算法復(fù)雜性過高就必須解決密集最近鄰域分片搜索形成最近鄰域估計(jì)問題。這里采用一個(gè)輸入LR圖像中的第i個(gè)像素進(jìn)行參數(shù)化的變換域。最近鄰域（Nearest-Neighbor Field， NNF）估計(jì)問題的目標(biāo)函數(shù)用下面的形式：

其中：θi是用于構(gòu)建模型需要估計(jì)的變換矩陣Ti的未知參數(shù)集（稍后解釋）。模型的目標(biāo)函數(shù)包括三種能量消耗：1）呈現(xiàn)能量呈現(xiàn)能量成本Eapp;2）平面能量平面能力成本Eplane;3）尺度能量尺度能量成本Escale。下面首先描述這些成本。

1）呈現(xiàn)能量呈現(xiàn)能量成本Eapp。此成本衡量抽樣目標(biāo)和源補(bǔ)丁之間的相似程度。在RGB空間中使用高斯加權(quán)平方和距作為本文的度量：

其中：矩陣Wi是σ2=3的高斯權(quán)重，Q（ti;θi）表示使用具有參數(shù)θi的Ti矩陣變換從ID采樣的塊。

2）平面兼容性成本平面能力成本Eplane這兩處的描述，與前面的“;2）平面能量;3）尺度能量”不匹配，請作相應(yīng)調(diào)整。對于人造圖像，模型通?？梢允褂脴?biāo)準(zhǔn)的消失點(diǎn)檢測技術(shù)可靠地定位場景中的平面，檢測到的3D場景幾何可以用來指導(dǎo)貼片搜索空間。在使用平面結(jié)構(gòu)指導(dǎo)算法[15]中修改平面局部化代碼，并添加平面兼容性代價(jià)以鼓勵(lì)對源補(bǔ)丁和目標(biāo)補(bǔ)丁的概率性平面標(biāo)簽進(jìn)行搜索：

其中：Pr[mij（x;y）]是在像素位置（x;y）處分配標(biāo)簽mi的后驗(yàn)概率。

3）比例成本尺度能量成本Escale。由于允許連續(xù)幾何變換，因此會(huì)觀察到最近鄰域通常收斂于平凡解，即在下采樣圖像ID中將目標(biāo)補(bǔ)丁與自身進(jìn)行匹配，這樣的外觀競爭成本會(huì)很小。這種平凡解的解決方案導(dǎo)致了圖像超分辨率的傳統(tǒng)雙三次插值。通過引入規(guī)模成本尺度能量成本此處又為“規(guī)模成本”，請與前面的保持統(tǒng)一Escale來避免這些瑣碎的解決方案：

其中SRF指示期望的超分辨率重建因子，例如2x、3x或4x，并且函數(shù)Scale（·）表示投影變換矩陣的尺度估計(jì)。函數(shù)模型用一階泰勒展開式近似地描述了用Ti進(jìn)行采樣的源塊尺度[16]：

其中：Tu，v表示變換矩陣Ti中的第u行第v列的值，T3，3歸一化為1。直觀地說，如果源補(bǔ)丁的規(guī)模太小，模型會(huì)受到懲罰，因此，方法最大化地搜索與目標(biāo)貼片相似的源貼片，同時(shí)在輸入LR圖像空間中具有更大的比例尺，因此能夠?yàn)閳D像超分辨率提供更多的高頻細(xì)節(jié)。當(dāng)源補(bǔ)丁的規(guī)模足夠大時(shí)，將懲罰閾值降為零。

2 組稀疏理論

組稀疏理論使用所有的補(bǔ)丁對來學(xué)習(xí)一個(gè)字典與它們的稀疏組，以捕獲所有的高分辨率或低分辨率補(bǔ)丁之間的關(guān)系。

為了訓(xùn)練這個(gè)詞典，首先從低分辨率的補(bǔ)丁和類似于文獻(xiàn)[17]的高分辨率補(bǔ)丁中提取特征。從低分辨率片中提取的特征是沿著水平和垂直軸的兩個(gè)一階圖像梯度和兩個(gè)二階圖像梯度，即[1，0，-1]、[1，0，-1]、[-1，0，2，0，-1]、[-1，0，2，0，-1]。對于每個(gè)高分辨率片，每個(gè)特征向量是通過減去該片的平均值之后像素值的光柵掃描形成的。

對于每個(gè)高分辨率/低分辨率補(bǔ)丁對，組成一個(gè)級聯(lián)特征向量。由于低分辨率貼片特征和高分辨率貼片特征的尺寸不同，為了平衡它們的貢獻(xiàn)，在將它們連接成單個(gè)矢量之前，將兩個(gè)特征矢量獨(dú)立地歸一化。所有級聯(lián)的特征向量用單位范數(shù)向量標(biāo)準(zhǔn)化，以用于具有組稀疏性約束的字典學(xué)習(xí)。

由于特征設(shè)計(jì)，有可能高分辨率特征向量和低分辨率特征向量都為零。在這種情況下，這些特征向量被丟棄。

為了利用塊對之間的組相似度，通過K均值聚類將具有相似特征向量的對分組為聚類。選擇的特征是由低分辨率補(bǔ)丁生成的圖像梯度。

用給定的字典D，解決和式（6）求解“解決”二字放在這里不通順，請作相應(yīng)調(diào)整每個(gè)群集Ui的群組稀疏系數(shù)：

其中‖A‖1，2這個(gè)表達(dá)式，是否應(yīng)該改為||A||1，2（1，2為下標(biāo)），即與式（6）的書寫保持一致？回復(fù)：下標(biāo)1，2放在雙豎線外面;另外，這里公式?jīng)]有i，上面已經(jīng)說過i是用來標(biāo)記群組的，所以對于單個(gè)群組用下面公式已經(jīng)可以描述清楚了，每個(gè)群組按這個(gè)解釋公式執(zhí)行即可。=∑nk=1‖RK‖2和RK是A稀疏的第k行;Yi是簇Ui中的列方向特征向量，ni是Yi的列號(hào);‖*‖F(xiàn)是Frobenius范數(shù)，并且δ是控制從原始特征向量構(gòu)造重建特征向量的相似程度的閾值。使用SPGL1包來解決上述優(yōu)化問題。

由于群組稀疏系數(shù)在分離聚類內(nèi)求解，并且在求解上述式（5）之前給出字典，需要更新字典以進(jìn)行全局優(yōu)化。于是將A表示為所有系數(shù)Ai和Y的并集，作為所有特征向量Yi的并集。字典D由K次迭代的奇異值分解（Singular Value Decomposition of K iterations， K-SVD）算法[18]更新：

其中Dj是D的第j列。迭代求解式（6）和式（7）中的組稀疏系數(shù)，直到A和D都收斂。字典D和系數(shù)A的乘積不僅包含每個(gè)集群內(nèi)的所有集群，還包含所有集群內(nèi)由塊相似性產(chǎn)生的特征向量。使用這些特征向量來生成輸出的高分辨率圖像。

3 基于結(jié)構(gòu)自相似性和形變塊特征的SR算法

3.1 資源塊獲取

3.1.1 資源塊的結(jié)構(gòu)自相似性特征提取

給定一個(gè)低分辨率圖像I，首先對它進(jìn)行模糊和二次采樣以獲得其n層的下采樣版本，設(shè)置n為6。為方便表述，只用2層結(jié)構(gòu)來表述，則命名為ID1和ID2。

使用I、ID1和ID2，獲得高分辨率圖像IH的算法由以下步驟組成：

1）對于低分辨率圖像I中的每個(gè)補(bǔ)丁P（目標(biāo)補(bǔ)?。?，計(jì)算一個(gè)變換矩陣T（單應(yīng)矩陣），將P縮減為下采樣圖像ID1和ID2中的最佳匹配補(bǔ)丁Q1或者Q2（源補(bǔ)?。?，如圖1所示。為了獲得這種變換的參數(shù)，使用修改的塊匹配算法估計(jì)I和ID1或者I和ID2之間的最近鄰域（詳見第1章—形變塊估計(jì)模型）。

2）然后從圖像I中提取QH1或者QH2，這是源補(bǔ)丁Q1或者Q2的HR版本。

3）使用計(jì)算出的變換矩陣T的逆矩陣來“逆轉(zhuǎn)換”高分辨率補(bǔ)丁QH1或者QH2，以獲得自我評估PH1或者PH2值，這是估計(jì)的目標(biāo)貼片P的HR版本。將PH粘貼在HR圖像IH中對應(yīng)于LR補(bǔ)丁PH1或者PH2。

4）對所有目標(biāo)貼片重復(fù)上述步驟以獲得高分辨率圖像IH的補(bǔ)丁塊估計(jì)。

根據(jù)公式exp（-‖P-Qk‖2/σ2）的相似性來計(jì)算目標(biāo)補(bǔ)丁P和源補(bǔ)丁Q之間的相似程度來給予匹配的源補(bǔ)丁相應(yīng)的權(quán)重以平均重疊的高分辨率片，其中σ控制相似度。本文規(guī)定每個(gè)目標(biāo)補(bǔ)丁P匹配4個(gè)源補(bǔ)丁Q，如果搜索不到用0來表示。在這里由于圖片的不同會(huì)導(dǎo)致匹配搜索得到的字典大小也不一樣，故本文將字典的訓(xùn)練樣本數(shù)量設(shè)定為100000個(gè)5×5的小塊。

3.1.2 資源塊的形變塊特征提取

已有研究[9]證明：如果允許適當(dāng)?shù)难a(bǔ)丁的幾何變換，跨尺度的自相似性將會(huì)更好，于是便對資源塊進(jìn)行形變并提取了資源塊的形變特征。

現(xiàn)在介紹如何根據(jù)估計(jì)的參數(shù)θi設(shè)計(jì)和構(gòu)造變換矩陣Ti以對源補(bǔ)丁Q（ti;θi）進(jìn)行采樣。通常，貼片的幾何變換可具有多達(dá)8個(gè)自由度（即投影變換）;然而本文采用的仿射變換本身在模擬人造圖像、結(jié)構(gòu)化場景中的外觀變化方面效果較差。在本文算法中，檢測和局部化平面來計(jì)算平面化參數(shù)，如圖2所示，展示了消失點(diǎn)檢測的可視化，所以本文通過θi=（si;mi）來參數(shù)化Ti，其中si=（sxi;syi;ssi;sqi;sai;sbi）是6維的仿射運(yùn)動(dòng)參數(shù)，mi是檢測到平面的指數(shù)[16]。

其中矩陣H捕獲了目標(biāo)和源補(bǔ)丁位置以及平面參數(shù)的透視變形。下面給予矩陣S和矩陣A的表達(dá)形式，矩陣S通過縮放參數(shù)ssi和2×2旋轉(zhuǎn)矩陣R（sθi）捕獲相似變換：

矩陣A捕獲仿射變換中的剪切映射：

所提出的組合變換模型類似于將投影變換矩陣經(jīng)典分解為三個(gè)獨(dú)特矩陣的串聯(lián)：相似性、仿射性和純粹的透視變換。

這里提出的方法是一個(gè)通用的圖像超分辨率算法，在一個(gè)框架中處理人造和自然場景。另外，對于沒有任何檢測到的平面結(jié)構(gòu)的情況下，本文算法自動(dòng)退回到僅搜索仿射變換的自我示例的圖像超分辨率塊匹配算法。

本文方法的目標(biāo)是“合成”，而不是“分解”用于采樣源補(bǔ)丁的變換Ti。所提出的式（8）可以有效地分解出目標(biāo)ti和源塊位置（sxi;syi）的位置依賴，以估計(jì)H（ti;sxi;syi;mi），并且可以使用（ssi;sqi;sai;sbi）估計(jì)矩陣S和A的仿射形狀變形參數(shù)，那么就可以利用自然圖像中的分段平滑特征來進(jìn)行有效的最近鄰域估計(jì)。

本文方法需要估計(jì)所有重疊目標(biāo)片上的7維最近鄰域解。與傳統(tǒng)的基于自我樣本的方法相比，只需要估計(jì)2D平移場，本文方法式（8）中的解空間更難以搜索，因此本文方法在以下詳細(xì)步驟中修改了塊匹配[21]算法。

初始化 本文方法不是在塊匹配[18]中進(jìn)行隨機(jī)初始化，而是使用零位移初始化最近的鄰域，并且縮放等于所需的超分辨率重建因子。這受到文獻(xiàn)[22]的啟發(fā)，表明良好的匹配塊通?？梢栽诰植康膮^(qū)域中找到，發(fā)現(xiàn)這個(gè)初始化策略為更快的收斂提供了一個(gè)好的開始。

傳播 這一步有效地向鄰居傳播良好的匹配。與直接傳播變換矩陣Ti相反，傳播變換矩陣的參數(shù)Qi=（si;mi），以便仿射形狀變換對源補(bǔ)丁位置不變。

隨機(jī)化 在每次迭代中傳播后，執(zhí)行隨機(jī)搜索以改進(jìn)當(dāng)前解決方案;同時(shí)根據(jù)后驗(yàn)概率分布繪制平面指數(shù)的隨機(jī)樣本，隨機(jī)擾動(dòng)仿射變換和隨機(jī)樣本位置（以粗到細(xì)的方式）來搜索源補(bǔ)丁的最佳幾何變換并減少匹配誤差。

3.2 資源塊的分類學(xué)習(xí)

用形變塊匹配后的資源塊，將對資源塊來進(jìn)行分類學(xué)習(xí)：一類用來構(gòu)建高分辨率字典;一類則用來系數(shù)學(xué)習(xí)。

高分辨率字典 這里將利用到字典資源塊對，字典資源塊對是由變換矩陣T的逆矩陣來“逆轉(zhuǎn)換”高分辨率補(bǔ)丁的PH值和低分辨率補(bǔ)丁P值組成。首先，利用組稀疏理論中的處理將字典資源塊對進(jìn)行聚類處理，如圖3所示;然后，利用K-SVD[18]算法來學(xué)習(xí)得到高分辨率字典。

稀疏學(xué)習(xí) 這里將利用到形變資源塊對，形變資源塊對由變換矩陣T形變的高分辨率補(bǔ)丁QH值和變換矩陣T形變的低分辨率補(bǔ)丁Q值組成。這里直接利用組稀疏理論對形變資源塊對進(jìn)行組稀疏處理。對于每個(gè)高分辨率/低分辨率補(bǔ)丁對，組成一個(gè)級聯(lián)特征向量。在將它們連接成單個(gè)矢量之前，將兩個(gè)特征矢量獨(dú)立地歸一化。所有級聯(lián)的特征向量用單位范數(shù)向量標(biāo)準(zhǔn)化，以用于具有組稀疏性約束的字典學(xué)習(xí)。通過K均值聚類將具有相似特征向量的高低分辨率塊對分組。最后，用式（6）和式（7）迭代求解組稀疏系數(shù)A。

3.3 算法流程

本文提出的結(jié)構(gòu)自相似性道德神經(jīng)網(wǎng)絡(luò)算法本文提出的結(jié)構(gòu)自相似性和形變塊特征的超分辨率算法此句不通順，“道德”二字是否應(yīng)該刪除？具體步驟如下：

步驟1 輸入外部數(shù)據(jù)庫中的高分辨率圖像，將其尺度縮小，獲得n層低分辨率圖像，構(gòu)建尺度金字塔。

步驟2 利用變換矩陣T，對尺度金字塔進(jìn)行形變。

步驟3 利用形變塊匹配算法進(jìn)行塊匹配，具體可見3.1節(jié)。

步驟4 提取PH/P字典資源塊對進(jìn)行聚類，利用K-SVD[18]字典學(xué)習(xí)構(gòu)建高分辨率字典。

步驟5 提取QH/Q資源塊對進(jìn)行聚類，利用式（6）和式（7）進(jìn)行組稀疏系數(shù)學(xué)習(xí)。

步驟6 利用高分辨率字典和組稀疏系數(shù)來超分辨率重建。

3.4 算法示例

為了更加清晰、明確地說明本文算法，給出算法流程，如圖4所示。

3.5 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證所提方法的有效性，選取四個(gè)國際公開的SR數(shù)據(jù)庫：Set5、Set14、BSD100和Urban100，這四個(gè)數(shù)據(jù)庫非常地具有代表性，前三個(gè)數(shù)據(jù)庫是比較通用的數(shù)據(jù)庫含有人物、動(dòng)物、植物、建筑等標(biāo)志性的圖片，可以很直觀地展現(xiàn)通用圖片的復(fù)原能力，而第四個(gè)數(shù)據(jù)庫Urban100數(shù)據(jù)庫都是建筑類圖片有明顯的結(jié)構(gòu)性能。這四個(gè)數(shù)據(jù)庫的選擇能充分展示出本算法的優(yōu)劣，并在兩種常用放大因子（2和4此句表述不一致，“2和4”是表示三種情況呢？還是表示放大因子？都需要三種情況（不大于3，而4>3？）或三個(gè)因子值吧？請作相應(yīng)調(diào)整?；貜?fù)：這里改成兩種吧，原本是想用三種的，但是在三倍放大中遇到了點(diǎn)小麻煩，就沒有放上去。）情況下進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)中以雙三次插值（Bicubic）方法作為基準(zhǔn)對比方法，并選擇Kim等[23]提出的算法、稀疏字典學(xué)習(xí)（Sparse coding Super Resolution， ScSR）[3]和基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率（Super-Resolution Convolutional Neural Network， SRCNN）[7]這三個(gè)典型的字典學(xué)習(xí)算法作為對比實(shí)驗(yàn)，以檢驗(yàn)本方法的重建性能。利用主觀視覺上的表現(xiàn)，數(shù)值上的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）評價(jià)不同圖像超分辨率方法的性能。

3.6 實(shí)驗(yàn)結(jié)果

通過實(shí)驗(yàn)結(jié)果來驗(yàn)證本文方法的有效性。為了評價(jià)圖像重建的質(zhì)量，同時(shí)從主觀視覺和客觀評價(jià)兩個(gè)方面衡量對比結(jié)果。以數(shù)據(jù)庫Set5中的娃娃圖像為例，圖5為放大2倍情況下，不同方法的主觀視覺圖和相應(yīng)峰值信噪比，圖5的四張圖片是從四個(gè)數(shù)據(jù)庫中分別隨機(jī)抽取的一張作為代表顯示。主觀上，可以看出本文方法的視覺效果最好，優(yōu)于現(xiàn)有方法中的稀疏字典方法ScSR[3]、Kim等[23]算法和SRCNN算法[7];其他對比方法，在重構(gòu)的圖像容易產(chǎn)生偽影效應(yīng)，一些細(xì)節(jié)沒有較好地恢復(fù)出來。本文方法恢復(fù)的局部細(xì)節(jié)信息清晰細(xì)膩，整體效果更接近原始圖像。由于本文方法考慮了內(nèi)在圖像塊結(jié)構(gòu)自相似特性，因此恢復(fù)的視覺效果最好，產(chǎn)生的邊緣也更清晰?？陀^指標(biāo)評價(jià)上，本文是從四個(gè)數(shù)據(jù)庫中所有圖片的峰值性噪比（PSNR）的平均值按不同的尺度顯示如表1中所示，在Set5數(shù)據(jù)庫中放大2倍的情況下，雙三次插值方法的平均峰值信噪比最低，只有33.64dB，對比SRCNN算法只能36.28dB左右，本文方法在峰值信噪比上是最好的，能夠達(dá)到36.52dB。從四個(gè)數(shù)據(jù)庫中所有圖片SSIM的平均值按不同的尺度顯示如表21中所示，相比其他算法本文方法的SSIM值最大，說明本文算法失真最少，與原圖片最相似，而對于另一種結(jié)合結(jié)構(gòu)自相似性和卷積網(wǎng)絡(luò)的單幅圖像超分辨率算法[13]，視覺效果上差距不大故沒有作出主觀效果圖的對比，但是時(shí)間復(fù)雜度上減少了不少。比起時(shí)間消耗，結(jié)合結(jié)構(gòu)自相似性和卷積網(wǎng)絡(luò)的單幅圖像超分辨率算法平均消耗時(shí)間為120s，本文算法平均時(shí)間為40s。

另外，對比Urban100數(shù)據(jù)庫和其他三個(gè)數(shù)據(jù)庫發(fā)現(xiàn)：在Urban100數(shù)據(jù)庫中，本文方法比SRCNN方法平均高0.75dB，而其他三個(gè)數(shù)據(jù)庫平均只提升了0.25dB，因此在Urban數(shù)據(jù)庫中的重建效果更加優(yōu)秀，也就說明此方法對于各類圖片都有一定的效果，尤其是建筑等結(jié)構(gòu)性比較明顯的圖片重建效果更好。

4 結(jié)語

本文算法從塊形變的角度來考慮單幅圖像的超分辨率問題，提出了一種基于結(jié)構(gòu)相似性和形變塊特征單幅圖像超分辨率重建算法。該算法通過圖像的尺度分解獲得自身結(jié)構(gòu)相似性特征和通過塊變換提取形變塊特征，避免了使用外部數(shù)據(jù)庫出現(xiàn)的數(shù)據(jù)類型和數(shù)量不清楚等一系列相關(guān)問題。資源塊數(shù)據(jù)通過字典資源塊和形變塊資源分類處理，利用不同的約束來學(xué)習(xí)得到高分辨率字典和組稀疏系數(shù)，增強(qiáng)了圖像的抗噪性。本文算法與Bicubic、Kim等[23]算法、ScSR[3]算法和SRCNN[7]等經(jīng)典算法相比，可以得到更好的超分辨率重建效果。這種方法雖然提高了抗噪性，在時(shí)間復(fù)雜度上也得到了不少提高，但是面對不同的圖片上會(huì)存在不同的表現(xiàn)，在實(shí)驗(yàn)中發(fā)現(xiàn)，這種結(jié)構(gòu)性的方法會(huì)在建筑等結(jié)構(gòu)性比較明顯的圖片上重建效果更好，因此，如何去針對不同類型的圖片進(jìn)行提高重建效果便成了進(jìn)一步的研究方向。

參考文獻(xiàn) （References）

[1] FREEMAN W T， JONES T R， PASZTOR E C. Example based super resolution [J]. IEEE Computer Graphics and Applications， 2002， 22（2）：56-65.

[2] CHANG H， YEUNG D Y， XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004： I-275-I-282.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via spare representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[4] YANG C Y， YANG M H. Fast direct super-resolution by simple functions[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 561-568.

[5] TIMOFTE R， SMET V， GOOL L. Anchored neighborhood regression for fast example-based super-resolution[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 1920-1927.

[6] TIMOFTE R， SMET V， GOOL L. A+： adjusted anchored neighborhood regression for fast super resolution[C]// Proceedings of the 2014 Asian Conference on Computer Vision. Berlin： Spring， 2014： 111-126.

[7] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）： 295-307.

[8] MEHRAN E， VRSCAY E R. Solving the inverse problem of image zooming using “Self-Examples”[M]// Image Analysis and Recognition. Berlin： Springer， 2007： 117-130.

[9] GKASNER D， BAGON S， IRANI M. Super-resolution from a single image[C]// Proceedings of the 2009 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 349-356.

[10] FREEDMAN G， FATTAL R. Image and video upscaling from local self-examples [J]. ACM Transactions on Graphics， 2011，30（2）：1-11.

[11] SINGH A， AHUJA N. Super-resolution using sub-band self-similarity [C]// ACCV 2014： Proceedings of the 2014 Asian Conference on Computer Vision. Berlin： Springer， 2014：552-568.

[12] ZONTAK M， IRANI M. Internal statistics of a single natural image[C]// CVPR 11： Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011：977-984.

[13] 向文，張靈，陳云華，等.結(jié)合結(jié)構(gòu)自相似性和卷積網(wǎng)絡(luò)的單幅圖像超分辨率[J].計(jì)算機(jī)應(yīng)用，2018，38（3）：854-858.（XIANG W， ZHANG L， CHEN Y H， et al. Combined with structural self-similarity and convolution of a single image super resolution[J]. Journal of Computer Applications， 2018， 38（3）： 854-858.）

[14] 肖進(jìn)勝，劉恩雨，朱力，等.改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法[J].光學(xué)學(xué)報(bào)，2017，37（3）：103-111.（XIAO J S， LIU E Y， ZHU L， et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica，2017，37（3）：103-111.）

[15] HUANG J B， KANG S B， AHUJA N， et al. Image completion using planar structure guidance [J]. ACM Transactions on Graphics， 2014， 33（4）：1-10.

[16] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution [J]. IEEE Computer Graphics & Applications， 2002， 22（2）：56-65

[17] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution as sparse representation of raw image patches[C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2008：1-8.

[18] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing， 2006， 54（11）：4311-4322.

[19] DARABI S， SHECHTMAN E， BARNES C， et al. Image melding： combining inconsistent images using patch-based synthesis[J]. ACM Transactions on Graphics， 2012， 31（4）：1-10.

[20] HACOHEN Y， FATTAL R， LISCHINSKI D. Image upsampling via texture hallucination[C]// Proceedings of the 2010 IEEE International Conference on Computational Photography. Piscataway， NJ： IEEE， 2010：1-8.

[21] BARNES C， SHECHTMAN E， FINKELSTEIN A， et al. PatchMatch：a randomized correspondence algorithm for structural image editing[J]. ACM Transactions on Graphics， 2009， 28（3）：1-11.

[22] YANG J， LIN Z， COHEN S. Fast image super-resolution based on in-place example regression [C]// Proceedings of the 2013 Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013：1059-1066.

[23] KIM K I， KWON Y. Single-image super-resolution using sparse regression and natural image prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010，32（6）： 1127-1133.