三維重定向圖像主觀和客觀質量評價方法

富振奇 邵楓

摘 要：對于重建圖像存在的邊緣失真和紋理細節(jié)信息模糊的問題，提出一種基于改進卷積神經網絡（CNN）的圖像超分辨率重建方法。首先在底層特征提取層以三種插值方法和五種銳化方法進行多種預處理操作，并將只進行一次插值操作的圖像和先進行一次插值后進行一次銳化的圖像合并排列成三維矩陣;然后在非線性映射層將預處理后構成的三維特征映射作為深層殘差網絡的多通道輸入，以獲取更深層次的紋理細節(jié)信息;最后在重建層為減少圖像重建時間在網絡結構中引入亞像素卷積來完成圖像重建操作。在多個常用數(shù)據(jù)集上的實驗結果表明，與經典方法相比，所提方法重建圖像的紋理細節(jié)信息和高頻信息能得到更好的恢復，峰值信噪比（PSNR）平均增加0.23dB，結構相似性（SSIM）平均增加0.0066。在保證圖像重建時間的前提下，所提方法更好地保持重建圖像的紋理細節(jié)并減少圖像邊緣失真，提升重建圖像的性能。

關鍵詞：單幅圖像超分辨率重建;深度學習;卷積神經網絡;多通道卷積;亞像素卷積

中圖分類號：TP391.41;TP389.1

文獻標志碼：A

Abstract： Aiming at the problem of edge distortion and fuzzy texture detail information in reconstructed images， an image superresolution reconstruction method based on improved Convolutional Neural Network （CNN） was proposed. Firstly， various preprocessing operations were performed on the underlying feature extraction layer by three interpolation methods and five sharpening methods， and the images which were only subjected to one interpolation operation and the images which were sharpened after interpolation operation were arranged into a 3D matrix. Then， the 3D feature map formed by the preprocessing was used as the multichannel input of a deep residual network in the nonlinear mapping layer to obtain deeper texture detail information. Finally， for reducing image reconstruction time， subpixel convolution was introduced into the reconstruction layer to complete image reconstruction operation. Experimental results on several common datasets show that the proposed method achieves better restored texture detail information and highfrequency information in the reconstructed image compared with the classical methods. Furthermore， the Peak SignaltoNoise Ratio （PSNR） was increased by 0.23dB on average， and the structural similarity was increased by 0.0066 on average. The proposed method can better maintain the texture details of the reconstructed image and reduce the image edge distortion under the premise of ensuring the image reconstruction time， improving the performance of image reconstruction.

0 引言

近年來，圖像作為獲取信息最為直接的途徑，在遙感、醫(yī)療、軍事、公共安全、計算機視覺等諸多領域都有著重要的應用[1]。單幅圖像超分辨率重建（Simple Image SuperResolution， SISR）技術的方法主要有基于插值的方法、基于重建的方法和基于學習的方法[2-3]?；趯W習的重建方法保存了圖像更多的高頻信息和細節(jié)信息，且算法適應性和魯棒性更好，因此成為近年來的單幅圖像超分辨率重建技術研究的熱點[4]。

基于學習的超分辨率（SuperResolution， SR）方法的基本思路是通過大量樣本訓練得到低分辨率圖像（Low Resolution， LR）與高分辨率圖像（High Resolution， HR）之間的映射關系，并以此作為先驗知識進行重建[5]。Yang等[6-7]提出基于稀疏編碼的圖像超分辨算法，對高、低分辨率的圖像塊進行聯(lián)合訓練得到相應的一個過完備字典，通過這個字典進行高低分辨率圖像塊的稀疏關聯(lián)重建圖像。在此基礎上，李云飛等[8]和Zeyde等[9]應用K奇異值分解（KSingular Value Decomposition， KSVD）算法對字典的訓練過程進行改進，雖然提高了字典訓練速度，使重建圖像在主客觀評價指標上均有所改善，但重建過程的計算復雜度較高，HR圖像生成時間過長。為了做到圖像的實時處理，Timofte等[10-11]提出錨點鄰域回歸（Anchored Neighborhood Regression， ANR）算法，在最近鄰域嵌入算法[12]上引入稀疏編碼思想，降低了算法的計算復雜度，但是圖像的細節(jié)紋理恢復效果較差，重建質量仍需提高。

近幾年，隨著深度學習的不斷發(fā)展，2014年Dong等[13]在基于樣本學習的SR算法基礎上提出了基于卷積神經網絡（Convolutional Neural Network， CNN）的圖像超分辨率重建（SuperResolution CNN， SRCNN）算法。SRCNN首次將CNN引入到SR任務中，將傳統(tǒng)SR算法的分步處理整合到一個深度學習模型中，大幅簡化了SR工作流程[14]。SRCNN的提出證明將深度學習，特別是CNN應用到SR任務中是非常合適的，發(fā)展前景廣闊。同傳統(tǒng)的SR算法相比，SRCNN在SR性能上有不錯的提升，但SRCNN重建的HR圖像仍存在紋理模糊的問題，SR性能有待進一步提高[15]。在2016年，Youm等[16]提出基于多通道輸入卷積神經網絡的圖像超分辨率算法（SuperResolution method using MultiChannelinput CNN， MCSRCNN），其輸入圖像是多通道的，即輸入圖像包含了18種低分辨率圖像，能更好地保留圖像的高頻信息。Shi等[17]提出了一種直接在低分辨率圖像上提取特征信息，從而高效重建得到高分辨率圖像算法，即有效的亞像素卷積神經網絡（Efficient SubPixel Convolutional Neural network， ESPCN），其核心思想是亞像素卷積層，獲得了較好的效率。在2017年，Ledig等[18]提出將生成對抗網絡（Generative Adversarial Network， GAN）應用在SR問題中，因為傳統(tǒng)的SR算法在放大倍數(shù)較小時的圖像恢復效果較好，但當圖像的放大倍數(shù)在4以上時，傳統(tǒng)方法重建圖像的細節(jié)信息與邊緣過于平滑，缺少視覺真實感，因此基于生成對抗網絡的超分辨率（SuperResolution using Generative Adversarial Network，SRGAN）算法以犧牲峰值信噪比（Peak SignaltoNoise Ratio， PSNR）來用GAN生成圖像中的更多細節(jié)，增加真實感。

綜上所述，考慮到圖像的重建性能和網絡的訓練時間以及圖像恢復的真實感三方面的因素，本文提出一種基于改進卷積神經網絡的單幅圖像超分辨率重建方法。該方法以由單幅低分辨率圖像構成的三維特征矩陣作為神經網絡的多通道輸入，減少圖像預處理過程中的高頻信息的丟失;然后通過深層殘差網絡，提取圖像中的多層次的細節(jié)信息，以提高圖像重建的真實感;最后為保證圖像重建的時間且盡可能地縮短重建時間，通過亞像素卷積層輸出得到高分辨率圖像。實驗結果表明本文算法在保證訓練時間的前提下，獲得了較好的單幅圖像重建性能，圖像的邊緣和細節(jié)信息的恢復效果更好。

1 相關工作

1.1 SRCNN算法

SRCNN是在單幅圖像超分辨率重建研究中較早跨越傳統(tǒng)算法的深度學習方法，將傳統(tǒng)SR算法的分步處理整合到一個深度學習模型中，簡化了SR工作流程[19]。應用卷積神經網絡，通過學習輸入和輸出之間的特征映射關系，實現(xiàn)了圖像由低分辨率到高分辨率的重建過程。SRCNN網絡框架如圖1所示，首先用雙立方插值，依據(jù)預先設計好的尺寸對一幅低分辨率圖像進行簡單的畫質提升處理，此舉作為預處理操作，然后將預處理后的圖像表示為Y，原始的高分辨率圖像為X，但為了簡化表述，仍將Y稱為低分辨率圖像，實際上Y與X具有相同的圖像尺寸。網絡訓練的目標主要是學習特征映射F，使得Y通過映射F（Y）盡可能地恢復到X的性能。

1）圖像塊的底層特征提取與特征表示。即從低分辨率圖像Y中提取圖像塊，可以進行有重疊的特征提取;然后將每個提取的圖像塊表示為一個高維度的矢量，這些矢量被表示為一系列的特征映射，且令特征映射的數(shù)量等于高緯度矢量的維度。其計算公式如式（1）所示：

其中：W1和B1表示濾波器和偏差;“*”表示卷積運算;W1表示包含n1個c×f1×f1的濾波器，c為圖像包含的通道數(shù)量， f1為濾波器空域大小，即W1對圖像進行了n1次卷積，所使用卷積核為c×f1×f1，該層輸出n1個特征映射;B1是一個n1維的向量，它的每個元素對應一個濾波器，激活函數(shù)使用ReLU（Rectified Linear Unit），即max（0，x）。算法的第1）部分表示為圖1網絡結構中的第一層網絡，提取到預處理圖像中的n1維特征，作為第二層網絡的輸入。

2）非線性映射。非線性地將每個高維度的矢量映射到另一個高維度的矢量上，每個被映射的矢量被表示為一個高分辨率圖像塊，這些被映射的矢量表示為另一系列的特征映射。其計算公式如式（2）所示：

其中：B2是n2維的向量。W2包含n2個n1×f2×f2的濾波器。

3）圖像重建。將以上步驟形成的高分辨率圖像塊再進行卷積運算，重建形成最終的盡可能接近真實的高分辨率圖像。其公式如式（3）所示：

SRCNN的主要貢獻是由稀疏編碼跨越為深度學習，應用完整的神經網絡處理圖像超分辨率問題，并取得了較好的實驗效果。SRCNN理論中還指出，將處理的單幅圖像由單一顏色通道更換為三顏色通道，即在圖像的YCbCr或RGB空間中完成圖像重建的效果應優(yōu)于單一顏色通道，可以保留更多的圖像色彩信息[19]。而且SRCNN算法最先是采用較小的數(shù)據(jù)集Set5和Set14，網絡訓練后學習到的知識較少，圖像重建性能受限制，而更換為相對較大的數(shù)據(jù)集BSD200后重建性能也明顯得到提高，可見數(shù)據(jù)集的大小對圖像的重建性能影響也較大。

SRCNN在重建HR圖像時，網絡層數(shù)較少，感受野也相對較小，利用到的區(qū)域特征單一并且利用效率不高[8，18]，最終導致重建的HR圖像紋理有些模糊，算法的適應性受一定限制，SR性能有待進一步提高。

1.2 MCSRCNN算法

在MCSRCNN[16]中，SR過程針對SRCNN中的網絡輸入的單通道作出改進。在SRCNN中，卷積神經網絡的輸入由圖像單一顏色通道形成的數(shù)據(jù)經雙立方插值構成，這種單一的預處理操作會使重建圖像存在邊界模糊和缺少高頻信息的問題。所以在MCSRCNN中，神經網絡的輸入改為多通道，即輸入包含了18種低分辨率圖像，如圖2給出MCSRCNN算法的網絡框架。這18種低分辨率圖像由單幅圖像在預處理過程中生成，即結合不同銳化卷積核的優(yōu)勢和3種不同的插值方式（3種插值方法為最近鄰、雙線性、雙立方插值;5種圖像銳化強度值為0.4、0.8、1.2、1.6、2的被銳化的低分辨率圖像），令所有被銳化的低分辨率圖像通過最近鄰插值、雙線性插值或雙立方插值被插入到同樣的一幅高分辨率圖像中，然后令所有被銳化的和被插值的低分辨率圖像共同構成卷積神經網絡的多通道輸入。

MCSRCNN在經過第一層網絡后構建的特征映射比SRCNN的要好，因為圖像本身是一種時域的波形圖，在其時域波形圖中只能觀察到波形的突起，但通過傅里葉公式可知，圖像是由低頻部分和高頻部分兩部分組成，圖像中的低頻部分表示圖像的內容即灰度變化，而高頻部分則表示圖像的邊緣信息和細節(jié)信息即銳度變化。在SRCNN算法中重建的圖像存在邊緣模糊的問題，也就是預處理過程中單一的雙立方插值使得輸入圖像從進入神經網絡時就丟失了部分的高頻信息，而MCSRCNN中神經網絡的多通道輸入解決了這一問題，并且該算法在卷積過程中對于多通道的輸入采用相同大小的卷積核，在提升重建效果的同時并未增添參數(shù)。

MCSRCNN雖然解決了重建過程中丟失高頻信息的問題，但它選用的數(shù)據(jù)集Set5和Set14較小，為了提高神經網絡的圖像重建性能應選用較大的數(shù)據(jù)集。而且在SRCNN算法中提出，雖然在實現(xiàn)單幅圖像的超分辨率重建的過程中一般使用圖像的單一顏色通道，但使用圖像的3個顏色通道的重建效果要優(yōu)于單一顏色通道。所以，為了更好地實現(xiàn)單幅圖像的超分辨率重建，應將兩種算法中的優(yōu)勢結合起來，實現(xiàn)更好的重建效果。

1.3 SRGAN算法

均方誤差（Mean Squared Error，MSE）和PSNR在捕獲與知覺相關的差異方面的能力（比如高頻紋理細節(jié)）非常有限，因為它們是根據(jù)圖像的像素差異來定義的，PSNR值最高并不一定能更好地反映感知能力的結果，圖像的真實感未必是最好的[5]。

在以前的基于神經網絡的SR算法中，雖然能夠獲得很高的PSNR值，但恢復出的單幅圖像通常會丟失部分高頻細節(jié)信息，使人不能有較好的視覺感受，忽略了細節(jié)紋理的恢復。

而更深層次的網絡結構已被證明可以提高SISR的重建性能，傳統(tǒng)的基于CNN的SISR網絡模型的網絡層次較淺，雖然能夠提升一定的圖像重建性能，但重建過程中網絡的學習效果受限，提取特征的過程丟失高頻細節(jié)信息的問題較為嚴重，因此SRGAN使用深層的殘差網絡來恢復單幅圖像中更多的細節(jié)紋理信息，增強單幅圖像重建后的視覺真實感[18]。從實驗數(shù)據(jù)中可知，雖然SRGAN的PSNR值不是最高，但它較好地恢復了圖像中的紋理與細節(jié)，使重建圖像的視覺效果更為逼真。

2 改進的圖像超分辨率重建算法

2.1 改進思想

為了解決以上提出的問題，本文對需要進行重建的低分辨率圖像保留三顏色通道，首先對其進行預處理操作：先對低分辨率圖像進行三種插值操作，即最近鄰插值、雙線性插值和雙立方插值;然后對進行不同插值處理后的圖像分別進行五種不同強度值的圖像銳化操作;最后將只進行一次插值操作的圖像與先進行一次插值、后進行一次銳化的圖像合并排列成三維矩陣，即令預處理過程后的18幅圖像作為神經網絡的多通道輸入。然后，為學習更深的圖像細節(jié)紋理信息和高頻信息，重建過程構建了更深層次的網絡結構，但考慮到網絡的收斂問題和防止梯度消失的問題，本文采用深層殘差網絡結構，提高網絡的準確率。最后在單幅圖像的重建過程中采用亞像素卷積層來實現(xiàn)，提升重建效率，減少重建時間。

2.2 網絡結構

考慮到重建性能和重建時間等多方面的因素，本文提出的基于改進CNN的圖像超分辨率重建算法主要是構建了一種深層卷積神經網絡，該網絡共有6層，分別由3部分構成，即底層特征提取、非線性映射和圖像重建。該網絡考慮到低分辨率圖像與高分辨率圖像之間的非線性映射關系，能提升網絡對高頻信息和細節(jié)紋理信息的學習效率，并在改進重建性能的同時縮短網絡訓練時間與圖像重建時間。本文搭建的卷積神經網絡框架如圖3所示。

該網絡結構的特點如下：

1）本文算法中采用圖像的三顏色通道進行處理，以便在預處理操作中盡可能地保留輸入的原始低分辨率圖像中的高頻信息和細節(jié)紋理信息等特征，在預處理操作中同時考慮時間與圖像質量兩方面因素。不同插值算法的計算復雜度不同，且插值時考慮周圍不同數(shù)目的相鄰像素點灰度值影響也不同，如最近鄰插值計算量最小但僅考慮位置最近的像素的灰度值，雙線性插值在兩水平方向與垂直方向均進行一階線性插值，雙立方插值考慮周圍四個相鄰像素點灰度值影響。圖像在插值處理后，會出現(xiàn)邊緣和輪廓模糊問題，而圖像邊緣信息主要集中在高頻部分，使用銳化操作則可以有效減輕插值的不利影響。因此，本文算法采用插值與銳化操作完成圖像預處理，并以18幅低分辨率圖像作為神經網絡的多通道輸入，相對于單一地使用雙立方插值，有利于學習到一種更好且更復雜的特征映射。

這種以插值和銳化構成的18幅低分辨率圖像具有豐富的可用于重建高分辨率圖像過程中的補充信息，能提高重建過程的準確性。

2）在非線性映射層加入殘差網絡結構，通過恒等映射將后層信息直接傳向前層，實現(xiàn)了特征的重復利用，減少了特征信息的丟失。通過增加非線性映射層來加深網絡結構，而且引入殘差網絡后，解決了由于網絡加深而易引起的梯度消失和梯度爆炸問題，網絡的每一層分別對應于提取不同層次的特征信息，有效地加深網絡結構，提取到的不同層次的特征信息就會增多。

3）在圖像重建過程中引入亞像素卷積層，在網絡的最后一層使用上采樣操作，能減少在圖像重建中的重建步驟與時間，為減少計算量使用尺寸較小的濾波器，在保持特征信息前后關系的同時，對高分辨率特征圖中的像素進行重新排列，整合相同的信息，恢復成最終所需的高分辨率圖像。

2.3 殘差網絡結構

在非線性映射過程中引入殘差網絡，因為殘差網絡更容易優(yōu)化，并且能夠通過增加有效的深度來提高準確率。殘差網絡的優(yōu)勢是不僅解決了增加網絡深度導致的梯度消失與梯度爆炸問題，而且提高了網絡性能。

神經網絡層數(shù)的不同，提取的淺層、中層和深層的特征信息不同，網絡層數(shù)越多，意味著能夠提取到不同層次的特征信息越豐富，并且，網絡越深提取的特征越抽象，具有的高頻信息越豐富[17]。使用殘差網絡不僅很好地避免了退化問題，而且其反向更新的特點引入快捷鏈接的概念，使連加運算代替?zhèn)鹘y(tǒng)網絡中的連乘運算，大幅降低了計算量[19]。

圖4中給出了殘差網絡中的一個殘差模塊的結構，殘差模塊由卷積層、快捷連接和激活函數(shù)ReLU組成。假設將采取某種預處理操作后的圖像a作為此殘差模塊的輸入，經過快捷連接后為H（a）=F（a）+a，如果F（a）和a的通道相同，則可直接相加。殘差模塊的主要設計有兩個部分：快捷連接和恒等映射。通過在一個淺層網絡上令F（a）=0，使得H（a）=a，就構成一個恒等映射，使網絡在深度增加時而不退化，因此快捷連接使殘差變得可能，而恒等映射使網絡變深。在卷積層后增加激活函數(shù)，能使網絡的學習周期大幅縮短[18]。

2.4 亞像素卷積層

亞像素卷積層是在網絡輸出層進行上采樣的操作，與在輸出層進行卷積操作的SRCNN相比，在訓練和測試時都降低了復雜度，減少了在輸出層卷積上的時間消耗[17]。在SRCNN中，對圖像進行下采樣操作，r為下采樣因子，高分辨率圖像和低分辨率圖像都具有c個顏色通道，因此它們可表示為大小為H×W×c和rH×rW×c的實數(shù)張量。而亞像素卷積層的輸入為特征通道數(shù)為r2的特征映射，r表示上采樣因子，將每個像素的r2個通道重新排列成一個r×r的區(qū)域，對應于高分辨率圖像中的一個r×r大小的圖像塊，從而大小為H×W×cr2的特征圖像被重新排列成大小為rH×rW×c的高分辨率圖像，這個變換就被稱作亞像素卷積，但它實際上并沒有進行卷積操作[17]。因此亞像素卷積的本質就是將維度為r2的低分辨率特征向量按一定排列要求周期性地排列來構成高分辨率圖像。

在低分辨率空間中，令大小為fs的濾波器Ws與權重空間1/r進行卷積操作，步幅為1/r，其結果雖未激活和計算像素之間的權重，但激活了濾波器Ws的不同部分。當激活模型為r2個時，每個激活模型依據(jù)其位置，有最多[fs/r]2個權重被激活。當進行卷積操作的濾波器依據(jù)不同的亞像素位置掃過圖片時，這些激活模型就會被周期性地激活：

3 實驗與結果分析

本文采用的實驗平臺是使用NVIDIA顯卡GeForce GTX TITANX、3.20GHz Intel i5 CPU、32GB RAM，編譯軟件使用Matlab 2016a，并使用Caffe深度學習工具箱進行神經網絡模型的搭建和訓練[20]。由于本文改建的網絡相對較深，算法應使用更大的訓練集，以體現(xiàn)該網絡的優(yōu)勢，因此實驗從ImageNet數(shù)據(jù)集中隨機抽取約6萬幅圖像組成訓練集，抽取的圖像尺寸最大不超過512×512，原始高分辨率圖像為X，放大倍數(shù)取s=2，3，4，預處理后的多幅圖像為Y，作為網絡的多通道輸入。雖然選用較大的學習率可以加快網絡的收斂，但可能出現(xiàn)局部最優(yōu)問題，因此根據(jù)網絡模型訓練的經驗與更公平地進行對比實驗和分析，將前五層網絡的學習率設為10-4，最后一層網絡的學習率設為10-5，動量參數(shù)設為0.9，權重衰減參數(shù)設為0.0005。

本文從主客觀兩種角度對重建圖像的性能進行評價分析。

4 結語

本文主要進行的是深度學習在SISR技術領域的研究，通過改進卷積神經網絡來提升圖像質量，使用多種預處理手段構成網絡的多通道輸入，以有效避免區(qū)域特征單一的問題;同時，在非線性映射層采用殘差網絡結構不僅獲取了圖像的不同層次的特征信息，而且有效解決了梯度消失和梯度爆炸問題;最后引入亞像素卷積完成圖像重建操作，提高了重建效率。本文算法使用更大的訓練集，經過實驗和結果分析，不僅避免了網絡加深的過擬合現(xiàn)象，而且獲得了較好的重建效果，圖像紋理細節(jié)部分的區(qū)分度和清晰度得到有效提高，但邊緣重建效果與原始高分辨率圖像間仍有差距，需進一步改進算法，解決圖像邊緣區(qū)域的模糊問題，提升單幅圖像的超分辨率重建效果。

參考文獻（References）

[1]孫旭， 李曉光， 李嘉鋒， 等.基于深度學習的圖像超分辨率復原研究進展[J]. 自動化學報， 2017， 43（5）： 697-709. （SUN X， LI X G， LI J F， et al. Review on deep learning based image superresolution restoration algorithms [J]. Acta Automatica Sinica， 2017， 43（5）： 697-709.）

[2]蘇衡， 周杰， 張志浩.超分辨率圖像重建方法綜述[J]. 自動化學報， 2013， 39（8）： 1202-1213. （SU H， ZHOU J， ZHANG Z H. Survey of superresolution image reconstruction methods [J]. Acta Automatica Sinica， 2013， 39（8）： 1202-1213.）

[3]李浪宇， 蘇卓， 石曉紅， 等.圖像超分辨率重建中的細節(jié)互補卷積模型[J]. 中國圖象圖形學報， 2018， 23（4）： 572-582. （LI L Y， SU Z， SHI X H， et al. Mutualdetail convolution model for image superresolution reconstruction [J]. Journal of Image and Graphics， 2018， 23（4）： 572-582.）

[4]KIM J， LEE J K， LEE K M. Accurate image superresolution using very deep convolutional networks [C]// Proceedings of the 2016 IEEE Conference on Computer on Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 1646-1654.

[5]TIAN J， MA K K. A survey on superresolution imaging[J]. Signal， Image and Video Processing， 2011， 5（3）： 329-342.

[6]YANG C Y， MA C， YANG M H. Singleimage superresolution： a benchmark [C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 372-386.

[7]YANG J C， WRIGHT J， HUANG T S， et al. Image superresolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[8]李云飛， 符冉迪， 金煒， 等.多通道卷積的圖像超分辨率方法[J]. 中國圖象圖形學報， 2017， 22（12）： 1690-1700. （LI Y F， FU R D， JIN W， et al. Image superresolution using multichannel convolution [J]. Journal of Image and Graphics， 2017， 22（12）： 1690-1700.）

[9]ZEYDE R， ELAD M， PROTTER M. On single image scaleup using sparserepresentations [C]// Proceedings of the 2010 International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010： 711-730.

[10]TIMOFTE R， DE V， GOOL L V. Anchored neighborhood regression for fast examplebased superresolution [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 1920-1927.

[11]TIMOFTE R， ROTHE R， GOOL L V. A+： adjusted anchored neighborhood regression for fast superresolution [C]// Proceedings of the 12th Asian Conference on Computer Vision. Berlin： Springer， 2015： 111-126.

[12]CHANG H， XIONG Y， YEUNG D Y. Superresolution through neighbor embedding [C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004： 275-282.

[13]DONG C， CHEN C L， HE K， et al. Learning a deep convolutional network for image superresolution [C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 184-199.

[14]徐冉， 張俊格， 黃凱奇.利用雙通道卷積神經網絡的圖像超分辨率算法[J]. 中國圖象圖形學報， 2016， 21（5）： 556-564. （XU R， ZHANG J G， HUANG K Q. Image superresolution using twochannel convolutional neural networks [J]. Journal of Image and Graphics， 2016， 21（5）： 556-564.）

[15]劉娜， 李翠華.基于多層卷積神經網絡學習的單幀圖像超分辨率重建方法[J]. 中國科技論文， 2015， 10（2）： 201-206. （LIU N， LI C H. Single image superresolution reconstruction via deep convolutional neural network [J]. China Sciencepaper， 2015， 10（2）： 201-206.）

[16]YOUM G Y， BAE S H， KIM M. Image superresolution based on convolution neural networks using multichannel input [C]// Proceedings of the 2006 IEEE 12th Image， Video， and Multidimensional Signal Processing Workshop. Piscataway， NJ： IEEE， 2016：1-5.

[17]SHI W， CABALLERO J， HUSZAR F， et al. Realtime single image and video superresolution using an efficient subpixel convolutional neural network [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 1874-1883.

[18]LEDIG C， THEIS L， HUSZAR F， et al. Photorealistic single image superresolution using a generative adversarial network [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 105-114.

[19]DONG C， CHEN C L， HE K， et al. Image superresolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.

[20]JIA Y Q， SHELHAMER E， DONAHUE J， et al. Caffe： convolutional architecture for fast feature embedding [C]// Proceedings of the 22nd ACM International Conference on Multimedia. New York： ACM， 2014： 675-678.

[21]MEGHA G， YASHPAL L， VIVEK L. Analytical relation & comparison of PSNR and SSIM on babbon image and human eye perception using Matlab [J]. International Journal of Advanced Research in Engineering and Applied Sciences， 2015， 4（5）： 108-119.