基于級聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)的高性能圖像超分辨率重構(gòu)

郭 曉,譚文安,2

(1.南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 南京 211106； 2.上海第二工業(yè)大學(xué) 計算機與信息學(xué)院, 上海 201209)

基于級聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)的高性能圖像超分辨率重構(gòu)

郭 曉1,譚文安1,2*

(1.南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 南京 211106； 2.上海第二工業(yè)大學(xué) 計算機與信息學(xué)院, 上海 201209)

為了進(jìn)一步提高現(xiàn)有圖像超分辨率重構(gòu)方法所得圖像的分辨率，提出一種高性能的深度卷積神經(jīng)網(wǎng)絡(luò)(HDCN)模型用于重構(gòu)放大倍數(shù)固定的超分辨率圖像。通過建立級聯(lián)HDCN模型解決傳統(tǒng)模型重構(gòu)圖像時放大倍數(shù)無法按需選擇的問題，并在級聯(lián)過程中引入深度邊緣濾波器以減少級聯(lián)誤差，突出邊緣信息，從而得到高性能的級聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)(HCDCN)模型?；赟et5、Set14數(shù)據(jù)集進(jìn)行超分辨率圖像重構(gòu)實驗，證明了引入深度邊緣濾波器的有效性，對比HCDCN方法與其他圖像超分辨率重構(gòu)方法的性能評估結(jié)果，展現(xiàn)了HCDCN方法的優(yōu)越性能。

超分辨率; 圖像重建; 深度卷積神經(jīng)網(wǎng)絡(luò); 級聯(lián); 深度邊緣濾波器

0 引言

受限于硬件設(shè)備，日常人們獲取的數(shù)字圖像分辨率普遍較低，無法滿足實際需要。為了解決這一問題，可以采用單幅圖像超分辨率重構(gòu)(Single Image Super-Resolution，SISR)技術(shù)，由一幅低分辨率(Low-Resolution，LR)圖像重構(gòu)出一幅高分辨率(High-Resolution，HR)圖像以獲取更多的細(xì)節(jié)信息。該技術(shù)已廣泛應(yīng)用于計算機視覺與圖形學(xué)、醫(yī)學(xué)成像、安全監(jiān)控等領(lǐng)域。

較為早期的單幅圖像超分辨率重構(gòu)技術(shù)大多基于插值，如雙三次插值法(bicubic interpolation)[1]。插值方法得到的重構(gòu)圖像易出現(xiàn)模糊、振鈴、鋸齒等現(xiàn)象[2]。隨后出現(xiàn)如迭代反向投影法(Iterative Back Projection，IBP)[3]等基于重構(gòu)的方法，通過對圖像降質(zhì)過程建立觀測模型，利用數(shù)學(xué)理論進(jìn)行反向求解以重構(gòu)高分辨率圖像。基于重構(gòu)的方法減少了鋸齒、振鈴等現(xiàn)象，但存在正則約束項的選擇問題及配準(zhǔn)問題等。近年來，基于學(xué)習(xí)的方法,如鄰域嵌入法(Neighbor embedding)[4]、稀疏編碼(Sparse coding)[5]構(gòu)建包含LR圖像和HR圖像的樣本庫，通過訓(xùn)練得到樣本庫中LR/HR圖像塊之間的映射關(guān)系，從而指導(dǎo)圖像超分辨率重建。文獻(xiàn)[6]提出超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network，SRCNN)通過深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低分辨率圖像到高分辨率圖像實現(xiàn)端到端的映射，使單幅圖像超分辨率重構(gòu)技術(shù)得到質(zhì)的飛躍。但目前該項技術(shù)依然存在以下問題：1)大部分模型重構(gòu)超分辨率圖像時放大倍數(shù)無法按需調(diào)整，需要重新訓(xùn)練模型來改變放大倍數(shù)。如文獻(xiàn)[7]采用重新微調(diào)模型的方式改變圖像放大倍數(shù)；文獻(xiàn)[8]利用單個多層深度卷積神經(jīng)網(wǎng)絡(luò)同時學(xué)習(xí)不同的放大倍數(shù)，取得了優(yōu)異效果。2)大部分基于卷積神經(jīng)網(wǎng)絡(luò)的重構(gòu)模型訓(xùn)練時收斂慢，需要迭代運算次數(shù)甚至達(dá)到千萬；網(wǎng)絡(luò)層次較淺，無法學(xué)習(xí)表征更為復(fù)雜的圖像信息。

本文研究主要貢獻(xiàn)如下：1)為進(jìn)一步提高現(xiàn)有方法重構(gòu)超分辨率圖像的分辨率，本文提出一種高性能的深度卷積神經(jīng)網(wǎng)絡(luò)(High-performance Deep Convolutional neural Network, HDCN)模型用以實現(xiàn)固定放大倍數(shù)的圖像超分辨率重建；2)為解決重構(gòu)圖像時放大倍數(shù)無法按需調(diào)整的問題，提出高性能的級聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)(High-performance Cascade Deep Convolutional neural Network, HCDCN)模型同時重構(gòu)多個放大倍數(shù)的高分辨率圖像，在級聯(lián)過程中引入深度邊緣濾波器，提升重構(gòu)性能。與文獻(xiàn)[6-9]等方法的實驗對比證明了本文所提方法的優(yōu)異性能。

1 相關(guān)工作

1.1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重構(gòu)

在SRCNN模型中，卷積神經(jīng)網(wǎng)絡(luò)只有3層，分別起到特征提取，非線性映射以及重構(gòu)的作用。同樣采取3層卷積神經(jīng)網(wǎng)絡(luò)的還有文獻(xiàn)[9]中提出的高效子像素卷積神經(jīng)網(wǎng)絡(luò)(Efficient Sub-Pixel Convolutional neural Network，ESPCN)，該方法將起重構(gòu)作用的反卷積層表示成卷積層的形式，在網(wǎng)絡(luò)的最后一層提升圖像大小。文獻(xiàn)[7]對SRCNN模型進(jìn)行改進(jìn)，增加用于收縮和擴展模型參數(shù)的卷積層，使得模型可以在配置較低的電腦上得以訓(xùn)練，同時將起非線性映射作用的卷積層由1層擴展至4層，取得更優(yōu)異的性能。文獻(xiàn)[8]調(diào)整梯度下降時的迭代步長加速收斂，極大縮減了訓(xùn)練時間，采用20層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行殘差學(xué)習(xí)(residual-learning)，獲得較好的高分辨率圖像性能。文獻(xiàn)[7-8]的實驗結(jié)果表明：在一定條件下，增加卷積神經(jīng)網(wǎng)絡(luò)層數(shù)可以提升圖像超分辨率重構(gòu)的性能。

1.2 邊緣濾波器

邊緣濾波器廣泛應(yīng)用于計算機視覺和圖像處理，既平滑了圖像，又盡可能地保留了圖像的邊緣信息。早在20世紀(jì)90年代，文獻(xiàn)[10]便提出了對濾波方向進(jìn)行控制的邊緣濾波器(Steerable Filter)，文獻(xiàn)[11]提出了經(jīng)典的雙邊濾波器(Bilateral Filter)，之后有很多方法都是基于雙邊濾波器，如文獻(xiàn)[12-13]。文獻(xiàn)[14]通過深度卷積神經(jīng)網(wǎng)絡(luò)建立了多種邊緣濾波器的統(tǒng)一框架，融合各邊緣濾波器原有特性，在降低計算復(fù)雜度的同時依然可以提升性能。

2 本文提出的模型

2.1 HDCN模型

受啟發(fā)于文獻(xiàn)[8]中“The deeper, the better”的思想，實驗訓(xùn)練一個共d層的深度卷積神經(jīng)網(wǎng)絡(luò)用于實現(xiàn)放大倍數(shù)為s的圖像超分辨率重構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 HDCN模型結(jié)構(gòu)Fig. 1 HDCN model architecture

圖1中，模型輸入是待重構(gòu)圖像通過雙三次插值法放大s倍的結(jié)果圖像x，輸出是高分辨率圖像y與輸入圖像x之間的殘差r，將輸入與輸出相加即可得出放大倍數(shù)為s的高分辨率圖像y。

除去網(wǎng)絡(luò)結(jié)構(gòu)中第一層從圖像x中提取特征以及最后一層用于重構(gòu)圖像，其余卷積層都用于學(xué)習(xí)模型F，使得由模型F預(yù)測的殘差值F(x)與真實殘差r之間的誤差最小。優(yōu)化目標(biāo)可表示如下：

(1)

傳統(tǒng)深度網(wǎng)絡(luò)隨著深度的增加，梯度彌散致使訓(xùn)練難度不斷加大，而深度殘差網(wǎng)絡(luò)在一定深度內(nèi)(文獻(xiàn)[15]中34層)可以盡可能地減小梯度彌散的影響，因此HDCN模型選擇的學(xué)習(xí)目標(biāo)是高分辨率圖像y與輸入圖像x之間的殘差r，而不是如傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將高分辨率圖像y作為學(xué)習(xí)目標(biāo)。

[15]中的34層深度殘差網(wǎng)絡(luò)設(shè)計規(guī)則：1)大部分使用3×3的卷積核；2)對輸出映射特征大小相同的卷積層，設(shè)定相同數(shù)目的卷積核。因此在參數(shù)選擇上，用于學(xué)習(xí)模型F的卷積層擁有相同的結(jié)構(gòu)，每一層都具有64個大小為3×3×64的濾波器，最后一層只需要一個3×3×64的濾波器?？紤]到深度殘差網(wǎng)絡(luò)大幅降低了訓(xùn)練更深層次神經(jīng)網(wǎng)絡(luò)的難度。因此在訓(xùn)練中可以采取較為激進(jìn)的迭代策略，減少訓(xùn)練時間，詳細(xì)的步長迭代策略見3.3節(jié)。

2.2 HCDCN模型

借助上述的HDCN模型，可以由一幅低分辨率圖像重構(gòu)出大小為原來s倍的高分辨率圖片。為了同時得到其他重構(gòu)倍數(shù)的高分辨率圖片，可以將HDCN模型級聯(lián)起來得到如圖2所示的模型結(jié)構(gòu)。例如，要想得到重構(gòu)倍數(shù)為s2的高分辨率圖片，僅需將低分辨率圖片通過2次HDCN模型，每通過一次HDCN模型都會得到輸入圖像s倍的高分辨率圖像。

圖2 級聯(lián)的HDCN模型結(jié)構(gòu)Fig. 2 Cascaded HDCN model architecture

這種級聯(lián)方式十分簡單，但使用較少,如文獻(xiàn)[16-17]。因為通過同一模型重復(fù)放大，存在放大誤差的風(fēng)險。為了減少這種風(fēng)險，在層級之間引入深度邊緣濾波器，在平滑圖像的同時會保留圖像的邊緣信息。平滑圖像可以減少因局部像素點偏差對后續(xù)重構(gòu)造成的影響，同時邊緣信息的保留有利于減少圖像重構(gòu)過程中的結(jié)構(gòu)誤差。深度邊緣濾波器通過深度卷積神經(jīng)網(wǎng)絡(luò)建立了多種邊緣濾波器的統(tǒng)一框架，極大減少了挑選合適邊緣濾波器的工作量。最終得到的HCDCN模型如圖3所示。

圖3 HCDCN模型結(jié)構(gòu)Fig. 3 HCDCN model architecture

(2)

圖像超分辨率重構(gòu)技術(shù)實質(zhì)上是由低分辨率圖像推理出丟失的高頻分量以重構(gòu)高分辨率圖像，引入深度邊緣濾波器會減少圖像的細(xì)節(jié)信息，只要控制邊緣濾波器的系數(shù)δ，在一定條件下，對性能仍有提升效果。詳細(xì)的系數(shù)設(shè)置見3.3節(jié)。

3 實驗

3.1 實驗數(shù)據(jù)集

實驗采用文獻(xiàn)[18]中的91張圖片作為訓(xùn)練集，經(jīng)數(shù)據(jù)增強后為1 638張圖片。測試集為國際通用的“Set5”[19]以及“Set14”[20]，總計19張圖片。

3.2 評估路線

實驗采用兩種國際通用的評判標(biāo)準(zhǔn)衡量實驗性能：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)。

峰值信噪比是使用最普遍和最為廣泛的一種圖像客觀評價指標(biāo)，它通過計算對應(yīng)像素點間的誤差，衡量圖像質(zhì)量。計算公式如下：

(3)

其中：H、W分別為圖像的高度和寬度；m為每像素的比特數(shù)，一般取8；X(i,j),Y(i,j)分別表示圖像X,Y中坐標(biāo)點(i,j)的亮度值。PSNR的單位是dB，數(shù)值越大表示失真越小。

結(jié)構(gòu)相似性SSIM分別從亮度、對比度、結(jié)構(gòu)三方面度量圖像相似性，其計算公式如下：

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)；

(4)

其中：μX、μY分別表示圖像X和Y的均值，σX、σY分別表示圖像X和Y的方差，σXY表示圖像X和Y的協(xié)方差。C1、C2、C3為常數(shù)，為了避免分母為0的情況，通常取C1=(K1×L)2，C2=(K2×L)2，C3=C2/2，一般地K1=0.01，K2=0.03，L=255。

3.3 實驗參數(shù)與實施

鑒于目前主流研究中重構(gòu)倍數(shù)主要為2、3、4倍，因此s取2，同時，d取25，即HDCN模型是用于重構(gòu)2倍高分辨率圖片、擁有25層網(wǎng)絡(luò)結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)。

訓(xùn)練集的圖片首先經(jīng)過間隔為14的下采樣，得到大小為51×51的子圖像。訓(xùn)練過程中，每一批的圖像數(shù)為64，沖量單元(momentum)為0.9，權(quán)重衰減(weight decay)為0. 000 1。在迭代步長選取策略上，傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)模型采取固定為0.000 1的步長,如文獻(xiàn)[6-7,9]。實驗采取較為激進(jìn)

(5)

其中：iter為當(dāng)前迭代次數(shù)，base_lr、gamma均取0.1,stepsize為116 840。最終迭代次數(shù)為467 360。實驗中使用的GPU為GTX970，模型訓(xùn)練時間約30 h。

在HCDNC模型中，系數(shù)δ的選取不能過大，否則會減少圖片的細(xì)節(jié)信息。實驗中，固定模型中的其他參數(shù)，僅改變系數(shù)δ，比較不同系數(shù)δ下測試數(shù)據(jù)集的PSNR值。圖4展示了在重構(gòu)倍數(shù)為3時，系數(shù)δ與Set5測試集PSNR值的關(guān)系。濾波器選取為“shock filter”，beta取167.7。實驗表明，在模型中其他參數(shù)固定時，當(dāng)系數(shù)δ為0.011時，HCDNC模型的重構(gòu)性能最佳。因此，系數(shù)δ定義如下：

(6)

圖4 重構(gòu)倍數(shù)為3時，系數(shù)δ與Set5測試集PSNR值關(guān)系Fig. 4 Relationship between parameter δ and PSNR of Set 5 with scale factor×3

實驗只訓(xùn)練了重構(gòu)倍數(shù)為2的HDNC模型，因此重構(gòu)倍數(shù)為4的高分辨率圖片可以通過級聯(lián)2個HDNC模型得到。而重構(gòu)倍數(shù)為3的高分辨率圖片可以選擇通過改變重構(gòu)倍數(shù)為4的高分辨率圖片大小得到。

3.4 與其他方法對比

對比所提出的HCDCN方法在Set5以及Set14數(shù)據(jù)集上的實驗結(jié)果與一些著名的圖像超分辨率重構(gòu)方法，如A+[22]、RFL[23]、SelfEx[24]以及SRCNN[5]，各實驗條件下的平均PSNR值及SSIM值如表1所示，表中加粗標(biāo)出的是當(dāng)前實驗條件下的最優(yōu)結(jié)果。圖5、圖6中展示了部分實驗結(jié)果，圖中的評價指標(biāo)分別為PSNR(單位dB)和SSIM，格式為(PSNR/SSIM)。

表1 重構(gòu)倍數(shù)分別為2,3,4時，測試集Set5,Set14的平均PSNR值及SSIM值Tab. 1 Average PSNR/SSIM for scale factor ×2,×3 and ×4 on datasets Set5, Set14

圖5 重構(gòu)倍數(shù)為3時，Set5測試集中圖像“butterfly_GT”的重構(gòu)結(jié)果Fig. 5 Super-resolution results of “butterfly_GT” (Set5) with scale factor×3

圖6 重構(gòu)倍數(shù)為3時，Set14測試集中圖像“ppt3”的重構(gòu)結(jié)果Fig. 6 Super-resolution results of “ppt3” (Set14) with scale factor×3

對比發(fā)現(xiàn)，HCDCN模型的性能不遜色于近期的國際論文作結(jié)果，如ESPCN[9]、TNRD[25]、FSRCNN[7]、VDSR[8]，如表2所示，表中加粗標(biāo)出的是當(dāng)前實驗條件下的最優(yōu)結(jié)果。由于ESPCN模型只訓(xùn)練了重構(gòu)倍數(shù)為3的模型，所以重構(gòu)倍數(shù)2,4的實驗結(jié)果缺失。缺失的數(shù)據(jù)用“—”表示。另外，前三種方法并未提供SSIM的數(shù)據(jù)，因此在表2中只比較了PSNR值。

表2 重構(gòu)倍數(shù)分別為2,3,4時，測試集Set5,Set14的平均PSNR值Tab. 2 Average PSNR for scale factor×2,×3 and ×4 on datasets Set5, Set14

4 結(jié)語

本文通過級聯(lián)高性能深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)多放大倍數(shù)的單幅圖像高分辨率重建。在級聯(lián)過程中通過深度濾波器突出邊緣信息優(yōu)化重建結(jié)果，實驗證明了級聯(lián)方法及引入深度濾波器的有效性。下一步的工作嘗試結(jié)合其他方法建立模型，如引入拉普拉斯金字塔模型對級聯(lián)方法進(jìn)行改進(jìn)；改進(jìn)模型的損失函數(shù)以解決重構(gòu)圖像部分模糊的問題。

此次采訪短暫而豐富，記者們不僅了解了忠旺集團(tuán)的整個發(fā)展歷程，參觀了生產(chǎn)車間，感嘆于忠旺集團(tuán)的雄厚實力，而且也看到了新技術(shù)對于產(chǎn)品生產(chǎn)所產(chǎn)生的革命式改變，我們相信攪拌摩擦焊未來不僅在鋁合金加工行業(yè)，在其他行業(yè)也同樣能夠發(fā)揮專長，為產(chǎn)品生產(chǎn)提供更為廣闊的技術(shù)平臺。

參考文獻(xiàn)(References)

[1] KEYS R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6):1153-1160.

[2] 曾坤. 基于學(xué)習(xí)的單幅圖像超分辨率重建的若干關(guān)鍵問題研究[D]. 廈門: 廈門大學(xué), 2015.(ZENG K. Research on some key problems of single image super-resolution reconstruction based on learning [D]. Xiamen: Xiamen University, 2015.)

[3] IRANI M, PELEG S. Improving resolution by image registration [J]. Graphical Models and Image Processing, 1991, 53(3): 231-239.

[4] 曾俊國. 基于稀疏鄰域嵌入法的圖像超分辨技術(shù)研究[J]. 科學(xué)技術(shù)與工程, 2013, 13(7):1840-1846.(ZENG J G. Image super resolution based on sparse neighbor embedding[J]. Science Technology and Engineering, 2013, 13(7): 1840-1846.)

[5] 沈松, 朱飛, 姚琦,等. 基于稀疏表示的超分辨率圖像重建[J]. 電子測量技術(shù), 2011, 34(6):37-39.(SHEN S, ZHU F, YAO Q, et al. Based on sparse representation for super-resolution image reconstruction[J]. Electronic Measurement Technology, 2011, 34(6): 37-39.)

[6] DONG C, CHEN C L, HE K, et al. Learning a Deep Convolutional Network for Image Super-Resolution [M]. Berlin: Springer International Publishing, 2014:184-199.

[7] DONG C, CHEN C L, TANG X. Accelerating the super-resolution convolutional neural network[C]// Proceedings of the 14th European Conference on Computer Vision. Berlin: Springer, 2016:391-407.

[8] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016:1646-1654.

[9] SHI W, CABALLERO J, HUSZR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 1874-1883.

[10] FREEMAN W T, ADELSON E H. The design and use of steerable filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(9): 891-906.

[11] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]// Proceedings of the Sixth International Conference on Computer Vision. Piscataway, NJ: IEEE, 1998: 839.

[12] YANG Q, TAN K H, AHUJA N. Real-time O(1) bilateral filtering[C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2009:557-564.

[13] YANG Q, WANG S, AHUJA N. SVM for edge-preserving filtering[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010:1775-1782.

[14] XU L, REN J S, YAN Q, et al. Deep edge-aware filters[EB/OL].[2016- 10- 20]. http://www.jimmyren.com/papers/Poster_ICML-2015.pdf.

[15] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016:770-778.

[16] CUI Z, CHANG H, SHAN S, et al. Deep network cascade for image super-resolution[C]// Proceedings of the 13th European Conference on Computer Vision. Berlin: Springer, 2014:49-64.

[17] WANG Z, LIU D, YANG J, et al. Deep networks for image super-resolution with sparse prior[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2015:370-378.

[18] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861.

[19] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[EB/OL]. [2016- 10- 20].http://www.irisa.fr/prive/Aline.Roumy/publi/12bmvc_Bevilacqua_lowComplexitySR.pdf.

[20] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations[C]// Proceedings of the 7th International Conference on Curves and Surfaces. Berlin: Springer-Verlag, 2010:711-730.

[21] JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]// Proceedings of the 22nd ACM International Conference on Multimedia. New York: ACM, 2014:675-678.

[22] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution[C]// Proceedings of the 12th Asian Conference on Computer Vision. Berlin: Springer, 2015:111-126.

[23] SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015:3791-3799.

[24] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015:5197-5206.

[25] CHEN Y, POCK T. Trainable nonlinear reaction diffusion: a flexible framework for fast and effective image restoration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6): 1256-1272.

This work is partially supported by the National Natural Science Foundation of China (61672022).

GUOXiao, born in 1994, M. S. candidate. His research interests include machine learning, deep learning, image restruction.

TANWenan, born in 1965, Ph. D., professor. His research interests include software service engineering, trusted service computing and composition, collaborative computing, business process intelligence.

High-performanceimagesuper-resolutionrestructionbasedoncascadedeepconvolutionalnetwork

GUO Xiao1, TAN Wenan1,2*

(1.CollegeofComputerScienceandTechnology,NanjingUniversityofAeronauticsandAstronautics,NanjingJiangsu211106,China;2.CollegeofComputerandInformation,ShanghaiPolytechnicUniversity,Shanghai201209,China)

In order to further improve the resolution of existing image super-resolution methods, a High-performance Deep Convolution neural Network (HDCN) was proposed to reconstruct a fixed-scale super-resolution image. By cascading several HDCN models, the problem that many traditional models could not upscale images in alternative scale factors was solved, and a deep edge filter in the cascade process was introduced to reduce cascading errors, and highlight edge information, High-performance Cascade Deep Convolutional neural Network (HCDCN) was got. The super-resolution image reconstruction experiment was carried out on high-performance cascade deep convolution neural network (HCDCN) model on Set5 and Set14 datasets. The experimental results prove the effectiveness of introducing the deep edge-aware filter. By comparing the performance evaluation results of HCDCN method and other image super-resolution reconstruction method, the superior performance of HCDCN method is demonstrated.

super-resolution; image reconstruction; deep convolutional neural network; cascade; deep edge-aware filter

2017- 05- 16;

2017- 06- 05。

國家自然科學(xué)基金資助項目(61672022)。

郭曉(1994—)，男，江蘇南京人，碩士研究生，主要研究方向：機器學(xué)習(xí)、深度學(xué)習(xí)、圖像重建； 譚文安(1965—),男,湖北荊州人，教授, 博士, 主要研究方向：軟件服務(wù)工程、可信服務(wù)計算與組合、協(xié)同計算、業(yè)務(wù)過程智能。

1001- 9081(2017)11- 3124- 04

10.11772/j.issn.1001- 9081.2017.11.3124

(*通信作者電子郵箱wtan@foxmail.com)

TP391.41

A