基于殘差神經(jīng)網(wǎng)絡(luò)的圖像超分辨率改進(jìn)算法

王一寧，秦品樂，李傳朋，崔雨豪

(中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051)(*通信作者電子郵箱qpl@nuc.edu.cn)

0 引言

在成像、傳輸、轉(zhuǎn)換、存儲(chǔ)等過程中往往由于受到成像設(shè)備、外部環(huán)境等不利因素的影響使得人們獲取到的圖像通常是降質(zhì)圖像。降質(zhì)意味著圖像中有用信息的丟失，圖像超分辨率(Super Resolution， SR)技術(shù)將低分辨率(Low Resolution, LR)圖像重建出高分辨率(High Resolution, HR)圖像，在醫(yī)學(xué)成像、衛(wèi)星成像、面部識(shí)別和監(jiān)視[1-5]等領(lǐng)域有著廣泛的應(yīng)用。

目前圖像超分辨率方法大致可分為3種：1)基于插值的方法。如最近鄰插值(bilinear)[6]和雙三次插值法(bicubic)[7]。最近鄰插值法由于插值規(guī)律過于簡(jiǎn)單，易出現(xiàn)方塊效應(yīng)和邊緣鋸齒效應(yīng)。雙三次插值法比最近鄰插值法運(yùn)算復(fù)雜度稍高，但圖像邊緣的平滑度得到了提升。這兩種方法的共同優(yōu)點(diǎn)是算法簡(jiǎn)單易于實(shí)現(xiàn)而且運(yùn)算速度快，缺點(diǎn)是僅僅用到局部的像素點(diǎn)計(jì)算得到插值點(diǎn)的像素值，因此無(wú)法修復(fù)圖像的高頻細(xì)節(jié)，得到的超分辨率圖像清晰度有限。2)基于重建的方法。該類方法又分為頻域法和空域法兩大類。頻域法通常通過消除頻譜混疊現(xiàn)象以提升圖像的分辨率，但可用到的先驗(yàn)知識(shí)有限?？沼蚍ň哂泻軓?qiáng)的空域先驗(yàn)約束的能力，比較代表性的是凸集投影法(Projection Onto Convex Set, POCS)[8]、迭代反投影法(Iterative Back Projection, IBP)、最大后驗(yàn)概率估計(jì)法(Maximum A Posterior, MAP)、混合MAP/POCS法等。3)基于學(xué)習(xí)的方法，是近年來(lái)研究的熱點(diǎn)。它通過學(xué)習(xí)大量的高分辨率圖像得到學(xué)習(xí)模型，然后對(duì)低分辨率圖像進(jìn)行重建時(shí)，通過將模型中的先驗(yàn)知識(shí)充分結(jié)合到低分辨率圖像上，從而得到具有豐富高頻信息的重建圖像。在現(xiàn)有的基于學(xué)習(xí)方法中基于鄰居嵌入的方法[9-11]和稀疏表示的方法均可以得到比較好的超分辨率性能。基于鄰居嵌入的單幅圖像超分辨率重建(Single Image Super Resolution, SISR)方法通過使用HR圖像塊和LR圖像塊之間的幾何相似度來(lái)了解它們之間的回歸或映射關(guān)系。在基于稀疏表示的SISR方法中，利用稀疏編碼理論將LR圖像塊和對(duì)應(yīng)的HR圖像塊分別表示為相應(yīng)的詞典，通過機(jī)器學(xué)習(xí)方法建立詞典之間的映射關(guān)系，利用學(xué)習(xí)的映射關(guān)系生成給定的單幀圖像的HR圖像。模型的建立和訓(xùn)練集合的選取是基于學(xué)習(xí)的超分辨率重建算法的核心問題。Yang等[12-13]假設(shè)輸入的低分辨率圖像塊可以由訓(xùn)練樣本集稀疏線性表達(dá)。Wang等[14]提出從訓(xùn)練樣本集中學(xué)習(xí)得到一個(gè)更有效的過完備字典，適用于快速多級(jí)超分辨率圖像重建任務(wù)。近年來(lái)，深度學(xué)習(xí)在圖像處理領(lǐng)域取得了顯著的研究成果。在大量的任務(wù)中，深度學(xué)習(xí)得到的特征被證實(shí)比傳統(tǒng)方法構(gòu)造的特征具有更強(qiáng)的表征能力[15]。Dong等[16]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率(Super Resolution using Convolutional Neural Network， SRCNN)算法，并將該算法應(yīng)用到圖像超分辨率重建領(lǐng)域中。此網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，超分辨率重建效果優(yōu)良，但它的卷積核尺寸較大且使用了傳統(tǒng)的雙三次插值進(jìn)行上采樣，這些結(jié)構(gòu)特點(diǎn)嚴(yán)重影響了網(wǎng)絡(luò)的運(yùn)行速度。隨后，Dong等[17]又在SRCNN的基礎(chǔ)上提出了加速的超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Fast Super Resolution Convolutional Neural Network， FSRCNN)，F(xiàn)SRCNN結(jié)構(gòu)相對(duì)比SRCNN層數(shù)加深，而且用反卷積代替了雙三次插值。FSRCNN比SRCNN速度上有了很大的提升，圖像的超分辨率效果也有了改進(jìn)，F(xiàn)SRCNN在圖像的超分辨率重建中取得了成功。

單圖超分辨率重建任務(wù)是一個(gè)固有的病態(tài)問題，因?yàn)橐粋€(gè)低分辨率圖像有可能對(duì)應(yīng)著多種高分辨率的圖像。對(duì)于更大的超分辨率倍數(shù)(×4)，LR圖像可能丟失大量的高頻細(xì)節(jié)，因此本文在FSRCNN的基礎(chǔ)上提出了一種新的基于殘差和跳層網(wǎng)絡(luò)的多任務(wù)損失圖像超分辨率算法。整個(gè)模型分為兩個(gè)階段：第一階段是2倍超分辨率的學(xué)習(xí)；第二階段是4倍超分辨率圖像的學(xué)習(xí)。第一階段與第二階段皆使用殘差層和跳層結(jié)構(gòu)預(yù)測(cè)出高分辨率空間的紋理信息，由反卷積層分別重建出2倍與4倍大小的超分辨率圖像，并分別與相同大小的原圖像作像素?fù)p失。殘差層與跳層結(jié)構(gòu)結(jié)合主要具有兩個(gè)優(yōu)點(diǎn)。首先，讓特征直接傳遞到下層，從而優(yōu)化梯度消失問題，使網(wǎng)絡(luò)更容易提升訓(xùn)練的性能。其次，殘差層能比普通堆疊卷積能更好地學(xué)習(xí)圖像的邊緣信息與紋理信息，這有益于構(gòu)建超分辨率圖像。同時(shí)，多任務(wù)損失不僅提高了網(wǎng)絡(luò)的訓(xùn)練速度，而且確保了4倍超分辨率的過程中學(xué)習(xí)的準(zhǔn)確性。2倍超分辨率輸出與原圖作損失調(diào)整參數(shù)，確保了網(wǎng)絡(luò)使用反卷積將圖像提升為2倍時(shí)的準(zhǔn)確性；再使用經(jīng)過調(diào)整過的網(wǎng)絡(luò)參數(shù)繼續(xù)學(xué)習(xí)4倍的超分辨率重建過程，第一階段的2倍超分辨率學(xué)習(xí)對(duì)第二階段的重建起到了指導(dǎo)的作用。該算法以任意大小的彩色圖像作為輸入，使用殘差層和跳層結(jié)構(gòu)來(lái)預(yù)測(cè)出高分辨率空間的紋理信息，并以多任務(wù)損失加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)中的監(jiān)督指導(dǎo)。實(shí)驗(yàn)結(jié)果顯示，本文網(wǎng)絡(luò)結(jié)果與最近鄰插值、雙三次插值、SRCNN和FSRCNN超分辨率重建算法相比，視覺和定量評(píng)價(jià)方面都取得了更優(yōu)的結(jié)果。

1 相關(guān)理論

1.1 SRCNN算法

SRCNN是一種基于學(xué)習(xí)的SISR算法。該算法使用卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)低分辨率圖像到高分辨率圖像的映射關(guān)系。SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)(如圖1)包含三層：第一層用9×9的卷積核提取圖像塊的特征；第二層用1×1的卷積核作非線性映射；第三層用5×5的卷積核作HR圖像塊的重組。

圖1 SRCNN結(jié)構(gòu)

SRCNN使用的是3層神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像的3通道進(jìn)行端到端的超分辨率重建。訓(xùn)練過程是將91圖像取步長(zhǎng)為14的碎片，將碎片下采樣到所需比例大小輸入網(wǎng)絡(luò)。網(wǎng)絡(luò)先將輸入的圖像進(jìn)行雙三次插值將圖像上采樣到目標(biāo)大小，再對(duì)圖像進(jìn)行三層卷積細(xì)化特征，卷積核大小分別是9×9、1×1、5×5，通道數(shù)依次是3到64、64到32、32到3，每個(gè)卷積層的padding參數(shù)都為0，基于卷積后得到Output圖像與原圖構(gòu)造均方差(Mean Square Error, MSE)損失函數(shù)，以優(yōu)化參數(shù)。訓(xùn)練用到的數(shù)據(jù)集有兩個(gè)：一個(gè)是91張圖片，一個(gè)是ImageNet。使用ImageNet訓(xùn)練的網(wǎng)絡(luò)要比91張訓(xùn)練的效果更好。

此網(wǎng)絡(luò)有兩個(gè)不足之處：第一是網(wǎng)絡(luò)的層次結(jié)構(gòu)太淺，不能提取到圖片更深層次的語(yǔ)義特征；第二是用了傳統(tǒng)的雙三次插值進(jìn)行上采樣，雙三次插值上采樣本身就有不確定性，而且運(yùn)行起來(lái)速度也較慢，在后期已經(jīng)逐漸被反卷積以及其他卷積方法來(lái)替代。

1.2 FSRCNN算法

FSRCNN也是基于學(xué)習(xí)的SISR算法。FSRCNN針對(duì)SRCNN作出了改進(jìn)，結(jié)構(gòu)相對(duì)比SRCNN層數(shù)加深，而且用反卷積代替了雙三次插值。不僅效果超越了SRCNN，速度上更是有了很大的提升。FSRCNN的網(wǎng)絡(luò)結(jié)構(gòu)(如圖2)包含8層：第1層用5×5的卷積核來(lái)提取圖像塊的特征；第2層用1×1的卷積核將特征圖的數(shù)量收縮；第3～6層用3×3的卷積核作非線性映射；第7層用1×1的卷積核再將特征圖擴(kuò)展變大；第8層用9×9反卷積將LR圖像塊上采樣到HR圖像塊，并將HR圖像塊重組。

訓(xùn)練過程是首先將91幅訓(xùn)練圖像進(jìn)行縮放、旋轉(zhuǎn)并以步長(zhǎng)12取碎片，再按照所需的比例下采樣。將得到的LR圖像輸入8層卷積神經(jīng)網(wǎng)絡(luò)，最后在原圖與輸出的HR圖像間作MSE損失。

此網(wǎng)絡(luò)的不足之處：網(wǎng)絡(luò)層數(shù)仍然較淺，很難提取到圖片更深層次的語(yǔ)義信息；僅使用一個(gè)反卷積層重建HR圖像，不適合大倍數(shù)(4倍)的圖像超分辨率重建。

2 多階段級(jí)聯(lián)殘差卷積神經(jīng)網(wǎng)絡(luò)

2.1 改進(jìn)思想

影響網(wǎng)絡(luò)效果的兩個(gè)重要因素是網(wǎng)絡(luò)的寬度和深度。SRCNN和FSRCNN的共性是網(wǎng)絡(luò)架構(gòu)不夠深，一個(gè)是3層網(wǎng)絡(luò)，一個(gè)是8層網(wǎng)絡(luò)，本文基于這兩點(diǎn)對(duì)SRCNN和FSRCNN進(jìn)行了改進(jìn)?？紤]到過深的網(wǎng)絡(luò)結(jié)構(gòu)雖然可以將圖片的特征得到更好的擬合，學(xué)習(xí)到更高層次的紋理信息，但同時(shí)也可能由于層數(shù)的過多而帶來(lái)梯度彌散、特征丟失等問題?；诖祟悊栴}，本文選擇了殘差塊和跳層結(jié)構(gòu)來(lái)進(jìn)行改善，使網(wǎng)絡(luò)更快更好地達(dá)到收斂。同時(shí)，本文提出了在殘差和跳層結(jié)構(gòu)的基礎(chǔ)上加入多任務(wù)損失進(jìn)行調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，從而提高網(wǎng)絡(luò)訓(xùn)練時(shí)的收斂速度，并進(jìn)一步提高網(wǎng)絡(luò)的精確度。最終本文提出了38層的基于殘差卷積神經(jīng)網(wǎng)絡(luò)的多階段級(jí)聯(lián)超分辨率改進(jìn)算法。

圖2 FSRCNN結(jié)構(gòu)

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

多階段殘差卷積神經(jīng)網(wǎng)絡(luò)(Multi-section Cascade Residual Convolution Neural Network, MCRCNN)的設(shè)計(jì)充分考慮降質(zhì)圖像與超分辨率圖像的關(guān)系，即網(wǎng)絡(luò)實(shí)際是一種由降質(zhì)圖像到超分辨率圖像的非線性映射關(guān)系。圖3是本文構(gòu)建的一種多階段級(jí)聯(lián)殘差網(wǎng)絡(luò)，主要分為兩個(gè)子網(wǎng)路MULTI_A和MULTI_B，如圖4～5所示。3通道的LR輸入圖像從輸入層輸入網(wǎng)絡(luò)，先通過5×5的卷積核Conv1_1使通道數(shù)增加到64個(gè)，然后輸入到MULTI_A子網(wǎng)絡(luò)。一方面通過3×3的Conv2_2輸出一個(gè)寬高皆為輸入圖像2倍大小的二維超分辨率圖像(3通道)，計(jì)算像素?fù)p失；另一方面通過5×5大小的Conv4_1、MULTI_B得到寬高皆為輸入圖像4倍大小的2維超分辨率圖像(3通道)。其中2倍的輸出圖像會(huì)和原始的圖像作損失以此來(lái)調(diào)節(jié)以及指導(dǎo)4倍超分辨率圖像的輸出，因此本文的網(wǎng)絡(luò)是將LR圖像分階段進(jìn)行超分辨率重建的。

圖3 多階段級(jí)聯(lián)殘差卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

MCRCNN輸入為24×24的3通道圖像，進(jìn)入MULTI_A子網(wǎng)絡(luò)(如圖4)后，使用Conv2_1、Residual Block、BN2_1、DeConv2_1作為2倍超分辨率重建的特征層。圖像使用5×5的卷積核Conv1對(duì)圖像進(jìn)行卷積，步長(zhǎng)為1，padding為2，增加特征圖數(shù)量到64個(gè)大小24×24的特征圖。Residual Block由Conv、批量正則化層(Batch Normalization Layer, BN)、ReLU、Conv、BN組成，殘差塊中的Conv大小都是3×3，步長(zhǎng)為1，padding為2，經(jīng)過10個(gè)殘差塊輸出64個(gè)24×24的特征圖，此時(shí)特征圖中的語(yǔ)義信息更加豐富。Conv2_1為3×3，步長(zhǎng)為1，padding為2，輸出64個(gè)24×24的特征圖。Conv2_1到BN2_1的跳層連接是64個(gè)特征圖的相加，這樣就解決了經(jīng)過殘差塊圖像部分原始特征丟失的問題。使用大小為9×9的轉(zhuǎn)置卷積DeConv2_1對(duì)圖像進(jìn)行上采樣，步長(zhǎng)為1，特征圖增加到256個(gè)48×48的特征圖。最后通過3×3大小的Conv2_2，步長(zhǎng)為1，padding為2，輸出1個(gè)48×48的3通道升2倍HR圖像。

圖4 MULTI_A結(jié)構(gòu)

MULTI_B(如圖5)與MULTI_A網(wǎng)絡(luò)架構(gòu)幾乎一致，包含卷積層、6個(gè)殘差塊、跳層結(jié)構(gòu)以及反卷積結(jié)構(gòu)。MULTI_A中進(jìn)行Deconv2_1后的256個(gè)48×48的特征圖輸入到5×5大小的Conv4_1,，步長(zhǎng)為1，padding為2，輸出64個(gè)48×48的特征圖，接著輸入到MULTI_B中，經(jīng)過6個(gè)Residual Block輸出64個(gè)48×48的特征圖，再輸入到3×3大小的Conv4_2，步長(zhǎng)為1，padding為2，輸出64個(gè)48×48的特征圖。最后使用9×9大小的轉(zhuǎn)置卷積DeConv4_1對(duì)圖像進(jìn)行上采樣，步長(zhǎng)為1，輸出1個(gè)96×96的3通道HR圖像。

圖5 MULTI_B結(jié)構(gòu)

由于本文所提出的結(jié)構(gòu)較深，低層的特征圖與高層的特征圖之間特征分布差異較大，使用跳層結(jié)構(gòu)直接將低層特征與高層特征融合會(huì)造成網(wǎng)絡(luò)難以學(xué)習(xí)，因此本文在殘差塊以及跳層結(jié)構(gòu)中加入了BN[18]對(duì)數(shù)據(jù)作歸一化操作。在BN層后，使用具有單側(cè)抑制且稀疏激活的ReLU[19]激活函數(shù)來(lái)提高網(wǎng)絡(luò)的非線性建模能力。

2.3 殘差和跳層

本文網(wǎng)絡(luò)設(shè)計(jì)的靈感來(lái)自He等[20]和Johnson等[21]。He等[20]提出了152層的ResNet網(wǎng)絡(luò)，其不僅在層數(shù)上面創(chuàng)下記錄，在ImageNet數(shù)據(jù)集上也將top5錯(cuò)誤率降低到了3.6%。殘差網(wǎng)絡(luò)近來(lái)已被證明在許多圖像生成任務(wù)中取得優(yōu)異的成果。殘差結(jié)構(gòu)是在標(biāo)準(zhǔn)的前饋卷積網(wǎng)絡(luò)上加一個(gè)跳躍繞過一些層的連接，每繞過一層就產(chǎn)生一個(gè)殘差塊(Residual Block)。

訓(xùn)練非常深的網(wǎng)絡(luò)，殘差塊比堆疊卷積-BN-ReLU更有利于收斂。普通的深度前饋網(wǎng)絡(luò)難以優(yōu)化，網(wǎng)絡(luò)結(jié)構(gòu)的加深使得訓(xùn)練和驗(yàn)證的錯(cuò)誤率增加，即使用了BN也是如此。殘差神經(jīng)網(wǎng)絡(luò)由于存在快捷連接，網(wǎng)絡(luò)間的數(shù)據(jù)傳輸更為順暢，也改善了因梯度消失而形成的欠擬合現(xiàn)象。雖然組成本文網(wǎng)絡(luò)的主要部分的殘差塊僅僅負(fù)責(zé)添加殘差信息，但是此結(jié)構(gòu)有助于在訓(xùn)練期間使訓(xùn)練更加穩(wěn)定并減少輸出中的顏色偏移。本文的每個(gè)殘差塊包含兩個(gè)3×3的卷積層，3×3的使用是受VGG架構(gòu)[22]的啟發(fā)。殘差塊的定義如圖6所示。

圖6 殘差塊

y=F(x)+x

(1)

其中：x和y分別表示殘差塊的輸入和輸出向量；函數(shù)F(x)表示殘差映射。本文的殘差塊中除了卷積層，還有BN層和ReLU層。BN層用來(lái)對(duì)某一個(gè)層網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行歸一化處理，也就是使得每一維特征均值為0，標(biāo)準(zhǔn)差為1，如式(2)所示：

(2)

其中：E[x(k)]指每一批訓(xùn)練數(shù)據(jù)神經(jīng)元x(k)的平均值；分母是每一批數(shù)據(jù)神經(jīng)元x(k)的標(biāo)準(zhǔn)差，但此公式僅對(duì)網(wǎng)絡(luò)某層的輸出數(shù)據(jù)作歸一化，會(huì)影響到本層網(wǎng)絡(luò)所學(xué)習(xí)到的特征，強(qiáng)制把本層的數(shù)據(jù)歸一化處理，標(biāo)準(zhǔn)差也限制在1，破壞掉了本層網(wǎng)絡(luò)學(xué)習(xí)到的特征。于是引入可學(xué)習(xí)參數(shù)γ、β，如式(3)所示：

(3)

修正線性單元ReLU有單側(cè)抑制和稀疏激活性，數(shù)學(xué)表達(dá)式如(4)所示。把BN放在激活函數(shù)之前，這是因?yàn)閣x+b具有更加一致和非稀疏的分布。

f(x)=max(0,x)

(4)

同樣跳層結(jié)構(gòu)也已經(jīng)被研究了很長(zhǎng)的時(shí)間。在訓(xùn)練多層感知器(Multi-Layer Perceptron， MLP)網(wǎng)絡(luò)的早期實(shí)踐中，跳層從網(wǎng)絡(luò)的輸入直接連到輸出[23]。后來(lái)，一些中間的層被直接連到附加的網(wǎng)絡(luò)層來(lái)解決梯度消失或者梯度爆炸問題[24]。在文獻(xiàn)[25-26]中也都用到了跳層結(jié)構(gòu)來(lái)解決梯度和傳播誤差。本文的跳層結(jié)構(gòu)有兩個(gè)，分別是MULTI_A中由輸入連接到BN2_1和MULTI_A中由輸入連接到BN4_1，解決了圖像經(jīng)過殘差塊學(xué)習(xí)后部分原始特征丟失的問題。

本文網(wǎng)絡(luò)就是殘差結(jié)構(gòu)和跳層結(jié)構(gòu)結(jié)合的一個(gè)全新的網(wǎng)絡(luò)。訓(xùn)練樣本和LR圖像包含類似的信息，本文通過殘差結(jié)構(gòu)學(xué)習(xí)出訓(xùn)練樣本圖像中的高頻信息，然后通過跳層結(jié)構(gòu)將殘差結(jié)構(gòu)學(xué)到的高頻信息與LR圖像的原始信息進(jìn)行疊加，最后以反卷積重建出HR圖像。

2.4 多任務(wù)損失

網(wǎng)絡(luò)結(jié)構(gòu)由兩部分組成：一部分是MULTI_A負(fù)責(zé)2倍HR圖像的特征提??；一部分是MULTI_B負(fù)責(zé)4倍HR圖像的特征提取。綜合考慮2倍超分辨率圖像和4倍超分辨率圖像重建的均方差，構(gòu)建多任務(wù)損失函數(shù),如式(5)～(7):

LMCR=min[LS1(S1(PLR),PHR2)+

LS2(S2(S1(PLR)),PHR4)]

(5)

(6)

S2(S1(PLR(i,j))))2)

(7)

其中：PLR為網(wǎng)絡(luò)的輸入圖像；S1(PHR2)為圖像經(jīng)過Conv2_2后訓(xùn)練輸出的2倍HR圖像；S2(S1(PHR))為經(jīng)過MULTI_B訓(xùn)練輸出的4倍HR圖像；PHR2、PHR4為供參考的2、4倍原始高清圖像；PHR2(i,j)-S1(PLR(i,j))和PHR4(i,j)-S2(S1(PLR(i,j)))都表示殘差；LS1表示S1(PHR2)與PHR2像素之間的損失；LS2表示S2(S1(PHR))與PHR4像素之間的損失；n表示每個(gè)訓(xùn)練批次的樣本數(shù)，本文n=16，H、W分別為圖像的高度和寬度。網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是最小化均方差損失函數(shù)。

SRCNN和FSRCNN都是在網(wǎng)絡(luò)的最后一層作一次損失，屬于單任務(wù)損失。經(jīng)過實(shí)驗(yàn)Multi-Section-Residual與FSRCNN-Residual的對(duì)比，驗(yàn)證了子網(wǎng)絡(luò)、反卷積1、子網(wǎng)絡(luò)、反卷積2的多階段學(xué)習(xí)提升超分辨率效果比子網(wǎng)絡(luò)、反卷積1、反卷積2的單階段學(xué)習(xí)好。而在MULTI_A末尾和MULTI_B末尾一起或分別作損失比僅在網(wǎng)絡(luò)最后作一次損失來(lái)更迭參數(shù)能取得更好的效果。任意選取實(shí)驗(yàn)Multi-Section-Residual中網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)本文MCRCNN-together結(jié)構(gòu)中MULTI_A中的DeConv1輸出的6張?zhí)卣鲌D與本文MCRCNN-together網(wǎng)絡(luò)的DeConv1輸出的6張?zhí)卣鲌D的對(duì)比如圖7所示。圖7(a)～(f)為實(shí)驗(yàn)Multi-Section-Residual中DeConv1輸出的隨機(jī)的6張?zhí)卣鲌D，圖7(g)～(l)為實(shí)驗(yàn)MCRCNN-together的DeConv1輸出的隨機(jī)的6張?zhí)卣鲌D(91張圖片作為數(shù)據(jù)集)。

顯然本文多任務(wù)損失結(jié)構(gòu)下DeConv1輸出得到的特征圖紋理細(xì)節(jié)、圖像的亮度信息以及語(yǔ)義信息更加豐富，相當(dāng)于在網(wǎng)絡(luò)的訓(xùn)練過程中加了約束項(xiàng)，從而有效地指導(dǎo)了在4倍超分辨率的過程中網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練情況。

除此之外，多任務(wù)損失可以大幅度提高網(wǎng)絡(luò)的訓(xùn)練速度。相同的網(wǎng)絡(luò)結(jié)構(gòu)用兩個(gè)損失函數(shù)同時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行參數(shù)的調(diào)節(jié)，使得網(wǎng)絡(luò)訓(xùn)練時(shí)可以提升接近一倍的速度，大幅度提高了網(wǎng)絡(luò)的學(xué)習(xí)效率。

2.5 評(píng)價(jià)標(biāo)準(zhǔn)

本文選擇用公共數(shù)據(jù)集Set5[27]、Set14[28]進(jìn)行測(cè)試，并選用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和平均結(jié)構(gòu)相似性(Mean Structural SIMilarity, MSSIM)作為圖像質(zhì)量的參考評(píng)價(jià)指標(biāo)。PSNR如式(8)所示，指的是基于像素點(diǎn)之間的誤差，是基于誤差敏感的圖像質(zhì)量評(píng)價(jià)。n為每像素的比特?cái)?shù)，本文用的RGB通道，所以n取8，即像素的灰階數(shù)為256。PSNR單位為dB，數(shù)值越大失真越小。

PSNR=10 lg ((2n-1)2/MSE)

(8)

SSIM分別從亮度、對(duì)比度、結(jié)構(gòu)三方面來(lái)衡量圖像結(jié)構(gòu)的完整性，取值范圍為[0,1]，值越大表示圖像的失真效果越小。

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(9)

(10)

(11)

(12)

其中：X為降質(zhì)圖像經(jīng)過網(wǎng)絡(luò)訓(xùn)練輸出的超分辨率圖像；Y為供參考的原始高清圖像；μX、μY分別表示圖像X、Y的均值；σX、σY分別表示圖像X和Y的方差；σXY表示圖像X、Y的協(xié)方差。

圖7 特征圖對(duì)比

(13)

(14)

μY))

(15)

其中：C1、C2、C3為常數(shù)，為了避免分母為0的情況，通常取C1=(K1×L)2，C2=(K2×L)2，C3=C2/2，一般地K1=0.01，K2=0.02，L=255。MSSIM如式(16)所示：

(16)

其中：N表示N張圖片，使用Set5測(cè)試時(shí)，N=5；使用Set14測(cè)試時(shí)，N=14。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集預(yù)處理

訓(xùn)練數(shù)據(jù)集：為驗(yàn)證本文所提MCRCNN算法的有效性，本文將在91張數(shù)據(jù)集和ILSVRC 2014 ImageNet數(shù)據(jù)集[16]上訓(xùn)練網(wǎng)絡(luò)模型，并與SRCNN、FSRCNN及其他超分辨率方法進(jìn)行對(duì)比分析。

91張數(shù)據(jù)集被廣泛用作基于學(xué)習(xí)的SR方法的訓(xùn)練集[16-17]。由于深度模型通常受益于大數(shù)據(jù)，而91張圖像不足以將深度模型推向最佳性能。為了充分利用數(shù)據(jù)集，本文采用了數(shù)據(jù)擴(kuò)增。本文以兩種方式增加數(shù)據(jù)：1)比例縮放。每張圖像都分別按照0.9,0.8,0.7和0.6的比例進(jìn)行縮放。2)旋轉(zhuǎn)。每張圖像旋轉(zhuǎn)90°，180°和270°，以此獲得了5×4-1=19倍的圖像進(jìn)行訓(xùn)練。制作數(shù)據(jù)集時(shí)，首先對(duì)原始訓(xùn)練圖像采用高斯濾波(δ=1.5)和雙立方插值下采樣4倍來(lái)得到LR圖像，然后以步長(zhǎng)12將LR訓(xùn)練圖像裁剪成一組96×96像素子圖像，最后得到72 118張圖像。相應(yīng)地，HR子圖像也從原圖像中剪切出來(lái)。對(duì)于×2和×4，本文將LR/HR子圖像的大小分別設(shè)置為24/48和24/96，這些LR/HR子圖像對(duì)就是用來(lái)作為訓(xùn)練的數(shù)據(jù)。在卷積需進(jìn)行填充時(shí)，由于填充與否對(duì)輸入或輸出映射對(duì)最終性能影響不大，因此，本文根據(jù)濾波器尺寸在所有層中采用0進(jìn)行填充，以此來(lái)使網(wǎng)絡(luò)訓(xùn)練出的圖片是真正地提升了4倍大小，從24×24提升到96×96。對(duì)于網(wǎng)絡(luò)中參數(shù)的初始化，都是從零均值和標(biāo)準(zhǔn)偏差0.001的高斯分布中隨機(jī)繪制生成，網(wǎng)絡(luò)的初始學(xué)習(xí)速率初始設(shè)置為10-4，采用Adam優(yōu)化方法來(lái)使網(wǎng)絡(luò)可以在確定范圍內(nèi)自動(dòng)調(diào)節(jié)學(xué)習(xí)率，使得參數(shù)學(xué)習(xí)比較平穩(wěn)，無(wú)dropout，運(yùn)用Mini-batch訓(xùn)練方式batch-size=16，訓(xùn)練了10萬(wàn)次。

考慮到本文網(wǎng)絡(luò)的層數(shù)較深，使用91張數(shù)據(jù)集在訓(xùn)練過程中易出現(xiàn)過擬合，于是針對(duì)本文提出的一系列網(wǎng)絡(luò)實(shí)驗(yàn)?zāi)Ｐ褪褂昧藬?shù)據(jù)量為127萬(wàn)的ILSVRC 2014 ImageNets數(shù)據(jù)集進(jìn)行了第二次訓(xùn)練。由于127萬(wàn)數(shù)據(jù)過于龐大，于是每間隔兩張圖片取一張，直到取到105萬(wàn)張時(shí)終止，從而獲取了35萬(wàn)張的圖片，并將獲取到的圖片統(tǒng)一壓縮為256×256的圖像進(jìn)行保存。最后將256×256的圖像都以隨機(jī)位置取96×96的碎片，得到本文需要的原圖HR標(biāo)簽。制作24×24的LR標(biāo)簽時(shí)，對(duì)96×96的原圖像采用高斯濾波(δ=1.5)和AREA下采樣2倍和4倍來(lái)得到LR圖像，以此組成了24/48和24/96的LR/HR圖像對(duì)，其余與91張訓(xùn)練訓(xùn)練集的制作相同。

3.2 實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證本文提出的多階段級(jí)聯(lián)殘差卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的正確性及有效性，本文設(shè)計(jì)如下5個(gè)實(shí)驗(yàn)(如表1)。

圖8 MCRCNN-fast結(jié)構(gòu)

1) FSRCNN-Residual。按照FSRCNN的網(wǎng)絡(luò)結(jié)構(gòu)，第一層仍用5×5的卷積提取特征，將最后一層反卷積換成兩層9×9和9×9的反卷積進(jìn)行上采樣操作，中間的層將普通堆疊卷積換成了16個(gè)殘差塊(圖3)與跳層結(jié)合的結(jié)構(gòu)。本實(shí)驗(yàn)會(huì)與FSRCNN進(jìn)行對(duì)比，以此驗(yàn)證殘差塊+跳層結(jié)構(gòu)的有效性。

2)Multi-Section-Residual。將實(shí)驗(yàn)1)中的連續(xù)進(jìn)行兩次的反卷積上采樣改為第一次反卷積前采用10層殘差層+跳層結(jié)構(gòu)，第二次反卷積前同樣通過6層殘差塊+跳層結(jié)構(gòu)來(lái)學(xué)習(xí)細(xì)化紋理特征，增強(qiáng)了模型的擬合能力。本實(shí)驗(yàn)為多階段的網(wǎng)絡(luò)，第一次反卷積重建為2倍HR圖像，第二次反卷積重建為4倍HR圖像。本實(shí)驗(yàn)會(huì)與實(shí)驗(yàn)1)進(jìn)行對(duì)比，驗(yàn)證多階段級(jí)聯(lián)殘差網(wǎng)絡(luò)提取特征的有效性。

3)MCRCNN-apart。本實(shí)驗(yàn)與實(shí)驗(yàn)2)進(jìn)行對(duì)比，驗(yàn)證多任務(wù)損失的有效性。

4)MCRCNN-together。本實(shí)驗(yàn)與實(shí)驗(yàn)3)的差異就是損失的調(diào)參不同，與實(shí)驗(yàn)3)在圖片效果與訓(xùn)練速度上進(jìn)行對(duì)比。

5)MCRCNN-fast。為了提高M(jìn)CRCNN-together的運(yùn)行速度，實(shí)時(shí)地輸出4倍HR圖像，選用了網(wǎng)絡(luò)層數(shù)更少的單任務(wù)損失以及較小的卷積核和反卷積核。網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

3.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文所提出的基于殘差神經(jīng)網(wǎng)絡(luò)的圖像超分辨率改進(jìn)算法的有效性，本文分別使用處理過的91張圖片數(shù)據(jù)集和ImageNet數(shù)據(jù)集[16]統(tǒng)一對(duì)各網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行4倍的超分辨率訓(xùn)練，網(wǎng)絡(luò)模型的迭代次數(shù)都為10萬(wàn)次。選用公共測(cè)試集Set5[25]和Set14[26]進(jìn)行仿真實(shí)驗(yàn)，以平均PSNR、MSSIM以及平均耗時(shí)的方式比較各網(wǎng)絡(luò)模型對(duì)超分辨率的效果，并將本文網(wǎng)絡(luò)的超分辨率結(jié)果與現(xiàn)有的性能優(yōu)越的算法進(jìn)行對(duì)比。首先，本文的算法與傳統(tǒng)的bilinear、bicubic進(jìn)行比較，接著與2種基于學(xué)習(xí)SR算法進(jìn)行比較，即SRCNN、FSRCNN。這些方法都是基于bilinear、bicubic、SRCNN和FSRCNN模型，在GPU為NVIDIA Tesla M40，Tensorflow V1.01的實(shí)驗(yàn)環(huán)境下運(yùn)用Python3.5進(jìn)行仿真的結(jié)果。由于與提出SRCNN和FSRCNN模型的原論文[16-17]的實(shí)驗(yàn)環(huán)境以及訓(xùn)練迭代次數(shù)的不同，實(shí)驗(yàn)結(jié)果與原論文會(huì)略有不同，但仍能反映主要的趨勢(shì)。91張圖片訓(xùn)練出來(lái)的模型測(cè)試結(jié)果如圖9所示，實(shí)驗(yàn)測(cè)試指標(biāo)如表2所示。圖9中，圖(a)～(d)第一行從左到右依次為4種經(jīng)典模型的4倍超分辨率效果圖，圖(e)～(i)都是本文的實(shí)驗(yàn)測(cè)試結(jié)果，圖(j)為原圖。

表1 本文提出的實(shí)驗(yàn)?zāi)Ｐ?/p>

PSNR和SSIM作為評(píng)價(jià)超分辨率質(zhì)量的傳統(tǒng)指標(biāo)，兩者僅依賴于像素間低層次的差別，不能完全代表人類的視覺質(zhì)量(文獻(xiàn)[27]同樣提出了這種觀點(diǎn))，所以本文在使用PSNR和SSIM作為評(píng)價(jià)標(biāo)準(zhǔn)的前提下，綜合使用肉眼來(lái)感官上判別一張圖像質(zhì)量的好壞。表2中，雖然本文網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)并不高，但從肉眼感官可判斷，圖9(f)、(g)、(h)、(i)的蝴蝶放大后的細(xì)節(jié)中，蝴蝶紋理的邊緣更加清晰和平滑。本文的網(wǎng)絡(luò)的質(zhì)量明顯優(yōu)于nearest、bicubic、SRCNN和FSRCNN。

由表2可看出，F(xiàn)SRCNN-Residual精度高于FSRCNN，驗(yàn)證了對(duì)于本文的較深層的網(wǎng)絡(luò)，殘差塊和跳層結(jié)構(gòu)比堆疊卷積更適合，因?yàn)?6層殘差網(wǎng)絡(luò)更深而且與跳層結(jié)構(gòu)結(jié)合，可以學(xué)到更深高層次的紋理信息。同時(shí)Multi-Section-Residual精度高于FSRCNN-Residual，先將LR圖像通過反卷積提升到2倍，再將2倍HR圖像進(jìn)行特征提取，最后進(jìn)行反卷積升到4倍HR，驗(yàn)證了分階段提升分辨率比一次性提升更合適。MCRCNN-apart精度高于Multi-Section-Residual，驗(yàn)證了多任務(wù)損失中2倍超分辨率作損失確實(shí)對(duì)4倍的超分辨率過程有指導(dǎo)意義，效果優(yōu)于單任務(wù)損失。MCRCN-together精度與MCRCNN-apart不相上下，但MCRCN-together訓(xùn)練模型時(shí)的速度卻遠(yuǎn)高于MCRCNN-apart。所以綜合考慮后，本文選擇MCRCNN-together作為本文的最終結(jié)構(gòu)。最后為了提高本文網(wǎng)絡(luò)的速度，提出了MCRCNN-fast網(wǎng)絡(luò)。跳層連接用了卷積核大小為1×1、3×3、1×1的結(jié)構(gòu)，1×1的使用可以提高網(wǎng)絡(luò)的運(yùn)行速度。尤其在MCRCNN2-fast網(wǎng)絡(luò)模型中，使用了2個(gè)3×3的反卷積代替了FSRCNN中的9×9的1個(gè)反卷積，這樣大幅度提高了整個(gè)網(wǎng)絡(luò)的速度，雖然精度略遜色于MCRCNN，但在精度與速度上達(dá)到了一個(gè)平衡。

圖9 各方法對(duì)比圖1(Butterfly)

表2 各實(shí)驗(yàn)?zāi)Ｐ驮趦蓚€(gè)數(shù)據(jù)集上的超分辨率結(jié)果對(duì)比(用91張圖片數(shù)據(jù)集訓(xùn)練)

由于本文網(wǎng)絡(luò)架構(gòu)較深，所以使用ImageNet數(shù)據(jù)集訓(xùn)練MCRCNN會(huì)達(dá)到更好的效果。由于FSRCNN原網(wǎng)絡(luò)中并沒有使用ImageNet作為訓(xùn)練集，此處僅與nearest、bicubic、SRCNN進(jìn)行對(duì)比，測(cè)試結(jié)果如圖10所示，實(shí)驗(yàn)測(cè)試指標(biāo)如表3所示。圖10中，圖(a)～(c)為3種經(jīng)典模型的4倍超分辨率效果圖，圖(d)～(g)都是本文的實(shí)驗(yàn)測(cè)試結(jié)果，圖(h)為原圖。

從表3可以看出：SRCNN在Set5與Set14上平均PSNR分別為28.50和25.72，MSSIM分別為0.784 1和0.692 9；而本文的MCRCNN-together平均PSNR達(dá)到了29.95和26.78，MSSIM分別為0.817 6和0.722 8。從圖11可以明顯看出，圖中越靠近左上方位置的模型耗時(shí)越短、精度越高。本文提出的MCRCNN在圖像分辨率精確度上優(yōu)于nearest、bicubic以及SRCNN這幾種有代表性的超分辨率方法，MCRCNN-fast更是從速度和精確度上都優(yōu)于SRCNN。

表3 各實(shí)驗(yàn)?zāi)Ｐ驮趦煞N數(shù)據(jù)集上的超分辨率結(jié)果對(duì)比(用ImageNet數(shù)據(jù)集訓(xùn)練)

相比較于其他的方法，本文用特征重建訓(xùn)練的模型得到了很好的×4倍超分辨率重建的結(jié)果，尤其是在鋒銳的邊緣和紋理很豐富的圖像區(qū)域，比如圖9中每張圖片左下角中展示的放大的蝴蝶紋理細(xì)節(jié)以及圖10中小女孩的眼睛睫毛細(xì)節(jié)。

4 結(jié)語(yǔ)

本文提出了一種基于殘差神經(jīng)網(wǎng)絡(luò)的圖像超分辨率改進(jìn)算法，該網(wǎng)絡(luò)由輸入層、卷積子網(wǎng)、殘差子網(wǎng)絡(luò)、跳層子網(wǎng)絡(luò)、反卷積子網(wǎng)和輸出層構(gòu)成。輸入層直接將二維的低分辨率圖像輸入到神經(jīng)網(wǎng)絡(luò)，卷積子網(wǎng)、殘差子網(wǎng)絡(luò)、跳層子網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)提取出更多的特征，反卷積子網(wǎng)負(fù)責(zé)整合圖像特征從而重建超分辨率圖像信息，并由輸出層輸出HR圖像，整個(gè)網(wǎng)絡(luò)構(gòu)成了一種由LR圖像到HR圖像的非線性映射。

圖10 各方法對(duì)比圖2(Comic)

圖11 各實(shí)驗(yàn)?zāi)Ｐ统直媛式Y(jié)果對(duì)比

通過實(shí)驗(yàn)對(duì)比，本文的網(wǎng)絡(luò)模型對(duì)紋理的細(xì)節(jié)有較大的提升，并且本文還提出了一個(gè)運(yùn)行速度與精度都不低于FSRCNN的網(wǎng)絡(luò)MULTI-fast，充分說(shuō)明了本文改進(jìn)方法的有效性。在未來(lái)的工作中，將尋求更好的優(yōu)化策略，嘗試擴(kuò)展網(wǎng)絡(luò)結(jié)構(gòu)的寬度，進(jìn)一步提高超分辨率圖像重建的精度；同時(shí)，醫(yī)學(xué)圖像的超分辨率重建也將是下一步的研究方向。

References)

[1] PELED S, YESHURUN Y. Superresolution in MRI: application to human white matter fiber tract visualization by diffusion tensor imaging [J]. Magnetic Resonance in Medicine Official Journal of the Society of Magnetic Resonance in Medicine, 2001, 45(1): 29.

[2] SHI W, CABALLERO J, LEDIG C, et al. Cardiac image super-resolution with global correspondence using multi-atlas patchmatch [C]// MICCAI 2013: Proceedings of the 2013 International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2013: 9-16.

[3] THORNTON M W, ATKINSON P M, HOLLAND D A. Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super‐resolution pixel-swapping [J]. International Journal of Remote Sensing, 2006, 27(3): 473-491.

[4] GUNTURK B K, BATUR A U, ALTUNBASAK Y, et al. Eigenface-domain super-resolution for face recognition [J]. IEEE Transactions on Image Processing, 2003, 12(5): 597-606.

[5] ZHANG L, ZHANG H, SHEN H, et al. A super-resolution reconstruction algorithm for surveillance images [J]. Signal Processing, 2010, 90(3): 848-859.

[6] 蘇衡,周杰,張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào),2013,39(8):1202-1213.(SU H, ZHOU J, ZHANG Z H. A summary of super-resolution image reconstruction methods [J]. Acta Automatica Sinica, 2013, 39(8): 1202-1213.)

[7] KEYS R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1981, 29(6): 1153-1160.

[8] 袁琪,荊樹旭.改進(jìn)的序列圖像超分辨率重建方法[J].計(jì)算機(jī)應(yīng)用,2009,29(12):3310-3313.(YUAN Q, JIN S X. Improved sequence image super-resolution reconstruction method [J]. Journal of Computer Applications, 2009, 29(12): 3310-3313.)

[9] TIMOFTE R, DE V, GOOL L V. Anchored neighborhood regression for fast example-based super-resolution [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway, NJ： IEEE, 2013: 1920-1927.

[10] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution [C]// Proceedings of the 2014 Asian Conference on Computer Vision. Berlin: Springer, 2014: 111-126.

[11] YANG C Y, YANG M H. Fast direct super-resolution by simple functions [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2013: 561-568.

[12] YANG J, WRIGHT J, HUANG T, et al. Image super-resolution as sparse representation of raw image patches [C]// CVPR 2008: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 1-8.

[13] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[14] WANG J, ZHU S, GONG Y. Resolution enhancement based on learning the sparse association of image patches [J]. Pattern Recognition Letters, 2010, 31(1): 1-10.

[15] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 2012 International Conference on Neural Information Processing Systems. West Chester, OH: Curran Associates Inc., 2012: 1097-1105.

[16] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution [C]// ECCV 2014: Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 184-199.

[17] DONG C, CHEN C L, TANG X. Accelerating the super-resolution convolutional neural network [C]// ECCV 2016: Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 391-407.

[18] SUN J, SHUM H Y. Image super-resolution using gradient profile prior: US9064476 [P]. 2015- 06- 23.

[19] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines [C]// Proceedings of the 2010 International Conference on International Conference on Machine Learning. Madison, WI: Omnipress, 2010: 807-814.

[20] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]// CVPR 2016: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 770-778.

[21] JOHNSON J, ALAHI A, LI F F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 694-711.

[22] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2017- 03- 21]. https://arxiv.org/abs/1409.1556.

[23] REN S, HE K, GIRSHICK R, et al. Object detection networks on convolutional feature maps [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(7): 1476-1481.

[24] SRIVASTAVA R K, GREFF K, SCHMIDHUBER J. Training very deep networks [EB/OL]. [2017- 03- 20]. https://arxiv.org/abs/1507.06228.

[25] SAXE A M, MCCLELLAND J L, GANGULI S. Exact solutions to the nonlinear dynamics of learning in deep linear neural networks [EB/OL]. [2017- 03- 12]. http://arxiv.org/abs/1312.6120.

[26] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2017- 03- 10]. https://arxiv.org/abs/1409.1556.

[27] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding [C]// Proceedings of the 2012 British Machine Vision Conference. [S.l.]: BMVC Press, 2012: 135- 1-135- 10.

[28] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations [C]// Proceedings of the 2010 International Conference on Curves and Surfaces. Berlin: Springer, 2010: 711-730.

[29] JOHNSON J, ALAHI A, LI F F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 694-711.

This work is partially supported by the Natural Science Foundation of Shanxi Province (2015011045).

WANGYining, born in 1992, M. S. candidate. Her research interests include deep learning, machine vision, digital image processing.

QINPinle, born in 1978, Ph. D., associate professor. His research interests include big data, machine vision, three-dimensional reconstruction.

LIChuanpeng, born in 1991, M. S. candidate. His research interests include deep learning, machine vision, digital image processing.

CUIYuhao, born in 1996. His research interests include deep learning, digital image processing.