基于并聯(lián)卷積與殘差網(wǎng)絡(luò)的圖像超分辨率重建

王匯豐，徐巖，魏一銘，王會(huì)真

（蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州 730070）（?通信作者電子郵箱xuyan@mail.lzjtu.cn）

基于并聯(lián)卷積與殘差網(wǎng)絡(luò)的圖像超分辨率重建

王匯豐，徐巖*，魏一銘，王會(huì)真

（蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州 730070）（?通信作者電子郵箱xuyan@mail.lzjtu.cn）

現(xiàn)有的圖像超分辨率重建算法可以改善圖像整體視覺效果或者提升重建圖像的客觀評(píng)價(jià)值，然而對(duì)圖像感知效果和客觀評(píng)價(jià)值的均衡提升效果不佳，且重建圖像缺乏高頻信息，導(dǎo)致紋理模糊。針對(duì)上述問題，提出了一種基于并聯(lián)卷積與殘差網(wǎng)絡(luò)的圖像超分辨率重建算法。首先，以并聯(lián)結(jié)構(gòu)為整體框架，在并聯(lián)結(jié)構(gòu)上采用不同卷積組合來豐富特征信息，并加入跳躍連接來進(jìn)一步豐富特征信息并融合輸出，從而提取更多的高頻信息。其次，引入自適應(yīng)殘差網(wǎng)絡(luò)以補(bǔ)充信息并優(yōu)化網(wǎng)絡(luò)性能。最后，采用感知損失來提升恢復(fù)后圖像的整體質(zhì)量。實(shí)驗(yàn)結(jié)果表明，相較于超分辨率卷積神經(jīng)網(wǎng)絡(luò)（SRCNN）、深度超分辨率重建網(wǎng)絡(luò)（VDSR）和超分辨率生成對(duì)抗網(wǎng)絡(luò)（SRGAN）等算法，所提算法在重建圖像上有更好的表現(xiàn)，其放大效果圖的細(xì)節(jié)紋理更清晰。在客觀評(píng)價(jià)上，所提算法在4倍重建時(shí)的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）相較于SRGAN分別平均提升了0.25 dB和0.019。

視覺效果；超分辨率重建；并聯(lián)結(jié)構(gòu)；殘差網(wǎng)絡(luò)；感知損失

0 引言

超分辨率重建（Super-Resolution， SR）是通過低分辨率（Low-Resolution， LR）圖像來產(chǎn)生紋理細(xì)節(jié)清晰、視覺效果更好的高分辨率（High-Resolution， HR）圖像。在醫(yī)療成像［1］時(shí)產(chǎn)生低分辨率圖像會(huì)影響對(duì)病灶的觀察，在衛(wèi)星遙感拍攝［2］時(shí)，獲得的圖片分辨率較低會(huì)對(duì)后續(xù)工作有不良影響。圖像超分辨率重建可以獲得更多有效信息，超分重建在計(jì)算機(jī)視覺領(lǐng)域不可或缺。

目前，超分辨率重建主要有傳統(tǒng)方法和深度學(xué)習(xí)的方法。傳統(tǒng)方法包含插值法、重構(gòu)法等。插值法［3］是利用圖像自身的相似屬性進(jìn)行插補(bǔ)來獲取高頻圖像，將重建圖像逼近到較好的效果，最常用的方法有最近鄰插值和雙三次插值（Bicubic）。這類方法簡單有效、復(fù)雜度低、速度快，但在圖像的紋理細(xì)節(jié)較多區(qū)域效果不佳。重構(gòu)法是預(yù)先假設(shè)將低分辨率圖像當(dāng)作采樣圖像預(yù)估出效果不錯(cuò)的高分辨率圖像，此類方法如最大后驗(yàn)概率（Maximum A Posteriori， MAP）法［4］是把重建圖像看作統(tǒng)計(jì)學(xué)問題，在重建過程中加入先驗(yàn)信息進(jìn)行約束，能夠保證重建結(jié)果，但需要依賴先驗(yàn)信息完成且涉及到很大的計(jì)算量。隨后，將機(jī)器學(xué)習(xí)應(yīng)用于超分辨率重建取得了重大突破，如稀疏表示法［5］優(yōu)化局部和局部的相鄰圖像塊之間連接性，進(jìn)而使得圖像局部與全局之間更具有兼容性，但重建圖像質(zhì)量和計(jì)算復(fù)雜度均與字典大小相關(guān)，當(dāng)字典不夠完備時(shí)，重建圖像的邊緣缺乏細(xì)節(jié)信息，整體效果模糊。

近年來深度學(xué)習(xí)迅速發(fā)展，Dong等［6］首次將卷積神經(jīng)網(wǎng)絡(luò)用于超分辨率重建問題中，提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network， SRCNN）算法，重建效果相較于插值法、重構(gòu)法和基于學(xué)習(xí)的方法有著顯著提升，但是對(duì)低分辨率圖像信息利用不充分，通過逐步加深網(wǎng)絡(luò)層讓LR-HR的映射能力更強(qiáng)，擁有更大的感受野，能夠融入更多的背景信息，然而網(wǎng)絡(luò)層加深也會(huì)帶來問題。Kim等［7］把殘差網(wǎng)絡(luò)引入到圖像超分辨率重建中，提出了深度超分辨率重建網(wǎng)絡(luò)（Very Deep convolutional network for Super-Resolution， VDSR）模型，抑制深層網(wǎng)絡(luò)問題，加速收斂；但其模型是卷積層的簡單堆積，不能有效提取圖像信息。Lim等［8］移除殘差模塊中的歸一化層和激活函數(shù)層，提出增強(qiáng)深度殘差網(wǎng)絡(luò)結(jié)構(gòu)，減少了計(jì)算量；但是無法有效利用淺層特征。Zhang等［9］提出了密集殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)是將密集連接網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)［10］相結(jié)合，這樣可以使信息提取充分；但會(huì)使得參數(shù)增加，計(jì)算量增大。深度學(xué)習(xí)算法可以有效地恢復(fù)圖像，但需要平衡網(wǎng)絡(luò)深度、增強(qiáng)提取信息能力和降低計(jì)算復(fù)雜度等。

對(duì)于簡單的網(wǎng)絡(luò)堆積，重建圖像的效果未得到很好的改善，本文提出了一種圖像超分辨率重建算法，將并聯(lián)卷積和殘差網(wǎng)絡(luò)相結(jié)合，結(jié)合后的網(wǎng)絡(luò)不易發(fā)生梯度爆炸或消失，避免網(wǎng)絡(luò)退化。其中，并聯(lián)卷積網(wǎng)絡(luò)在提取特征時(shí)，獲得了更加豐富的特征，還可加快特征提取速度。然后，在并聯(lián)子網(wǎng)絡(luò)中引入自適應(yīng)殘差網(wǎng)絡(luò)，可以加強(qiáng)輸出特征的信息完備性，優(yōu)化網(wǎng)絡(luò)性能。最后，在整個(gè)網(wǎng)絡(luò)中加入全局殘差，以補(bǔ)償顏色信息缺失。實(shí)驗(yàn)結(jié)果表明，本文算法網(wǎng)絡(luò)復(fù)雜度較低，對(duì)圖像恢復(fù)效果好。

1 本文算法

卷積神經(jīng)網(wǎng)絡(luò)有著良好的學(xué)習(xí)性能，在超分辨率重建中有好的效果?，F(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)深度較深，網(wǎng)絡(luò)復(fù)雜度高，隨著網(wǎng)絡(luò)加深特征提取能力下降，信息丟失嚴(yán)重。在保證提取特征豐富的前提下，本文設(shè)計(jì)了并聯(lián)結(jié)構(gòu)與殘差思想結(jié)合的超分辨率重建網(wǎng)絡(luò)。首先，并聯(lián)神經(jīng)網(wǎng)絡(luò)可以同時(shí)提取不同的特征信息，這樣會(huì)提取出更加豐富的特征，還可加快提取速度。自適應(yīng)殘差網(wǎng)絡(luò)是依據(jù)殘差思想來設(shè)計(jì)的，不僅可以解決網(wǎng)絡(luò)深度問題，還可以解決梯度消失等問題，讓網(wǎng)絡(luò)模型訓(xùn)練起來更易收斂，訓(xùn)練時(shí)根據(jù)所需進(jìn)行特征補(bǔ)充。全局殘差主要用于補(bǔ)償丟失的顏色，網(wǎng)絡(luò)加深會(huì)讓顏色退化或者失真，直接通過全局殘差網(wǎng)絡(luò)從低分辨率圖像來補(bǔ)充損失的信息。本文算法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文算法的整體網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Overall network structure of proposed algorithm

1.1 并聯(lián)卷積網(wǎng)絡(luò)

本文設(shè)計(jì)的并聯(lián)卷積網(wǎng)絡(luò)是兩個(gè)大小和深度不同的網(wǎng)絡(luò)結(jié)構(gòu)，通過兩個(gè)不同的卷積網(wǎng)絡(luò)分別提取特征，最后將所獲得的特征信息進(jìn)行融合，這樣便可獲得更加豐富的特征。在信息流動(dòng)過程中隨著網(wǎng)絡(luò)深度加深會(huì)有損耗，所以在并聯(lián)的網(wǎng)絡(luò)模型中對(duì)各自的卷積神經(jīng)網(wǎng)絡(luò)加入跳躍連接，有效地讓特征重復(fù)使用。如圖1～2所示，在并聯(lián)網(wǎng)絡(luò)中，整個(gè)特征信息提取網(wǎng)絡(luò)分為相同卷積核特征提取網(wǎng)絡(luò)和不同卷積核特征提取網(wǎng)絡(luò)。相同卷積核特征提取模塊中，均使用的卷積核，這樣就會(huì)有更少的參數(shù)量和更小的計(jì)算量；而在不同卷積核特征提取模塊中采用和的卷積核，將和的卷積核混合使用，保證參數(shù)量較少的同時(shí)具有較大的感受野。通過這兩個(gè)模塊進(jìn)行特征提取，這樣獲得的特征信息更豐富有效。為了獲得更加有效的特征，本文網(wǎng)絡(luò)均采用步長為1進(jìn)行提取特征。提取特征信息時(shí)，為保證特征圖輸入輸出大小一致，對(duì)特征圖周圍進(jìn)行填充，填充與輸出特征圖大小之間的關(guān)系為：

在整個(gè)并聯(lián)的網(wǎng)絡(luò)中，每個(gè)網(wǎng)絡(luò)將前幾個(gè)卷積輸出特征信息進(jìn)行跳躍連接，可以將特征信息重復(fù)使用，補(bǔ)償隨層數(shù)增加時(shí)丟失的特征，使提取的特征信息更加豐富并且增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部信息流動(dòng)性。跳躍連接與殘差網(wǎng)絡(luò)連接方式不同，殘差網(wǎng)絡(luò)是直接進(jìn)行相加操作，相加操作是將像素相加進(jìn)行特征融合，而跳躍連接是按照維度將特征信息拼接（通過CAT方式連接）起來進(jìn)行特征融合。不同的方式都是對(duì)特征信息的整合，利用了豐富的特征信息，重建出的圖像效果更好。

1.2 自適應(yīng)殘差網(wǎng)絡(luò)

為了進(jìn)一步提取特征，引入殘差思想以提高網(wǎng)絡(luò)質(zhì)量。如圖2所示，在并聯(lián)網(wǎng)絡(luò)不同層分別引入自適應(yīng)殘差網(wǎng)絡(luò)，通過自適應(yīng)殘差網(wǎng)絡(luò)增強(qiáng)輸出特征的豐富性，避免梯度消失，其本質(zhì)仍然是既有殘差網(wǎng)絡(luò)的效果，又可增加特征提取的多樣性。如圖3所示，在主網(wǎng)絡(luò)中自適應(yīng)殘差網(wǎng)絡(luò)是一個(gè)的卷積核和一個(gè)的卷積核，其中的卷積核是用于整合信息和對(duì)卷積核通道數(shù)進(jìn)行升維或者降維，這樣方便與主網(wǎng)絡(luò)進(jìn)行相加操作。如圖4所示，在副網(wǎng)絡(luò)中自適應(yīng)殘差網(wǎng)絡(luò)是一個(gè)的卷積核，與后面輸出的維度一致，所以不需要加入的卷積核。在每一個(gè)殘差網(wǎng)絡(luò)中權(quán)值共享，減少計(jì)算的參數(shù)量，自適應(yīng)殘差就可在反向傳播更新權(quán)值后，獲得所需要的特征。這樣并聯(lián)網(wǎng)絡(luò)可以獲取更加豐富有效的特征信息，最后進(jìn)行特征信息融合。

圖2 并聯(lián)卷積模塊Fig. 2 Parallel convolution module

圖3 自適應(yīng)殘差模塊1Fig. 3 Adaptive residual module 1

圖4 自適應(yīng)殘差模塊2Fig. 4 Adaptive residual module 2

針對(duì)顏色丟失或失真，在網(wǎng)絡(luò)末層引入直接殘差的方式，提高重建后高分辨率圖像的保真度。全局殘差還可以在末層補(bǔ)充特征信息，有助于重建圖像有更好的效果。選擇顏色比較明顯的圖像在去除全局殘差模塊（Global Residual， GR）和未去除全局殘差模塊進(jìn)行對(duì)比，未去除全局殘差模塊的圖像相較于去除全局殘差模塊有著更好的顏色。顏色作為圖片信息，表明全局殘差模塊不僅可以提高重建后高分辨率圖像的保真度，還可以在末層補(bǔ)充特征信息有助于重建圖像有更好的效果，如圖5所示。

圖5 有無全局殘差模塊的網(wǎng)絡(luò)重建效果對(duì)比Fig. 5 Comparison of network reconstruction effects with and without global residual module

表1給出了本文算法的網(wǎng)絡(luò)結(jié)構(gòu)和卷積核參數(shù)設(shè)置，Layer_name表示卷積模塊和卷積核名稱，卷積層中有兩個(gè)特征提取模塊（Feature Extraction Module， FEM）和相對(duì)應(yīng)的自適應(yīng)殘差模塊（Adaptive Residual Module， ARM），Conv是所使用的獨(dú)立卷積核，Upconv是反采樣操作；Kernel_size則為對(duì)應(yīng)卷積核尺寸大?。籌nput_channel和Output_channel分別表示輸入通道數(shù)和輸出通道數(shù)。輸入圖片為低分辨率圖像、尺寸小，輸入通道為3，設(shè)定輸出通道為32，其余參數(shù)可由網(wǎng)絡(luò)模型中上一通道數(shù)、步長（本文步長全部為1）和根據(jù)所需加入填充由式（1）計(jì)算得出。

表1 網(wǎng)絡(luò)結(jié)構(gòu)和卷積核參數(shù)Tab. 1 Network structure and convolution kernel parameters

1.3 損失函數(shù)

為了增強(qiáng)重建后圖像的語義特征，引入感知損失，感知損失是在深度特征級(jí)別上約束原始圖像和重建圖像。深度特征由神經(jīng)網(wǎng)絡(luò)提取，并隨著網(wǎng)絡(luò)加深獲得圖像更加深層的語義特征信息，監(jiān)督深度特征的差異進(jìn)行懲罰，重建圖像可以保留原圖像中更高級(jí)別的語義特征信息。感知損失只是輕微提升質(zhì)量，主要還是通過網(wǎng)絡(luò)結(jié)構(gòu)來提升。由于均方損失具有的均值回歸特性可保證像素間良好的一致性，因此可有效緩解細(xì)節(jié)平滑效應(yīng)。均方損失和感知損失表達(dá)式如式（2）、（3）所示：

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

本文實(shí)驗(yàn)采用DIV2K數(shù)據(jù)集［11］，該數(shù)據(jù)集包含來自網(wǎng)絡(luò)的不同高質(zhì)量圖像（2K分辨率），主要用于圖像復(fù)原任務(wù)［12］。將數(shù)據(jù)集中的800張圖像進(jìn)行編碼用于訓(xùn)練模型，采用驗(yàn)證集中的100張圖像用于在模型訓(xùn)練中進(jìn)行驗(yàn)證。使用單一數(shù)據(jù)集具有不公平性，因此采用Set5［13］、Set14［14］、Urban100［15］和BSDS100［16］這四個(gè)測(cè)試集用于測(cè)試訓(xùn)練模型的效果。將數(shù)據(jù)集中的每張圖像進(jìn)行下采樣來降低圖像分辨率作為LR圖像，將原圖的高分辨率圖像作為HR圖像，讓其一一對(duì)應(yīng)成為圖像對(duì)用于訓(xùn)練。

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)硬件設(shè)備為AMD Ryzen7 4800H，處理器基準(zhǔn)頻率為2.9 GHz，加速頻率為4.2 GHz，16 GB內(nèi)存，NVIDIA GeForce RTX2060 6 GB顯卡。在Windows 10操作系統(tǒng)下安裝Anaconda3，然后在Python3.7中搭建深度學(xué)習(xí)框架Pytorch。

2.3 結(jié)果分析

本文網(wǎng)絡(luò)使用可以自適應(yīng)優(yōu)化的Adam優(yōu)化器［17］優(yōu)化參數(shù)。初始化學(xué)習(xí)率為0.000 1，epochs初始設(shè)置為200。將訓(xùn)練好的網(wǎng)絡(luò)模型在數(shù)據(jù)集Set5、Set14、Urban100和BSDS100上進(jìn)行測(cè)試對(duì)比。為驗(yàn)證本文算法的圖像超分辨率重建效果，將其分別與Bicubic、SRCNN［18］、VDSR［19］、超分辨率生成對(duì)抗網(wǎng)絡(luò)（Super-Resolution Generative Adversarial Network， SRGAN）［20］、文獻(xiàn)［21］算法等進(jìn)行對(duì)比，均采用DIV2K數(shù)據(jù)集進(jìn)行訓(xùn)練。在Urban100中選出img005、img014、img018這三幅圖像進(jìn)行對(duì)比，可以看出Bicubic重建后圖像信息丟失嚴(yán)重，效果也最差。SRCNN算法重建出的圖像與Bicubic重建出的圖像相比，整體效果明顯提升，但是網(wǎng)絡(luò)層數(shù)少、提取的特征較少，恢復(fù)出的細(xì)節(jié)信息也少。VDSR的網(wǎng)絡(luò)層較深，并加入了殘差網(wǎng)絡(luò)，重建后的圖像效果較好，但是網(wǎng)絡(luò)單一使得內(nèi)部信息流通差，一些細(xì)節(jié)紋理會(huì)丟失。而對(duì)于SRGAN而言，在網(wǎng)絡(luò)模型訓(xùn)練時(shí)加入了感知損失，改善重建后圖像的整體視覺效果，但是依舊缺乏了細(xì)節(jié)信息。文獻(xiàn)［21］算法相較于其他對(duì)比算法有著更好的細(xì)節(jié)效果，但整體效果表現(xiàn)一般。本文算法不僅可以恢復(fù)出不錯(cuò)的整體效果，而且在一些邊緣或者細(xì)節(jié)的地方也有著更好的效果。不同算法重建圖像的主觀效果對(duì)比如圖6所示。

圖6 不同算法重建圖像的主觀效果對(duì)比Fig. 6 Subjective effect comparison of images reconstructed by different algorithms

為了進(jìn)一步對(duì)比這些算法的重建效果，比較更加細(xì)節(jié)的圖像區(qū)域。從Urban100中選出img066、img088和img098三幅圖像通過區(qū)域放大進(jìn)行比較。從Bicubic中可以看出，重建圖像是模糊的，呈現(xiàn)不出細(xì)節(jié)紋理。對(duì)于SRCNN，放大圖像有著基本細(xì)節(jié)輪廓，效果提升明顯，但是不能完全清晰看出細(xì)節(jié)紋理。對(duì)于VDSR，整體效果均有所改善，已經(jīng)有著不錯(cuò)的細(xì)節(jié)信息。跟其他算法相比，SRGAN提升了整體效果，但細(xì)節(jié)較少，甚至出現(xiàn)部分失真現(xiàn)象。本文算法在提升整體效果的同時(shí)，改善了圖像信息中的細(xì)節(jié)紋理，這樣使得重建后的圖像效果可以均衡提升。如圖7所示，三幅圖像有著不同的場景，可從中得到相同的比較效果。

2.4 客觀評(píng)價(jià)

本文使用圖像重建質(zhì)量評(píng)定中最常用的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［22］和結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）［22］評(píng)價(jià)重建質(zhì)量。PSNR是基于誤差敏感的圖像質(zhì)量評(píng)價(jià)，數(shù)值越大表示重建后圖像質(zhì)量越好；SSIM是根據(jù)重建圖像與原圖在獨(dú)立亮度、對(duì)比度和結(jié)構(gòu)等方面進(jìn)行比較，局部處理后獲得更加精確的結(jié)果，當(dāng)結(jié)果越接近1時(shí)，表明重建后的圖像效果越好。結(jié)合這兩種評(píng)價(jià)指標(biāo)進(jìn)行分析，避免單一客觀評(píng)價(jià)與主觀評(píng)價(jià)相反的問題。

本文算法有著較高的PSNR值和SSIM值，在2倍中，本文算法的PSNR相較于SRGAN平均提升了0.35 dB，其SSIM相較于文獻(xiàn)［21］算法平均提升了0.035；在3倍中，本文算法的PSNR和SSIM相較于SRGAN分別平均提升了0.315 dB和0.022；在4倍中，本文算法的PSNR和SSIM相較于SRGAN分別平均提升了0.25 dB和0.019。上述結(jié)果表明本文算法能夠提升重建后圖像視覺效果，不同算法在2倍、3倍、4倍上的結(jié)果對(duì)比分別如表2～4所示。

圖7 不同算法在Urban100測(cè)試集上的重建效果局部放大對(duì)比Fig. 7 Local amplification comparison of reconstruction effect of different algorithms on Urban100 test set

表2 不同算法在2倍上的PSNR、SSIM對(duì)比Tab. 2 Comparison of PSNR and SSIM of different algorithms on ×2

表3 不同算法在3倍上的PSNR、SSIM對(duì)比Tab. 3 Comparison of PSNR and SSIM of different algorithms on ×3

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證兩個(gè)自適應(yīng)殘差模塊（ARM）和全局殘差模塊（GR）的有效性，設(shè)計(jì)了消融實(shí)驗(yàn)。在總網(wǎng)絡(luò)模型基礎(chǔ)上移除掉這三個(gè)模塊后成為原始模型（Original Model， OM），對(duì)比原始模型+自適應(yīng)殘差模塊1（OM+ARM1）、原始模型+自適應(yīng)殘差模塊1+自適應(yīng)殘差模塊2（OM+ARM1+ARM2）、原始模型+自適應(yīng)殘差模塊1+自適應(yīng)殘差模塊2+全局殘差模塊（本文算法）的結(jié)果。

將訓(xùn)練好的各個(gè)組合模塊進(jìn)行測(cè)試對(duì)比，并選擇Urban100數(shù)據(jù)集中的img048、img077和img087進(jìn)行比較分析，可以看出移除模塊后會(huì)讓重建圖像質(zhì)量下降，丟失大量細(xì)節(jié)特征，變得模糊。上述結(jié)果表明加入模塊后可以很好地提升網(wǎng)絡(luò)的有效性，重建出更高質(zhì)量圖像，具體效果對(duì)比如圖8所示。

表4 不同算法在4倍上的PSNR、SSIM對(duì)比Tab. 4 Comparison of PSNR and SSIM of different algorithms on ×4

圖8 消融實(shí)驗(yàn)中在Urban100測(cè)試集上不同算法的重建效果對(duì)比Fig. 8 Reconstruction effect comparison of different algorithms in ablation experiment on Urban100 test set

通過客觀分析可以看出，本文網(wǎng)絡(luò)模型測(cè)試出的PSNR和SSIM值均優(yōu)于缺失模塊的網(wǎng)絡(luò)，相較于原始模型分別平均提升了1.557 0 dB和0.240 3，相較于原始模型＋自適應(yīng)殘差模塊1分別提升了0.928 6 dB和0.167，相較于原始模型+自適應(yīng)殘差模塊1+自適應(yīng)殘差模塊2分別提升了0.405 3 dB和0.080。綜上可得，本文算法中的自適應(yīng)殘差模塊和全局殘差模塊有助于提升算法性能，整體數(shù)據(jù)表現(xiàn)如表5所示。

表5 消融實(shí)驗(yàn)中不同算法的PSNR、SSIM對(duì)比Tab. 5 Comparison of PSNR and SSIM of different algorithms in ablation experiment

3 結(jié)語

本文設(shè)計(jì)了一種基于并聯(lián)結(jié)構(gòu)結(jié)合殘差思想用于圖像超分辨率重建的網(wǎng)絡(luò)模型，在并聯(lián)結(jié)構(gòu)中以不同的卷積組合可以捕獲更豐富的信息，并聯(lián)方式也加快了信息獲取和網(wǎng)絡(luò)收斂。并聯(lián)結(jié)構(gòu)中加入的自適應(yīng)殘差網(wǎng)絡(luò)和全局殘差網(wǎng)絡(luò)，讓整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的全局信息得以補(bǔ)充；內(nèi)部引入跳躍連接使整個(gè)網(wǎng)絡(luò)信息流通性加強(qiáng)，避免了一些重要特征的丟失，也進(jìn)一步增強(qiáng)了高頻信息的提取。本文算法不僅注重局部與全局信息融合，也重視低級(jí)語義信息與高級(jí)語義結(jié)合，最后加入感知損失，提升了整個(gè)網(wǎng)絡(luò)重建圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，相較于Bicubic、SRCNN、VDSR、SRGAN以及文獻(xiàn)［21］算法，本文算法在整體視覺效果上有明顯的改善，也減輕了邊緣結(jié)構(gòu)的鋸齒效應(yīng)，在客觀評(píng)價(jià)的PSNR和SSIM值上也有著不錯(cuò)的表現(xiàn)。在以后的研究中可以進(jìn)一步通過拓寬和加深網(wǎng)絡(luò)結(jié)構(gòu)來改進(jìn)網(wǎng)絡(luò)，也可以嘗試引入更多的方法來改善網(wǎng)絡(luò)性能。

[1] SHI W Z， CABALLERO J， LEDIG C， et al. Cardiac image super-resolution with global correspondence using multi-atlas PatchMatch ［C］// Proceedings of the 2013 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 8151. Berlin： Springer， 2013： 9-16.

[2] HU M G， WANG J F， GE Y. Super-resolution reconstruction of remote sensing images using multifractal analysis ［J］. Sensors， 2009， 9（11）： 8669-8683.

[3] ZHU S Y， ZENG B， LIU G H， et al. Image interpolation based on non-local geometric similarities ［C］// Proceedings of the 2015 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2015： 1-6.

[4] SCHULTZ R R， STEVENSON R L. Extraction of high-resolution frames from video sequences ［J］. IEEE Transactions on Image Processing， 1996， 5（6）： 996-1011.

[5] PELEG T， ELAD M. A statistical prediction model based on sparse representations for single image super-resolution ［J］. IEEE Transactions on Image Processing， 2014， 23（6）： 2569-2582.

[6] DONG C， LOY C C， HE K M， et al. Learning a deep convolutional network for image super-resolution ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014： 184-199.

[7] KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1646-1654.

[8] LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1132-1140.

[9] ZHANG Y L， TIAN Y P， KONG Y， et al. Residual dense network for image super-resolution ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2018： 2472-2481.

[10] 梁敏，王昊榕，張瑤，等.基于加速殘差網(wǎng)絡(luò)的圖像超分辨率重建方法［J］.計(jì)算機(jī)應(yīng)用，2021，41（5）：1438-1444.（LIANG M， WANG H R，ZHANG Y， et al. Image super-resolution reconstruction method based on accelerated residual network ［J］. Journal of Computer Applications， 2021， 41（5）： 1438-1444.）

[11] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[12] 唐艷秋，潘泓，朱亞平，等.圖像超分辨率重建研究綜述［J］.電子學(xué)報(bào)，2020，48（7）：1407-1420.（TANG Y Q， PAN H， ZHU Y P， et al. A survey of image super-resolution reconstruction ［J］. Acta Electronica Sinica， 2020， 48（7）： 1407-1420.）

[13] ABUDU RAHIMAN V， GEORGE S N. Single image super resolution using neighbor embedding and statistical prediction model ［J］. Computers and Electrical Engineering， 2017， 62（1）： 281-292.

[14] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations ［C］// Proceedings of the 2010 International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010：711-730.

[15] MARTIN D， FOWLKES C， TAL D， et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics ［C］// Proceedings of the 2001 8th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2001： 416-423.

[16] HUANG J B， SINGH A， AHUJA N. Single image super-resolution from transformed self-exemplars ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2015： 5197-5206.

[17] PEREYRA M， SCHNITER P， CHOUZENOUX é， et al. A survey of stochastic simulation and optimization methods in signal processing ［J］. IEEE Journal of Selected Topics in Signal Processing， 2016， 10（2）： 224-241.

[18] YUAN Y， LIU S Y， ZHANG J W， et al. Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2018：814-823.

[19] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE， 2017： 105-114.

[20] 南方哲，錢育蓉，行艷妮，等.基于深度學(xué)習(xí)的單圖像超分辨率重建研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2020，37（2）：321-326.（NAN F Z， QIAN Y R，XING Y N， et al. Survey of single image super resolution based on deep learning ［J］. Application Research of Computers， 2020， 37（2）： 321-326.）

[21] 劉月峰，楊涵晰，蔡爽，等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像超分辨率重建方法［J］.計(jì)算機(jī)應(yīng)用，2019，39（5）：1440-1447.（LIU Y F， YANG H X，CAI S， et al. Single image super-resolution reconstruction method based on improved convolutional neural network ［J］. Journal of Computer Applications， 2019， 39（5）： 1440-1447.）

[22] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

Image super-resolution reconstruction based on parallel convolution and residual network

WANG Huifeng， XU Yan*， WEI Yiming， WANG Huizhen

（School of Electronic and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu730070，China）

The existing image super-resolution reconstruction algorithms can improve the overall visual effect of the image or promote the objective evaluation value of the reconstructed image， but have poor balanced improvement effect of image perception effect and objective evaluation value， and the reconstructed images lack high-frequency information， resulting in texture blur. Aiming at the above problems， an image super-resolution reconstruction algorithm based on parallel convolution and residual network was proposed. Firstly， taking the parallel structure as the overall framework， different convolution combinations were used on the parallel structure to enrich the feature information， and the jump connection was added to further enrich the feature information and fuse the output to extract more high-frequency information. Then， an adaptive residual network was introduced to supplement information and optimize network performance. Finally，perceptual loss was used to improve the overall quality of the restored image. Experimental results show that， compared with the algorithms such as Super-Resolution Convolutional Neural Network （SRCNN）， Very Deep convolutional network for Super-Resolution （VDSR） and Super-Resolution Generative Adversarial Network （SRGAN）， the proposed algorithm has better performance in image reconstruction and has clearer detail texture of the enlarged effect image. In the objective evaluation， the Peak Signal-To-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed algorithm inreconstruction are improved by 0.25 dB and 0.019 averagely and respectively compared with those of SRGAN.

visual effect; super-resolution reconstruction; parallel structure; residual network; perceptual loss

TP391

A

1001-9081（2022）05-1570-07

10.11772/j.issn.1001-9081.2021050742

2021?05?10；

2021?09?09；

2021?10?14。

國家自然科學(xué)基金資助項(xiàng)目（62063014）。

王匯豐（1995—），男，甘肅天水人，碩士研究生，CCF會(huì)員，主要研究方向：計(jì)算機(jī)視覺、圖像處理； 徐巖（1963—），男，甘肅蘭州人，教授，碩士，主要研究方向：語音信號(hào)處理、圖像處理； 魏一銘（1995—），男，河南鄭州人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、圖像處理； 王會(huì)真（1996—），女，甘肅白銀人，碩士研究生，主要研究方向：文本處理。

This work is partially supported by National Natural Science Foundation of China （62063014）.

WANG Huifeng， born in 1995， M. S. candidate. His research interests include computer vision， image processing.

XU Yan， born in 1963， M. S.， professor. His research interests include speech signal processing， image processing.

WEI Yiming， born in 1995， M. S. candidate. His research interests include computer vision， image processing.

WANG Huizhen， born in 1996， M. S. candidate. Her research interests include text processing.