面向圖像超分辨率的緊湊型多徑卷積神經(jīng)網(wǎng)絡(luò)算法研究

應(yīng)自爐 商麗娟 徐 穎 劉 健

(五邑大學(xué)信息工程學(xué)院，廣東江門 529020)

1 引言

圖像超分辨率重構(gòu)(Super-Resolution Reconstruction，SRR)是一種增強(qiáng)成像系統(tǒng)分辨率技術(shù)，該技術(shù)是從觀察到的低分辨率圖重建高分辨率圖，為圖像恢復(fù)出更多細(xì)節(jié)信息，提供更好的視覺(jué)效果圖像。由于高分辨率圖像中包含更多細(xì)節(jié)信息，SRR技術(shù)在視頻監(jiān)控、醫(yī)學(xué)圖像、遙感衛(wèi)星、多徑稀疏信道傳輸?shù)雀鱾€(gè)領(lǐng)域具有重要現(xiàn)實(shí)意義和廣泛應(yīng)用價(jià)值[1-4]，得到學(xué)術(shù)界高度關(guān)注[5-10]。然而，SRR技術(shù)是一個(gè)典型的病態(tài)逆過(guò)程[11-12]，具有非常大的挑戰(zhàn)性。

SRR方法研究經(jīng)歷了從頻域轉(zhuǎn)向空域以及從無(wú)訓(xùn)練樣本到有訓(xùn)練樣本的過(guò)程。最早SRR方法研究在頻域中進(jìn)行圖像重構(gòu)，通過(guò)設(shè)置截止頻率方式恢復(fù)信息，但頻域算法存在對(duì)噪聲較為敏感的缺點(diǎn)[13]?；诜蔷鶆虿逯档腟RR方法是最直觀通用的空域超分辨率重構(gòu)方法，該方法通過(guò)在像素之間插入合適的像素值，實(shí)現(xiàn)圖像分辨率提升[14]。然而，簡(jiǎn)單非均勻插值算法傾向于使圖像變得平滑，同時(shí)會(huì)造成塊狀效應(yīng)。后來(lái)，研究者通過(guò)在插值過(guò)程中引入圖像先驗(yàn)信息來(lái)克服這一問(wèn)題，但這種方式對(duì)圖像視覺(jué)表現(xiàn)復(fù)雜度較為敏感，對(duì)于許多紋理或陰影圖像，容易出現(xiàn)振鈴效應(yīng)?；谥亟ǖ腟RR方法是對(duì)低分辨率圖像進(jìn)行一致性約束，并結(jié)合自然圖像先驗(yàn)知識(shí)進(jìn)行求解[15]，該類算法能在先驗(yàn)信息充足條件下獲得較好重構(gòu)效果，但存在圖像序列數(shù)目不充分導(dǎo)致重構(gòu)效果退化的缺點(diǎn)。因此，傳統(tǒng)SRR方法研究在實(shí)現(xiàn)條件上更加嚴(yán)苛，且對(duì)放大系數(shù)較為敏感，在有限條件下難以實(shí)現(xiàn)高質(zhì)量圖像重構(gòu)[16]?；跈C(jī)器學(xué)習(xí)SRR技術(shù)發(fā)展迅速，尤其是稀疏編碼理論的發(fā)展為SRR方法研究帶來(lái)了許多啟發(fā)[17-22]。Timofte等[23]采用調(diào)整錨點(diǎn)的最近鄰回歸算法實(shí)現(xiàn)高質(zhì)量高效超分辨率重構(gòu)，同時(shí)為深度學(xué)習(xí)在超分辨率領(lǐng)域應(yīng)用奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。目前，深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolution Neural Network，DCNN)在計(jì)算機(jī)視覺(jué)問(wèn)題中被廣泛使用，Dong等[24]提出利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重構(gòu)(Super Resolution Using Convolutional Neural Networks, SRCNN)，其利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低分辨率到高分辨率的端到端映射關(guān)系，重構(gòu)超分辨率圖像。DCNN可實(shí)現(xiàn)端到端的學(xué)習(xí)架構(gòu)，省去特征提取預(yù)處理過(guò)程和后續(xù)高分辨率圖像塊聚合過(guò)程，SRCNN算法的提出奠定了深度學(xué)習(xí)應(yīng)用到超分辨率重構(gòu)領(lǐng)域的基礎(chǔ)。后來(lái)，Dong 等[24]在SRCNN方法基礎(chǔ)上提出一種快速超分辨率(Fast Super-Resolution by Convolutional Neural Networks, FSRCNN)方法[25]，該方法以低分辨率圖像作為網(wǎng)絡(luò)輸入，通過(guò)減小特征圖維度和卷積核尺寸，可減少網(wǎng)絡(luò)訓(xùn)練參數(shù)，提高了網(wǎng)絡(luò)運(yùn)算速度。Shi等[26]提出一種利用亞像素卷積層的超分辨率(Super-Resolution Using Efficient Sub-Pixel CNN, ESPCN)重構(gòu)方法，該方法在最后一層重新對(duì)特征圖進(jìn)行排列，以得到高分辨率圖像，可大幅提高網(wǎng)絡(luò)運(yùn)算速度。He等[27]提出深度殘差網(wǎng)絡(luò)(Residual Network, ResNet)，該網(wǎng)絡(luò)采用殘差塊作為網(wǎng)絡(luò)基本組成部分， 通過(guò)順序累加殘差可一定程度上解決DCNN隨著深度增加而帶來(lái)的網(wǎng)絡(luò)退化問(wèn)題，提高網(wǎng)絡(luò)性能。在超分辨率中Kim等[28]引入更深網(wǎng)絡(luò)，借鑒 ResNet思想減輕網(wǎng)絡(luò)的學(xué)習(xí)“負(fù)擔(dān)”，加速學(xué)習(xí)率，并構(gòu)造適用于不同圖像放大尺度的網(wǎng)絡(luò)。近年，Lai等[29]提出基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)路的拉普拉斯金字塔超分辨率重構(gòu)方法(Laplacian pyramid super resolution network, LapSRN)，該方法采用類似金字塔方式提取不同尺度圖像特征，在每個(gè)子階段利用殘差策略訓(xùn)練網(wǎng)絡(luò)，進(jìn)而重構(gòu)超分辨率圖像。Lim等[30]利用深度殘差網(wǎng)絡(luò)進(jìn)行超分辨率重構(gòu)在NTIRE2017超分辨率挑戰(zhàn)賽中拔得頭籌。雖然以上網(wǎng)絡(luò)取得了良好性能，但深層網(wǎng)絡(luò)需要學(xué)習(xí)大量參數(shù)。與緊湊網(wǎng)絡(luò)模型相比之下，深層網(wǎng)絡(luò)需要更多的存儲(chǔ)空間，難以推廣到便攜式設(shè)備中使用。

針對(duì)上述問(wèn)題，本文提出一種可用于便攜式設(shè)備的緊湊型多徑殘差卷積神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)圖像超分辨率方法不同，本文算法沒(méi)有直接重建出高分辨率圖像，而是通過(guò)網(wǎng)絡(luò)學(xué)習(xí)到圖像高頻細(xì)節(jié)信息，并利用獲得的高頻信息和原始低分辨率圖像重建出高分辨率圖像。同時(shí)引入多徑殘差思想，采用多徑結(jié)構(gòu)及遞歸塊連接方式，共享遞歸殘差塊所有參數(shù)，大大減少參數(shù)量。為使網(wǎng)絡(luò)泛化能力更強(qiáng)，結(jié)構(gòu)更緊湊，本文采用最大特征圖(Max-Feature-Max, MFM)激活函數(shù)[31]，可有效捕捉到緊湊表示及具有競(jìng)爭(zhēng)性特征信息，實(shí)現(xiàn)低分辨率圖像的超分辨率重構(gòu)。

本文內(nèi)容安排如下：第2部分闡述卷積神經(jīng)網(wǎng)絡(luò)基本理論知識(shí)；第3部分介紹本文采用的多徑卷積神經(jīng)網(wǎng)絡(luò)以及最大特征圖殘差塊；第4部分介紹實(shí)驗(yàn)結(jié)果；第5部分對(duì)本文進(jìn)行總結(jié)和展望。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network, CNN)目前已成為圖像處理領(lǐng)域的研究熱點(diǎn)，在計(jì)算機(jī)視覺(jué)領(lǐng)域中被廣泛使用。深度學(xué)習(xí)是一種端到端的學(xué)習(xí)算法，直接將圖像輸入到網(wǎng)絡(luò)來(lái)學(xué)習(xí)目標(biāo)特征，基于原始數(shù)據(jù)的表征學(xué)習(xí)算法，逐層進(jìn)行特征提取和特征融合，隨著網(wǎng)絡(luò)不斷加深，提取到的特征越抽象，越有利于實(shí)現(xiàn)后續(xù)的識(shí)別、重構(gòu)等工作。典型CNN是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，能夠高效高質(zhì)地處理圖像相關(guān)的機(jī)器學(xué)習(xí)問(wèn)題。CNN主要由輸入層、卷積層、池化層、全連接層和輸出層組成，其結(jié)構(gòu)如圖1所示。

CNN權(quán)值共享結(jié)構(gòu)類似于生物神經(jīng)網(wǎng)絡(luò)，卷積層中的神經(jīng)元與其輸入層的特征圖進(jìn)行局部連接，將該局部加權(quán)和傳遞給非線性函數(shù)，如修正線性單元(Rectified Linear Units, ReLU)函數(shù)，獲得卷積層中每個(gè)神經(jīng)元輸出值。在同一個(gè)輸入特征圖和同一個(gè)輸出特征圖中，CNN權(quán)值共享，該網(wǎng)絡(luò)通過(guò)權(quán)值共享減小模型復(fù)雜度，使網(wǎng)絡(luò)更易于訓(xùn)練[32]。由于SRR是一病態(tài)逆問(wèn)題，通常在求解高分辨率圖像時(shí)需加入一個(gè)正則化項(xiàng)作為先驗(yàn)信息進(jìn)行規(guī)范化約束，從而求得最優(yōu)解，實(shí)現(xiàn)超分辨率重構(gòu)。在傳統(tǒng)方法中，該先驗(yàn)信息通過(guò)若干低分辨率和高分辨率圖像對(duì)中學(xué)到，而基于深度學(xué)習(xí)的SRR通過(guò)神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)分辨率圖像到高分辨率圖像的映射函數(shù)實(shí)現(xiàn)超分辨率重構(gòu)[33]。本文設(shè)計(jì)了多徑卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可自主學(xué)習(xí)圖像特征，并引入最大特征圖殘差塊，使網(wǎng)絡(luò)能夠直接學(xué)習(xí)SRR所需圖像細(xì)節(jié)信息，使網(wǎng)絡(luò)輸出盡可能接近本地高分辨率圖像，損失函數(shù)均方誤差最小化。所提網(wǎng)絡(luò)不僅能有效緩解深度網(wǎng)絡(luò)難以訓(xùn)練問(wèn)題，同時(shí)能夠較好解決超分辨率病態(tài)逆問(wèn)題。

3 本文方法

3.1 多徑深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

超分辨率卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)充分考慮低分辨率圖像與高分辨率圖像間關(guān)系，不僅可直接學(xué)習(xí)高分辨率圖像與低分辨率圖像的非線性映射關(guān)系，也可學(xué)習(xí)到從低分辨率圖像中損失的細(xì)節(jié)信息。本文網(wǎng)絡(luò)是由特征提取模塊、一系列殘差模塊和重構(gòu)模塊構(gòu)成，特征提取模塊是通過(guò)一層卷積層中卷積核與輸入圖像進(jìn)行卷積操作提取輸入圖像特征并輸出特征圖，由于大量圖像細(xì)節(jié)經(jīng)過(guò)多層卷積運(yùn)算后消失，會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練性能下降的問(wèn)題，此處本文引入多徑結(jié)構(gòu)模式學(xué)習(xí)局部殘差學(xué)習(xí)(Local Residual Learning, LRL)方法緩解深度網(wǎng)絡(luò)訓(xùn)練性能下降問(wèn)題，以及加入全局殘差學(xué)習(xí)(Global residual learning, GRL)方法充分利用低分辨率圖像中的信息，通過(guò)卷積操作將估計(jì)的殘差特征，并結(jié)合低分辨率信息重構(gòu)高分辨率圖像，所提多徑卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Diagram of convolutional neural network architecture

圖2 多徑深度卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of multi-path deep convolutional neural network

由圖2可知，多徑網(wǎng)絡(luò)結(jié)構(gòu)包括GRL和LRL兩部分。本文中高分辨率圖像由網(wǎng)絡(luò)估計(jì)出的殘差圖像通過(guò)GRL分支與輸入圖像求和得到，而網(wǎng)絡(luò)通過(guò)恒等映射分支所攜帶的豐富細(xì)節(jié)信息不斷融合到主路徑中。這種方式不僅可緩解深度網(wǎng)絡(luò)難以訓(xùn)練問(wèn)題，也有助于梯度流動(dòng)。由于圖像超分辨率重構(gòu)是逐像素輸出，相比數(shù)值輸出，本文網(wǎng)絡(luò)結(jié)構(gòu)僅由卷積層構(gòu)成，不考慮容易致使細(xì)節(jié)丟失的池化層。輸入圖像經(jīng)過(guò)卷積層處理，卷積核尺寸為3×3，輸出32張?zhí)卣鲌D，在改進(jìn)殘差塊中進(jìn)行訓(xùn)練。通過(guò)恒等映射分支攜帶的大量細(xì)節(jié)信息，補(bǔ)充到每一個(gè)殘差塊的輸出特征圖上。該遞歸式連接方式，可使每個(gè)殘差塊的權(quán)值共享，從而減小網(wǎng)絡(luò)訓(xùn)練參數(shù)，在一定程度上緩解網(wǎng)絡(luò)訓(xùn)練難度。

殘差學(xué)習(xí)在傳統(tǒng)線性網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，引入捷徑分支，以繞過(guò)相關(guān)層進(jìn)行連接，經(jīng)過(guò)求和方式融入到主路徑。加入捷徑分支后，訓(xùn)練過(guò)程中底層誤差可通過(guò)捷徑向上一層傳播，減緩因?qū)訑?shù)過(guò)多造成的梯度消失現(xiàn)象，提高訓(xùn)練精度。同時(shí)，捷徑引入并沒(méi)有引入額外參數(shù)，不影響原始網(wǎng)絡(luò)復(fù)雜度。整個(gè)網(wǎng)絡(luò)仍可使用現(xiàn)有深度學(xué)習(xí)反饋訓(xùn)練求解。

殘差網(wǎng)絡(luò)是在鏈?zhǔn)侥Ｊ街卸询B局部殘差單元，每個(gè)殘差單元由幾個(gè)卷積層構(gòu)成。鏈?zhǔn)綒埐钅Ｐ腿鐖D3(a)所示，殘差單元輸出表示為：

HU=F(HU-1,WU)+HU-1

(1)

圖像超分辨率重構(gòu)中細(xì)節(jié)信息極為重要，為增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)細(xì)節(jié)信息能力及有效避免過(guò)擬合現(xiàn)象，本文對(duì)殘差網(wǎng)絡(luò)連接方式進(jìn)行改進(jìn)，在殘差網(wǎng)絡(luò)中加入GRL，由于SRR輸出和輸入非常相似，GRL引入減小網(wǎng)絡(luò)計(jì)算復(fù)雜度，顯著提高網(wǎng)絡(luò)訓(xùn)練效率。同時(shí)，為了增強(qiáng)每一個(gè)殘差塊輸出的細(xì)節(jié)信息，將第一層卷積層輸出特征補(bǔ)充到每一個(gè)殘差塊中，為與鏈?zhǔn)綒埐罱Y(jié)構(gòu)進(jìn)行區(qū)分，這種改進(jìn)型殘差網(wǎng)絡(luò)命名為多徑殘差結(jié)構(gòu)。其結(jié)構(gòu)示意圖如圖3(b)所示。將殘差單元可定義為：

HU=F(HU-1,W)+H0

(2)

其中F表示殘差單元的激活函數(shù)，H0是網(wǎng)絡(luò)第一個(gè)卷積層的結(jié)果。由于殘差單位是以遞歸方式學(xué)習(xí)的，所以權(quán)重設(shè)定W在遞歸塊中的殘差單位之間共享。

圖3 殘差結(jié)構(gòu)示意圖Fig.3 Diagram of residual architecture

3.2 基于最大特征圖的改進(jìn)殘差塊

為了增強(qiáng)網(wǎng)絡(luò)泛化能力，使網(wǎng)絡(luò)結(jié)構(gòu)更加緊湊，同時(shí)提高激活函數(shù)非線性性能，本文引入基于最大特征圖激活函數(shù)，該激活函數(shù)在輸入卷積層中選擇兩張?zhí)卣鲌D，并取相同位置較大的值，并提出一種基于最大特征圖的改進(jìn)殘差塊方法。MFM激活函數(shù)如圖4所示。

圖4 MFM結(jié)構(gòu)示意圖Fig.4 Diagram of MFM architecture

下面將對(duì)MFM和ReLU層的前向計(jì)算和后向梯度求解。

假設(shè)ReLU層的輸入集為X，則輸出集Y為

Y=max(0,X)

(3)

(4)

假設(shè)MFM層輸入集為X，先把X等分成X1和X2兩部分，再計(jì)算輸出集Y，即

Y=max(X1,X2)

(5)

MFM層梯度為

(6)

由公式(6)可看出，MFM激活層有一半梯度值為0，可得到稀疏梯度。MFM激活函數(shù)相比于ReLU函數(shù)，后者的特征是稀疏高維的。經(jīng)過(guò)前者處理之后，可得到低維緊實(shí)特征，實(shí)現(xiàn)特征選擇和降維效果。相比ReLU，MFM能使網(wǎng)絡(luò)更緊湊。

殘差塊結(jié)構(gòu)如圖5(a)，輸入表示為Xi，恒等映射為H(Xi)，殘差映射定義為：

F(Xi+1)=H(Xi)+Xi

(7)

相比直接學(xué)習(xí)恒等映射H(Xi)=Xi，殘差結(jié)構(gòu)使網(wǎng)絡(luò)訓(xùn)練更容易。隨著深度網(wǎng)絡(luò)不斷發(fā)展，增加網(wǎng)絡(luò)深度能夠提升網(wǎng)絡(luò)精度。為防止梯度爆炸或梯度彌散，進(jìn)行規(guī)范初始化并引入批量正則化層(batch normalization, BN)方式，利用隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)方法使得反饋網(wǎng)絡(luò)求解得以收斂，降低了網(wǎng)絡(luò)靈活性。且層數(shù)較多時(shí)，梯度在傳播過(guò)程中逐漸消失，反而會(huì)降低識(shí)別率?；谏鲜龃嬖趩?wèn)題，本文提出基于最大特征圖殘差塊，改進(jìn)后殘差塊如下圖5(b)所示。

圖5 基于最大特征圖殘差塊Fig.5 Based on Max-feature-Max residual block

由于BN層會(huì)致使部分細(xì)節(jié)信息丟失有價(jià)值信息，和消耗與卷積層等量?jī)?nèi)存，致使訓(xùn)練速度減慢。因而，本文采用去掉BN層，并采用多徑結(jié)構(gòu)方式，該方式能使網(wǎng)絡(luò)更易收斂，并減輕網(wǎng)絡(luò)深度導(dǎo)致的退化問(wèn)題。卷積網(wǎng)絡(luò)結(jié)構(gòu)中采用ReLU激活函數(shù)時(shí)，存在當(dāng)局部加權(quán)和為負(fù)數(shù)時(shí)激活后值為零導(dǎo)致丟失部分信息問(wèn)題，及梯度消失問(wèn)題。本文引入MFM激活函數(shù)，可有效克服上述兩點(diǎn)問(wèn)題，并能提高激活函數(shù)非線性性能，增強(qiáng)網(wǎng)絡(luò)泛化能力，使網(wǎng)絡(luò)結(jié)構(gòu)更加緊湊。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)參數(shù)設(shè)置

本文實(shí)驗(yàn)所用計(jì)算機(jī)配置為Xeon E3 CPU，NVIDIA GeForce GTX 980的GPU，內(nèi)存為32G。實(shí)驗(yàn)平臺(tái)搭載在win 10操作系統(tǒng)，Matlab R2015a，CUDA Toolkit 8.0，基于caffe框架[34]實(shí)現(xiàn)的。本實(shí)驗(yàn)初始學(xué)習(xí)率為0.01，學(xué)習(xí)率策略為“step”, 每進(jìn)行20個(gè)epochs學(xué)習(xí)率下降10倍，權(quán)重衰減設(shè)置為0.001，采用SGD方法訓(xùn)練網(wǎng)絡(luò)。

本文在Timofte數(shù)據(jù)集中進(jìn)行超分辨率重構(gòu)。為防止網(wǎng)絡(luò)過(guò)擬合，采用尺度縮放和旋轉(zhuǎn)兩種方式對(duì)訓(xùn)練圖像進(jìn)行增強(qiáng)。具體地，對(duì)在數(shù)據(jù)集中每幅圖像進(jìn)行降采樣，縮放到原圖像尺寸的0.6、0.7、0.8、0.9倍。然后將數(shù)據(jù)集中圖像按順時(shí)針?lè)謩e旋轉(zhuǎn)90°、180°、270°。通過(guò)圖像尺度縮放和旋轉(zhuǎn)處理后，原數(shù)據(jù)庫(kù)擴(kuò)增20倍。

半監(jiān)督學(xué)習(xí)(Semisupervised learning, SSL)方法已經(jīng)被證明對(duì)于解決標(biāo)簽樣本短缺是有效的通過(guò)一起使用大量的未標(biāo)記樣本來(lái)解決問(wèn)題少量標(biāo)記樣本。然而，由于標(biāo)簽數(shù)據(jù)含有噪聲，許多傳統(tǒng)的SSL方法不具有魯棒性。Du等[35]提出了一個(gè)基于最大相關(guān)熵準(zhǔn)則(Maximum Correntropy Criterion, MCC)的魯棒圖形SSL方法去學(xué)習(xí)一個(gè)魯棒而強(qiáng)大的泛化模型。基于圖形的SSL框架通過(guò)實(shí)施，得到改進(jìn)監(jiān)督信息的正規(guī)化，這可以加強(qiáng)對(duì)標(biāo)簽的約束，從而確保預(yù)測(cè)的標(biāo)簽的每個(gè)群集都接近真實(shí)的標(biāo)簽。此外，MCC被引入到SSL框架來(lái)抑制標(biāo)簽噪聲，減少噪聲干擾，有利于后續(xù)超分辨率重構(gòu)工作的順利進(jìn)行。本文超分辨率重構(gòu)算法一種多標(biāo)簽的監(jiān)督任務(wù)，異常標(biāo)簽在多標(biāo)簽情況下非常常見(jiàn)，并可能導(dǎo)致監(jiān)督信息的偏倚，因此，Du等[36]提出一個(gè)基于MCC的魯棒的多標(biāo)簽主動(dòng)學(xué)習(xí)方法去解決該問(wèn)題。該方法不僅可以構(gòu)建強(qiáng)大查詢模型去估計(jì)樣本測(cè)量不確定性，也很好地表示多標(biāo)簽數(shù)據(jù)的相似性。

為獲取輸入網(wǎng)絡(luò)初始高分辨率圖像塊及相應(yīng)的本地高分辨率圖像塊，增強(qiáng)網(wǎng)絡(luò)在不同尺度低分辨率圖像的超分辨率重構(gòu)效果，提高網(wǎng)絡(luò)泛化能力，本文對(duì)增強(qiáng)后數(shù)據(jù)集進(jìn)行預(yù)處理，過(guò)程如圖6所示；與灰度圖和RGB圖像相比，高光譜圖像(Hyperspectral Image, HSI)的光譜通道包含更豐富的信息，從而可以提供更多觀測(cè)圖像信息，然HSI總是受龐大的數(shù)據(jù)量和大量的冗余信息影響，這阻礙了其在很多方面的應(yīng)用。HSI壓縮是一種簡(jiǎn)單解決方式，但大多數(shù)傳統(tǒng)的圖像編碼算法主要集中在空間維度上，不需要考慮光譜維度中的冗余。Du[37]提出一種基于圖像塊的低秩張量分解的新型HSI壓縮和重構(gòu)算法，該算法利用圖像塊張量間相似度進(jìn)行壓縮，且該方法優(yōu)于傳統(tǒng)的圖像壓縮方法和其他基于張量的方法。

本文圖像預(yù)處理過(guò)程分為三個(gè)步驟，首先，提取原圖像亮度通道圖像，對(duì)圖像亮度分量進(jìn)行裁剪，并對(duì)裁剪后圖像按不同尺度因子進(jìn)行下采樣。然后，將下采樣后圖像按照對(duì)應(yīng)尺度進(jìn)行上采樣并生成初始高分辨率圖像。最后，為匹配網(wǎng)絡(luò)輸入輸出，將生成初始高分辨率圖像及本地高分辨率圖像按照步長(zhǎng)21裁剪為31*31圖像塊。

4.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文所提圖像超分辨率方法性能，實(shí)驗(yàn)在超分辨率重建領(lǐng)域中通用的測(cè)試集 Set5、Set14、BSD100上進(jìn)行測(cè)試，并將測(cè)試結(jié)果與 Bicubic、A+[23]、SRCNN[24]、FSRCNN[25]、ESPCN[26]等主流方法進(jìn)行對(duì)比。本文采用客觀評(píng)價(jià)指標(biāo)包括峰值信噪比(Peak Signal to Noise Ratio，PSNR)和圖像的結(jié)構(gòu)相似性(Structural Similarity，SSIM)。PSNR是對(duì)經(jīng)過(guò)處理的圖像與原圖像進(jìn)行對(duì)比得到誤差定量計(jì)算，用來(lái)表征圖像失真程度，PSNR越高，表明圖像失真越小。SSIM用來(lái)表征處理后圖像與原圖結(jié)構(gòu)相似性，其值越接近1，表明相似度越高，表明效果越好。表1展示了當(dāng)訓(xùn)練集為91幅圖像時(shí)，各方法分別在2倍、3倍、4倍圖像尺度因子下，在Set5測(cè)試集上經(jīng)超分辨率重建后PSNR值及SSIM值。

圖6 圖像預(yù)處理過(guò)程Fig.6 Image pre-processing process

ImageScale指標(biāo)BicubicSCSR[17]SRCNN[24]本文方法Baby234PSNR37.3237.3238.3038.59SSIM0.950.920.970.97PSNR33.9134.0134.9935.38SSIM0.900.910.920.93PSNR31.7931.9432.3933.36SSIM0.860.870.870.88bird234PSNR36.8337.1340.6441.15SSIM0.970.970.980.99PSNR32.5932.8934.8335.86SSIM0.920.930.950.96PSNR30.1830.4831.1232.86SSIM0.870.880.890.92butterfly234PSNR27.4427.6832.2033.45SSIM0.910.920.960.97PSNR24.0424.3527.4528.99SSIM0.820.840.900.93PSNR22.1022.5624.2826.04SSIM0.740.750.790.88head234PSNR34.8935.0235.6335.86SSIM0.860.880.880.89PSNR32.9133.1233.5233.94SSIM0.800.820.820.83PSNR31.6231.9831.9432.49SSIM0.750.770.760.78Woman234PSNR32.1532.6434.9335.52SSIM0.950.950.960.97PSNR28.5728.9630.7231.49SSIM0.890.900.920.93PSNR26.4726.7227.3528.83SSIM0.830.850.850.89

表1將本文方法與SCSR方法和SRCNN方法這兩種具有代表性超分辨率方法進(jìn)行對(duì)比，從表1可看出，本文所提方法相比于傳統(tǒng)基于樣例學(xué)習(xí)方法具有更高的PSNR值和SSIM值，充分表明本文算法能夠重建出與原圖像結(jié)構(gòu)更為相似的視覺(jué)效果圖，處理效果更好，具有更好的圖像超分辨率重構(gòu)性能。

表2展示了當(dāng)訓(xùn)練集為91幅圖像時(shí)，各方法分別在2倍、3倍、4倍圖像尺度因子下，在各測(cè)試集上圖像經(jīng)超分辨率重建后PSNR的平均值。

表2 超分辨率算法在Set5、Set14、B100數(shù)據(jù)集上PSNR平均值

從表2可看出，本文方法針對(duì)不同數(shù)據(jù)集進(jìn)行超分辨率重構(gòu)均能獲得較好的實(shí)驗(yàn)效果，表明本文所提網(wǎng)絡(luò)泛化能力較好?，F(xiàn)有主流方法如SRCNN、FSRCNN、ESPCN、LapSRN、EDSR等方法需要分別針對(duì)不同尺度因子訓(xùn)練網(wǎng)絡(luò)，網(wǎng)絡(luò)利用率不高，可重用性差，而本文網(wǎng)絡(luò)能夠各數(shù)據(jù)集上超分辨率不同尺度，使網(wǎng)絡(luò)適用多尺度超分辨率重構(gòu)，具有可增強(qiáng)網(wǎng)絡(luò)泛化能力的優(yōu)點(diǎn)。此外，淺層網(wǎng)絡(luò)具有參數(shù)少，易訓(xùn)練的優(yōu)點(diǎn)，但感受野小，不利用充分利用圖像上下文信息。深層網(wǎng)絡(luò)能夠帶來(lái)更好的重構(gòu)效果，但需要引入更多的訓(xùn)練參數(shù)，增大網(wǎng)絡(luò)訓(xùn)練難度，本文方法能夠極大減少參數(shù)量，同時(shí)保持較好的重構(gòu)效果。

同時(shí)，在保持網(wǎng)絡(luò)超參數(shù)設(shè)置不變，僅將網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整為如圖3所示的鏈?zhǔn)浇Y(jié)構(gòu)進(jìn)行實(shí)驗(yàn)，重構(gòu)效果如圖7所示。

采用鏈?zhǔn)綒埐罹W(wǎng)絡(luò)所重構(gòu)圖像效果很差，產(chǎn)生多重邊緣紋理，在視覺(jué)上產(chǎn)生沖擊，可能是訓(xùn)練方式、網(wǎng)絡(luò)初始化方法、超參數(shù)設(shè)置等原因造成這一現(xiàn)象，后續(xù)工作有待進(jìn)一步探究。

為了更直觀顯示本文方法與其他方法效果對(duì)比，圖8展示了在尺度因子為3時(shí)，6幅測(cè)試集中，輸入圖像經(jīng)過(guò)Bicubic、SRCNN與本文所提算法超分辨率重構(gòu)后效果圖，并取局部進(jìn)行3倍放大后圖像進(jìn)行對(duì)比。與SRCNN算法相比，本文算法取得了效果上提升，處理結(jié)果較為清晰，邊緣相對(duì)完整，邊緣效果保持更好，銳度更強(qiáng)，恢復(fù)出的紋理信息更豐富，與原圖相比，視覺(jué)效果更接近，這表明通過(guò)多徑卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)殘差信息更為有效。

圖7 鏈?zhǔn)浇Y(jié)構(gòu)與多徑結(jié)構(gòu)重構(gòu)效果對(duì)比圖Fig.7 Comparison of chain structure and multipath structure reconstruction effect

圖8 重構(gòu)效果圖Fig.8 Subjective evalution effect

表3 不同激活函數(shù)性能比較

表3列出了采用ReLU激活函數(shù)與MFM激活函數(shù)對(duì)比結(jié)果。實(shí)驗(yàn)表明，采用MFM激活函數(shù)比采用ReLU激活函數(shù)效果要好，與ReLU激活函數(shù)相比，MFM具有擬合任意凸函數(shù)的特點(diǎn)，使得網(wǎng)絡(luò)能收斂于更好的全局解。

5 結(jié)論

針對(duì)超分辨率重構(gòu)現(xiàn)有方法存在的問(wèn)題，本文提出可用于便攜式設(shè)備的緊湊型多徑殘差卷積神經(jīng)網(wǎng)絡(luò)，并引入多徑殘差思想，增強(qiáng)網(wǎng)絡(luò)細(xì)節(jié)信息。同時(shí)，采用遞歸塊連接方式，共享遞歸殘差塊參數(shù)，大大了減少參數(shù)量。為使網(wǎng)絡(luò)泛化能力更強(qiáng)，結(jié)構(gòu)更緊湊，本文采用MFM激活函數(shù)，可有效捕捉到緊湊表示及具有競(jìng)爭(zhēng)性特征信息，實(shí)現(xiàn)低分辨率圖像的超分辨率重構(gòu)。實(shí)驗(yàn)結(jié)果表明，本文方法具有良好的重構(gòu)能力，圖像清晰度和邊緣銳度明顯提高，在客觀評(píng)價(jià)和主觀視覺(jué)效果方面均優(yōu)于當(dāng)前主流的超分辨率重構(gòu)方法，在未來(lái)的工作中，可為便攜式高性能超分辨率重構(gòu)奠定理論基礎(chǔ)，以及將多徑模型擴(kuò)展到其他圖像退化領(lǐng)域用于解決實(shí)際問(wèn)題。