高質(zhì)量輕量級超分辨率重建網(wǎng)絡模型的設計

黃揚鈚， 梁紅珍， 彭智勇

(1.桂林電子科技大學 電子工程與自動化學院，廣西 桂林 541004;2.桂林生命與健康職業(yè)技術(shù)學院，廣西 桂林 541001)

圖像超分辨率重建能針對細節(jié)缺失的低分辨率圖像，重建出細節(jié)更豐富、畫質(zhì)更清晰的高分辨率圖像。在醫(yī)學圖像處理、衛(wèi)星遙感影像、安防監(jiān)控及圖像壓縮、傳輸?shù)阮I(lǐng)域中有著廣泛的應用。但一幅低分辨率圖像，有無數(shù)幅與其對應的高分辨率圖像，故超分辨率重建是一個病態(tài)問題。為解決該問題，研究人員提出了多種基于深度學習的圖像超分辨率重建算法[1]。

2014年，由Dong等[2]首次提出基于卷積神經(jīng)網(wǎng)絡的圖像超分辨率重建算法SRCNN，該網(wǎng)絡僅使用3個卷積層，卻取得比傳統(tǒng)方法更好的重建質(zhì)量；Kim等[3]采用殘差結(jié)構(gòu)提出VDSR，其網(wǎng)絡有20個卷積層，更深的網(wǎng)絡層擁有更大的感受野，并引入全局殘差學習，超分辨率重建性能得到較大的提升；SRCNN和VDSR結(jié)構(gòu)中，先使用雙三次插值將低分辨率圖像放大到目標尺寸作為第一個卷積層的輸入，增大了計算量[4]。Dong等[5]對SRCNN進行改進，提出快速超分辨率卷積神經(jīng)網(wǎng)絡FSRCNN，直接以低分辨率圖像作為輸入，在最后一層使用反卷積進行圖像放大；Tai等[6]對VDSR進行改進并提出DRRN，把網(wǎng)絡結(jié)構(gòu)加深到52層，引進局部殘差和多權(quán)重遞歸學習方法，使性能得到進一步提升；2018年，Li等[7]提出多尺度殘差MSRN，第一次在殘差結(jié)構(gòu)中使用多尺度模式，采用不同的尺度提取到更豐富的特征，但所用的多尺度特征提取模塊計算復雜度高、參數(shù)量大；陶狀等[8]在整個網(wǎng)絡中引入多個反饋模塊，把低分辨率圖像和前一個反饋模塊的輸出作為后一個模塊的輸入，通過自頂向下的反饋機制，用網(wǎng)絡中的高層信息來細化低層信息，產(chǎn)生非常好的高層表征能力。近年來，基于CNN的超分辨率重建算法從重建的性能指標上及重建視覺效果上都取得了較好的成果。

SRCNN與FSRCNN采用層與層之間堆疊的方式構(gòu)建模型，沒有充分利用網(wǎng)絡各層的特征；VDSR則采用全局的殘差結(jié)構(gòu)，盡管有效地把低層特征傳遞到高層，但沒有充分利用中間層的特征，導致重建的圖像紋理細節(jié)不夠清晰。針對此問題，Tong等[9]在密集網(wǎng)絡的基礎上提出SRDenseNet，將稠密塊結(jié)構(gòu)DenseNet[10]應用到超分辨率問題上，充分地利用網(wǎng)絡中每個深度的特征，但是過于密集的網(wǎng)絡存在大量的特征冗余，計算成本高，不利于快速重建。

針對上述問題，設計了一個既能充分利用網(wǎng)絡各層提取的特征信息，同時盡量減少過多的冗余信息的輕量級網(wǎng)絡結(jié)構(gòu)來進行單幀圖像超分辨率重建。以Res2Net[11]和MSRN的框架為基礎，提出了基于卷積神經(jīng)網(wǎng)絡的多尺度多階段特征提取融合網(wǎng)絡，實現(xiàn)單幀圖像的超分辨率重建，主要有以下兩點貢獻：1)在殘差學習的思想上，使用跳躍的連接方法，分別對局部特征和全局特征進行有效融合，實現(xiàn)特征多層復用，為重建放大模塊提供了豐富的不同頻率信息；2)提出了多尺度多階段特征提取融合模塊，分別使用兩條路徑，由不同卷積核尺寸進行特征提取，有效地得到多種感受野特征。

1 網(wǎng)絡結(jié)構(gòu)

1.1 網(wǎng)絡總體結(jié)構(gòu)

SSD[12]算法采用尺寸大小不同的特征提取模塊檢測圖像特征，將每一個特征提取模塊所提取到的特征通過跳躍的連接方式直接傳到全局特征融合單元，從而較好地融合了不同尺度特征，此算法在目標檢測中有廣泛的應用。網(wǎng)絡總體結(jié)構(gòu)采用類似于SSD網(wǎng)絡結(jié)構(gòu)，如圖1所示，構(gòu)建了一個具有多尺度特征提取，同時包含局部特征融合和全局特征融合的輕量級卷積神經(jīng)網(wǎng)絡，實現(xiàn)端到端的超分辨率重建。該網(wǎng)絡主要由3種類型模塊構(gòu)成：復合特征提取模塊、全局特征融合單元、重構(gòu)放大模塊。

圖1 網(wǎng)絡總體結(jié)構(gòu)示意圖

圖1中，圖像塊輸入后先通過3×3的卷積層進行淺層特征提取，然后通過多級復合特征提取模塊提取圖像不同程度抽象特征(測試使用6個復合特征提取模塊)。設計的復合特征提取模塊內(nèi)部融合有多尺度多階段特征，增加了小的殘差塊，增大每一層的感受野，在不增加網(wǎng)絡計算負載的前提下，使特征提取能力更加強大。隨后，通過1×1的卷積層把提取到的各級特征進行全局融合，有效地利用網(wǎng)絡中不同抽象程度信息。最后通過重構(gòu)放大模塊把融合后的所有特征信息進行有效利用，重建出紋理細節(jié)清晰的超分辨率圖像。

1.2 復合特征提取模塊

提出的復合特征提取模塊基本結(jié)構(gòu)如圖2(c)所示，總體上為殘差結(jié)構(gòu)，但在特征提取的卷積單元上與傳統(tǒng)殘差結(jié)構(gòu)ResNet[13](圖2(a))存在較大差異，為了減輕網(wǎng)絡的計算負載，采用了類似于Res2Net結(jié)構(gòu)(圖2(b))，但為了融合多尺度、增強特征提取能力，對Res2Net結(jié)構(gòu)進行了改進。提出的特征提取模塊，首先通過1×1的卷積對輸入特征數(shù)量進行線性擴增；然后對所得的特征進行切分，分別輸入到模塊中的不同路徑；最后把所有的輸出通過1×1的壓縮卷積層進行局部特征融合。其中，Res2Net是通過增加跳躍連接的殘差思想來增加每一個卷積層的感受野，在每個3×3的卷積層中使用分組卷積進行運算，在不增加計算復雜度和網(wǎng)絡參數(shù)量的前提下實現(xiàn)了性能的提升。如式(1)和式(2)所示，分別表示分組卷積和傳統(tǒng)卷積參數(shù)量的計算公式：

圖2 不同特征提取模塊結(jié)構(gòu)示意圖

p1=cin×cout×k×k，

(1)

(2)

式中：n表示把特征分為n組；k為卷積核尺寸；cin和cout分別為卷積層輸入和輸出的特征數(shù)量，由式(1)和式(2)得p1/p2=n，表示傳統(tǒng)卷積層的參數(shù)量是分組卷積層的n倍。

相比于Res2Net的網(wǎng)絡結(jié)構(gòu)，本研究采用小的殘差結(jié)構(gòu)來增加卷積層的感受野，并聯(lián)合使用3×3和5×5的卷積核進行特征提取，實現(xiàn)多尺度特征提取，在模塊的最后使用1×1的壓縮卷積層將模塊中每層提取到的特征進行融合，得到多尺度復合特征。

在測試實驗中把圖2的3種結(jié)構(gòu)放在本模型中進行了對比測試，證明了提出的復合特征提取模塊相對傳統(tǒng)結(jié)構(gòu)的優(yōu)越性。

1.3 全局特征融合模塊及重構(gòu)放大模塊

在深度學習網(wǎng)絡中，為了提高網(wǎng)絡性能，往往使用深層次的卷積神經(jīng)網(wǎng)絡，但是隨著網(wǎng)絡深度的增加，模型計算量迅速增大，但模型的性能可能不再提升，且網(wǎng)絡難以訓練，同時特征在傳輸?shù)倪^程中逐漸減弱。將圖1中淺層特征提取模塊(3×3卷積層)和各級復合特征提取模塊的所有輸出,通過跳躍連接方式輸入到全局特征融合模塊，充分利用不同抽象程度特征，有效地將低層的特征快速傳到高層，使得低層特征信息在最終結(jié)果中也有很好的體現(xiàn)，同時也加快了網(wǎng)絡的收斂速度。全局特征融合模塊表達式為

(3)

最后，利用重構(gòu)放大模塊重建出紋理細節(jié)清晰的超分辨率圖像。使用Shi等[14]提出的基于亞像素圖像放大的超分辨率算法ESPCN進行重構(gòu)放大，該方法把低分辨率影像中的不同亞像素位置，通過濾波器卷積時周期性地激活，將各通道數(shù)據(jù)周期性地映射到亞像素位置，從而將r2個尺寸為w×h的通道數(shù)據(jù)卷積擴展成尺寸為r×w×h×r的單通數(shù)據(jù)(r為放大倍率)。重構(gòu)放大模塊表達式為

(4)

其中：P為上采用運算；s為上采樣因子；ISR為輸出的超分辨率圖像。

2 模型訓練及測試

訓練數(shù)據(jù)集為DIV2K，包含800張訓練集圖像和100張驗證集圖像；在訓練時先將圖像作增強預處理，對每一張圖像作隨機旋轉(zhuǎn)0°、90°、180°、270°，水平和垂直鏡像翻轉(zhuǎn)。參照EDSR[15]，在訓練初始階段，先對數(shù)據(jù)進行歸一化、中心偏移處理。測試時在圖像的Y通道進行測試，數(shù)據(jù)選用的是4個被廣泛使用的基準數(shù)據(jù)集Set5、Set14、Urban100和BSD100。實驗所用的電腦系統(tǒng)為Ubuntu1 6.04，CPU型號為英特爾i9-10900 K，GPU為RTX 2080TI，通過Python 3.6、Pytorch 1.2編程實現(xiàn)。

2.1 訓練細節(jié)

在訓練過程中為加快訓練速度、減小訓練的內(nèi)存消耗，對模型輸入作裁剪處理，分割成大小為64×64的圖像塊，批處理的大小為64。使用Adam優(yōu)化器進行模型的訓練，利用梯度的一階矩陣估計和二階矩陣估計來動態(tài)地調(diào)整網(wǎng)絡中每個參數(shù)的學習率。在訓練初始時，將優(yōu)化器2個動量參數(shù)分別設置為0.9和0.999，初始學習率設置為0.000 1，隨著訓練的進行，不斷向下調(diào)整學習率，每訓練40 000步調(diào)整學習率至原來的一半。在梯度計算過程中，以10為上限對梯度大于10的梯度進行裁剪處理。訓練時以L1范數(shù)作為損失函數(shù)，定義為

(5)

式中：IHR為標準高分率圖像；ISR為重建出來的超分辨率圖像；N為訓練圖像的數(shù)量。

2.2 消融測試

為了驗證新超分模型的有效性，從特征提取模塊的數(shù)量和多尺度卷積的有效性方面設計了多次消融測試，對比分析了模型參數(shù)量及超分性能的變化：1)在特征提取模塊數(shù)量的有效性分析時，用控制變量法對多尺度卷積核尺寸固定，只改變特征提取模塊的數(shù)量，在此過程中測試的特征提取模塊數(shù)量有5、6和7三類；2)在多尺度的有效性分析中，控制特征提取模塊的數(shù)量，測試的卷積核大小有5×5、3×3兩種情況。整個消融實驗總共進行了6種模型的測試，其結(jié)果如表1所示。

表1 消融測試結(jié)果(PSNR/SSIM) (×2)

從實驗結(jié)果可發(fā)現(xiàn)，特征提取模塊的數(shù)量和多尺度卷積對實驗的結(jié)果產(chǎn)生了顯著影響。在特征提取模塊數(shù)量一定時，模塊中使用5×5卷積核的模型取得更優(yōu)的結(jié)果(特征提取模塊個數(shù)為6時，峰值信噪比在Set5、Set14和BSD100上分別提高了0.03 dB、0.04 dB和0.01 dB)，說明5×5的卷積核在模塊中起到了相比于3×3卷積核更有效的特征提取；在采有5×5卷積核基礎上，比較特征提取模塊的數(shù)量時，發(fā)現(xiàn)模塊數(shù)量為6時，相比于模塊數(shù)量為5，指標提升明顯(Set5上峰值信噪比提高了0.09 dB，結(jié)構(gòu)相似度提高了0.000 2；在Set14上峰值信噪比提高了0.09 dB，結(jié)構(gòu)相似度提高了0.000 7等)；而模塊數(shù)量為7時，相比于模塊數(shù)量為6，則效果提升較小(Set5上峰值信噪比僅提高了0.03 dB，結(jié)構(gòu)相似度提高了0.000 1；在Set14上峰值信噪比提高了0.01 dB，結(jié)構(gòu)相似度提高了0.000 3等)。因此，在后續(xù)實驗中，選擇6個特征提取模塊進行特征提取，即保證了網(wǎng)絡的重建質(zhì)量，同時兼顧網(wǎng)絡的參數(shù)和計算復雜度。

2.3 對比測試

為了證明提出的復合特征提取模塊相的有效性，將模型結(jié)構(gòu)中的特征提取模塊分別取用傳統(tǒng)殘差結(jié)構(gòu)(ResNet)、Res2Net結(jié)構(gòu)及新的復合特征提取結(jié)構(gòu)在標準測試集Set5、Set14、Urban100、BSD100上進行了對比測試，其測試結(jié)果如表2所示。

從表2可看出，相比于ResNet和Res2Net，提出的特征提取模塊的PSNR及SSIM均高于傳統(tǒng)算法，具有一定的優(yōu)越性，也表明了新復合特征提取結(jié)構(gòu)的有效性。從PSNR、SSIM、模型計算量及參數(shù)量幾個方面，在標準測試集Set5、Set14、Urban100及BSD100上與經(jīng)典超分辨率重構(gòu)網(wǎng)絡進行2倍放大對比測試，得出的結(jié)果如表3所示。從表3可看到，本算法相比于SRCNN、VDSR等經(jīng)典算法，在各測試集中均有更好的性能指標，針對所有測集都有更高的PSNR及SSIM；與最近2年提出的輕量級網(wǎng)絡(CARN[16]、FALSR[17])進行對比，可以發(fā)現(xiàn)本算法在參數(shù)量及計算量更低的情況下，在各測試集上也均取得了略高的指標，在Set5、BSD100數(shù)據(jù)集上，峰值信噪比分別為37.83、32.10 dB，均為最優(yōu)；在Set14數(shù)據(jù)集上，與CARN、FALSR網(wǎng)絡基本一致。

表2 不同特征提取模塊對比試(PSNR/SSIM) (×2)

表3 與經(jīng)典算法的對比測試(PSNR/SSIM) (×2)

在對比實驗中，除了對重建圖像的質(zhì)量在PSNR和SSIM兩個評價指標上進行對比，同時也從視覺效果上與經(jīng)典算法進行了對比測試，具體測試結(jié)果如圖3所示。對真實高清圖(原圖)進行局部放大得到HR。從局部細節(jié)中可發(fā)現(xiàn)，本算法的重建出的紋理細節(jié)清晰度優(yōu)于傳統(tǒng)的BICUBIC、FSRCNN、LAPSRN與VDSR。進一步驗證了本結(jié)構(gòu)的有效性和實用性。

圖3 重建效果對比

3 結(jié)束語

提出了高質(zhì)量輕量級超分辨率重建網(wǎng)絡模型，通過多階段多尺度的特征提取融合網(wǎng)絡，將各層間分層特征充分利用，同時在新的特征提取模塊中使用分組計算，將超分辨率重建網(wǎng)絡的計算量與性能得到了很好的均衡。新算法在提高重建質(zhì)量的同時，并沒有明顯增加模型計算復雜度和參數(shù)量。測試結(jié)果表明，本算法與先前的輕量級神經(jīng)網(wǎng)絡相比，在峰值信噪比和結(jié)構(gòu)相似度評價指標上有一定的提升，同時明顯改善了超分辨率重建的視覺效果。