基于雙注意力機(jī)制信息蒸餾網(wǎng)絡(luò)的圖像超分辨率復(fù)原算法

王素玉，楊 靜*，李 越

（1.北京市物聯(lián)網(wǎng)軟件與系統(tǒng)工程技術(shù)研究中心（北京工業(yè)大學(xué)），北京 100124；2.北京工業(yè)大學(xué)信息學(xué)部，北京 100124）

0 引言

圖像的超分辨率復(fù)原技術(shù)指的是將給定的低分辨率圖像通過(guò)特定的算法恢復(fù)成相應(yīng)的高分辨率圖像。近年來(lái)，深度學(xué)習(xí)在各種計(jì)算機(jī)視覺(jué)問(wèn)題上表現(xiàn)優(yōu)異，因此許多學(xué)者開(kāi)始設(shè)計(jì)用于圖像超分辨率復(fù)原的深度網(wǎng)絡(luò)結(jié)構(gòu)。2016 年Dong 等［1］使用一個(gè)簡(jiǎn)單的3 層超分辨率神經(jīng)網(wǎng)絡(luò)（Super Resolution Convolutional Neural Network，SRCNN）成功地將卷積神經(jīng)網(wǎng)絡(luò)引入到超分辨率重建中，同時(shí)證明卷積神經(jīng)網(wǎng)絡(luò)可以直接學(xué)習(xí)從低分辨率圖像到高分辨率圖像的端到端的非線(xiàn)性映射，在不需要傳統(tǒng)方法所要求的人工特征的條件下就可以取得很好的效果。在圖像超分辨領(lǐng)域，目前大多數(shù)最新的方法都是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），網(wǎng)絡(luò)的深度對(duì)算法性能的提高具有重要意義，但過(guò)深的網(wǎng)絡(luò)卻難以訓(xùn)練。信息蒸餾網(wǎng)絡(luò)（Information Distillation Network，IDN）［2］有著輕量級(jí)的參數(shù)和計(jì)算復(fù)雜度，該網(wǎng)絡(luò)模型中包含三個(gè)部分，即特征提取模塊、堆疊的信息蒸餾模塊、重建模塊。信息蒸餾模塊是該網(wǎng)絡(luò)的核心，利用蒸餾模塊逐漸提取大量有效特征來(lái)復(fù)原超分辨率圖像，IDN 通過(guò)壓縮網(wǎng)絡(luò)中特征圖通道維度的方式，在減小網(wǎng)絡(luò)參數(shù)、提高速度的情況下，還保證了復(fù)原的結(jié)果。但是，該網(wǎng)絡(luò)對(duì)不同位置和通道特征的差異化利用能力尚顯不足，算法性能仍存在一定的提高空間。

本文在對(duì)現(xiàn)有工作進(jìn)行全面分析和總結(jié)的基礎(chǔ)上，設(shè)計(jì)了一種基于雙注意力機(jī)制的信息蒸餾網(wǎng)絡(luò)，在網(wǎng)絡(luò)模型的基礎(chǔ)上增加通道注意力（Channel Attention，CA）和空間注意力（Spatial Attention，SA）模塊，可以有效地將通道注意力和空間注意力融合起來(lái)，使網(wǎng)絡(luò)專(zhuān)注于更有用的信道并增強(qiáng)辨別學(xué)習(xí)能力，提升算法精度。此外，將L1 損失函數(shù)和多尺度結(jié)構(gòu)相似（Multi-Scale Structure SIMilarity，MS-SSIM）損失函數(shù)結(jié)合起來(lái)構(gòu)建混合損失函數(shù)［3］，加速網(wǎng)絡(luò)收斂，提高圖像復(fù)原質(zhì)量。通過(guò)提出的圖像超分辨率算法得到最終的高分辨圖像，在Set5、Set14、BSD100 和Urban100 測(cè)試集的實(shí)驗(yàn)結(jié)果表明，本文算法得到的高分辨率圖像在客觀指標(biāo)和主觀視覺(jué)上都有明顯提高。

綜上所述，本文的主要工作如下：

1）設(shè)計(jì)了一種基于殘差注意力模塊（Residual Attention Module，RAM）的信息蒸餾網(wǎng)絡(luò)架構(gòu)，使網(wǎng)絡(luò)專(zhuān)注于更有用的信息并增強(qiáng)辨別學(xué)習(xí)能力，提升算法對(duì)高頻細(xì)節(jié)的重建能力，通過(guò)考慮通道之間的相互依賴(lài)性來(lái)自適應(yīng)地重新調(diào)整特征。這種機(jī)制允許網(wǎng)絡(luò)專(zhuān)注于更有用的信道并增強(qiáng)辨別學(xué)習(xí)能力，提升超分辨率復(fù)原的能力。

2）設(shè)計(jì)了一種混合損失函數(shù)。MS-SSIM 容易導(dǎo)致亮度的改變和顏色的偏差，但它能保留高頻信息（圖像的邊緣和細(xì)節(jié)）［4］，而L1 損失函數(shù)能較好地保持亮度和顏色不變化，因此本文提出將L1 損失函數(shù)和MS-SSIM 損失函數(shù)結(jié)合起來(lái)構(gòu)建混合損失函數(shù)，加速網(wǎng)絡(luò)收斂，提高圖像復(fù)原質(zhì)量。

1 相關(guān)工作

1.1 傳統(tǒng)方法

超分辨率復(fù)原是圖像處理領(lǐng)域的經(jīng)典任務(wù)之一，近年來(lái)得到了廣泛的研究。典型的算法包括基于頻域和空域的算法等。2010 年Yang 等［5］開(kāi)創(chuàng)性地將稀疏表示理論應(yīng)用于圖像的超分辨率復(fù)原，通過(guò)學(xué)習(xí)的方式建立高低分辨率圖像間一一對(duì)應(yīng)的冗余字典，實(shí)現(xiàn)圖像中高頻細(xì)節(jié)的重建。隨后，Zeyde 等［6］在Yang 的基礎(chǔ)上進(jìn)行改進(jìn)，利用主成分分析對(duì)訓(xùn)練樣本進(jìn)行降維，并使用K-SVD（K-Singular Value Decomposition）算法進(jìn)行字典訓(xùn)練，進(jìn)一步提高字典訓(xùn)練的效率，從而獲得具有更高質(zhì)量的重建圖像。

1.2 基于CNN的方法

傳統(tǒng)學(xué)習(xí)方法利用訓(xùn)練集隱式地學(xué)習(xí)圖像的某些先驗(yàn)知識(shí)，但是難以學(xué)習(xí)圖像深層次的紋理特征，在圖像紋理細(xì)節(jié)比較豐富的地方會(huì)出現(xiàn)模糊的現(xiàn)象。而深度學(xué)習(xí)的方法，可以利用卷積神經(jīng)網(wǎng)絡(luò)（CNN），主動(dòng)地學(xué)習(xí)圖像中的特征以及高分辨率圖像和低分辨率圖像之間的映射關(guān)系。從卷積層提取特征的可視化結(jié)果可以看出，通過(guò)卷積，可以將圖像淺層的紋理信息和深層的復(fù)雜結(jié)構(gòu)信息提取出來(lái)。所以，基于深度學(xué)習(xí)的超分辨率復(fù)原方法，具有比傳統(tǒng)學(xué)習(xí)方法更好的復(fù)原細(xì)節(jié)的能力。

Dong 等［1］在簡(jiǎn)單的3 層卷積神經(jīng)網(wǎng)絡(luò)模型（SRCNN）基礎(chǔ)上，設(shè)計(jì)更深層的網(wǎng)絡(luò)，但并未發(fā)現(xiàn)較好的性能，因此他們得出深層網(wǎng)絡(luò)并不會(huì)導(dǎo)致更好的性能的結(jié)論。Kim 等［7］提出了一個(gè)20層的基于VGG網(wǎng)絡(luò)的深層卷積網(wǎng)絡(luò)預(yù)測(cè)殘差圖像，并且驗(yàn)證了隨著層數(shù)的增加，模型性能會(huì)得到很大的提升。盡管這些方法有效地改善了復(fù)原后圖像的質(zhì)量，但是對(duì)圖像中存在的邊緣信息丟失等問(wèn)題考慮得不夠充分。圖像邊緣是重要的結(jié)構(gòu)性信息，人的視覺(jué)系統(tǒng)也對(duì)它相當(dāng)敏感。邊緣特征可以為圖像的超分辨率復(fù)原提供有價(jià)值的導(dǎo)向。Noh 等［8］提出了用于語(yǔ)義分割的反卷積網(wǎng)絡(luò)（DeconvNet），通過(guò)在VGG卷積網(wǎng)絡(luò)后使用一個(gè)多層的反卷積網(wǎng)絡(luò)產(chǎn)生輸入圖像的逐像素（pixel-wise）預(yù)測(cè)，實(shí)現(xiàn)目標(biāo)邊緣的精準(zhǔn)預(yù)測(cè)，可以有效地解決目標(biāo)邊緣細(xì)節(jié)丟失等問(wèn)題。Lim 等［9］設(shè)計(jì)了一種增強(qiáng)的深度超分辨率復(fù)原網(wǎng)絡(luò)（Enhanced Deep ReSidual network for single image super-resolution，EDSR），通過(guò)堆疊更多的網(wǎng)絡(luò)層構(gòu)造更深層的卷積網(wǎng)絡(luò)，并且從每層取更多的特征以復(fù)原圖像?，F(xiàn)有研究表明，在圖像超分辨率領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)的深度非常重要，但過(guò)深的網(wǎng)絡(luò)卻難以訓(xùn)練，隨著網(wǎng)絡(luò)的深度和寬度增加，基于CNN 的超分辨方法面臨著計(jì)算和內(nèi)存的問(wèn)題。為解決這個(gè)問(wèn)題，Hui 等［2］提出一個(gè)深但簡(jiǎn)潔的卷積網(wǎng)絡(luò)IDN，直接從原始的低分辨圖像來(lái)復(fù)原高分辨圖像。IDN在保證模型精度的基礎(chǔ)上，明顯提高了網(wǎng)絡(luò)執(zhí)行速度；但是，低分辨率的輸入以及包含豐富特征的低頻信息，卻在通道間被平等對(duì)待，制約了網(wǎng)絡(luò)的表示能力。

鑒于對(duì)上述研究的深入分析，本文基于信息蒸餾網(wǎng)絡(luò)（IDN）模型，設(shè)計(jì)了一種基于RAM 的信息蒸餾網(wǎng)絡(luò)，通過(guò)引入注意力模塊RAM，將在信息蒸餾模塊生成的大量有效信息區(qū)別對(duì)待，從而進(jìn)行更加自適應(yīng)和有效的訓(xùn)練。在此基礎(chǔ)上，為了提高網(wǎng)絡(luò)的收斂速度和圖像復(fù)原質(zhì)量，設(shè)計(jì)了一種基于MS-SSIM 和L1 相結(jié)合的混合損失函數(shù)。本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)有效地提高了圖像超分辨率復(fù)原的能力。

2 雙注意力信息蒸餾網(wǎng)絡(luò)

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文所提網(wǎng)絡(luò)直接從原始的低分辨圖像來(lái)復(fù)原高分辨圖像，其基本網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 基于RAM的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 RAM-based network structure

本文所提網(wǎng)絡(luò)是在信息蒸餾網(wǎng)絡(luò)的基礎(chǔ)上，引入注意力模塊，整體網(wǎng)絡(luò)結(jié)構(gòu)中包含三個(gè)部分，即特征提取模塊、堆疊的信息蒸餾模塊（DBlockN′）和重建模塊。首先通過(guò)特征提取模塊（FBlock）從低分辨率圖像中提取特征。然后經(jīng)過(guò)信息蒸餾模塊對(duì)所提取的特征進(jìn)行篩選，每個(gè)信息蒸餾模塊中包含一個(gè)提升單元和一個(gè)壓縮單元：提升單元主要包括兩個(gè)淺層卷積網(wǎng)絡(luò)，用于混合兩種不同類(lèi)型的特征；而壓縮單元利用1×1 卷積來(lái)實(shí)現(xiàn)壓縮機(jī)制，將提升單元的輸出送至1×1 卷積層，用于提取更有用的信息。信息蒸餾模塊（DBlockN′）中包含一個(gè)RAM 雙注意力模塊，在提取更多殘差信息的基礎(chǔ)上，通過(guò)考慮通道之間的相互依賴(lài)性來(lái)自適應(yīng)地重新調(diào)整特征。最后重建模塊（RBlock）聚集所獲得的高分辨率圖像殘差表示來(lái)生成殘差圖。通過(guò)殘差圖與上采樣后的低分辨率圖進(jìn)行元素間的相加操作，得到最終的高分辨率圖像。

2.2 殘差雙注意力機(jī)制（RAM）

大多數(shù)基于CNN 來(lái)進(jìn)行圖像超分辨的方法都是在內(nèi)部同等地處理所有類(lèi)型的信息，這可能無(wú)法有效地區(qū)分詳細(xì)特征間的差異性（例如低頻和高頻信息），即網(wǎng)絡(luò)選擇性地使用特征的能力有限。為此，本文引入了一種注意力機(jī)制。注意力機(jī)制是各種計(jì)算機(jī)視覺(jué)問(wèn)題中值得注意的網(wǎng)絡(luò)結(jié)構(gòu)之一，它允許網(wǎng)絡(luò)重新校準(zhǔn)提取的特征圖，從而可以進(jìn)行更加自適應(yīng)和有效的訓(xùn)練。網(wǎng)絡(luò)中引入注意力機(jī)制后的特征提取效果如圖2 所示。

圖2 注意力機(jī)制提取效果Fig.2 Extraction effect of attention mechanism

與傳統(tǒng)圖像分割和目標(biāo)檢測(cè)任務(wù)不同，超分辨率復(fù)原過(guò)程旨在恢復(fù)圖像中損失的高頻成分，因而利用通道的高頻特性來(lái)學(xué)習(xí)注意力更加合理?；诖?，本文采用殘差注意力模模塊（RAM）該模型針對(duì)超分辨率復(fù)原過(guò)程的特點(diǎn)，采取方差池化的方法預(yù)測(cè)通道注意力圖［10］，空間注意力則通過(guò)不同的濾波器提取圖像中的邊緣和紋理信息，從而使網(wǎng)絡(luò)專(zhuān)注于更有用的信道并增強(qiáng)辨別學(xué)習(xí)能力，提升算法精度，生成更高質(zhì)量的圖像。模型結(jié)構(gòu)如圖3所示。

圖3 RAM模型結(jié)構(gòu)Fig.3 RAM model structure

如圖3 所示，RAM 由通道注意力（CA）和空間注意力（SA）兩部分組成，其中：CA 部分采取方差池化，求得每個(gè)通道大小為W×H的特征圖的方差，然后通過(guò)兩層神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)注意力圖；在SA 中，每個(gè)通道代表著一種濾波器，不同的濾波器負(fù)責(zé)提取圖像的不同特征，并且采用深度可分離卷積，針對(duì)每個(gè)通道的特征分別卷積得到注意力圖。最后，將通道注意力圖和空間注意力圖相加后，經(jīng)過(guò)一個(gè)Sigmoid 函數(shù)再與原特征相乘，與殘差網(wǎng)絡(luò)結(jié)合便得到RAM 結(jié)構(gòu)［10］。

2.3 混合損失函數(shù)

損失函數(shù)的設(shè)計(jì)是影響網(wǎng)絡(luò)性能的關(guān)鍵因素之一，超分辨率復(fù)原網(wǎng)絡(luò)中常用的損失函數(shù)有L1 和L2 兩種，分別定義如式（1）、（2）：

二者都能夠準(zhǔn)確計(jì)算每個(gè)像素的損失，其中L1 損失函數(shù)對(duì)兩張圖差異的懲罰要弱于L2 損失。有研究表明，L1 可以較好地保持顏色亮度特征。在很多情況下，利用L1 損失函數(shù)可以獲得較好的圖像質(zhì)量。在IDN 中用L1 損失函數(shù)來(lái)度量預(yù)測(cè)高分辨率圖像和對(duì)應(yīng)的真實(shí)圖像之間的差值。

L1 和L2 損失函數(shù)都是基于逐像素比較差異，沒(méi)有考慮圖像的結(jié)構(gòu)性信息，雖然可以獲得較高的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指標(biāo)，但與人類(lèi)的主觀感知尚存在一定偏差。結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）指標(biāo)考慮了亮度、對(duì)比度和結(jié)構(gòu)等指標(biāo)，更重視人類(lèi)視覺(jué)感知。一般而言，將SSIM 作為損失函數(shù)，得到的結(jié)果會(huì)比L1、L2 的結(jié)果更有細(xì)節(jié)，但是會(huì)生成更多的偽信息，PSNR 值會(huì)稍差一些。

本文在傳統(tǒng)損失函數(shù)L1 的基礎(chǔ)上引入MS-SSIM 指標(biāo)，MS-SSIM 是多尺度結(jié)構(gòu)相似性損失函數(shù)，容易導(dǎo)致亮度的改變和顏色的偏差，但能保留圖像的邊緣和細(xì)節(jié)等高頻信息，而L1 損失函數(shù)能較好地保持亮度和顏色不變化。MS-SSIM+L1 混合損失函數(shù)的定義如式（3）：

其中：α為0.84，由實(shí)驗(yàn)［4］得出；G為高斯分布參數(shù)。

所以，將MS-SSIM+L1 混合損失函數(shù)作為網(wǎng)絡(luò)模型的損失函數(shù)，可以加快網(wǎng)絡(luò)的收斂，進(jìn)一步提高網(wǎng)絡(luò)性能。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 評(píng)價(jià)指標(biāo)

為了客觀評(píng)價(jià)算法的性能，本文采用PSNR 和SSIM 作為客觀評(píng)價(jià)標(biāo)準(zhǔn)。

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 數(shù)據(jù)集

本文的 訓(xùn)練集 是291 數(shù)據(jù)集，包 含T91 數(shù)據(jù)集［5］和BSD200 數(shù)據(jù)集［11］，共291 張圖片。為了充分利用訓(xùn)練數(shù)據(jù)，在訓(xùn)練之前，本文使用了3 種數(shù)據(jù)增強(qiáng)方法：1）將圖像旋轉(zhuǎn)90°、180°和270°；2）水平翻轉(zhuǎn)圖像；3）圖像下采樣，下采樣因子分別為0.9、0.8、0.7 和0.6。為了得到高分辨率和低分辨率圖像對(duì)，對(duì)原始高分辨率圖像進(jìn)行下采樣，通過(guò)雙三次插值的方法，得到對(duì)應(yīng)的低分辨率圖像。在公共測(cè)試集Set5、Set14、BSD100 和Urban100 上進(jìn)行測(cè)試，得到本文實(shí)驗(yàn)結(jié)果。

3.2.2 參數(shù)配置

本文中的網(wǎng)絡(luò)是使用Tensorflow 框架完成的。學(xué)習(xí)率初始設(shè)置為1E-4，在微調(diào)階段每次減為原來(lái)的1/10?？紤]到執(zhí)行時(shí)間和復(fù)原質(zhì)量的平衡，本算法構(gòu)建了一個(gè)31 層的網(wǎng)絡(luò)。網(wǎng)絡(luò)中包含4 個(gè)DBlocks′，提升單元中每個(gè)block 的參數(shù)分別設(shè)置為64、16 和4。為減少網(wǎng)絡(luò)參數(shù)，每個(gè)提升單元的第二層和第四層利用4 個(gè)分組卷積。此外，轉(zhuǎn)置卷積采用17×17 大小的濾波器為所有的尺度因子。LReLU 的negative scope 設(shè)為0.05。初始化權(quán)重時(shí)，偏置都設(shè)為0，利用Adam優(yōu)化，mini-batch 大小為64，權(quán)重衰減為1E-4。

3.3 消融實(shí)驗(yàn)

為測(cè)試分析本文設(shè)計(jì)的基于雙注意力的信息蒸餾網(wǎng)絡(luò)模型的性能，設(shè)計(jì)如下實(shí)驗(yàn)，對(duì)所提出的方法進(jìn)行了比較和分析。

1）注意力機(jī)制。

本文實(shí) 驗(yàn)分別 對(duì)SE（Squeeze-and-Excitation）、CBAM（Convolutional Block Attention Module）、RAM 三種不同的注意力機(jī)制進(jìn)行比較，特別針對(duì)空間和通道維度，通過(guò)實(shí)驗(yàn)比較分析了空間注意力和通道注意力接入方式的影響。SE 注意力中包括壓縮模塊和提取模塊，提取的特征圖與每個(gè)通道的重要性進(jìn)行相乘得到全新的特征圖［12］；CBAM 注意力包括空間注意力和通道注意力兩部分，相比SE 機(jī)制，CBAM 在空間層面上也需要網(wǎng)絡(luò)能明白特征圖中哪些部分應(yīng)該有更高的響應(yīng)［13］；RAM 注意力同樣包括空間注意力和通道注意力兩部分，但與CBAM 不同的是，CBAM 將空間注意力和通道注意力串行接入，而RAM 將兩部分并行接入，并和殘差結(jié)構(gòu)結(jié)合，使網(wǎng)絡(luò)專(zhuān)注于更有用的信道并增強(qiáng)辨別學(xué)習(xí)能力。三種算法的實(shí)驗(yàn)結(jié)果如表1 所示，加粗字體表示最優(yōu)結(jié)果。

從表1 中可以看出，注意力模塊的加入能夠從不同程度提升算法性能，其中雙注意力模塊CBAM 和RAM 的效果優(yōu)于普通注意力模塊SE 的效果，驗(yàn)證了空間注意力和通道注意力結(jié)合的網(wǎng)絡(luò)比只有通道注意力的網(wǎng)絡(luò)效果更好。RAM雙注意力模塊將空間注意力和通道注意力并行組合，可以看出并行的方式對(duì)特征辨別學(xué)習(xí)能力更加有效，因此RAM 殘差雙注意力機(jī)制是本文算法的最佳選擇。

表1 不同注意力模塊結(jié)果對(duì)比Tab.1 Comparison of results of different attention modules

2）損失函數(shù)。

本文實(shí)驗(yàn)分別對(duì)傳統(tǒng)損失函數(shù)L1 和多尺度結(jié)構(gòu)相似性損失函數(shù)MS-SSIM 及混合損失函數(shù)（MS-SSIM）+L1 進(jìn)行比較，三種損失函數(shù)的實(shí)驗(yàn)結(jié)果如表2 所示，加粗字體表示最優(yōu)結(jié)果。

表2 不同損失函數(shù)結(jié)果對(duì)比Tab.2 Comparison of results of different loss functions

本文實(shí)驗(yàn)表明，多尺度結(jié)構(gòu)相似性（MS-SSIM）損失函數(shù)能保留圖像的邊緣和細(xì)節(jié)等高頻信息，SSIM 值較高。L1 損失函數(shù)能較好地保持亮度和顏色不變化，PSNR 值較高。兩者相結(jié)合得到的MS-SSIM+L1 混合損失函數(shù)在提升SSIM 指標(biāo)的基礎(chǔ)上，盡可能地保證PSNR 的指標(biāo)不下降，甚至在個(gè)別實(shí)驗(yàn)結(jié)果中還有所提升。因此，MS-SSIM+L1 混合函數(shù)是本文算法的最佳選擇。

3）RAM/（（MS-SSIM）+L1）消融對(duì)比。

本文實(shí)驗(yàn)對(duì)性能較好的注意力機(jī)制（RAM）和混合損失函數(shù)（（MS-SSIM）+L1）分別進(jìn)行實(shí)驗(yàn)，最后再組合實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3 所示，加粗字體表示最優(yōu)結(jié)果。

表3 RAM/（（MS-SSIM）+L1）消融對(duì)比Tab.3 Ablation comparison of RAM/（MS-SSIM）+L1

實(shí)驗(yàn)結(jié)果證明，單獨(dú)使用注意力機(jī)制（RAM）時(shí)，PSNR 值較高；單獨(dú)使用混合損失函數(shù)（（MS-SSIM）+L1）時(shí)，SSIM 值較高。兩者結(jié)合后的實(shí)驗(yàn)結(jié)果可以看出，在明顯提升SSIM 值的基礎(chǔ)上，整體PSNR 值能夠較好地保持。因此可以得出結(jié)論，注意力機(jī)制（RAM）和混合損失函數(shù)（（MS-SSIM）+L1）相結(jié)合的方案是最佳選擇。

3.4 算法整體性能測(cè)試與分析

本文給出了SRCNN［14］、VDSR（Very Deep convolutional network for image Super-Resolution）［7］、DRCN（Deeply-Recursive Convolutional Network）［15］、LapSRN（Laplacian Super Resolution Network）［16］和IDN［2］共5 種 算法，在Set5、Set14、BSD100 和Urban100 數(shù)據(jù)集上分別使用2 倍、3 倍和4 倍放大因子復(fù)原圖像的PSNR 和SSIM 指標(biāo)結(jié)果。對(duì)比本文算法，結(jié)果如表4 所示，加粗字體表示最優(yōu)結(jié)果。

通過(guò)表4 中實(shí)驗(yàn)結(jié)果可以看出，近年來(lái)SRCNN、VDSR、DRCN、LapSRN、IDN 等超分辨率網(wǎng)絡(luò)，在客觀指標(biāo)上不斷提升，信息蒸餾網(wǎng)絡(luò)（IDN）和其他網(wǎng)絡(luò)相比有不錯(cuò)的表現(xiàn)。本文算法在IDN 的基礎(chǔ)上引入雙注意力機(jī)制和混合損失函數(shù)，從實(shí)驗(yàn)結(jié)果可以看出，本文算法復(fù)原圖像的PSNR、SSIM 相比前幾種算法均有所提高，和效果較好的IDN 相比，PSNR 值平均提高0.02 dB，在個(gè)別指標(biāo)上，略低于IDN。而且，因?yàn)橐隡S-SSIM+L1 混合損失函數(shù)，所以在SSIM 指標(biāo)上明顯優(yōu)于IDN，SSIM 值平均提高了1%。整體上，本算法的性能指標(biāo)優(yōu)于其他算法。

表4 六種算法對(duì)比結(jié)果Tab.4 Comparison results of six algorithms

3.5 主觀結(jié)果分析

PSNR 和SSIM 作為評(píng)價(jià)超分辨率質(zhì)量的傳統(tǒng)指標(biāo)，兩者僅依賴(lài)于像素間低層次的差別，不能完全代表人類(lèi)的視覺(jué)質(zhì)量。為了表明本文算法相較于其他算法在主觀視覺(jué)上的差異，本文選擇了具有代表性的算法作為對(duì)比參考，各種算法復(fù)原的結(jié)果如圖4 所示。

如圖4 所示，圖4（c）、（d）和（e）分別為比較先進(jìn)的超分辨率方法復(fù)原得到的圖片，圖4（f）是本文設(shè)計(jì)的網(wǎng)絡(luò)復(fù)原的圖片?？梢钥闯?，本文設(shè)計(jì)的網(wǎng)絡(luò)可以更好地恢復(fù)邊緣信息，在圖像紋理豐富的地方表現(xiàn)更佳。整體上，使用本文方法重建的高光譜圖像邊緣更加清晰，與原始圖像更為相近。

圖4 主觀效果對(duì)比Fig.4 Comparison of subjective effect

4 結(jié)語(yǔ)

為了解決超分辨率復(fù)原技術(shù)面臨的計(jì)算速度慢和邊緣信息丟失的問(wèn)題，本文基于信息蒸餾網(wǎng)絡(luò)（IDN），設(shè)計(jì)了一種雙注意力信息蒸餾網(wǎng)絡(luò)的圖像超分辨率復(fù)原算法。本文算法首先在保持較好精度的輕量化信息蒸餾網(wǎng)絡(luò)模型基礎(chǔ)下，引入RAM，該機(jī)制允許網(wǎng)絡(luò)重新校準(zhǔn)提取的特征圖，增強(qiáng)網(wǎng)絡(luò)的辨別學(xué)習(xí)能力，有效地提升算法精度。此外，利用一個(gè)混合損失函數(shù)來(lái)提高網(wǎng)絡(luò)的收斂速度，提高圖像超分辨率復(fù)原的能力。通過(guò)大量的消融實(shí)驗(yàn)，驗(yàn)證了所設(shè)計(jì)模塊的有效性。該網(wǎng)絡(luò)模型在保證網(wǎng)絡(luò)精度的基礎(chǔ)上，較少增加網(wǎng)絡(luò)計(jì)算速度的壓力，保證計(jì)算的實(shí)時(shí)性。后續(xù)工作將考慮殘差網(wǎng)絡(luò)以及構(gòu)建更深層次的網(wǎng)絡(luò)來(lái)進(jìn)一步提高超分辨率復(fù)原效果。