基于梯度感知的單幅圖像超分辨

周樂，徐龍，劉孝艷，張鑫澤，張選德*

（1.陜西科技大學 電子信息與人工智能學院，陜西 西安710021；2.中國科學院 國家天文臺，北京100101；3.西安石油大學 理學院，陜西 西安710065）

1 引 言

圖像超分辨（Super Resolution，SR）與圖像去噪、圖像去霧等問題同為圖像恢復領域的研究內(nèi)容，它們的共同目標是提升圖像質(zhì)量。圖像超分辨的特定目標是從低分辨率（Low Resolution，LR）圖像恢復得到具有清晰紋理與邊緣的高分辨率（High Resolution，HR）圖像。根據(jù)輸入的LR圖像個數(shù)可以將圖像超分辨分為單幀圖像超分辨（Single Image Super Resolution，SISR）與多幀圖像超分辨（Multiple Image Super Resolution，MISR），本文主要研究SISR，簡稱SR。在SR中，由于可能會有多幅不同的HR圖像退化得到同樣的LR圖像，因此SR問題是一個難解的病態(tài)問題。如今，圖像超分辨已經(jīng)廣泛應用于遙感圖像［1］、醫(yī)學圖像等領域，隨著智能邊緣設備的普及，比如智能手機、VR眼鏡等，在這些設備上部署高性能的SR算法已成為實際生產(chǎn)的關鍵一環(huán)。

從SRCNN［2］首 次 將CNN引 入 圖 像 超 分 辨領域至今，SR性能相較于傳統(tǒng)的對自然圖像的先驗信息進行建模的SR方法有了很大的提升，但已有的高性能SR算法仍然存在兩個方面的缺陷：（1）大多數(shù)方法以峰值信噪比（PSNR）為主導，僅以像素損失訓練網(wǎng)絡，會導致得到的SR圖像趨于平滑，難以恢復出精細的紋理與尖銳的邊緣；（2）模型的計算量與參數(shù)量呈現(xiàn)隨性能增長的趨勢。SR網(wǎng)絡模型近些年不斷地向更深更寬的方向發(fā)展。比如最早將生成對抗網(wǎng)絡（GANs）引入圖像超分辨的SRGAN［3］，其參數(shù)量與每秒浮點運算次數(shù)（Floating-Number Operations，F(xiàn)LOPs）分別為0.73M與7.05G，發(fā)展到近期參數(shù)量與FLOPs分 別 為24.80M與265.14G的SPSR［4］，可以看出，參數(shù)量和計算量均是成倍增長的。其中FLOPs以100×100的LR圖像為輸入計算得來，參數(shù)量與計算量的增長極大地限制了高性能SR算法在智能邊緣設備上的應用。

為了解決PSNR主導的SR方法恢復的高分辨圖像趨于平滑的問題，Justin等人［5］將內(nèi)容損失引入到訓練SR網(wǎng)絡的損失函數(shù)中，使用含有語義信息的特征圖計算損失，使得超分辨圖像的感知質(zhì)量得到改善，有效減少了人工偽影。在生成對抗網(wǎng)絡（GAN）提出之后，Ledig等人［3］又將對抗損失引入訓練SR網(wǎng)絡的損失函數(shù)中，提出SRGAN，得到了更加逼真的重建圖像。近期提出的SPSR利用LR圖像的梯度圖為重建過程提供豐富的結構信息，得到了具有更好感知質(zhì)量的SR圖像。雖然SPSR的性能優(yōu)于先前的感知驅動的SR方法，但其存在參數(shù)量與計算量過大的問題。

為了緩解SR領域存在的問題，本文利用圖像梯度信息，構建較輕量的雙分支SR網(wǎng)絡，其中包括SR分支與梯度分支。梯度分支為SR分支提供梯度信息，幫助SR分支重建出具有更好感知質(zhì)量的SR圖像。同時，為了更充分、準確地利用圖像的梯度信息，首先要避免SPSR中將圖像域特征圖與梯度域特征圖串聯(lián)所帶來的域沖突問題。本文將梯度域特征圖作為作用在圖像域特征圖上的卷積核使用，如此可以有效避免域沖突所帶來的性能損失；其次，為了使得用作卷積核的梯度域特征圖更加符合卷積核特性，在SR分支與梯度分支之間添加了兩個過渡卷積層；最后，通過調(diào)整網(wǎng)絡中的卷積核大小，使得兩個分支對應位置所輸出的圖像域和梯度域特征圖的感受野一致，達到更準確地利用梯度信息的目的。通過有效的網(wǎng)絡結構設計，本文所提出的SR算法在感知質(zhì)量與PSNR之間取得了一個比較好的平衡。除了性能提升之外，本文利用梯度感知獲得了性能優(yōu)勢，通過減少網(wǎng)絡通道數(shù)與基礎構建塊數(shù)目有效減少了SR網(wǎng)絡的計算量與參數(shù)量，與SPSR相比，以將近1/6的計算量與1/10的參數(shù)量取得了與SPSR相近的性能。

2 相關工作

相比于傳統(tǒng)的對先驗信息進行建模的SR方法，基于深度學習的SR方法在性能上有了很大的提升。SRCNN［2］使用3層卷積層首次將CNN引入SR領域，并使用傳統(tǒng)的稀疏表示的思想對這3層CNN的原理進行了解釋，實現(xiàn)了從傳統(tǒng)SR方法到基于深度學習的SR方法的過渡。之后，Kim等人［6］結合殘差網(wǎng)絡提出了更深的超分辨網(wǎng)絡VDSR，得到了更好的SR結果。Zhang等人［7］指出CNN主要是對圖像的先驗信息進行建模，并論證了單一的模型可以處理圖像去塊、去噪以及超分辨問題。上述基于深度學習的圖像超分辨模型的輸入都是LR圖像經(jīng)過雙三次插值之后的粗糙SR圖像，再通過后續(xù)的網(wǎng)絡細化，得到具有較好紋理細節(jié)的SR圖像，稱之為預上采樣框架。然而，這樣的預上采樣框架不僅會導致網(wǎng)絡內(nèi)部計算量的成倍增加，并且還不利于感受野的有效擴充。

為了解決上述問題，Dong等人［8］提出了加速的SRCNN，稱之為FSRCNN，直接將未插值的LR圖像作為網(wǎng)絡的輸入，在網(wǎng)絡末端使用一個反卷積層執(zhí)行圖像的上采樣，稱之為后上采樣框架。后上采樣框架不僅可以減少計算量，擴充感受野，還可以充分利用CNN端到端學習精度高的優(yōu)勢，提高SR性能。使用此框架的性能優(yōu)越的SR方法還有很多。RCAN［9］使用通道注意力機制構建了超過400層的SR網(wǎng)絡，RDN［10］使用密集連接策略構建SR網(wǎng)絡，均獲得了較高的PSNR值。RFANet［11］利用殘差特征融合與增強的空間注意力模塊再次提升了PSNR值。然而，以提升PSNR為目標的SR方法會產(chǎn)生趨于平滑的SR圖像，難以恢復出復雜的紋理與尖銳的邊緣，影響了SR圖像的視覺感知質(zhì)量。為此，Justin等人［5］在將內(nèi)容損失引入到訓練SR網(wǎng)絡的損失函數(shù)中，使得超分辨圖像的感知質(zhì)量得到改善，有效減少了人工偽影。在生成對抗網(wǎng)絡（GAN）［12］提出之后，Ledig等人［3］又將對抗損失引入訓練SR網(wǎng)絡的損失函數(shù)中，得到了更加逼真的重建圖 像。之 后，Wang等 人［13］使 用 殘 差 密 集 塊 對SRGAN加以改進，提出了ESRGAN，獲得了具有更好視覺質(zhì)量的SR結果。Cheng等人提出的SPSR［4］利用梯度信息為重建過程提供了豐富的結構信息，使得SR網(wǎng)絡可以更好地恢復出圖像的細節(jié)紋理。然而，SPSR將圖像域的特征圖與梯度域的特征圖相串聯(lián)，會帶來域沖突的問題，從而導致性能的損失。本文提出梯度感知的圖像超分辨重建，將梯度域的特征圖作為作用在圖像域特征圖上的卷積核，以此避免域沖突所帶來的性能損失，實驗論證了此策略的有效性。

近些年的SR研究除了注重性能的提升之外，為了將高性能的算法部署在智能邊緣設備上，也逐漸開始關注模型的輕量化問題。ClassSR［14］將LR圖像分塊處理，按照恢復難度將其分為3個類，分別使用具有不同容量的模型處理這3類圖像塊，有效地減少了已有模型的計算量。AdderSR［15］利用在圖像識別領域非常有效的AdderNet優(yōu)化SR模型，使用能量消耗較小的加法器替代已有網(wǎng)絡中的乘法操作，達到節(jié)省計算資源的目的。SMSR［16］利用稀疏表示理論減少SR模型在圖像的平滑區(qū)域所消耗的計算量。從近年來SR領域的研究趨勢可以看出，模型的輕量也是評估SR算法不可忽視的重要因素之一，因此，GASR不僅關注所重建出的SR圖像的感知質(zhì)量，同時關注模型的輕量化。

3 梯度感知圖像超分辨重建

3.1 GASR框架

本文構建相對輕量的雙分支圖像超分辨網(wǎng)絡，SR分支用于提取LR圖像的深度特征，梯度分支用于提取LR圖像梯度圖的深度特征。SR分支是圖像超分辨的主分支，梯度分支作為圖像超分辨的輔助分支，為SR分支提供梯度信息，幫助SR分支重建出更準確的紋理信息。GASR整體結構如圖1所示。

圖1 GASR的總體框架Fig.1 Overall framework of GASR

首先，提取LR圖像及其梯度圖的淺層特征：

其中HI(·)與HG(·)分別表示SR分支與梯度分支的淺層特征提取函數(shù)，均為一個3×3的卷積層；X(·)是計算梯度圖的函數(shù)。將提取的LR圖像的淺層特征及其梯度圖的淺層特征作為主干網(wǎng)絡的兩個輸入。SR分支與梯度分支的主干網(wǎng)絡分別由M個殘差梯度感知組（Residual Gradient Aware Group，RGAG）和M個RCAN中的 殘差組（Residual Group，RG）組成，而RGAG與RG分別由N個RGAB與N個RCAB組成。此 外，在主干網(wǎng)絡中還存在一條全局跳躍連接。LR圖像及其梯度圖的深層特征提取可以表示為：

其 中，BIm(·，·)與BGm(·，·)為 第m個RGAG和RG的函數(shù) 表示；FIm是第m個RGAG的 輸出；HGm表示第m個RG中每個RCAB的輸出特征圖，此特征圖是RGAG的輸入之一；FG(m-1)和FGm分別是第m個RG的輸入和輸出。式（3）表明，GASR的兩個分支并不相互獨立，即BIm需要以第m個RG的中間特征圖HGm為另一個輸入以融合梯度信息。最后，將深層特征FIM和FGM分別作為SR分支和梯度分支重建層的輸入：

其 中，RI(·)和RG(·)分 別 表 示SR分 支 和梯 度 分 支的重建函數(shù)，ΛI(·)和ΛG(·)分別表示SR分支與梯度分支。

與SPSR類似，本文采用像素損失、感知損失和對抗損失相結合的方式訓練網(wǎng)絡，使網(wǎng)絡能夠重建出具有更好視覺質(zhì)量的SR圖像。其中，像素損失可以有效地提升PSNR，但會導致SR圖像趨于平滑，難以恢復出尖銳的邊緣以及復雜的紋理。典型的像素損失有L1損失與L2損失，研究表明，L1損失相較于L2損失具有更好的收斂性，并且恢復出的SR圖像視覺質(zhì)量更好，因此選用L1損失作為像素損失：

其中，與分別是作用在SR分支輸出的SR圖像及其梯度圖上的損失是作用在梯度分支輸出的SR梯度圖上的損失。

為了提升圖像的感知質(zhì)量，Justin等人［5］使用預訓練的VGG網(wǎng)絡提取SR圖像和HR圖像含有語義信息的中間層特征，計算它們之間的L1損失：

其 中，Φi(·)表 示 預 訓 練 的VGG模 型 第i層 的輸出。

為了在放大因子較大時能夠恢復出逼真的紋理細節(jié)，Ledig等人將生成對抗網(wǎng)絡（GANs）引入到SR任務中，判別器DI也作為優(yōu)化的目標之一。受到SPSR的啟發(fā)，本文不僅使用判別器DI對SR分支輸出的SR圖像進行判別，也使用判別器DG判別其梯度圖。優(yōu)化DI、DG與ΛI的損失函數(shù)分別是：

其中，與是作用在SR分支輸出的SR圖像上的損失，與是作用其的梯度圖上的損失。GASR是一個高度對稱的雙分支網(wǎng)絡結構，即RGAG與RG在數(shù)量上保持一致、結構上保持相似，如此使得梯度圖的深層特征與同樣位置處LR圖像的深度特征在深度上一致，以便于主分支更好地利用梯度信息。此外，梯度分支輸出梯度圖上的L1損失也更好地保證了這一點。

3.2 殘差梯度感知塊（RGAB）

在闡述RGAB結構之前，首先介紹RCAN中殘差通道注意力塊（Residual Channel Attention Block，RCAB）的結構。RCAB是對基礎殘差塊的改進，在基礎殘差塊的殘差分支尾端添加了通道注意力（Channel Attention，CA），促使網(wǎng)絡可以根據(jù)各通道之間的依賴自適應地為不同通道的特征圖賦予不同的權重。如圖2所示，CA首先通過全局平均池化將輸入的大小為c×w×h的特征圖轉化為一個c維向量，即將特征在空間維度壓縮，然后通過兩個1×1的卷積層對其進行通道降維與升維操作，最后經(jīng)過Sigmoid函數(shù)得到每個通道的權重，將其與輸入特征圖按通道相乘得到加權的輸出特征圖。

RGAB是對RCAB的改進，具體地，就是在RCAB的第一個“卷積層+ReLU”與CA之間插入了梯度感知卷積層（Gradient Aware Convolution，GAConv）。如圖2所示，GAConv由兩個子分支組成。第一個子分支保留原有RCAB的卷積層；第二個子分支為梯度感知分支，以梯度分支的特征圖（圖中綠色長方體）為輸入，其尺寸為k2×w×h。輸入的梯度特征圖每個位置可以組成一個k×k的卷積核（圖中橙色），使用此卷積核在SR分支特征圖（圖中淺灰色）的對應位置進行卷積，得到此位置的梯度感知結果。最后將兩個子分支的輸出特征圖串聯(lián)，通過1×1的卷積層恢復通道數(shù)后輸入到CA中，得到一個RGAB的輸出。

圖2 殘差梯度感知塊結構圖Fig.2 Residual gradient aware block structure

RGAB的設計既保留了原有的RCAB結構，同時避免了直接將梯度域特征圖與圖像域特征圖串聯(lián)而帶來的域沖突問題，也就是將梯度域的特征圖作為卷積核作用在圖像域的特征圖上。實驗證明，將梯度域的特征圖作為SR分支卷積核的策略可以有效避免域沖突所帶來的性能損失。

3.3 梯度融合模塊（GFM）

如圖1所示，梯度融合模塊（Gradient Fusion Module，GFM）由兩個分支對應位置的RGAB與RCAB以及兩個過渡卷積層組成。GFM的輸入輸出均有兩個，分別是梯度域的特征圖與感知梯度的圖像域特征圖。為了盡可能地確保GFM的兩個輸出深度一致，RGAB和RCAB是結構相似且數(shù)量相同的。此外，為了促使RGAB更準確地利用梯度的深度特征，在不考慮CA層的前提下，GFM兩個輸出特征圖的感受野也是一致的。假設輸入特征圖的感受野為x，除了特定的1×1卷積層之外，RGAB和RCAB中其余卷積層的核大小均為k×k，則RCAB輸出的梯度域特征圖的感受野為x+2(k-1)，即圖2中綠色長方體所代表的特征圖的感受野為x+2(k-1)。由于圖2中淺灰色所表示的特征圖感受野為x+(k-1)，因此，GAConv的輸出特征圖感受野則為x+2(k-1)，與梯度域的輸出特征圖感受野一致。

此外，GASR并不直接將梯度分支的特征圖作為卷積核參數(shù)，而是在梯度分支的RCAB與SR分支的RGAB之間添加了兩個過渡卷積層。經(jīng)過大量的有監(jiān)督訓練，GFM中的兩個過渡卷積層可以使得最終作為卷積核的梯度域特征圖更加滿足卷積核特性，獲得性能上的提升。實驗證明，直接地將梯度分支的特征圖作為SR分支的卷積核參數(shù)會使性能有一定的損失。

4 實驗設置及結果分析

4.1 數(shù)據(jù)集與細節(jié)實現(xiàn)

實驗中使用的訓練數(shù)據(jù)集為DIV2K［17］，其中訓練集包含800幅2K的高清圖像。在圖像超分辨常用的測試數(shù)據(jù)集上測試模型性能，如Set5［6］、Set14［18］、BSD100［19］、General100［8］等。參考SPSR，選用感知指數(shù)（PI）［20］、學習的感知圖像塊相似度（LPIPS）［21］、峰值信噪比（PSNR）和結構相似性（SSIM）［22］為主要評價指標，其中LPIPS與PI越低表示SR圖像的感知質(zhì)量越好。

在訓練過程中，首先在DIV2K的800個LRHR圖像對中隨機裁剪16個對應的LR圖像塊與HR圖像塊，其中LR圖像塊大小為48×48，對其進行隨機旋轉與水平翻轉，以變換后的16個圖像對為一批對網(wǎng)絡中參數(shù)進行更新。具體訓練步驟有3步：（1）訓練放大因子為2的SR模型，即裁剪的HR圖像塊大小為96×96，損失函數(shù)僅保留SR圖像上的L1損失；（2）以損失收斂后的2倍的模型為預訓練模型訓練放大因子為4的SR模型，即裁剪的HR圖像塊大小為192×192，同樣地僅保留L1損失；（3）結合內(nèi)容損失與對抗損失對4倍的模型進行微調(diào)得到可以生成具有更好感知質(zhì)量的SR模型。其中第（1）、（2）步是為了保證SR圖像中圖像內(nèi)容的正確性，第（3）步可以達到提升SR圖像感知質(zhì)量的目的。損失函數(shù)如式（7）～（14）所示，最后一步訓練所采用的損失函數(shù)為：

其中：a1=1，a2=0.01，a3=0.005，b1=0.01，b2=0.005，c=0.5。優(yōu) 化 器 使 用ADAM優(yōu) 化器［23］，參數(shù)設置為β1=0.9，β2=0.999，ε=10-8。由于2倍的SR模型是隨機初始化的，因此初始學習率設置為10-4，4倍的SR模型與最終的SR模型均設置初始學習率為6-5，每2×105次迭代學習率衰減為原來的1 2。此外，每1 000次迭代在Set14數(shù)據(jù)集上測試一次，可以直觀地觀察當前的訓練效果。經(jīng)過反復實驗，最終確定RGAG與RG的數(shù) 目M=7，每個RGAG中的RGAB與RG中 的RCAB的數(shù)目N=14，未進行特殊說明的卷積核尺寸均為3×3，網(wǎng)絡通道數(shù)為32。所有實驗均使用PyTorch實 現(xiàn)，在GeForce RTX 2080 Ti GPUs上運行。

4.2 消融實驗

本文對GASR所提出的改進點做消融實驗，以支撐本文論點的正確性，消融實驗的結果如表1所示，均為Set14上測試結果的平均值。

（1）梯度分支的有效性。本文構建了雙分支網(wǎng)絡模型GASR，其中梯度分支作為SR分支的輔助分支，為LR圖像的超分辨過程提供梯度信息。為了證明梯度分支的有效性，在對比實驗中，我們構建了減少通道數(shù)與基礎構建塊數(shù)目的RCAN模型，相當于去除GASR中的梯度分支，記為RCAN_sub。對比表1中RCAN_sub與GASR的實驗結果可以發(fā)現(xiàn)，GASR的LPIPS優(yōu)于RCAN_sub，并且RCAN_sub在PSNR上也遜色于有梯度分支的GASR。這有效地驗證了梯度分支的存在對于更準確地重建高分辨圖像的邊緣結構起著積極的作用，有助于提升SR圖像的視覺質(zhì)量。

（2）域沖突的影響。為了證明本文所提出的避免不同域特征圖串聯(lián)來緩解域沖突問題策略的有效性，本實驗構建了直接將圖像域與梯度域特征圖在通道維度串聯(lián)的網(wǎng)絡模型，記為Model_1。Model_1模型的上下分支均以RCAB為基礎構建塊，梯度分支的每個RCAB輸出不僅作為下一個RCAB的輸入，同時要與SR分支對應位置的RCAB的輸出在通道維度串聯(lián)，再經(jīng)過一個1×1卷積層恢復通道數(shù)，此輸出作為SR分支下一個RCAB的輸入。從表1的實驗結果可以發(fā)現(xiàn)，不同域的特征圖直接串聯(lián)造成了LPIPS與PSNR不同程度的惡化，表明直接將圖像域與梯度域的特征圖串聯(lián)所造成的域沖突問題會導致圖像超分辨性能的下降。

表1 消融實驗各評價指標結果（Set14×4）Tab.1 Evaluation index of ablation experiment（Set14×4）

（3）過渡卷積層的必要性。本實驗將GASR中RGAB與RCAB之間的兩個過渡卷積層移至梯度分支的相鄰RCAB之間，以證明過渡卷積層的有效性。首先在GASR中去除兩個過渡卷積層，接下來在梯度分支的相鄰RCAB之間添加兩個1×1卷積層。第一個卷積層將上一個RCAB輸出的梯度域特征圖的通道數(shù)轉換為3×3=9個通道，此卷積層所輸出的特征圖不僅用于下一個卷積層的輸入，同時也要作為對應位置RGAB中卷積層的卷積核參數(shù)。第二個卷積層起到恢復通道數(shù)的作用，記此網(wǎng)絡為Model_2。由表1的實驗結果可知，去除了過渡卷積層的Model_2在LPIPS和PSNR指標上均遜色于GASR，此結果驗證了過渡卷積層可以起到使得梯度域特征圖更加符合卷積核特性的作用。

4.3 基準數(shù)據(jù)集的對比實驗

本文將GASR的實驗結果與之前性能較好的感知驅動的SR算法做定量與定性上的比較，對比算法包括SFTGAN［24］、SRGAN［3］、ESRGAN［13］、EnhenceNet［25］與SPSR［4］。定 量 比 較 結 果 如 表2所示，定性比較結果如圖3所示。

（1）定量對比。從表2可以看出，雖然SPSR達到了比較好的LPIPS與PI，但其參數(shù)量與計算量較大，其中參數(shù)量是GASR的5.7倍，F(xiàn)LOPs是GASR的10.2倍，GASR以絕 對 的 參 數(shù) 量 與計算量優(yōu)勢達到了與SPSR相近的性能。與ESRGAN相比，GASR也以更少的參數(shù)量與計算量取得了更好的性能，其中ESRGAN的參數(shù)量是GASR的3.9倍，F(xiàn)LOPs是GASR的3.4倍。雖然SFTGAN與SRGAN參數(shù)量與計算量較少，但其性能上遜色于其余的對比算法。此外，與感知驅動的對比SR算法相比，GASR在所有數(shù)據(jù)集上取得了最好的PSNR與SSIM，表明其在感知質(zhì)量與平滑度之間取得了更好的平衡。表2中的結果表明，本文所提出的GASR相較于其余感知驅動的SR算法以較少的參數(shù)量達到了優(yōu)越的性能。

表2 與先進的感知驅動的SR方法的比較結果（×4）Tab.2 Results compared with advanced perception-driven SR method（×4）

（2）定性對比。圖3展示了GASR與其余感知驅動的SR算法在視覺效果上的對比。從第1組對比圖可以看出，SRGAN所恢復的圖像趨于平滑，難以恢復塔尖的細節(jié)；EnhenceNet、SFTGAN與ESRGAN雖然能夠恢復出塔尖的大體結構，但對于細節(jié)的恢復還有待提升；SPSR雖然能夠恢復出部分塔尖的細節(jié)，但GASR的細節(jié)更為準確，與HR圖像更為貼合。觀察第2、3、4組對比結果可知，SRGAN均會產(chǎn)生過度平滑的SR結果，EnhenceNet、SFTGAN、ESRGAN與SPSR會產(chǎn)生一些雜亂的紋理，導致SR圖像嚴重失真，而GASR在平滑度與紋理生成之間取得了更好的平衡，獲得了更好的視覺效果。這有效地驗證了GASR可以更準確地恢復圖像的結構信息，產(chǎn)生視覺質(zhì)量更優(yōu)的SR圖像的結論。

圖3 與先進的感知驅動的SR方法的視覺比較結果（×4）Fig.3 Results compared visually with perceptual-driven SR methods（×4）

4.4 真實圖像的對比實驗

除了在基準數(shù)據(jù)集上對GASR做定量與定性分析之外，也在真實圖像上分析了GASR的有效性。本實驗選取感知驅動的SR算法如SFTGAN［24］、SRGAN［3］、ESRGAN［13］、USRGAN［26］、SPSR［4］與GASR做比對。

RealSR［27］是通過調(diào)節(jié)相機焦距并利用圖像配準算法獲得的真實LR-HR圖像對的數(shù)據(jù)集。本實驗隨機選取RealSR中的46對LR-HR圖像對作為測試圖像，將GASR與雙三次（Bibubic）插值、ESRGAN與USRGAN進行比較，定量比較結果如表3所示。與計算復雜度更高的ESRGAN相比，GASR以復雜度低的優(yōu)勢在各個評價指標上均勝出，而USRGAN雖然取得了更高的PSNR與SSIM，但其所得SR圖像的感知質(zhì)量不及GASR。定性比較結果如圖4所示。SFTGAN與ESRGAN均會產(chǎn)生不同程度的雜亂紋理或失真現(xiàn)象，SRGAN難以恢復圖像的邊緣，而GASR雖然有少量人工偽影，但其相較于上述3種算法所恢復出的圖像邊緣更加清晰。雖然SPSR可以構建出更清晰的圖像邊緣，但從圖4括號中所標注的FLOPs看出，SPSR的計算量是GASR的10倍左右，這極大地限制了SPSR在真實場景中的應用。

表3 RealSR數(shù)據(jù)集上的比較結果（×4）Tab.3 Comparison results on RealSR datasets（×4）

圖4 真實圖像上的對比實驗結果（×4）Fig.4 Comparison of experimental results on real images（×4）

5 結 論

本文提出了一種較輕量的梯度感知圖像超分辨（GASR）算法，可以更準確地利用圖像的梯度域信息，產(chǎn)生具有更好感知質(zhì)量的SR圖像。GASR主要從以下兩個方面達到準確利用梯度域信息的目的：首先，將梯度域的特征圖作為作用在圖像域特征圖上的卷積核，如此可以有效地避免不同域特征圖串聯(lián)所帶來的域沖突問題；其次，為了保證梯度域特征圖和圖像域特征圖在對應位置的感受野一致，在卷積核尺寸等模型細節(jié)上進行了一定設計。最終GASR以4.3M的參數(shù)量與26.6G FLOPs的計算量達到了比其他感知驅動的SR算法更好的性能，在紋理生成與平滑度之間取得了更好的平衡。