深度學習單幀圖像超分辨率重建研究綜述

曲延云，陳 蓉，李翠華，王菡子

(1.廈門大學信息學院，福建 廈門 361005；2.西藏民族大學信息工程學院，陜西 咸陽 712082)

單幀圖像超分辨率重建(single image super-resolution reconstruction，SISR)技術是指將一幅低分辨率(low-resolution，LR)圖像重建成一幅高分辨率(high-resolution，HR)圖像的過程，有著廣泛的應用，常被應用于醫(yī)療成像、衛(wèi)星遙感、公共安全監(jiān)控、多媒體通訊等領域.

SISR是一類典型不適定問題.首個基于深度學習的超分辨率卷積神經(jīng)網(wǎng)絡(super-resolution convolutional neural network,SRCNN)[1]通過學習大量的外部圖像數(shù)據(jù)集，實現(xiàn)了一種端到端的解決方案，避免了繁瑣的圖像預處理過程，也為后續(xù)眾多的SISR模型奠定了研究基礎.SRCNN在定性和定量指標上都超過傳統(tǒng)SISR方法，取得突破性增益值.目前，基于深度學習的SISR方法進入快速發(fā)展期，大量的研究成果已發(fā)表在國際計算機視覺、圖像處理與信號處理領域的頂級會議和期刊上.不僅如此，還出現(xiàn)了多篇基于深度學習的SISR綜述性論文：2017年，孫旭等[2]從網(wǎng)絡類型、網(wǎng)絡結構、訓練方法等方面綜述了現(xiàn)有SISR技術的優(yōu)勢與不足, 梳理了基于深度學習的SISR的發(fā)展脈絡.2019年，Wang等[3]從有監(jiān)督、無監(jiān)督和典型應用領域三個方面，全面闡述了基于深度學習的SISR技術.同年，Yang等[4]從基于深度學習的SISR的兩類核心問題(神經(jīng)網(wǎng)絡結構和目標優(yōu)化函數(shù))出發(fā)，對每一類都建立一個基準，總結關鍵問題并給出關鍵解釋和分析.2020年，唐艷秋等[5]從模型類型、網(wǎng)絡結構、信息傳遞技術等方面詳述了各種深度學習SISR方法.

自2010年起，廈門大學信息學院視頻和圖像處理實驗室在SISR上進行了深入的研究[6-18]，催生了一批深度學習的重要成果：利用深度玻爾茲曼機(RBM)進行SISR研究[14]，是利用深度學習解決SISR問題最早的論文之一；提出深度耦合自編碼網(wǎng)絡[15]求解SISR問題，SISR效果達到當時最好水平；將幾何統(tǒng)計和圖像統(tǒng)計先驗聯(lián)合建模結合到深度自編碼耦合神經(jīng)網(wǎng)絡中，進一步提升SISR的性能[16]；隨著深度學習的發(fā)展，本實驗室也緊跟科研熱點，利用生成對抗網(wǎng)絡(generative adversarial network,GAN)結合注意力機制進行SISR，實現(xiàn)主、客觀圖像質量的同步提升[17]；另外，本實驗室還關注SISR深度學習架構的模型壓縮問題，提出了LatticeNet[18]，用快速傅里葉變換的蝶式結構替換深度CNN的殘差結構，減小了模型的規(guī)模，同時保證了SISR的性能.

SISR技術將LR圖像映射到HR圖像上時，盡管低頻信息丟失少，但是高頻信息因圖像質量下降被大量丟棄，為了獲得高精度且具有真實紋理的SISR結果，面臨如下兩大挑戰(zhàn)：

1)建立合成的成對數(shù)據(jù)集上的LR-HR圖像的映射模型.這類挑戰(zhàn)的核心問題是如何設計深度網(wǎng)絡模型學習有效的LR-HR圖像映射關系，補全HR圖像中丟失的高頻信息.根據(jù)LR-HR圖像映射模型構建中所利用的監(jiān)督信息的多少，將深度SISR模型分為3大類：有監(jiān)督SISR、弱監(jiān)督SISR和無監(jiān)督SISR.有監(jiān)督SISR需要成對的數(shù)據(jù)集，重建效果佳，是研究合成數(shù)據(jù)下SISR的主流方法，研究成果眾多.

2)建立面向真實場景的SISR自適應模型.將在合成的成對數(shù)據(jù)集上訓練得到的SISR模型應用于真實圖像測試時，往往性能大幅下降，不能滿足真實場景的應用需求.為了能獲得良好的重建性能，研究面向真實場景的SISR成為必然需求，本文稱之為不成對的SISR.這類挑戰(zhàn)的核心問題是在真實成對LR-HR圖像對獲取困難的情況下，如何建立SISR模型.

在整理、分析當前有代表性的SISR方法后發(fā)現(xiàn)：上述提及的綜述性論文多從建立SISR模型的實現(xiàn)技術上對其進行分類，多探討如何建立良好的LR-HR圖像映射關系，缺乏或較少描述面向真實場景的SISR技術及其應用情況，內(nèi)容不夠全面.本文在上述研究的基礎上，從有監(jiān)督SISR方法和不成對SISR方法入手，對深度SISR方法做深入分析和整理.同時，為了更好地了解SISR技術在各個領域的應用價值，介紹了基于領域的SISR存在的問題和代表性方法.

按照不同的網(wǎng)絡結構可將有監(jiān)督SISR方法分成基于CNN、GAN、網(wǎng)絡結構搜索(neural architecture search，NAS)的SISR.根據(jù)訓練樣本的產(chǎn)生方式，不成對的SISR可分為零樣本SISR、弱監(jiān)督SISR、自監(jiān)督SISR.因此，本文內(nèi)容安排如下：第1節(jié)和第2節(jié)分別介紹有監(jiān)督SISR方法和不成對SISR方法；第3節(jié)探討基于領域的SISR；第4節(jié)給出總結與展望.

1 有監(jiān)督的深度SISR方法

本節(jié)將有監(jiān)督的深度SISR方法分成基于CNN、GAN和NAS的SISR方法，具體劃分如圖1所示.

圖中英文縮寫的注釋見附錄表S1(http:∥jxmu.xmu.edu.cn/upload/20210313.html).

1.1 基于CNN的SISR方法

CNN是一種前饋神經(jīng)網(wǎng)絡，采用局部連接和共享權值的方式，一方面減少權值的數(shù)量使得網(wǎng)絡易于優(yōu)化，另一方面降低過擬合的風險.基于CNN的SISR方法的發(fā)展過程可分為SRCNN及其改進算法和殘差結構及其改進算法.前者是SISR研究中具有里程碑意義的工作，為后續(xù)的基于深度學習的SISR算法奠定了基礎；后者以提升SISR的模型精度為主要任務，通過改進網(wǎng)絡結構，聯(lián)合多種網(wǎng)絡模塊，形成了許多的優(yōu)秀成果.此外，為了減少模型參數(shù)，提高模型的重建速度和在手機等智能終端的可適用性，輕量化網(wǎng)絡的SISR方法也被提出.

1.1.1 SRCNN及其改進算法

1)SRCNN[1]

SRCNN是Dong等[1]提出的基于深度學習的SISR模型的開山之作，它包含3個部分：LR圖像特征提取層、LR-HR特征映射層、HR圖像重建層，每個部分均采用一層卷積層實現(xiàn).網(wǎng)絡實現(xiàn)過程：將LR圖像插值放大到指定倍數(shù)作為網(wǎng)絡輸入，經(jīng)過3層卷積操作，輸出重建后的HR圖像.之后的SISR算法通常均包含這3個部分，一般使用1～2層卷積處理輸入圖像得到LR圖像特征，使用多個卷積、ReLU激活操作等學習LR-HR圖像的映射關系，使用卷積操作將HR圖像特征重建為HR圖像.

SRCNN是一種端到端的解決方案，輸入和輸出都不需要進行任何處理，采用L2范數(shù)的像素損失作為計算重建HR圖像和原始HR圖像在像素點上差異的指標，其目標優(yōu)化函數(shù)為

2)ESPCN[19]

將插值LR圖像作為深度SISR模型網(wǎng)絡訓練的輸入，會占用大量的內(nèi)存空間，而且插值圖像本身也會帶來一些不真實的細節(jié)信息.為了降低訓練過程的內(nèi)存消耗，Shi等[19]提出ESPCN，它將LR圖像作為網(wǎng)絡輸入，在合成數(shù)據(jù)集中，LR圖像由原始HR圖像經(jīng)過插值算法如雙三次插值下采樣等，加入一定的噪聲后得到.與SRCNN一樣，ESPCN只有3層，前兩層是普通卷積操作，最后一層使用一組上采樣濾波器稱為亞像素卷積操作，實現(xiàn)圖像重建.

3)FSRCNN[20]

Dong等[20]也認為將LR圖像作為SISR模型網(wǎng)絡的輸入能極大地降低訓練時間和計算消耗，因此提出SRCNN模型的加速改進版本FSRCNN[20].該方法在網(wǎng)絡末端采用反卷積操作實現(xiàn)圖像重建.此外，F(xiàn)SRCNN在網(wǎng)絡的特征映射層采用一個具有緊湊對稱的沙漏形狀結構，可學習到更為復雜的LR-HR圖像映射關系.

此后，形成兩類SISR框架：分別是以SRCNN為代表的前端上采樣SISR框架[21-22]、以ESPCN和以FSRCNN為代表的后端上采樣SISR框架[23-25]，而后端上采樣SISR框架因計算復雜度低、重建精度高得到廣泛應用.

1.1.2 殘差結構及其改進算法

1)全局和局部的殘差學習

VDSR[21]是第一個提出用全局殘差學習思想(即長跳躍連接)解決SISR問題的深度模型，它使用20層卷積學習LR-HR圖像的映射關系，在Set5數(shù)據(jù)集上重建放大倍數(shù)為2，3，4的圖像時，其重建精度(峰值信噪比(peak signal-to-noise ratio,PSNR)指標)比SRCNN分別提升0.87，0.91和0.87 dB.He等[26]提出了殘差網(wǎng)絡(ResNet)，實驗證明，ResNet的殘差結構能有效地提升模型精度.SRResNet[27]延續(xù)了VDSR的全局殘差學習思想，用堆疊的多個ResNet殘差模塊學習圖像的局部殘差信息，其網(wǎng)絡深度達到54層，模型精度較VDSR更高.

此后，VDSR的全局殘差學習和SRResNet的局部殘差學習模塊被廣泛應用到SISR研究中.Lim等[28]在SRResNet模型的基礎上提出EDSR模型，用去掉批歸一化(batch normalization，BN)層的ResNet模塊減少模型參數(shù)，并通過堆疊32個殘差模塊極大地提升了模型的重建精度.

2)殘差學習與遞歸學習

DRCN模型[22]采用遞歸學習的方法，在多層網(wǎng)絡上共享參數(shù)，減少了模型的參數(shù)量；在此基礎上，結合全局、局部的殘差學習，構建了殘差遞歸學習網(wǎng)絡DRRN[29]，其重建性能優(yōu)于DRCN.MemNet[30]利用長時記憶模塊，每個記憶模塊包含一個遞歸單元和一個門控單元，門控單元在遞歸單元之后，用于控制輸出特征所占的權重；并使用80層網(wǎng)絡最大限度讓記憶信號在網(wǎng)絡中流動，取得了良好的重建性能.遞歸學習減少了模型的參數(shù)量，但由于網(wǎng)絡層數(shù)數(shù)量巨大使得它的計算復雜度劇增.

3)殘差學習與密集連接

密集連接將網(wǎng)絡中的每一層都和后面的所有層以前饋方式連接，促進了特征之間更好地融合，也使重建精度大幅提升，但參數(shù)量也隨之增加.SRDensNet[31]用DenseNet[32]提出的密集連接，去掉其中的BN和池化層，將淺層、中層的特征全部輸入到高層中，增強的特征使模型精度得到有效提升；RDN[24]模型、RRDB[33]模型也都使用了殘差和密集連接模塊.不同的是，RDN對每個殘差密集模塊中的特征進行局部特征融合和局部殘差學習.RRDB模型首先對1個密集模塊做殘差學習形成新的殘差基本模塊，然后將3個殘差基本模塊做殘差學習形成的Residual-in-Residual密集模塊，這種密集殘差模塊相比殘差或密集模塊的簡單堆疊，它的重建精度更高，當然計算復雜度也隨之增大.為了降低模型的計算復雜度，CARN[25]模型為一種快速、精確、輕量化的SISR結構，對殘差塊進行局部(級聯(lián)塊內(nèi)，殘差塊間)和全局的融合(級聯(lián)塊間)，其中級聯(lián)結構類似于在殘差塊間進行密集連接.CARN共9個殘差塊，分成3組，即3個級聯(lián)塊，在進入級聯(lián)塊前，用1×1的卷積做特征融合.不同于RDN使用3×3的卷積核，CARN使用1×1的卷積核減少了模型的參數(shù).

4)殘差結構與迭代上下投影

DBPN[34]使用迭代上投影和下投影操作的方式獲取圖像的不同特征，將這些特征融合后用于圖像重建，是迭代上下投影SISR框架的代表.它的創(chuàng)新在于提出上投影模塊和下投影模塊，上投影模塊先將LR圖像進行反卷積放大得到HR特征圖，再將該HR特征圖進行卷積下采樣得到一個LR特征圖，最后將得到的LR特征圖和最初的LR圖像進行殘差運算，得到新的特征圖.下投影模塊與上投影模塊類似，操作相反.不同分辨率的圖像特征進行融合，可以獲得更多的信息，有助于促進SISR性能的提升.

5)殘差學習與注意力機制

在通道中加入注意力機制能獲取更有效的通道特征.RCAN[23]堆疊多個殘差模塊形成卷積組，在卷積組的每個殘差模塊中都加入通道注意力，并通過多組串聯(lián)，每組使用短跳躍連接的方式有效避免了梯度消失的問題.Dai等[35]提出非局部增強注意殘差組結構，命名為SAN，它用非局部操作獲取長距離空間上下文信息，并用帶二階殘差注意的局部源殘差注意力組學習局部特征表示.PANet[36]使用金字塔注意力，建立不同大小特征之間的長區(qū)域依賴.通道注意力、二階殘差注意力、金字塔注意力等的加入，改進了網(wǎng)絡特征，也提升了重建精度.

6)殘差學習與多路徑學習

多路徑學習從多個路徑抽取圖像不同方面的特征，這些路徑在傳播中彼此交叉，因此能極大地增加特征抽取的能力.LapSRN[37]使用多路徑的金字塔重建方式，即每個特征抽取路徑從粗到細地預測子帶殘差，各個圖像重建路徑分別重建2，4，8倍的HR圖像，該框架常被稱為級聯(lián)上采樣SISR框架的代表.類似于LapSRN，ProSR[38]也采用了金字塔重建方式，同時重建2，4，8倍放大任務，并提出密集壓縮模塊，將密集模塊、壓縮單元串聯(lián)后進行殘差學習，密集壓縮模塊提升了模型的重建精度.DSRN[39]在LR圖像塊和HR圖像塊上同時抽取LR和HR空間的信息，形成兩個路徑，對應層上不斷交換信息以提升學習能力.PixelSR[40]使用條件路徑和先驗路徑，分別獲取圖像的全局結構和生成像素的連續(xù)依賴.局部的多路徑學習中，MSRN[41]受到Inception[42]模塊的啟發(fā)，采用多尺度特征(卷積核為3×3和5×5)模塊抽取多種特征，串聯(lián)特征后，再用1×1的卷積核輸出.CFSNet[43]使用主模塊路徑和調優(yōu)路徑，通過耦合操作將兩個路徑上的特征進行融合.MDSR[41]使用單個網(wǎng)絡特定尺度的多路徑學習策略處理SISR問題，讓2，3，4倍SISR任務同時進行訓練，其重建精度普遍比某個單尺度的訓練方法高.多路徑學習為殘差學習提供了更多新的、可能的結合方式.

7)殘差學習與非局部、多尺度相似性

將圖像本身的特性(如非局部相似性、多尺度相似性等圖像先驗知識)加入殘差模塊可引導SISR.基于此，Wang等[44]提出NLNN，但是NLNN的參數(shù)計算量大，需要占用大量的計算資源.為此，Liu等[45]從減少參數(shù)量和保持性能的角度出發(fā)，將NLNN改進后提出NLRN.CSNLN[46]將多尺度、非局部等特性結合，提出尺度內(nèi)的非局部和尺度間的非局部模塊.在NLRN的基礎上改進得到的殘差非局部注意力模塊RNAN[47]，聯(lián)合殘差學習、非局部、注意力機制等，得到不錯的SISR效果.

通過梳理發(fā)現(xiàn)：在全局和局部殘差學習的基礎上，若聯(lián)合其他網(wǎng)絡模塊，如遞歸學習、密集連接、迭代上下投影等能極大提升模型的重建精度，同時也可能大幅增加參數(shù)量；若聯(lián)合新的學習機制，如注意力機制、多路徑學習、非局部相似性、多尺度相似性等獲取更多的圖像或通道內(nèi)部的有效特征，有助于提升SISR模型性能.圖2給出了幾種網(wǎng)絡模塊的示意圖.

圖2 網(wǎng)絡模塊示意圖

1.1.3 輕量化網(wǎng)絡

1)輕量化卷積

為了提升性能和速度，一些基于普通卷積改進的輕量化卷積被提出，如空洞卷積、組卷積、分離卷積等.IRCNN[48]在標準的卷積中注入空洞卷積，使感受野增大2倍，取得了更高的精度.受到MobileNet[49]和Inception[42]的啟發(fā)，CARN[25]模型使用組卷積，將數(shù)據(jù)分成多組，每組使用不同的卷積串聯(lián)起來，并行運算每個組，從而減少參數(shù)和提升速度，但也犧牲了一部分的性能.分離卷積需要使用Depthwise卷積和Pointwise卷積，前者對輸入的一組特征分組單獨計算出各自的新特征圖，后者將新特征圖合并成一組.針對圖像恢復任務，Lahiri等[50]提出LW-CNN，它在Inception模塊的啟發(fā)下，設計了輕量化模塊LIST(light spatial transition)代替普通卷積，LIST實例化后，參數(shù)減少至CNN的1/25～1/13，極大地減少了模型參數(shù)和計算量.不僅如此，LW-CNN還提出改進的空洞卷積，在組卷積的啟發(fā)下，將通道進行改組，設計出分組的攪動空洞卷積(grouped shuffled atrous transition,GSAT)模塊，與普通的空洞卷積相比，參數(shù)量減少至原來的1/8.實驗發(fā)現(xiàn)將LIST模塊替代可分離卷積，用于亞像素上采樣卷積層，既能降低模型參數(shù)，又能保證良好的重建精度.

2)信息蒸餾(通道分離)

IDN[51]使用多個信息蒸餾模塊提升深度網(wǎng)絡的特征學習能力，每個模塊包含一個提升單元和一個壓縮單元.提升單元混合了長路徑和局部短路徑兩種特征，壓縮單元則使用卷積操作實現(xiàn)壓縮和維度縮減.IMDN[52]在IDN的基礎上實現(xiàn)了多層次的信息蒸餾模塊，每個模塊的輸入特征經(jīng)過3次卷積和通道分離操作后，再用Concat連接3次的特征，連接后的特征又經(jīng)過對比意識通道注意注意力層處理，最終用1×1卷積運算實現(xiàn)特征壓縮.IMDN比IDN具有更高的重建精度，但參數(shù)量只增加了15萬.

1.2 基于GAN的SISR方法

GAN是以兩個神經(jīng)網(wǎng)絡相互博弈的深度學習方法，可用于有監(jiān)督和無監(jiān)督學習，本小節(jié)介紹有監(jiān)督GAN的SISR方法，而無監(jiān)督GAN的SISR方法將在不成對的SISR方法部分介紹.基于GAN的SISR方法可分為大放大因子GAN的SISR方法、逐級重建GAN的SISR方法、帶先驗知識GAN的SISR方法.

1.2.1 大放大因子GAN的SISR方法

1)SRGAN

SRGAN[27]首次利用GAN[53]來訓練SISR模型，該模型同時訓練生成器和判別器.其中：生成器為基于CNN的SISR網(wǎng)絡，輸入圖像加入隨機噪聲后送入該網(wǎng)絡進行模型訓練，輸出HR圖像；判別器為普通的二分類網(wǎng)絡，對比原始HR圖像來判別生成的HR圖像是否為真實圖像，是則輸出1，否則輸出0.為了得到良好的重建效果，它使用了兩階段重建.首先，單獨訓練基于像素損失的SISR模型(命名為SRResNet)；然后，將生成器和判別器做聯(lián)合訓練，訓練基于像素損失、內(nèi)容損失和對抗損失.判別器作為監(jiān)督，使得生成器的重建圖像細節(jié)變多，但也生成了一些不真實的噪聲.

2)ESRGAN

為了提升SRGAN模型的重建精度，ESRGAN[33]模型做了兩個方面的改進：改進了生成器的結構，提出一種有更高重建精度的RRDB生成器；增強了判別器的判別能力，使用相對判別器估算輸入圖像為真實和非真實的可能性，即預測真實圖像比假圖像更真實的概率.與SRGAN模型相比，在大部分的標準測試圖像上，ESRGAN模型能在保持較好細節(jié)的同時使重建圖像中的噪聲變少.

1.2.2 逐級重建GAN的SISR方法

LapSRN[37]采用金字塔逐級重建方式，獲得了不錯的重建性能.為了得到逼真的圖像紋理，Karras等[54]使用GAN的方式訓練，提出基于逐級式GAN的SISR網(wǎng)絡ProGAN.該網(wǎng)絡逐級重建長寬同為4，8，16，32，64，128，256，512，1 024的多尺度、高倍數(shù)的重建圖像；為了提高生成器模型生成數(shù)據(jù)的多樣性，在判別器的最后一層加入了最小批判別性(minibatch discrimination)；同時，為了提高訓練的穩(wěn)定性，使用了像素歸一化.關于上采樣和下采樣，與之前的GAN所采用的反卷積、卷積操作(步長為2，卷積核為3×3)不同，ProGAN采用2×2 元素復制和平均池化；與LapSRN相比，ProGAN在同級重建結果上平均提升了0.05～0.13 dB.

1.2.3 帶先驗知識GAN的SISR方法

帶先驗知識GAN的SISR方法將圖像中不同物體結構或目標分割的先驗知識融入深度網(wǎng)絡，作為深度網(wǎng)絡的監(jiān)督信號，訓練基于像素損失、感知損失、先驗知識等的GAN網(wǎng)絡，引導深度網(wǎng)絡重建出真實的細節(jié)和紋理.

1)SFT-GAN

先驗紋理對SISR重建的影響非常大，Wang等[55]通過實驗發(fā)現(xiàn)：草地的先驗用于重建草地和墻壁，結果差別很大；用草地先驗重建草地，獲得非常真實的紋理，而重建墻壁卻會讓墻壁顯得非常不真實.為了獲得真實的紋理和細節(jié)，Wang等[55]提出SFT-GAN，以圖像的分割掩碼作為SISR的先驗知識，指導SISR中不同區(qū)域的紋理重建.具體來說SFT-GAN在生成器中使用了多個殘差模塊，殘差模塊中的卷積層前都加入一層SFT層.每個SFT層，以條件網(wǎng)絡特征圖作為輸入，使用簡單的卷積與殘差模塊中的輸入特征圖進行調制，學習出參數(shù)，最后應用仿射變換自適應地學習到新的特征圖.其中，條件網(wǎng)絡特征圖由不同區(qū)域的分割語義圖經(jīng)過幾層卷積的特征學習后得到.所有的SFT層都共享一個條件網(wǎng)絡特征圖.這樣，基于先驗紋理的超分網(wǎng)絡就能針對不同的區(qū)域重建不同先驗的真實紋理.

2)FSRGAN

Chen等[56]充分利用人臉圖像的幾何先驗信息，提出一種端到端的深度人臉SISR網(wǎng)絡FSRGAN.其生成器網(wǎng)絡為FSRNet，首先構建粗的SISR網(wǎng)絡生成粗的HR圖像，然后送入精細的SISR網(wǎng)絡得到更為精準的HR圖像.精細SISR網(wǎng)絡包含一個精細SISR編碼器、一個先驗信息網(wǎng)絡和一個精細SISR解碼器，編碼器生成HR圖像特征，先驗信息網(wǎng)絡估計面部熱力圖和人臉解析圖，最終解碼器從圖像特征和先驗信息中恢復出HR圖像.FSRGAN結合多種人臉先驗，從粗到細的重建方式有效提升了人臉SISR的性能.FSRNet和FSRGAN模型在人臉對齊和人臉解析任務中均有不錯的表現(xiàn)，而FSRGAN模型具有更精細的圖像紋理.

1.3 基于NAS的SISR方法

NAS[57]是一類目前最新的方法，它使用強化學習尋找最優(yōu)網(wǎng)絡，可減少人工對模型設計的影響.這類方法先定義一個搜索空間，使用相應的控制器處理搜索，經(jīng)評估后輸出重建結果，通過網(wǎng)絡訓練自動調整，直到網(wǎng)絡收斂得到良好的重建結果為止.基于NAS的SISR方法通常會將多個CNN SISR方法嵌入整體網(wǎng)絡的學習中，一般情況下，會優(yōu)于其中的一種或多種CNN SISR方法的簡單組合.

MoreMNAS[58]是最早將NAS應用到SISR任務中的模型，含3個基礎成分：基于細胞的搜索空間、基于NSGA-Ⅱ的相關多目標的模型生成控制器和返回多反饋的評估器.

在MoreMNAS的啟發(fā)下，多種基于NAS的SISR方法被提出.FALSE[59]利用一個混合的控制器和一個基于細胞的彈性空間，增強宏觀和微觀的搜索.ESRN[60]則將搜索空間的細胞替換為目前最優(yōu)秀的3種不同的密集殘差模型，減少不必要的搜索.HNAS-SR[61]是一種解決真實SISR層次化搜索的結構系統(tǒng)，使用層次化的方式構建搜索空間和控制器.搜索空間使用多個普通細胞和上采樣細胞，其中，普通細胞中集合了如空洞卷積、分離卷積、迭代上下投影、殘差通道注意力等模塊，上采樣細胞則集合了區(qū)域插值、鄰近插值、雙線性插值、亞像素層、反卷積層等.控制器則分別構建細胞層控制器和網(wǎng)絡層控制器.不同細胞都使用長短期記憶法自動選擇每一層的結點，經(jīng)過處理后輸入到層次化的網(wǎng)絡層控制器中.

1.4 目標優(yōu)化函數(shù)、數(shù)據(jù)集與評價標準

1.4.1 目標優(yōu)化函數(shù)

目標優(yōu)化函數(shù)通常也稱為損失函數(shù)，用于判別生成HR和原HR圖像的差異，引導深度SISR網(wǎng)絡的重建結果.不同的損失函數(shù)重建結果不同，好的目標優(yōu)化函數(shù)通常都能讓SISR模型快速收斂，重建出具有高精度和接近真實世界的圖像紋理的圖像.

基于CNN的SISR通常采用像素損失計算重建HR和原始HR圖像在像素點(x,y)上的差異，有代表性的像素損失有L1范數(shù)損失、L2范數(shù)損失、Charbornier函數(shù)損失[37]，分別簡稱L1、L2和Charbornier損失.基于NAS與基于CNN的SISR方法使用的目標優(yōu)化函數(shù)基本一致.

基于GAN的SISR模型通常采用對抗損失和感知特征損失相結合的方式來訓練.對抗損失常用于判別GAN生成器生成的SISR圖像的真實性，真實輸出1，否則輸出0.感知特征損失計算重建HR和原始HR圖像在圖像高層語義上的差異，通常采用VGG預訓練模型的中層特征判斷兩者之間的差異性.此外，與感知特征損失相似，紋理損失也使用VGG預訓練模型計算重建HR和原始HR圖像的像素點在網(wǎng)絡某層特征上的相關性.

1.4.2 數(shù)據(jù)集

數(shù)據(jù)集可用于深度SISR方法的訓練、驗證和測試.訓練集、驗證集通常用于深度網(wǎng)絡學習LR-HR的有效映射關系；標準測試集有助于SISR方法的重建性能對比.現(xiàn)有的SISR的標準數(shù)據(jù)集有：Set5[62]、Set14[63]、BSD100[64]、Urban100[65]、Manga109[66]、DIV2K 2017[67]、DIV2K 2018[68]、DIV2K 8K[69]、RealSR[70]、General-100[20]、PIRM[71]、T91[72]、ImageNet[73]、Flickr2K[33].數(shù)據(jù)集圖片包括動物、建筑、草地、山、植物、天空、水、食物、風景、人物等.其中:Set5[62]、Set14[63]、BSD100[64]、Urban100[65]、Manga109[66]為SISR任務的常用測試集；General-100[20]、BSD200[64]、T91[72]為傳統(tǒng)SISR任務的訓練集；DIV2K 2017[67]、DIV2K 2018[68]、DIV2K 8K[69]、ImageNet[73]、Flickr2K[33]常用于深度SISR任務的訓練集，前3個也提供SISR任務的驗證測試集.

以上的標準數(shù)據(jù)集都可以應用到有監(jiān)督的深度SISR方法(基于CNN、GAN、NAS的SISR方法)的訓練和測試，而對于需要重建真實紋理(特別是基于GAN的SISR方法)的評測時，一般使用PIRM[71]、RealSR[70]等測試數(shù)據(jù)集.

1.4.3 評價標準

SISR方法使用圖像評價指標(image quality assessment，IQA)來評判重建圖像的質量好壞.現(xiàn)有的IQA可分為3類：全參考圖像評估、無參考圖像評估和主觀質量評估.其中，全參考和無參考的圖像質量評估均為客觀評價指標，通過比較重建和原始HR圖像的像素或圖像紋理結構差異得到.當它們的差異性越小時，其評價指標的值也越高或越低.

全參考圖像質量評估有PSNR、結構相似性(structural similarity，SSIM)、感知圖像塊相似性(learned perceptual image patch similarity，LPIPS)[74]；無參考圖像質量評估有自然圖像質量評估(natural image quality evaluator,NIQE)[75]、主觀指標(perceptual index，PI)[71]；主觀質量評估有平均主觀得分(mean opinion score，MOS)[27].除了LPIPS和PI外，其他的評價指標值越高均表示差異性越小.

1.5 討論與分析

3類SISR方法(CNN、GAN、NAS)都強調建立有監(jiān)督的深度SISR模型學習出好的LR-HR映射關系.基于CNN的SISR方法一直以來都是有監(jiān)督SISR的研究重點，本文從SRCNN及其改進算法、殘差結構及其改進算法、輕量化網(wǎng)絡3個方面介紹其代表性算法，詳細闡述了每類代表性方法中的核心模塊.基于GAN的SISR方法選取了大的放大因子、逐級重建、帶先驗知識3類的代表性算法并做詳細分析.基于NAS的SISR方法是近兩年才興起的深度網(wǎng)絡結構，在SISR上剛剛起步，本文對其為數(shù)不多的幾類方法做了介紹.比較總結上述3類SISR方法(表1)發(fā)現(xiàn)：

表1 3類有監(jiān)督的SISR方法的比較分析

1)基于CNN的SISR方法占據(jù)主流，基于GAN的SISR方法次之，基于NAS的SISR方法研究成果較少.

2)基于CNN的SISR關注于重建精度或重建速度，基于GAN的SISR關注于實現(xiàn)豐富圖像紋理和逼真視覺效果，而NAS關注如何讓多個已有SISR模型的模塊能夠實現(xiàn)復用，并獲得高精度的SISR.

3)從重建精度的的角度來說，在基于NAS的SISR方法出現(xiàn)前，基于CNN的SISR方法的重建效果最好；但是基于NAS的SISR方法需要使用多塊GPU、消耗大量的計算資源和很長的訓練時間，對沒有GPU資源的研究者很不友好.與CNN的SISR方法相比，基于GAN的重建精度低.在重建速度方面，輕量化CNN的SISR方法最快，其次為基于GAN的SISR方法，基于NAS的重建速度最慢.

4)在重建視覺效果上，基于CNN和NAS的SISR都不如基于GAN的SISR方法.基于GAN的SISR方法通常會使用基于CNN的SISR方法作為生成器，但判別器會去掉很多看起來很虛假的生成圖像，而保留看起來更為逼真紋理和具有豐富細節(jié)的重建圖像.

2 不成對的深度SISR方法

真實場景中，極難獲取LR-HR圖像對，如何構建真實SISR數(shù)據(jù)集存在極大的困難.按照訓練樣本的產(chǎn)生方式，現(xiàn)有的不成對的深度SISR方法可分為零樣本的、弱監(jiān)督的、自監(jiān)督的SISR方法.

2.1 零樣本SISR方法

基于LR圖像中的自身內(nèi)部統(tǒng)計信息對圖像重建具有決定性影響的思想，Shocher等[76]提出零樣本SISR方法ZSSR(zero-shot for super-resolution)，該方法是深度無監(jiān)督SISR的開創(chuàng)性工作.ZSSR不需要預訓練，只需要在測試階段訓練用于測試的LR圖像，學習該LR圖像的內(nèi)部特征.訓練過程：首先將測試LR圖像裁剪成固定大小的多個訓練小圖，形成多個成對圖像集.其次使用已知下采樣核時，采用和EDSR等相似的有監(jiān)督訓練方法；使用未知下采樣核時，采用Michaeli等[77]所用的核估算方法估算正確LR圖像后，再進行訓練.在理想情況下，ZSSR可以和有監(jiān)督預訓練方法得到相當?shù)慕Y果；而在非理想情況下，能比它們?nèi)〉酶玫慕Y果.其不足之處是需要長時間的測試，原因在于測試一張圖像前必須先進行在線訓練.

受到ZSSR[76]和元遷移學習的啟發(fā)，Soh等[78]提出元遷移學習的零樣本SISR(MZSR)方法，利用元遷移學習使參數(shù)快速適應于新的任務，用ZSSR方法對新任務中的圖像做模糊核降質后做SISR，用不同的模糊核代表不同的任務.訓練過程：先做有監(jiān)督訓練，然后用元遷移學習方式建立不同模糊核和不同任務之間的關聯(lián)，之后采用ZSSR的核估計方法來估計下采樣核生成LR，最后在元學習階段的參數(shù)幫助下，根據(jù)具體圖片更新參數(shù)得到適用于特定圖像的參數(shù).與ZSSR相比，它考慮了離線訓練模型的優(yōu)勢，借助元學習來更新參數(shù)，因此能做到快速靈活輕量且無監(jiān)督，適用于真實場景.

2.2 弱監(jiān)督SISR方法

為了處理未定義的圖像降質過程，研究者們開始研究弱監(jiān)督學習SISR方法，主要有學習降質過程的兩階段訓練、Cycle-in-cycle網(wǎng)絡、自然圖像特征約束.

1)學習降質過程的兩階段訓練.代表方法為Bulat等[79]提出的兩階段處理方法.第一階段學習圖像降質過程.真實HR圖像加入服從正態(tài)分布的隨機噪聲，通過HR-LR GAN中的生成器生成降質后的LR圖像，通過判別器判斷所生成的LR圖像與真實LR圖像的圖像分布是否一致.第二階段訓練圖像超分重建模型，通過LR-HR GAN的生成器產(chǎn)生最終的超分結果，通過判別器判斷所生成的SISR圖像與真實HR圖像是否一致.兩個階段的GAN網(wǎng)絡的損失函數(shù)都使用了像素損失和對抗損失.沿著這一思路，DASR[80]也使用兩個階段的訓練方法，提出領域距離敏感的訓練策略用于判別生成LR圖像和真實LR圖像之間的距離，增強對生成LR圖像的約束.

2)Cycle-in-cycle網(wǎng)絡.在循環(huán)GAN(CycleGAN)[81]的啟發(fā)下，CinCGAN(Cycle-in-cycle GAN)模型[82]使用4個生成器和2個判別器，制造了2個CycleGAN，分別用于學習噪聲LR圖像到干凈LR圖像、干凈LR圖像到干凈HR圖像的映射關系.第一個CycleGAN，輸入噪聲LR圖像到生成器中，輸出一個真實干凈的有連續(xù)分布的LR圖像；第二個CycleGAN，輸入干凈LR圖像到生成器中，輸出一個干凈的HR圖像.兩個網(wǎng)絡都使用相同的損失函數(shù)，如對抗損失、循環(huán)一致性損失和實體損失，用于引導循環(huán)連續(xù)性、分布連續(xù)性和實體映射.

3)自然圖像特征約束.DSGAN[83]在小規(guī)模按比例縮小的圖像中引入自然圖像特征，使用GAN網(wǎng)絡訓練不成對的HR圖像，生成具有與原始圖像相同特征的LR圖像.構建HR-LR數(shù)據(jù)集后，將低圖像頻率和高圖像頻率分開，并在訓練期間對其進行不同的處理.由于低頻信息可以通過下采樣操作保留，對抗訓練主要學習丟失的高頻信息(即細節(jié)、邊緣等信息).使用顏色損失和感知損失約束生成LR圖像，減少與雙三次下采樣LR圖像之間的差異，紋理損失約束生成LR圖像，讓它保持和GAN網(wǎng)絡中的隱藏圖像有相同的紋理特征.

2.3 自監(jiān)督SISR方法

自監(jiān)督學習的核心是自動產(chǎn)生數(shù)據(jù)標簽，通常使用一個或多個自動打標簽的輔助任務，借助這些輔助任務自動生成標簽.Menon等[84]提出的生成模型潛空間探索自監(jiān)督照片上采樣(photo upsampling via latent space exploration,PLUSE)方法是第一個用自監(jiān)督方法來生成真實且下采樣正確的LR圖像.它將先驗施加到隱藏模型Z上，使用生成網(wǎng)絡生成HR圖像，然后將其下采樣后生成的LR圖像，計算其和原始LR圖像的下采樣損失(即生成HR圖像降采樣之后得到的LR圖像和原始LR圖像間的距離)，再更新隱藏模型Z.生成模型的潛在空間是有趨向性的，根據(jù)訓練集，某些屬性的可能性多，生成結果好，某些屬性的可能性少，有可能導致偽影或不真實.基于這一情況，針對模型的潛在空間增加高斯先驗約束項，使得潛在空間的概率分布符合生成網(wǎng)絡預期.

2.4 討論與分析

3類不成對的深度SISR方法(零樣本的、弱監(jiān)督的、自監(jiān)督的SISR方法)都可以用于解決真實圖像中缺乏LR-HR圖像對的問題，總結后發(fā)現(xiàn)：

1)在實現(xiàn)方式上，零樣本SISR方法也是無監(jiān)督SISR的一種，它使用自身圖像做下采樣形成不同放大因子的圖像對，訓練SISR模型，訓練過程不需要任何外部數(shù)據(jù)集；弱監(jiān)督SISR方法使用少量的圖像對，先學習圖像的降質過程，然后用訓練好的降質模型產(chǎn)生LR-HR圖像對，最后用類似有監(jiān)督的深度SISR方法訓練生成的LR-HR圖像對；自監(jiān)督SISR方法用一個或多個自動生成圖像標簽的方式得到真實且正確的下采樣圖像，得到LR-HR圖像對后，再用此訓練有監(jiān)督的SISR模型.

2)在用戶體驗上，零樣本SISR方法從自身獲取LR-HR圖像對，只能在測試的同時做模型訓練，因此重建一張圖像需要比其他離線模型更長的時間；弱監(jiān)督和自監(jiān)督SISR方法都先使用深度網(wǎng)絡產(chǎn)生新的LR-HR圖像對，網(wǎng)絡訓練后生成SISR模型，測試時使用該模型就不需要太長的測試時間.三者相比，零樣本SISR方法的用戶體驗不會太好，而弱監(jiān)督和自監(jiān)督SISR方法的運行時間與模型參數(shù)多少有關，參數(shù)較多時運行時間較長，反之較短，相比零樣本SISR方法，它們的用戶體驗相對較好.

3)在重建效率上，零樣本SISR方法的數(shù)據(jù)集較少，訓練時間不會太長，基于自身樣本訓練，重建結果一般也較好，時間成本低.自監(jiān)督SISR方法生成樣本的真實性更好，重建結果也相對較好，但是整體的實現(xiàn)復雜度高，時間成本也高.弱監(jiān)督SISR方法比自監(jiān)督SISR方法的實現(xiàn)難度和時間成本低一些，重建結果不如自監(jiān)督SISR方法.總的來說，弱監(jiān)督SISR方法的重建效率介于零樣本SISR方法和自監(jiān)督SISR方法之間.

3 SISR方法的典型應用

本節(jié)介紹SISR的典型應用領域包括人臉、醫(yī)學、遙感、雷達和小目標等.

3.1 人臉SISR

人臉信息具有唯一性和普遍性等，使用人臉信息作為身份確認的相關技術日益成熟，并廣泛應用到身份信息比對、視頻偵查、行動路徑追蹤上.但是LR的人臉圖像，因為圖像特征缺失較多，無法應用于后續(xù)的人臉識別工作中.

針對人臉LR問題，人臉圖像先驗與深度網(wǎng)絡，特別是與GAN的結合，能有效提升人臉SISR的質量.Song[85]使用兩階段CNN，先生成人臉的輪廓結構，再從HR圖像恢復出HR的人臉局部結構，最后將整體與局部信息結合生成清晰的人臉圖像.Yu等[86]引入GAN生成8倍放大的人臉圖像，使用判別網(wǎng)絡的監(jiān)督反饋重建多姿勢多面部表情的LR圖像.該方法提升了過小的LR圖像尺寸在高倍數(shù)放大時的重建精度.Chen等[56]提出一種端到端的深度人臉SISR網(wǎng)絡FSRNet，使用從粗到細的方式構建多個HR圖像，結合多種人臉先驗，有效提升了人臉SISR的性能.同時，采用對抗損失訓練的FSRGAN，比FSRNet具有更精細的重建細節(jié).Xin等[87]結合人臉紋理特征、形狀特征、語義特征得到人臉SISR的殘屬性關注網(wǎng)絡(residual attribute attention network,RAAN)，該網(wǎng)絡包括紋理預測網(wǎng)絡(texture prediction network，TPN)、形狀生成網(wǎng)絡(shape generation network，SGN)和屬性分析網(wǎng)絡(attribute analysis network，AAN)，用TPN特征引導TPN和SGN特征的整合.SGN使用編碼-解碼網(wǎng)絡，先將圖像下采樣編碼，解碼后恢復成原始尺寸，中間加入跳層連接.TPN用了殘差思想和空洞卷積，用更大的感受野獲取更好的紋理特征.AAN先對特征映射進行屬性編碼，之后用全連接提取紋理和形狀特征的注意力.Yu等[88]針對超低尺寸的人臉SISR存在的嚴重圖像失真甚至性別反轉等問題，采用其面部屬性信息補充殘差圖像或特征圖以減少面部SISR的歧義，開發(fā)了一個嵌入屬性信息的上采樣網(wǎng)絡，該模型對分辨率為16×16的LR人臉圖像進行重建時，能有效減少一對多映射的不確定性.Fan等[89]改進了殘差單元和網(wǎng)絡結構，增強了內(nèi)卷積層間的信息流，充分利用人臉特征信息，提高了模型細節(jié)還原能力.

3.2 醫(yī)學SISR

在醫(yī)學影像中，超聲、磁共振成像(magnetic resonance imaging,MRI)、計算機斷層掃描(computed tomgraphy，CT)、正電子發(fā)射斷層成像(positron emission tomography，PET)圖像在醫(yī)學領域中發(fā)揮著舉足輕重的作用.LR的CT、MRI、PET圖像清晰度低，存在偽影和容積效應，容易掩蓋病灶耽誤治療，也會給醫(yī)生診斷病情帶來干擾.

隨著SISR技術的發(fā)展壯大，醫(yī)學SISR也逐步趨于成熟.鑒于醫(yī)學圖像缺乏正確的LR-HR圖像對，為了重建出更為真實的圖像，研究者們多采用GAN技術解決這類問題.Armanoius等[90]從pix2pix得到啟發(fā)，提出基于GAN框架的MedGAN用于PET與CT的轉換、MRI動作糾正和PET去噪.You等[91]在CycleGAN[81]的啟發(fā)下，提出一個綜合的基于GAN的框架，解決2倍放大的單切片CT SISR.但其需要LR-HR圖像對，并且只能作用于小塊的CT區(qū)域上，不能應用到整個CT切片圖像.Chen等[92]先通過3D密集連接SISR網(wǎng)絡DCSRN(densely connected super-resolution networks)，重建腦部MRI的HR特征，之后使用一個GAN框架[93]引導DCSRN訓練，進一步增強SISR的質量.Mardani等[94]提出基于壓縮感知的GAN用于恢復更好的圖像紋理.為了滿足更高的可視化需求下，Gu等[95]為了解決胸部CT和腦部MRI的SISR問題，基于GAN技術提出深度全熱圖注意力網(wǎng)絡作為網(wǎng)絡生成器，聯(lián)合內(nèi)容損失、對抗損失、對抗特征損失組成多任務損失用于GAN網(wǎng)絡的訓練.通過若干個有經(jīng)驗的放射線學者打分，驗證了該方法在臨床上的有效性.

除了GAN之外，零樣本SISR方法也被用于應對CT圖像樣例不足的問題.Zhang等[96]提出基于SISR和去模糊的迭代重建框架，使用零樣本SISR網(wǎng)絡協(xié)同CT領域知識和深度模型在LR CT圖像的重建上的結果甚至優(yōu)于其他HR CT圖像結果.

3.3 遙感SISR

遙感圖像通過拍攝目標輻射、反射和漫射的電磁波信號得到.衛(wèi)星光學成像得到的遙感圖像可提供豐富的地球表面信息，且探測范圍大，受地面限制少，比普通相機獲得的信息量大很多.在土地覆蓋分類、城市經(jīng)濟水平估計、資源勘測等方面具有廣泛的應用.CNN被成功應用到遙感圖像重建中，通過深度網(wǎng)絡重建HR遙感圖像特征.Lei等[97]提出結合局部和全局特征LGCNet(local-global combined networks)的SISR模型重建遙感圖像，取得良好的重建效果.Xu等[98]構建局部和全局的深度記憶連接CNN的SISR模型，將遙感圖像的圖像細節(jié)與環(huán)境信息結合起來.為了增強網(wǎng)絡的特征表達能力，Gu等[99]在網(wǎng)絡中增加了一個擠壓和激勵模塊提升網(wǎng)絡的特征提取能力，Dong等[100]使用增強的殘差塊和殘差信道注意力得到多級遙感特征信息.針對單尺度的卷積操作很難獲取地表目標的多尺度特征的問題，Lu等[101]提取不同大小的補丁作為多尺度信息輸入深度學習網(wǎng)絡，通過融合不同尺度的高頻信息得到更豐富的目標特征.Zhang等[102]提出多尺度注意力模塊，融合多尺度特征得到更有力的特征表示，同時結合自適應場景SISR的策略，描繪不同場景下的結構化特性.

3.4 雷達SISR

合成孔徑雷達(synthetic aperture radar，SAR)，是一種微波成像傳感器，它不受云、雨、霧以及光照等天氣因素的影響，可以實現(xiàn)全天時、全天候對地觀測.SAR成像技術能夠主動獲取目標空間信息，在航空航天、環(huán)境監(jiān)測及防震減災、資源勘探等方面有著廣泛應用.

深度學習技術在SAR方面的研究已取得一定的成果：楊亞霖[103]設計了殘差學習和稠密連接結合的雙通道耦合網(wǎng)絡雙通道耦合網(wǎng)絡(bi-path network coupling for super-resolution,BPNCSR)，提升了雷達探墻系統(tǒng)成像中圖像的紋理重建和細節(jié)恢復.在BPNCSR的基礎上，又設計了雷達圖像重建架構RadarNet(radar network)，利用CNN對雷達多次掃描的重復區(qū)域進行特征提取，結合殘差稠密算法抑制墻體回波和噪聲信息，最后通過特征融合模塊對多路輸出特征進行融合，實現(xiàn)了整個目標圖像的特征重構.對于3D SAR的SISR，Gao等[104]提出一種基于深度網(wǎng)絡的線性光譜估計算法，使用深度展開網(wǎng)絡進行前向反饋矩陣向量的計算和元素間的非線性特征學習，與傳統(tǒng)方法相比，它大大減少了計算量，并在噪聲和模型誤差上具有較高的魯棒性.

在SAR圖像水域分割上，分辨率不足致使圖像中的陸地與水域邊界模糊，影響水域分割精度.陳嘉琪等[105]使用深度殘差模型、通道注意力與亞像素卷積提升SAR圖像分辨率，提出一種基于亞像素卷積的增強型通道注意力深度殘差SISR網(wǎng)絡，對濾波后的SAR圖像進行水域輪廓提取與精度分析.與傳統(tǒng)算法相比，其重建效果與提取精度都有明顯提升.針對LR星載SAR圖像水域提取精度不足的難題，李寧等[106]融合輕量級殘差CNN的SISR技術和傳統(tǒng)SAR圖像水域分割技術的優(yōu)點，提出了一種基于局部的SAR圖像水域分割方法，顯著提升了該水域分割的精度.

3.5 小目標SISR

小目標是指在整個圖像中占據(jù)像素點較少、分辨率較低的目標，這類目標存在檢測率和識別率低的問題，使用SISR技術可提高目標的像素點數(shù)量和分辨率，緩解小目標自身存在的不足.

深度學習方面，一些文獻提出SISR和目標檢測同時進行可減少因像素點增加給SISR帶來一些不必要的對象和信息導致模型的訓練和測試時間大幅增加的問題.Haris等[107]將目標檢測和SISR同時進行，實現(xiàn)了端到端的聯(lián)合任務訓練，但依然有大量的無關圖像信息被執(zhí)行SISR，降低了效率.Krishna等[108]提出將SISR網(wǎng)絡加入到FasterRCNN(faster region-based CNN)目標檢測框架中，用提升小目標特征的方式提升檢測精度，但應用效果并不是太好.Li等[109]認為小目標特征和常規(guī)目標特征是具有某種映射關系的，基于SRGAN提出感知GAN(perceptual GAN)，用生成器訓練包含小目標的圖像，生成小目標特征的SISR表示，用判別器來區(qū)分小目標的特征表示與常規(guī)目標的SISR是否一致，相比于FasterRCNN算法，該方法的小目標檢測率取得了明顯提升.

另一些算法不對整個圖像進行SISR，先檢測全圖像得到感興趣區(qū)域(ROI)，再對ROI做SISR，最后進行目標檢測.Bai等[110]提出SOD-MTGAN(small object detection via multi-task GAN)，先用通用目標檢測算法對整個圖像做目標檢測，得到許多的ROI，再使用有監(jiān)督SISR做訓練，即ROI作為HR圖像，經(jīng)過下采樣若干倍后得到LR圖像，模型采用基于GAN的SISR方法.該方法可以與現(xiàn)有的檢測器結合使用，但只有ROI的圖像忽略了小目標的上下文信息.Noh等[111]認為現(xiàn)有的小目標特征級SISR模型缺乏直接的監(jiān)督，訓練不夠穩(wěn)定，為此提出使用正確的HR目標特征級作為監(jiān)督信息，能與LR輸入特征共享相關的感受野，在小目標檢測上超越了上述方法.

除了上述5種基于領域的SISR外，在諸如車牌SISR[112]、監(jiān)控視頻SISR[113]、紅外SISR[114]、巖石SISR[115]、壁畫SISR[116]、礦井SISR[117]等中，基于深度學習的SISR技術均發(fā)揮著巨大作用.基于領域的SISR任務除了使用1.4節(jié)所提及的評價標準外，還可結合領域任務的評價指標進行綜合評測.

4 總結與展望

迄今，基于深度學習的SISR算法取得了突破性進展，本文從建立LR-HR圖像的映射模型和面向真實場景的SISR兩類核心挑戰(zhàn)出發(fā)，重點介紹了有監(jiān)督和不成對的深度SISR算法.有監(jiān)督的深度SISR方法按照不同的網(wǎng)絡結構又分為基于CNN、GAN和NAS的SISR方法，對每類方法做了詳細介紹，并簡單概述深度網(wǎng)絡的目標優(yōu)化函數(shù)、數(shù)據(jù)集與評價標準.不成對的深度SISR方法按照訓練樣本的產(chǎn)生方式分為：零樣本、弱監(jiān)督和自監(jiān)督的SISR方法，分析其代表性算法的主要特色.基于領域的SISR從幾個應用領域，如人臉、醫(yī)學、遙感、雷達和小目標，簡單介紹它們的代表性方法.基于深度學習的SISR方法取得了長足的進展，仍存在一些問題有待解決：

1)網(wǎng)絡結構的搜索與模型優(yōu)化.CNN、GAN、NAS等網(wǎng)絡結構在SISR中取得顯著成績，但每類網(wǎng)絡結構中依然存在參數(shù)量龐大、計算資源占用高等問題，如何進一步優(yōu)化和改進網(wǎng)絡結構，值得進一步研究.同時，探索深度網(wǎng)絡訓練中新的目標優(yōu)化函數(shù)和新的網(wǎng)絡訓練方式，提升網(wǎng)絡的收斂速度，減少梯度消失和梯度爆炸的問題，也是一項非常有意義的研究內(nèi)容.

2)網(wǎng)絡模塊的設計和新的模式識別學習方法的引入.現(xiàn)有的網(wǎng)絡模塊(如遞歸學習、密集連接、上下迭代投影等)和學習機制(如注意力機制、多路徑學習、非局部相似性、多尺度相似性等)對SISR精度有很好的提升，如何將這些網(wǎng)絡模塊和學習機制有效組合，或引入更多新穎的網(wǎng)絡模塊和學習機制(如遷移學習、增量學習、元學習、領域自適應學習)都是很有潛力的研究課題.

3)輕量化的SISR方法.隨著手機、平板等移動終端的使用越來越普及，輕量化SISR網(wǎng)絡應用于移動終端的需求越來越強烈.如何對現(xiàn)有的輕量化SISR方法做進一步的結構優(yōu)化，設計具有更高精度、低參數(shù)量的輕量化SISR網(wǎng)絡是SISR研究的熱點.

4)面向真實場景的不成對的SISR方法研究.獲取成對的圖像集是不成對的深度SISR方法的技術難點，現(xiàn)有的零樣本、弱監(jiān)督、自監(jiān)督方法雖然提出了一些解決策略，但各有其優(yōu)缺點，為了得到正確的數(shù)據(jù)集，訓練過程大多過于繁瑣，同時它們的重建精度離實際應用還有一定的差距.因此，如何簡化模型的訓練過程、降低模型的計算復雜度、提升模型的重建精度，這是面向真實場景的SISR的重要研究課題，而不成對的SISR方法是現(xiàn)在及未來的熱門研究方向.

5)深度SISR網(wǎng)絡與領域先驗知識的結合.基于領域的SISR在人臉和小目標圖像上取得重大突破，技術相對成熟，但是在醫(yī)學、遙感和雷達圖像上的研究相對較少，主要是因為這幾類圖像集的獲取困難，且LR-HR圖像映射關系復雜.特別在真實場景中，數(shù)據(jù)集構建更為困難，難以滿足實際應用，如何將SISR技術應用于領域圖像，服務社會將是未來SISR研究的重點.