圖像超分辨率深度學(xué)習(xí)研究及應(yīng)用進(jìn)展

夏 皓，呂宏峰，羅 軍，蔡 念

1.工業(yè)和信息化部電子第五研究所，廣州511370

2.廣東工業(yè)大學(xué) 信息工程學(xué)院，廣州510006

圖像超分辨率重建（Super-Resolution restoration，SR）是用低分辨率（Low Resolution，LR）圖像重建出對(duì)應(yīng)的高分辨率（High Resolution，HR）圖像的過(guò)程。目前，圖像超分辨率技術(shù)已經(jīng)成功應(yīng)用于衛(wèi)星遙感圖像[1]、醫(yī)學(xué)圖像[2]、生物特征識(shí)別[3]等計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域。

傳統(tǒng)圖像SR算法主要基于插值或基于傳統(tǒng)機(jī)器學(xué)習(xí)實(shí)現(xiàn)超分辨率重建?；诓逯档乃惴▽?shí)現(xiàn)簡(jiǎn)單且已廣泛應(yīng)用，但是其高度依賴于小范圍的鄰域信息，重建圖像往往較為模糊，甚至產(chǎn)生振鈴現(xiàn)象，在放大倍數(shù)（如4倍、8倍）較大時(shí)尤為嚴(yán)重?；趥鹘y(tǒng)機(jī)器的算法假設(shè)任意自然圖像可以表示為字典元素的稀疏線性組合，通過(guò)對(duì)LR圖像塊字典和HR圖像塊字典的聯(lián)合訓(xùn)練，學(xué)習(xí)LR圖像到HR圖像的映射。但是這類(lèi)方法高度依賴于字典設(shè)計(jì)，且計(jì)算復(fù)雜、實(shí)時(shí)性不高。近些年，由于深度學(xué)習(xí)具有通過(guò)卷積操作在大量數(shù)據(jù)中進(jìn)行特征自學(xué)習(xí)的優(yōu)勢(shì)而得到了大量研究和應(yīng)用，尤其是在圖像SR更是涌現(xiàn)了大量性能卓越的網(wǎng)絡(luò)模型，并在眾多領(lǐng)域得到了廣泛應(yīng)用。

1 用于圖像超分辨率的深度學(xué)習(xí)模型

目前用于圖像超分辨率的深度學(xué)習(xí)模型根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)大致可以分為以下幾類(lèi)。

1.1 全卷積網(wǎng)絡(luò)與類(lèi)全卷積網(wǎng)絡(luò)

全卷積網(wǎng)絡(luò)為沒(méi)有全連接層的卷積神經(jīng)網(wǎng)絡(luò)，可以支持不同大小的輸入及全圖端到端的訓(xùn)練。類(lèi)全卷積網(wǎng)絡(luò)則是級(jí)聯(lián)卷積層和反卷積層的網(wǎng)絡(luò)。

香港中文大學(xué)的Dong等[4-5]充分考慮深度學(xué)習(xí)和傳統(tǒng)稀疏編碼之間的關(guān)系，在2014年首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單張圖像超分辨率重建，提出超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network，SRCNN）。盡管SRCNN重建的圖像比傳統(tǒng)算法清晰，且重建速度也有大幅度提升，但是SRCNN仍存在以下問(wèn)題：（1）沒(méi)有考慮任何的自相似性；（2）僅適用單放大因子的情況，對(duì)于不同的放大因子，則需要重新訓(xùn)練；（3）網(wǎng)絡(luò)學(xué)習(xí)一直是在高分辨率空間中進(jìn)行，計(jì)算資源消耗較多，且訓(xùn)練速度慢；（4）網(wǎng)絡(luò)層數(shù)較少，感受野較小且固定為13×13，難以利用上下文信息。

為了讓網(wǎng)絡(luò)能夠在低分辨率空間中進(jìn)行學(xué)習(xí)，Dong等[6]和Shi等[7]直接采用原始低分辨率圖像進(jìn)行網(wǎng)絡(luò)信息傳遞。即特征信息傳遞一直在低分辨率空間進(jìn)行，這樣可以進(jìn)行快速特征學(xué)習(xí)，大幅度地降低網(wǎng)絡(luò)計(jì)算量。他們研究指出，各自重建所需時(shí)間僅為SRCNN的1/5（Efficient Sub-Pixel Convolutional Neural Network，ESPCNN）和1/17（Fast Super-Resolution Convolutional Neural Network，F(xiàn)SRCNN）。

Dong等[6]首先通過(guò)在映射層的首部和尾部分別添加了一個(gè)收縮層和擴(kuò)展層，使得LR圖像到HR圖像的映射一直被限制在低維特征空間。此外，他們考慮到非線性映射層中卷積核的數(shù)量和映射層層數(shù)對(duì)重建效果有巨大的影響，采用了更小卷積核和更多映射層。最后通過(guò)反卷積層重建出HR圖像。

Shi等[7]引入亞像素卷積層，提出了ESPCNN。ESPCNN輸入部分是原始低分辨率圖像，經(jīng)過(guò)三個(gè)卷積層處理后得到r2張（r為放大倍數(shù)）與輸入圖像大小一樣的特征圖，再將這r2張?zhí)卣鲌D中的每個(gè)像素重新排列，重建出一張高分辨率圖像。

考慮到一些網(wǎng)絡(luò)模型假定退化方式為雙三次退化，處理其他的退化模式則效果較差，Zhang等[8]提出維數(shù)擴(kuò)展策略，將不同組合的模糊內(nèi)核和噪聲水平引起的退化作為輸入進(jìn)行訓(xùn)練，實(shí)現(xiàn)了單個(gè)模型處理多種退化模式，大大提高了實(shí)用性。

雖然全卷積網(wǎng)絡(luò)與類(lèi)全卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)較少，訓(xùn)練速度較快，能夠快速收斂。但這些網(wǎng)絡(luò)均為淺層網(wǎng)絡(luò)，有限的網(wǎng)絡(luò)容量難以學(xué)習(xí)復(fù)雜映射。此外，這些網(wǎng)絡(luò)采用級(jí)聯(lián)多層卷積層進(jìn)行圖像SR，因此隨著網(wǎng)絡(luò)層數(shù)逐漸加深，不可避免地導(dǎo)致梯度爆炸問(wèn)題。

1.2 殘差網(wǎng)絡(luò)

一般來(lái)說(shuō)，網(wǎng)絡(luò)越深越寬，其感受野越大，能利用的上下文信息就越多，學(xué)習(xí)能力及層次特征表征能力也越強(qiáng)。近年來(lái)，越來(lái)越多的研究學(xué)者在加深網(wǎng)絡(luò)的同時(shí)使用殘差結(jié)構(gòu)來(lái)增強(qiáng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力。

Kim等[9]借鑒了VGG-Net[10]網(wǎng)絡(luò)的架構(gòu)，加深了網(wǎng)絡(luò)的深度并引入殘差學(xué)習(xí)，提出了一個(gè)級(jí)聯(lián)20層卷積層的殘差網(wǎng)絡(luò)VDSR。VDSR首先將LR圖像進(jìn)行雙三次插值，然后進(jìn)行殘差學(xué)習(xí)獲得殘差圖像，并與LR圖像進(jìn)行疊加獲得HR圖像。VDSR具有以下優(yōu)點(diǎn)：（1）擁有更多的網(wǎng)絡(luò)層數(shù)和更大的感受野。網(wǎng)絡(luò)層數(shù)由SRCNN的3層增加到了20層。感受野的大小由SRCNN的13×13變成了41×41，因此能利用更多的上下文信息來(lái)預(yù)測(cè)圖像細(xì)節(jié)。（2）首次將殘差學(xué)習(xí)應(yīng)用于圖像SR，大大降低了網(wǎng)絡(luò)的計(jì)算量，加快了收斂速度，應(yīng)用梯度裁剪有效地緩解了梯度爆炸問(wèn)題。（3）將不同放大倍數(shù)的圖像混合在一起訓(xùn)練，一個(gè)模型解決不同放大倍數(shù)下的超分辨率問(wèn)題。雖然VDSR成功地證明了增加網(wǎng)絡(luò)深度能夠顯著提升重建的效果，但是當(dāng)網(wǎng)絡(luò)深度過(guò)大時(shí)，其輸入的信息或梯度可能會(huì)消失，難以有效更新模型權(quán)重參數(shù)。

Lai等[11-12]提出一種基于拉普拉斯金字塔結(jié)構(gòu)的網(wǎng)絡(luò)LapSRN。網(wǎng)絡(luò)首先通過(guò)級(jí)聯(lián)卷積層直接提取LR圖像特征信息，得到粗分辨率特征圖。再采用反卷積向上采樣，最后使用卷積層來(lái)預(yù)測(cè)子帶殘差上采樣圖像與真實(shí)HR圖像間的差異。該網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)：（1）網(wǎng)絡(luò)輸入部分是原始的LR圖像，無(wú)需雙三次插值進(jìn)行預(yù)處理，降低了計(jì)算復(fù)雜度。（2）采用的Charbonnier損失函數(shù)可以有效解決L2損失所重建出的HR圖像過(guò)于平滑的問(wèn)題。（3）通過(guò)漸進(jìn)式重建的方式在多個(gè)分辨率下生成中間SR預(yù)測(cè)結(jié)果，有效促進(jìn)資源感知。與VDSR相比，LapSRN重建出的HR圖像更加清晰。但該網(wǎng)絡(luò)在較大放大倍數(shù)（如8倍）時(shí)的細(xì)節(jié)重建效果仍然不佳。此外，LapSRN網(wǎng)絡(luò)參數(shù)較多，占用硬件資源較多。

Lim等[13]提出了EDSR，其網(wǎng)絡(luò)結(jié)構(gòu)僅僅將用于圖像分類(lèi)的殘差網(wǎng)絡(luò)[14]（Residual Network，ResNet）中的每一個(gè)殘差單元內(nèi)部批處理歸一化層和殘差單元外部激活函數(shù)ReLU移除。在訓(xùn)練EDSR時(shí)，首先訓(xùn)練低放大倍數(shù)的模型，然后用預(yù)訓(xùn)練的低放大倍數(shù)模型訓(xùn)練高放大倍數(shù)模型。這種預(yù)訓(xùn)練策略不僅有效地減少了高放大倍數(shù)模型的訓(xùn)練時(shí)間，加快了訓(xùn)練速度還一定程度上提高了重建性能。然而，EDSR簡(jiǎn)單地將殘差塊堆疊成鏈而加深網(wǎng)絡(luò)，不僅忽略了網(wǎng)絡(luò)中每個(gè)部分（卷積層或特征提取塊）的層次特征，還增加了網(wǎng)絡(luò)的計(jì)算量。

Feng等[15]設(shè)計(jì)了一種多尺度分形殘差網(wǎng)絡(luò)MSFRN，其包含多個(gè)多尺度分形殘差塊MSFRB，充分提取LR圖像的多尺度特征；利用多條路徑將淺層特征和所有多尺度分形殘差塊輸出的局部特征進(jìn)行全局分層特征融合；最后通過(guò)亞像素卷積重建HR圖像。MSFRN通過(guò)多條路徑融合不同深度圖像的多尺度特征，充分提取圖像局部特征信息，實(shí)現(xiàn)不同路徑信息共享，可以提升網(wǎng)絡(luò)特征表達(dá)能力。在4倍的放大倍數(shù)下，MSFRN重建的HR圖像具有較清晰的紋理、較豐富的細(xì)節(jié)和較高結(jié)構(gòu)相似性。

針對(duì)現(xiàn)有的SR方法沒(méi)有充分利用原始LR圖像的層次特征，導(dǎo)致重建效果較差的問(wèn)題，Lan等[16]提出一個(gè)包含多個(gè)局部共享組的級(jí)聯(lián)殘差網(wǎng)絡(luò)CRN。CRN通過(guò)引入級(jí)聯(lián)連接機(jī)制，不僅促進(jìn)特征的融合和梯度的傳播，還降低模型訓(xùn)練難度。此外，他們還提出了另一個(gè)增強(qiáng)殘差網(wǎng)絡(luò)ERN。ERN采用雙全局路徑結(jié)構(gòu)，結(jié)合非局部操作從原始LR圖像輸入中捕捉長(zhǎng)距離空間特征信息。與現(xiàn)有的基于CNN的模型相比，結(jié)合非局部操作從原始LR圖像輸入中捕捉長(zhǎng)距離空間特征信息。CRN和ERN擁有較淺的網(wǎng)絡(luò)深度，較少的模型參數(shù)，模型重建效果較好。

席志紅等[17]提出一種基于深層殘差網(wǎng)絡(luò)的加速圖像超分辨率重建方法DRSR。DRSR直接從LR圖像中提取到特征信息，使用多路徑模式的局部殘差學(xué)習(xí)和多權(quán)重遞歸學(xué)習(xí)，再通過(guò)亞像素卷積層獲得HR圖像。該網(wǎng)絡(luò)使用了多路徑模式的局部殘差結(jié)構(gòu)，使所有的殘差單元能夠共享相同的輸入，不僅加快了網(wǎng)絡(luò)的收斂還提高了訓(xùn)練速度。

基于殘差網(wǎng)絡(luò)的SR算法應(yīng)用了殘差學(xué)習(xí)、梯度裁剪、參數(shù)共享等策略，可以解決深度網(wǎng)絡(luò)參數(shù)量大、不易收斂以及梯度爆炸等問(wèn)題。但其大多是通過(guò)增加殘差塊數(shù)目即增加網(wǎng)絡(luò)深度來(lái)提升重建效果，而忽略了殘差塊本身的設(shè)計(jì)問(wèn)題，往往制約了其性能的進(jìn)一步提升及網(wǎng)絡(luò)設(shè)計(jì)的合理性。

1.3 遞歸網(wǎng)絡(luò)

深度網(wǎng)絡(luò)通常存在過(guò)擬合和模型過(guò)于復(fù)雜的問(wèn)題，為了有效緩解這一問(wèn)題，遞歸網(wǎng)絡(luò)應(yīng)運(yùn)而生。遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）能夠?qū)ΜF(xiàn)有的參數(shù)進(jìn)行學(xué)習(xí)，增加卷積神經(jīng)網(wǎng)絡(luò)的感受野，而無(wú)需引入新的參數(shù)。

Kim等[18]將RNN應(yīng)用于超分辨率重建并提出擁有16個(gè)遞歸層的DRCN。DRCN主要由嵌入網(wǎng)絡(luò)、推理網(wǎng)絡(luò)、重建網(wǎng)絡(luò)三個(gè)模塊組成。網(wǎng)絡(luò)通過(guò)從輸入到重建層的跳躍連接，保證了輸入LR圖像和輸出HR之間的信息共享，減少了網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)還結(jié)合了所有遞歸產(chǎn)生的特征圖，對(duì)遞歸結(jié)果進(jìn)行監(jiān)督，緩解梯度爆炸問(wèn)題，降低網(wǎng)絡(luò)訓(xùn)練難度。但是，DRCN可能會(huì)隨著遞歸次數(shù)的增加和模型復(fù)雜度的增加，導(dǎo)致遞歸監(jiān)督的計(jì)算量大幅度增加。

Tai等[19]借鑒ResNet、VDSR和DRCN提出了遞歸殘差網(wǎng)絡(luò)DRRN。該網(wǎng)絡(luò)包含25個(gè)殘差單元一共52層，融入局部殘差學(xué)習(xí)、全局殘差學(xué)習(xí)和遞歸學(xué)習(xí)，不僅較好控制了模型的參數(shù)量，還降低了訓(xùn)練難度。與只有20層的VDSR相比，DRRN擁有更多的網(wǎng)絡(luò)層數(shù)，計(jì)算量隨之大幅度增加，訓(xùn)練速度變慢，但是重建效果并沒(méi)有明顯提升，PSNR均值僅提升約0.3 dB。

吳磊等[20]設(shè)計(jì)了一種多尺度遞歸網(wǎng)絡(luò)，該網(wǎng)絡(luò)級(jí)聯(lián)了多個(gè)由特征提取層、特征融合層、特征映射層組成的多尺度特征映射單元。網(wǎng)絡(luò)首先直接對(duì)原始低分辨率圖像進(jìn)行特征提取，再進(jìn)行特征融合，最后通過(guò)亞像素卷積完成高分辨率圖像重建。該網(wǎng)絡(luò)能夠較全面地提取LR圖像特征，充分恢復(fù)圖像的紋理信息。雖然該網(wǎng)絡(luò)結(jié)構(gòu)是對(duì)SRCNN和ESPCN進(jìn)行改進(jìn)，但其視覺(jué)效果并沒(méi)有顯著提升，PSNR和SSIM的數(shù)值提升也較小。

Jiang等[21]提出了一種分層密集遞歸網(wǎng)絡(luò)HDRN。HDRN由多個(gè)分層密集殘差塊和一個(gè)全局融合模塊組成。每個(gè)分層密集殘差塊（HDB）內(nèi)部采用交錯(cuò)對(duì)角連接方式，將一維結(jié)構(gòu)變成分層矩陣結(jié)構(gòu)，不僅有助于特征融合和重用，同時(shí)可以減輕內(nèi)存和計(jì)算負(fù)擔(dān)。HDB采用共享方式相互連接，實(shí)現(xiàn)多尺度HDB特征全局融合，再通過(guò)亞像素上采樣重建HR圖像。HDRN通過(guò)遞歸分層殘差塊，充分捕捉了LR圖像特征信息，紋理細(xì)節(jié)的重建效果較好，網(wǎng)絡(luò)深度較淺，計(jì)算資源消耗較少。

Lin等[22]提出了一種高效遞歸深度卷積網(wǎng)絡(luò)SCRSR，主要由下采樣子網(wǎng)和上采樣子網(wǎng)組成，每個(gè)子網(wǎng)包含幾個(gè)具有相同權(quán)重的SCR塊，降低了計(jì)算復(fù)雜度和內(nèi)存消耗并擴(kuò)大了感受野大小。與沒(méi)有下采樣層的其他網(wǎng)絡(luò)相比，SCRSR節(jié)省了大約49%內(nèi)存消耗。為了能夠進(jìn)一步減少網(wǎng)絡(luò)的參數(shù)，SCRSR采用了兩級(jí)遞歸學(xué)習(xí)機(jī)制，以增加深度而不增加任何權(quán)重參數(shù)。此外，還采用局部、半全局和全局殘差學(xué)習(xí)，使網(wǎng)絡(luò)能夠穩(wěn)定高效地學(xué)習(xí)圖像細(xì)節(jié)信息，提高重建效果。

基于遞歸網(wǎng)絡(luò)的圖像超分辨率算法，采用了遞歸結(jié)構(gòu)，在不引入新的參數(shù)前提下，可以反復(fù)地對(duì)已有參數(shù)進(jìn)行學(xué)習(xí)。但隨著遞歸次數(shù)增加和模型復(fù)雜度提升，遞歸網(wǎng)絡(luò)的計(jì)算量也隨之增加。

1.4 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[23-24]借鑒了博弈論的思想，網(wǎng)絡(luò)由生成器和判別器兩個(gè)部分組成。GAN網(wǎng)絡(luò)的生成器用來(lái)生成超分辨率圖像，當(dāng)生成出超分辨率圖像足夠以假亂真，即判別器無(wú)法區(qū)分真實(shí)高分辨率圖像和網(wǎng)絡(luò)的超分辨率輸出圖像時(shí)，表明網(wǎng)絡(luò)生成的超分辨率圖像效果很好。

Ledig等[25]首次將GAN應(yīng)用于圖像超分辨率領(lǐng)域，提出了SRGAN。其生成網(wǎng)絡(luò)主要由多個(gè)結(jié)構(gòu)相同的殘差塊組成，每個(gè)殘差塊包含兩層卷積層，每層包含64個(gè)3×3大小的卷積核，再通過(guò)兩個(gè)亞像素卷積層進(jìn)行上采樣實(shí)現(xiàn)HR圖像生成。判別網(wǎng)絡(luò)用于判斷輸入圖像是生成HR圖像還是真實(shí)HR圖像，其包含8個(gè)卷積層，卷積層的輸出通道數(shù)由64遞增到512，最后使用兩個(gè)全連接層和Sigmoid激活函數(shù)獲得樣本的分類(lèi)概率。SRGAN采用了對(duì)抗訓(xùn)練方式，生成的HR圖像紋理細(xì)節(jié)更加豐富逼真，更符合人類(lèi)的視覺(jué)效果。但重建的HR圖像在PSNR和SSIM數(shù)值上并沒(méi)有顯著提升，PSNR均值與SRCNN相比甚至還降低了大約1 dB。此外SRGAN的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，需要訓(xùn)練兩個(gè)子網(wǎng)絡(luò)，因此訓(xùn)練時(shí)間較長(zhǎng)，且難以收斂。

Wang等[26]在SRGAN的基礎(chǔ)上刪除批處理歸一化層BN并合并密集塊，提出了ESRGAN。ESRGAN通過(guò)引入沒(méi)有BN層的殘差密集塊RRDB作為基本網(wǎng)絡(luò)構(gòu)建單元，每個(gè)密集塊的輸入連接到相應(yīng)塊的輸出，確保在每個(gè)密集塊上形成局部殘差學(xué)習(xí)。此外，ESRGAN還采用全局殘差連接進(jìn)行全局殘差學(xué)習(xí)。為了能夠指導(dǎo)生成器恢復(fù)更豐富的紋理特征，ESRGAN使用了一種Relativistic GAN[27]的增強(qiáng)型判別器，即通過(guò)使用激活前的特征增強(qiáng)感知損失，提供強(qiáng)監(jiān)督，使得重建HR圖像擁有更好的亮度和更逼真的紋理細(xì)節(jié)，并以最佳感知指數(shù)取得了PIRM2018-SR挑戰(zhàn)賽的第一名。

針對(duì)GAN直接應(yīng)用于SR可能會(huì)出現(xiàn)輸入和輸出不匹配的情況，Gao等[28]提出了基于條件生成對(duì)抗網(wǎng)絡(luò)（cGAN）的圖像超分辨率網(wǎng)絡(luò)。其生成器采用對(duì)稱的編碼器-解碼器結(jié)構(gòu)，應(yīng)用跳躍式連接實(shí)現(xiàn)輸入和輸出之間低級(jí)信息的跨層傳輸。判別器是一個(gè)PatchGAN網(wǎng)絡(luò)，以減少訓(xùn)練參數(shù)，使模型輕量化，容易訓(xùn)練。為了保護(hù)低頻信息并恢復(fù)高頻信息，他們還設(shè)計(jì)了一種將對(duì)抗損失項(xiàng)和L1損失項(xiàng)相結(jié)合的生成損失函數(shù)，充分利用了對(duì)抗損失有助于高頻紋理細(xì)節(jié)恢復(fù)和L1損失項(xiàng)有利于學(xué)習(xí)LR輸入的整體結(jié)構(gòu)的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，他們提出的網(wǎng)絡(luò)能夠同時(shí)保持低頻信息和恢復(fù)高頻信息，生成具有逼真紋理和較少過(guò)度平滑的HR圖像。但網(wǎng)絡(luò)輸入插值后的LR圖像，會(huì)大大增加網(wǎng)絡(luò)的計(jì)算量。此外，網(wǎng)絡(luò)的解碼器單元應(yīng)用了dropout模塊，可能會(huì)造成重建信息的丟失。

考慮到不同分辨率的圖像可能攜帶不同特征信息，Ma等[29]構(gòu)建了一個(gè)使用反投影和漸進(jìn)式增長(zhǎng)的網(wǎng)絡(luò)，即通過(guò)漸進(jìn)尺度因子構(gòu)建投影單元，將多個(gè)投影單元組合成一個(gè)投影塊，并在每個(gè)投影單元和投影塊之間使用密集連接。與之前的反饋網(wǎng)絡(luò)不同之處在于，該網(wǎng)絡(luò)使用逐漸增加的比例因子構(gòu)建上下投影單元，使網(wǎng)絡(luò)可以學(xué)習(xí)到更豐富的特征信息。此外，他們采用了逐步訓(xùn)練方式，從單層網(wǎng)絡(luò)結(jié)構(gòu)開(kāi)始，不斷添加新的層，這樣不僅可以保證訓(xùn)練的穩(wěn)定性還能大大提升訓(xùn)練速度。

針對(duì)較大的放大倍數(shù)下紋理細(xì)節(jié)信息缺乏和視覺(jué)效果差的問(wèn)題，彭晏飛等[30]在SRGAN模型的基礎(chǔ)上，使用SVM算法中的hinge損失作為目標(biāo)函數(shù)，在生成網(wǎng)絡(luò)中使用Charbonnier損失函數(shù)代替L2損失，去解決使用L2損失重建圖像帶來(lái)的斑點(diǎn)偽影問(wèn)題。此外，他們還去掉了殘差塊和判別器中的BN層，在生成器和判別器中使用譜歸一化（Spectral Normalization，SN）來(lái)減小計(jì)算量，使模型能夠穩(wěn)定地訓(xùn)練。判別器使用了ELU激活函數(shù)代替LeakyReLU激活函數(shù)。網(wǎng)絡(luò)重建出的圖像無(wú)論在視覺(jué)效果上還是在PSNR和SSIM數(shù)值上均取得了提升。但網(wǎng)絡(luò)仍采用雙三次插值圖像，使得網(wǎng)絡(luò)計(jì)算量增加，訓(xùn)練速度減慢。

Zhou等[31]設(shè)計(jì)了一個(gè)具有23層編碼器-解碼器結(jié)構(gòu)的多尺度特征映射網(wǎng)絡(luò)，通過(guò)多尺度特征映射模塊學(xué)習(xí)LR和HR特征之間的映射關(guān)系。該模塊利用編碼器中不同的卷積層提取LR圖像特征信息，再將其映射為HR圖像特征，最后通過(guò)解碼器的卷積層處理進(jìn)一步增加重建HR圖像的信息量。與SRCNN中的單一卷積層相比，該網(wǎng)絡(luò)可以提高LR圖像信息的利用率。此外，他們提出了由MSE損失、感知損失和對(duì)抗損失組成的新型損失函數(shù)，可以更好地監(jiān)督還原HR圖像的低頻內(nèi)容、銳利邊緣和高頻紋理。

基于GAN的SR網(wǎng)絡(luò)相比于基于CNN的網(wǎng)絡(luò)能夠重建出更加接近人眼真實(shí)感知的HR圖像。但是，基于GAN的SR網(wǎng)絡(luò)有時(shí)未能捕捉到訓(xùn)練數(shù)據(jù)的多樣性，導(dǎo)致輸入LR圖像和輸出HR圖像出現(xiàn)不匹配的情況。此外，GAN網(wǎng)絡(luò)在訓(xùn)練時(shí)需要生成器和判別器同時(shí)工作，交替優(yōu)化，因而學(xué)習(xí)速度較慢，且訓(xùn)練難度很大，甚至難以收斂。

1.5 密集網(wǎng)絡(luò)

密集網(wǎng)絡(luò)[32]沒(méi)有采用加深網(wǎng)絡(luò)層數(shù)和加寬網(wǎng)絡(luò)結(jié)構(gòu)的方式來(lái)提升網(wǎng)絡(luò)性能，而是從特征的角度進(jìn)行考慮。

由于SR網(wǎng)絡(luò)大多只考慮了單一尺度下圖像空間的映射關(guān)系，Zhou等[33]提出了一個(gè)包含了密集卷積自編碼器塊的網(wǎng)絡(luò)，由幾個(gè)自編碼器單元和一個(gè)擠壓?jiǎn)卧獦?gòu)成密集卷積自編碼器塊，通過(guò)成對(duì)的編碼和解碼層獲取不同分辨率下的特征信息，通過(guò)擠壓?jiǎn)卧獙?dāng)前密集卷積自編碼器塊和前一個(gè)密集卷積自編碼器塊中的特征結(jié)合起來(lái)，實(shí)現(xiàn)長(zhǎng)時(shí)間特征重用。網(wǎng)絡(luò)融入了多空間尺度和多時(shí)間特征學(xué)習(xí)，能夠從不同時(shí)間范圍、不同空間分辨率中提取特征信息，建立多層次特征重用機(jī)制，學(xué)習(xí)LR和HR圖像之間的非線性映射。

針對(duì)很多SR深度網(wǎng)絡(luò)沒(méi)有利用不同通道信息的情況，Liu等[34]設(shè)計(jì)了一種使用多通道密集連接的殘差注意力網(wǎng)絡(luò)MCRAN，充分利用多通道之間的交互信息，使用多通道殘差注意力模塊合并多個(gè)不同通道的特征并應(yīng)用注意力機(jī)制自適應(yīng)調(diào)整通道特征。此外，MCRAN引入多源殘差組結(jié)構(gòu)以構(gòu)建更深層次網(wǎng)絡(luò)并簡(jiǎn)化網(wǎng)絡(luò)訓(xùn)練。與多種SR深度網(wǎng)絡(luò)相比，MCRAN更加關(guān)注通道信息，增強(qiáng)了特征學(xué)習(xí)能力。

考慮到不同的特征圖中包含不同特征信息，Ma等[35]提出了一個(gè)由幾個(gè)聚合模塊組成的密集判別網(wǎng)絡(luò)SRDDN。聚合模塊逐步地將提取節(jié)點(diǎn)和聚合節(jié)點(diǎn)合并為樹(shù)形結(jié)構(gòu)，實(shí)現(xiàn)特征信息聚合。聚合節(jié)點(diǎn)中引入特征選擇的注意力機(jī)制，增強(qiáng)判別學(xué)習(xí)能力。SDRRN通過(guò)在LR空間中放大淺層特征，在樹(shù)結(jié)構(gòu)中逐步聚合密集的分層特征，并通過(guò)全局殘差學(xué)習(xí)將它們與深層特征融合進(jìn)行重構(gòu)。這不僅提高了非線性和判別能力，還減小了模型尺寸。

Zhang等[36]提出了一種全局-局部可調(diào)密集超分辨率網(wǎng)絡(luò)GLADSR，主要由特征提取網(wǎng)絡(luò)、基礎(chǔ)網(wǎng)絡(luò)、提純網(wǎng)絡(luò)和重構(gòu)網(wǎng)絡(luò)四部分組成。其中，基礎(chǔ)網(wǎng)絡(luò)和提純網(wǎng)絡(luò)具有相似的結(jié)構(gòu)，均由嵌套密集組和可分離的金字塔上采樣模塊組成；每個(gè)嵌套密集組包含了多個(gè)全局-局部可調(diào)模塊，通過(guò)模塊中的局部選擇塊和全局引導(dǎo)塊，GLASR實(shí)現(xiàn)了對(duì)計(jì)算資源的合理分配，增加了網(wǎng)絡(luò)模型的容量。GLADSR還選用了可分離的金字塔上采樣模塊來(lái)代替常規(guī)的上采樣操作，大大減少了網(wǎng)絡(luò)參數(shù)，取得了較好的重建效果。

針對(duì)基于深度學(xué)習(xí)的SR算法在實(shí)際應(yīng)用中通常面臨著計(jì)算資源和內(nèi)存消耗嚴(yán)重的問(wèn)題，Song等[37]提出了一種具有多個(gè)目標(biāo)的高效殘差密集塊搜索算法ESRN。與很多SR深度網(wǎng)絡(luò)不同的是，ESRN引入池化來(lái)減少后續(xù)處理的計(jì)算量，同時(shí)將殘差密集塊中的局部殘差學(xué)習(xí)和全局特征融合相結(jié)合來(lái)減少池化帶來(lái)的信息丟失。為了進(jìn)一步減少參數(shù)，ESRN引入了收縮殘差密集塊和組殘差密集塊，采用進(jìn)化算法搜索SR的最佳網(wǎng)絡(luò)架構(gòu)。

與Li等[38]并沒(méi)有盲目地增加網(wǎng)絡(luò)深度以提升圖像重建效果，而是通過(guò)挖掘圖像特征和學(xué)習(xí)不同上采樣因子之間的尺度間相關(guān)性，提出了由多尺度密集交叉塊、分層特征蒸餾塊和動(dòng)態(tài)重建塊組成的多尺度密集交叉網(wǎng)絡(luò)MDCN。多尺度密集交叉塊通過(guò)集成雙路徑密集網(wǎng)絡(luò)和多尺度學(xué)習(xí)提取豐富的高頻細(xì)節(jié)；分層特征蒸餾塊引入維度變換和通道注意力機(jī)制，對(duì)通道的特征響應(yīng)進(jìn)行自適應(yīng)地重新校準(zhǔn)，以去除冗余的層次特征；動(dòng)態(tài)重建塊則是最大程度地重用模型參數(shù)，通過(guò)動(dòng)態(tài)激活相應(yīng)的上采樣模塊，學(xué)習(xí)不同上采樣因子之間的尺度間關(guān)聯(lián)性。實(shí)驗(yàn)結(jié)果表明，MDCN只需較少的參數(shù)和較少的運(yùn)行時(shí)間便可取得較好的重建效果。

基于密集網(wǎng)絡(luò)的SR算法不僅有效地緩解了梯度消失的問(wèn)題，還能夠通過(guò)密集連接使用少量卷積核就可以生成大量的特征，充分挖掘圖像特征信息，在一定程度上減少了參數(shù)量。但密集網(wǎng)絡(luò)采用反復(fù)的拼接（Concatenation）操作，將之前層的輸出與當(dāng)前層的輸出拼接在一起，然后傳給下一層，每次拼接操作都會(huì)開(kāi)辟新的內(nèi)存來(lái)保存拼接后的特征，因此在訓(xùn)練時(shí)十分消耗內(nèi)存。

1.6 盲圖像超分辨率

基于深度學(xué)習(xí)的圖像超分辨率方法多數(shù)假設(shè)用于生成LR圖像的模糊核已知的（例如，雙三次插值）。然而，在實(shí)際應(yīng)用中，模糊核通常更加復(fù)雜且未知，因此這些深度網(wǎng)絡(luò)模型將受限于已知固定模糊核模式，從而導(dǎo)致SR重建性能較差。近年來(lái)，已有學(xué)者開(kāi)始探索未知退化模式的盲圖像超分辨率深度網(wǎng)絡(luò)。

為解決盲圖像SR中由模糊核不匹配帶來(lái)的偽影問(wèn)題（過(guò)度平滑或過(guò)度銳化），Gu等[39]提出了一種用于模糊核未知情況的模糊核估算法——迭代核校正（IKC）法。IKC法根據(jù)重建出的圖像迭代地校正估計(jì)的模糊核。當(dāng)輸入的模糊核比真實(shí)的模糊核更平滑時(shí)，那么輸出的圖像將是模糊的，反之亦然。在此基礎(chǔ)上，提出采用空間特征變換（SFT）層處理多個(gè)模糊核的圖像超分辨率網(wǎng)絡(luò)SFTMD。IKC法通過(guò)迭代校正退化，可以逐漸產(chǎn)生無(wú)偽影的HR圖像。但由于IKC方法在測(cè)試時(shí)需要多次迭代，因此IKC法非常耗時(shí)。

考慮到由不同模糊核生成的LR圖像的SR過(guò)程本質(zhì)上是不同的但又具有一定的相關(guān)性，Wang等[40]提出了一種深度網(wǎng)絡(luò)混合模型，將不同模糊核的SR任務(wù)聚類(lèi)到幾個(gè)小組中。每組由具有相似模糊核的相關(guān)SR任務(wù)組成，通過(guò)混合模型中特定網(wǎng)絡(luò)組合進(jìn)行處理。為了實(shí)現(xiàn)自動(dòng)SR任務(wù)聚類(lèi)和網(wǎng)絡(luò)選擇，他們通過(guò)編碼器網(wǎng)絡(luò)從輸入圖像推斷出潛在變量，再使用潛在變量對(duì)模糊核進(jìn)行建模。為了監(jiān)督聯(lián)合訓(xùn)練混合模型和編碼器網(wǎng)絡(luò)，進(jìn)一步推導(dǎo)出似然函數(shù)的下界，從而規(guī)避了混合模型直接優(yōu)化的難點(diǎn)。

由于直接對(duì)不成對(duì)的真實(shí)LR-HR圖像學(xué)習(xí)不僅會(huì)在利用退化多樣性方面受到限制，而且可能過(guò)擬合到真實(shí)的LR退化模型而不能很好地重建HR圖像。為解決這個(gè)問(wèn)題，Liu等[41]并沒(méi)有從不成對(duì)的真實(shí)LR-HR圖像或特定下采樣器中學(xué)習(xí)，而是通過(guò)考慮模糊、噪聲、下采樣甚至JPEG壓縮，從現(xiàn)實(shí)的參數(shù)退化模型中學(xué)習(xí)。與直接對(duì)HR圖像進(jìn)行盲重建相比，他們提出的CBSR網(wǎng)絡(luò)采用級(jí)聯(lián)架構(gòu)進(jìn)行噪聲估計(jì)、模糊估計(jì)，可以從訓(xùn)練數(shù)據(jù)中進(jìn)行端到端地學(xué)習(xí)并提升模型的泛化能力。但正因?yàn)镃BSR專注于從現(xiàn)實(shí)的參數(shù)退化模型中學(xué)習(xí)，所以很難處理其建模范圍之外的退化LR輸入。

采用退化估計(jì)方式重建HR圖像往往退化估計(jì)會(huì)很耗時(shí)且可能產(chǎn)生較大的估計(jì)誤差而導(dǎo)致重建失敗。為此，Wang等[42]假設(shè)同一圖像任意區(qū)域的退化是相同的而不同圖像的退化可能有所不同，基于該假設(shè)提出了一種無(wú)監(jiān)督的退化表示學(xué)習(xí)機(jī)制他們提出的方法通過(guò)學(xué)習(xí)抽象表示來(lái)區(qū)分表示空間中的各種退化，而不是像素空間中的顯式估計(jì)，更容易區(qū)分不同退化?；谠搶W(xué)習(xí)機(jī)制建立了退化感知網(wǎng)絡(luò)DASR，該網(wǎng)絡(luò)結(jié)合了退化信息，能夠根據(jù)學(xué)習(xí)到的表征靈活適應(yīng)不同的退化。

Kim等[43]提出了一種基于SR特征的自適應(yīng)局部調(diào)節(jié)的盲SR網(wǎng)絡(luò)KOALAnet。KOALAnet由下采樣網(wǎng)絡(luò)和上采樣網(wǎng)絡(luò)兩個(gè)子網(wǎng)絡(luò)組成，其中下采樣網(wǎng)絡(luò)用于預(yù)測(cè)空間變化模糊核，上采樣網(wǎng)絡(luò)則是將預(yù)測(cè)的模糊核映射到特征核空間進(jìn)行進(jìn)一步的融合。在隨機(jī)各向異性的高斯退化環(huán)境下進(jìn)行訓(xùn)練后，KOALAnet能夠準(zhǔn)確預(yù)測(cè)底層退化核并有效地利用此信息進(jìn)行SR。

由于之前基于CNN的盲SR算法大多采用的是迭代優(yōu)化的方式，這種方式通常需要消耗較多的計(jì)算資源，因此重建速度較慢。為解決該問(wèn)題，Hui等[44]提出了一種用于多重退化SR的自適應(yīng)調(diào)制網(wǎng)絡(luò)AMNet。AMNet由多層自適應(yīng)調(diào)制層組成，通過(guò)模糊核預(yù)測(cè)器在整個(gè)盲目的SR模型中進(jìn)行訓(xùn)練，將深度強(qiáng)化學(xué)習(xí)融入到盲目的SR模型中，解決非差異性的優(yōu)化問(wèn)題。

盲圖像SR深度網(wǎng)絡(luò)拓展了深度學(xué)習(xí)在圖像SR領(lǐng)域中的應(yīng)用，尤其是在重建具有復(fù)雜退化類(lèi)型的真實(shí)世界圖像具有一定的優(yōu)勢(shì)。但正是由于缺乏有效的SR先驗(yàn)，其重建性能仍與真實(shí)HR圖像具有一定的差異性，尤其是在重建具有復(fù)雜紋理和精細(xì)細(xì)節(jié)的HR圖像時(shí)仍有待進(jìn)一步提升。

2 應(yīng)用領(lǐng)域

由于圖像超分辨率技術(shù)能在一定程度上修正由成像設(shè)備或環(huán)境對(duì)圖像造成的損壞，圖像超分辨率重建技術(shù)已經(jīng)被廣泛應(yīng)用于衛(wèi)星遙感圖像、醫(yī)學(xué)影像、視頻監(jiān)控等領(lǐng)域。

2.1 遙感圖像超分辨率

衛(wèi)星圖像的空間分辨率是衡量衛(wèi)星遙感能力的一項(xiàng)主要指標(biāo)，也是衡量一個(gè)國(guó)家航天遙感水平的重要標(biāo)志，追求更高的分辨率已成為各國(guó)衛(wèi)星的發(fā)展目標(biāo)。

PSSR[45]通過(guò)反卷積對(duì)極化合成孔徑雷達(dá)（Polarimetric Synthetic Aperture Radar，PolSAR）圖像進(jìn)行上采樣并采用了一個(gè)復(fù)雜的結(jié)構(gòu)塊來(lái)容納PolSAR數(shù)據(jù)結(jié)構(gòu)。

Zhang等[46]將跳躍式連接中的元素加法全部替換為加權(quán)的通道級(jí)聯(lián)，極大地促進(jìn)了信息的流動(dòng)。他們引入了高階注意力模塊來(lái)還原遙感圖像中丟失的細(xì)節(jié)信息。最后，他們還引入了頻率感知，實(shí)現(xiàn)了對(duì)分層特征的充分利用。

由于遙感數(shù)據(jù)的空間分布較為復(fù)雜，增加了重建的難度，因此DSSR[47]基于亞像素卷積的密集重采樣機(jī)制，重用了升頻器來(lái)對(duì)多級(jí)低維特征進(jìn)行上采樣，能夠?qū)崿F(xiàn)重建時(shí)多級(jí)先驗(yàn)信息的融合。為了增強(qiáng)網(wǎng)絡(luò)的表示能力，網(wǎng)絡(luò)引入了寬特征注意力塊。

針對(duì)放大倍數(shù)較大時(shí)，高光譜圖像會(huì)出現(xiàn)紋理模糊和光譜失真的問(wèn)題，Li等[48]通過(guò)將頻帶注意力機(jī)制引入到生成網(wǎng)絡(luò)中，再添加一些空間光譜約束來(lái)指導(dǎo)生成網(wǎng)絡(luò)的訓(xùn)練，從而有效地緩解光譜失真和紋理模糊的問(wèn)題。

CGAN[49]通過(guò)引入場(chǎng)景約束項(xiàng)來(lái)約束生成的特征，減少了場(chǎng)景變化帶來(lái)的風(fēng)險(xiǎn)。然后，頻譜歸一化被集成到鑒別器網(wǎng)絡(luò)中以穩(wěn)定訓(xùn)練過(guò)程，并采用內(nèi)容保真度來(lái)使訓(xùn)練過(guò)程穩(wěn)定同時(shí)避免了梯度消失的問(wèn)題。此外，邊緣增強(qiáng)模塊被設(shè)計(jì)為保留邊緣細(xì)節(jié)并抑制噪聲。

2.2 醫(yī)學(xué)圖像超分辨率

高分辨率的醫(yī)學(xué)圖像具有較高的像素密度，也就意味著可以提供更豐富的細(xì)節(jié)信息，這些細(xì)節(jié)信息往往在醫(yī)療診斷中能夠起到關(guān)鍵作用。

CSN[50]能夠?qū)⒋殴舱駡D像中的分層特征分為傳遞不同信息的兩個(gè)分支，即殘差分支和密集分支。殘差分支能夠促進(jìn)特征重用，而密集分支則有利于新特征的探索。

FAWDN[51]借鑒了RNN（Recurrent Neural Network）的反饋機(jī)制，能夠通過(guò)反饋連接將輸出圖像的信息發(fā)送到低級(jí)特征。為了減少密集塊中的特征冗余，引入了自適應(yīng)加權(quán)密集塊來(lái)自適應(yīng)地選擇信息特征。

SNSRGAN[52]通過(guò)引入輔助標(biāo)簽信息來(lái)約束特征生成，從而保持病理不變性。此外，它還采用了光譜歸一化來(lái)控制判別網(wǎng)絡(luò)的性能。

SSSR[53]使用低分辨率PET圖像、高分辨率解剖磁共振圖像、空間信息（軸向和徑向坐標(biāo)）以及CNN提取到的高維特征集作為輸入，使用配對(duì)的模擬數(shù)據(jù)集訓(xùn)練，擺脫了需要成對(duì)的低分辨率和高分辨率圖像訓(xùn)練的困擾。

Xia等[54]直接從原始低分辨率磁共振圖像獲取到特征信息，通過(guò)多個(gè)跳躍式連接單元實(shí)現(xiàn)信息傳遞?？紤]到不同的單元對(duì)高分辨率磁共振圖像重建的貢獻(xiàn)度不同，他們采用多單元上采樣學(xué)習(xí)機(jī)制較好地完成了重建。

2.3 生物特征圖像超分辨率

生物識(shí)別技術(shù)，通過(guò)計(jì)算機(jī)與光學(xué)、聲學(xué)、生物傳感器和生物統(tǒng)計(jì)學(xué)原理等高科技手段密切結(jié)合，利用人體固有的生理特性（如指紋、虹膜等）和行為特征（如筆跡、聲音、步態(tài)等）來(lái)進(jìn)行個(gè)人身份的鑒定。

由于現(xiàn)有的基于GAN的SR方法大多著眼于重建圖像的視覺(jué)外觀上，而不是圖像中面部的細(xì)節(jié)信息。因此，He等[55]設(shè)計(jì)了一種靈活的堆疊GAN。該網(wǎng)絡(luò)能夠兼容不同的放大倍數(shù)，較好地完成面部細(xì)節(jié)圖像的重建。

MSRCAN[56]通過(guò)將通道注意力機(jī)制與人臉先驗(yàn)信息結(jié)合起來(lái)，不僅增加了網(wǎng)絡(luò)特征的利用率還提升了人臉先驗(yàn)的約束力。此外，采用了多尺度遞進(jìn)訓(xùn)練的方式，能夠同時(shí)處理不同的放大倍數(shù)。

RBPNet[57]首先將重建的高分辨率特征圖投影到原始的低分辨率特征空間，生成投影的低分辨率特征圖。再將投影的低分辨率特征圖減去原始特征圖，得到低分辨率殘差特征圖。最后，將低分辨率殘差特征圖映射到高分辨率特征空間。網(wǎng)絡(luò)通過(guò)迭代殘差學(xué)習(xí)，逐步學(xué)習(xí)重構(gòu)人臉圖像與標(biāo)準(zhǔn)真實(shí)圖像之間的殘差，實(shí)現(xiàn)漸進(jìn)殘差反投影。

蔣文杰等[58]將SRGAN與WGAN[59]結(jié)合，并引入Wasserstein散度，提出了一個(gè)基于GAN的人臉超分辨率網(wǎng)絡(luò)。網(wǎng)絡(luò)通過(guò)最大化Wasserstein散度，得到最優(yōu)化標(biāo)量函數(shù)T,不僅去掉了Lipschit-z約束同時(shí)還較好地保留Wasserstein距離的優(yōu)良性質(zhì)。

2.4 工業(yè)圖像超分辨率

缺陷檢測(cè)是工業(yè)生產(chǎn)中一個(gè)重要環(huán)節(jié)，產(chǎn)品生產(chǎn)過(guò)程中，表面容易出現(xiàn)劃痕、凹陷等外觀缺陷。然而很多情況下，缺陷的尺寸很小，采集到的圖像分辨率低，檢測(cè)也就無(wú)法滿足高精度的要求。因此需要獲得高分辨率的工業(yè)圖像。

范明明等[60]通過(guò)將迭代反投影法與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，在迭代過(guò)程中引入圖像序列間的互補(bǔ)信息，較好地完成了芯片圖像超分辨率重建。

Yuan等[61]通過(guò)將自適應(yīng)頻譜分解、基于深度學(xué)習(xí)的超分辨率算法、相干性計(jì)算三者結(jié)合起來(lái)，提出了一種能夠自適應(yīng)縮放的故障檢測(cè)方法。該方法不僅可以自適應(yīng)地識(shí)別隨深度（或時(shí)間）變化的不同比例的故障，還提高了故障的連續(xù)性和分辨率。

針對(duì)電路板通常存在復(fù)雜度高，瑕疵尺寸小的問(wèn)題，工業(yè)采集圖像分辨率低的問(wèn)題，SRDDM[62]使用拉普拉斯金字塔網(wǎng)絡(luò)逐級(jí)重建，使用YOLO-v3算法提取特征。然后，使用K-Means聚類(lèi)完成對(duì)特征圖的多尺度檢測(cè)。最后使用非極大值抑制完成定位瑕疵及分類(lèi)。

Song等[63]提出了一種由兩個(gè)全卷積網(wǎng)絡(luò)組成的分層多尺度成像方法。第一個(gè)網(wǎng)絡(luò)為全局檢測(cè)網(wǎng)絡(luò)，用于在原始的低分辨率圖像中全局檢測(cè)亞波長(zhǎng)缺陷。第二個(gè)網(wǎng)絡(luò)為局部超分辨率網(wǎng)絡(luò)，用于解析檢測(cè)到的亞波長(zhǎng)的細(xì)節(jié)信息。

2.5 道路交通圖像超分辨率

車(chē)牌在智能交通中發(fā)揮著重要作用，車(chē)牌的檢測(cè)與識(shí)別廣泛應(yīng)用于停車(chē)場(chǎng)、高速公路收費(fèi)站等監(jiān)控系統(tǒng)中，為交通管理提供了極大的便利。在實(shí)際的監(jiān)控視頻中，由于成像設(shè)備分辨率的限制以及車(chē)牌與成像設(shè)備的距離等因素的影響，得到的車(chē)牌圖像分辨率低，難以識(shí)別。因此，需要高分辨率的車(chē)牌圖像。

Lee等[64]首先假定車(chē)輛和車(chē)牌的檢測(cè)優(yōu)先級(jí)為比字符更高，對(duì)車(chē)輛和車(chē)牌同時(shí)檢測(cè)。然后將檢測(cè)到的LR車(chē)牌圖像輸入到基于GAN的SR網(wǎng)絡(luò)中，經(jīng)過(guò)重建得到HR車(chē)牌圖像。最后通過(guò)基于上下文信息處理分層對(duì)象信息的方法，實(shí)現(xiàn)了準(zhǔn)確的車(chē)牌字符識(shí)別。

由于已有的SR方法主要關(guān)注自然圖像的重建，通常不適用于數(shù)字和字母。直接使用GAN生成的高分辨率圖像往往丟失車(chē)牌上的數(shù)字和字母的細(xì)節(jié)信息。因此，Bílková等[65]提出了一個(gè)基于GAN和OCR（Optical Character Recognition）的網(wǎng)絡(luò)，它能夠生成具有真實(shí)文本的高分辨率圖像，而不再依賴于真實(shí)高分辨率圖像訓(xùn)練。

與已有的超分辨率算法聚焦于產(chǎn)生逼真的圖像不同，CSRGAN[66]聚焦于超分辨率圖像中字符的可識(shí)別性，而不是像素的重構(gòu)。其采用了一種基于字符的損失函數(shù)，因此比已有的算法具有更高的字符識(shí)別精度。

GBPN[67]首先對(duì)投影過(guò)程中較大倍數(shù)的采樣層分解，通過(guò)逐級(jí)采樣完成迭代反投影。然后在每個(gè)逐級(jí)反投影單元中采用跳躍式連接融合逐級(jí)采樣的特征，實(shí)現(xiàn)了特征的反復(fù)利用。最后，根據(jù)逐級(jí)上投影單元產(chǎn)生的特征圖重建高分辨率圖像。

為了能夠更直觀地展示國(guó)內(nèi)外基于深度學(xué)習(xí)的超分辨率算法的研究現(xiàn)狀，總結(jié)了近三年國(guó)內(nèi)外基于深度學(xué)習(xí)的應(yīng)用于不同領(lǐng)域的圖像超分辨率算法，如表1所示。

表1 近三年國(guó)內(nèi)外基于深度學(xué)習(xí)的超分辨率應(yīng)用研究一覽Table 1 Overview of research on deep-learning-based natural image SR in past three years

3 結(jié)論

隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，目前基于深度學(xué)習(xí)的圖像超分辨率方法已經(jīng)代替了傳統(tǒng)的圖像超分辨率方法，漸漸地成為了主流。本文詳細(xì)介紹了近5年來(lái)基于深度學(xué)習(xí)的圖像超分辨重建算法，可以看出，隨著網(wǎng)絡(luò)層數(shù)的增加，以及網(wǎng)絡(luò)模型愈來(lái)愈復(fù)雜，超分辨率重建的效果越來(lái)越好。此外，為了進(jìn)一步增強(qiáng)視覺(jué)的重建效果，研究學(xué)者們將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用到圖像超分辨率領(lǐng)域中。盡管基于深度學(xué)習(xí)的超分辨重建效果已經(jīng)有了大幅度的提升，但還有很多方面值得進(jìn)一步研究：

（1）圖像視覺(jué)效果的提升。雖然基于生成對(duì)抗網(wǎng)絡(luò)的模型能夠在一定程度上提升重建的視覺(jué)效果，但生成對(duì)抗網(wǎng)絡(luò)仍面臨訓(xùn)練時(shí)收斂困難和不穩(wěn)定的難題，重建出的高分辨率圖像中容易出現(xiàn)一些人為的痕跡和偽影。接下來(lái)需要研究的是如何引入一些圖像先驗(yàn)或約束，從而使重建的圖像既有較好的視覺(jué)效果，同時(shí)也不產(chǎn)生一些偽影情況。

（2）評(píng)價(jià)指標(biāo)的增添。目前在超分辨率重建領(lǐng)域中，最常用的評(píng)價(jià)指標(biāo)是PSNR和SSIM。但是僅有這些評(píng)價(jià)指標(biāo)是遠(yuǎn)遠(yuǎn)不夠的，將不能很好地對(duì)重建后的圖像進(jìn)行有效評(píng)價(jià)[72]。一些研究學(xué)者已經(jīng)選用了新的評(píng)價(jià)指標(biāo)，如Ledig等[25]選用了MOS、Gao[28]選用了LS。因此，需要進(jìn)一步探索更加準(zhǔn)確的評(píng)價(jià)指標(biāo)。

（3）網(wǎng)絡(luò)模型的設(shè)計(jì)。目前，很多SR算法選用的是深度網(wǎng)絡(luò)，通常會(huì)大大增加模型的參數(shù)和計(jì)算量。此外，SR算法卷積核的大小大多是根據(jù)經(jīng)驗(yàn)選擇，理論基礎(chǔ)較為薄弱。因此，可以引入自組織學(xué)習(xí)的理念，自動(dòng)地選擇合適的網(wǎng)絡(luò)層數(shù)和卷積核大小來(lái)達(dá)到最佳的重建效果。

（4）實(shí)際場(chǎng)景中的超分辨重建?，F(xiàn)有SR算法大多是采用固定的退化方式[73]（如雙三次插值）對(duì)真實(shí)HR圖像處理，再將其縮小獲得LR圖像，然后通過(guò)算法重建出對(duì)應(yīng)的HR圖像。然而實(shí)際場(chǎng)景的圖像超分辨率只有LR圖像而沒(méi)有對(duì)應(yīng)的HR圖像，因此無(wú)法評(píng)估重建出的HR圖像的準(zhǔn)確性。雖然已有一些盲超分辨重建算法，但距離實(shí)際應(yīng)用還需要很長(zhǎng)的時(shí)間，因此更具適用性的盲超分辨重建算法需要進(jìn)一步研究。