超分辨率圖像重建算法綜述

鐘夢圓，姜 麟

昆明理工大學(xué) 理學(xué)院，昆明650093

圖像是人類用于感知世界的直觀方式之一，而低分辨率（low resolution，LR）圖像往往阻礙人類獲取、傳遞、表達(dá)圖像的特征信息。

對此，研究LR 圖像重建實(shí)現(xiàn)高質(zhì)量、高細(xì)節(jié)、高清晰度圖像的超分辨率圖像重建（super-resolution image reconstruction，SRIR）技術(shù)成為計(jì)算機(jī)視覺圖像處理領(lǐng)域的研究熱點(diǎn)。

Tsai 等人提出的“基于序列的超分辨率圖像重建算法”是SRIR 研究的開山之作，闡明了SRIR 技術(shù)是指借助相關(guān)算法將已有的LR 圖像向高分辨率圖像（high resolution，HR）轉(zhuǎn)換的技術(shù)。SRIR 技術(shù)致力于解決圖像放大任意倍數(shù)后仍舊清晰展現(xiàn)圖像紋理、結(jié)構(gòu)、邊緣等信息的問題，在很大程度上滿足了時(shí)代發(fā)展過程中，醫(yī)學(xué)、工業(yè)、衛(wèi)星遙感、道路監(jiān)測、安全監(jiān)控等領(lǐng)域?qū)Ω哔|(zhì)量圖像的需求。

近年來，國內(nèi)外SRIR 技術(shù)得到迅速發(fā)展并取得許多優(yōu)秀成果，同時(shí)也涌現(xiàn)出一些優(yōu)秀的SRIR 綜述文章，對這些研究成果進(jìn)行了歸納、總結(jié)、分析，比如：

（1）針對某方面圖像重建算法的綜述

鐘寶江等人針對圖像插值技術(shù)全面介紹圖像插值與圖像重建之間的異同，并給出主、客觀兩方面對插值圖像質(zhì)量評價(jià)的方式；馬書紅對幾種經(jīng)典的插值算法針對圖像放大效果進(jìn)行比較；鄭璐等人介紹深度學(xué)習(xí)背景下SRCNN（super-resolution convolutional neural network）、VDSR（very deep super-resolution）、DRCN（deeply-recursive convolutional network）、SRDenseNet（super-resolution DenseNet）、SRGAN（superresolution generative adversarial network）五種算法所用的網(wǎng)絡(luò)結(jié)構(gòu)和圖像重建的流程，并簡短給出這五種算法的實(shí)驗(yàn)結(jié)果。此外，文獻(xiàn)[6-9]也針對深度學(xué)習(xí)背景下的部分超分辨率圖像重建算法進(jìn)行歸納分析。

（2）針對傳統(tǒng)圖像重建方法的綜述

龍超以較為經(jīng)典的圖像超分辨率方法（插值、重建、學(xué)習(xí)）進(jìn)行綜述；王春霞等人以單幀圖像和多幀圖像、頻域和空域分別介紹超分辨率圖像重建技術(shù)的一些經(jīng)典方法；蘇衡等人以超分辨率圖像重建問題分類入手，對基于重建的超分辨率方法、視頻超分辨率方法、單幅圖像超分辨率方法進(jìn)行詳細(xì)綜述。

（3）針對傳統(tǒng)方法與深度學(xué)習(xí)方法的綜述

張芳等人從傳統(tǒng)方法和深度學(xué)習(xí)方法兩類方法入手，對單幅圖像的重建算法進(jìn)行歸納分析，并給出兩類方法之間SR 重建本質(zhì)的聯(lián)系與差異。董銀麗等人歸納分析頻域法、空域法、學(xué)習(xí)法，并給出圖像質(zhì)量主觀評價(jià)和客觀評價(jià)方法的分析。Li 等人從單幅圖像的重建問題入手介紹超分辨率圖像重建方法、網(wǎng)絡(luò)結(jié)構(gòu)、應(yīng)用場景等方面。

本文從基于插值、基于重構(gòu)、基于學(xué)習(xí)（深度學(xué)習(xí)前、深度學(xué)習(xí)后）入手，對到目前為止的超分辨率圖像重建方法進(jìn)行系統(tǒng)分類，并對各方法下經(jīng)典的、常用的算法進(jìn)行綜述：（1）從運(yùn)算速度、運(yùn)算復(fù)雜度、圖像質(zhì)量、解唯一性等方面對基于插值、基于重構(gòu)的傳統(tǒng)算法進(jìn)行對比分析；（2）從現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)方式入手介紹基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)圖像重建算法，從網(wǎng)絡(luò)結(jié)構(gòu)修改方式入手介紹基于生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)圖像重建算法，并給出各算法在運(yùn)用機(jī)制、適用場景、優(yōu)化方向、學(xué)習(xí)策略、算法優(yōu)勢、局限性等方面的特點(diǎn)與性能；（3）對超分辨率圖像重建技術(shù)所用數(shù)據(jù)集、質(zhì)量評價(jià)方式進(jìn)行了綜合分析；（4）在文末給出對超分辨率圖像重建這個(gè)方向未來研究發(fā)展的展望。

1 超分辨率圖像重建概述

超分辨率圖像重建利用已知的圖像信息建立LR圖像與HR 圖像之間的特征序列關(guān)系，其數(shù)學(xué)模型為：利用“系統(tǒng)成像模型”自身的一些變化手段對退化后的圖像實(shí)現(xiàn)重建。

“系統(tǒng)成像模型”過程：LR 圖像由HR 圖像經(jīng)退化函數(shù)（如加噪、模糊、運(yùn)動(dòng)、降采樣等）作用后得到的不清晰圖像，即：

其中，表示LR 圖像，表示HR 圖像，表示退化函數(shù)，θ表示與退化函數(shù)相關(guān)的各種參數(shù)和退化因子，S為降采樣矩陣，為降采樣矩陣的比例因子，為模糊矩陣，為與HR 卷積相關(guān)的模糊核，為運(yùn)動(dòng)矩陣，n為添加的帶有標(biāo)準(zhǔn)差的噪聲，表示標(biāo)準(zhǔn)差。

超分辨率圖像重建問題為“系統(tǒng)成像模型”的逆過程，輸入LR 圖像重建出相應(yīng)的HR 圖像：

其中，表示重建函數(shù)，σ表示與重建函數(shù)相關(guān)的各種參數(shù)與重建因子。

圖像退化過程和圖像重建過程如圖1 所示。

圖1 中，黑色箭頭表示圖像退化過程，黃色箭頭表示圖像重建過程。

圖1 超分辨率圖像重建技術(shù)圖解Fig.1 Illustration of super-resolution image reconstruction technology

本文根據(jù)超分辨圖像重建所采用的方法，將其分為基于插值的圖像重建方法、基于重構(gòu)的圖像重建方法、基于學(xué)習(xí)的重建方法，而基于學(xué)習(xí)的圖像重建方法又可分為深度學(xué)習(xí)前的圖像重建算法和深度學(xué)習(xí)后的圖像重建算法。深度學(xué)習(xí)后的圖像重建算法又分為基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建算法和基于生成對抗網(wǎng)絡(luò)的超分辨率圖像重建算法，具體分類情況如圖2 所示。

圖2 圖像重建方法分類Fig.2 Classification of image reconstruction algorithms

2 基于插值的圖像重建方法

基于插值的圖像重建方法是超分辨率圖像重建問題中最原始、最直觀的方法，主要分為線性插值算法和非線性插值算法。插值法主要根據(jù)LR 圖像已知的像素點(diǎn)灰度信息，運(yùn)用插值公式增強(qiáng)像素點(diǎn)間的灰度信息來實(shí)現(xiàn)圖像放大問題。一般情況下，插值法所需的圖像信息較少，算法復(fù)雜度較低，運(yùn)行速度較快，且插值后的HR 圖像保留了原LR 圖像的像素點(diǎn)信息。

2.1 線性插值算法

最近鄰插值法指插值點(diǎn)直接以與其歐式距離最短的像素點(diǎn)的灰度值為自身插值后的灰度值。雖然它是最簡單的插值算法，難度系數(shù)低且易實(shí)現(xiàn)，但由于其他相鄰像素點(diǎn)沒有對目標(biāo)插值點(diǎn)產(chǎn)生影響，當(dāng)插值圖像分辨率較大時(shí)，容易出現(xiàn)鋸齒效應(yīng)和圖像灰度不連續(xù)問題。

為解決最近鄰插值法忽視相鄰像素點(diǎn)間影響而造成圖像鋸齒效應(yīng)現(xiàn)象，提出雙線性插值法。雙線性插值法主要從垂直、水平兩個(gè)方向?qū)ο噜彽乃膫€(gè)像素點(diǎn)進(jìn)行線性插值實(shí)現(xiàn)圖像插值問題。雖然雙線性插值法在圖像灰度不連續(xù)問題上有所改進(jìn)，但插值后的圖像產(chǎn)生明顯的細(xì)節(jié)退化，圖像高頻信息受到損壞。

在雙線性插值法的基礎(chǔ)上提出雙三次插值法，將臨近區(qū)域內(nèi)四個(gè)相鄰像素點(diǎn)擴(kuò)充到十六個(gè)相鄰像素點(diǎn)，對其使用三次插值多項(xiàng)式后進(jìn)行加權(quán)平均計(jì)算完成圖像插值重建。雙三次插值法充分考慮了各像素點(diǎn)對目標(biāo)插值點(diǎn)的影響，提高了重建質(zhì)量也使計(jì)算變復(fù)雜，運(yùn)算量急劇增加。

2.2 非線性插值算法

邊緣導(dǎo)向插值法主要是對RGB 三色圖像的邊緣信息進(jìn)行約束、放大，以便解決人眼視覺特性對圖像邊緣信息的捕捉造成的影響。

Li 等人提出基于邊緣引導(dǎo)的NEDI（new edgedirected interpolation）插值算法，利用LR 圖像的邊緣局部協(xié)方差來構(gòu)建與HR 圖像相同的圖像邊緣信息來解決圖像邊緣銳化問題，但算法復(fù)雜度較高，實(shí)用性不強(qiáng)。Zhang 等人在NEDI 插值算法的基礎(chǔ)上改進(jìn)，提出用自適應(yīng)插值算法來優(yōu)化分析LR 圖像和HR 圖像之間的結(jié)構(gòu)信息，重建得到較為完整的圖像結(jié)構(gòu)信息和邊緣信息。

梯度引導(dǎo)插值法是利用鄰域內(nèi)一階梯度、二階梯度的信息調(diào)整梯度分布和像素分布，再結(jié)合邊緣導(dǎo)向插值法和雙三次線性插值法實(shí)現(xiàn)圖像重建。

小波變換插值法充分利用小波變換所具有的局部細(xì)化特點(diǎn)，將圖像特征信息分解到不同尺度上獨(dú)立研究與分析后，將提取的特征信息疊加融合后再用小波逆變換提高圖像分辨率。

Ford 等人利用小波變換的一維信號進(jìn)行非均勻圖像采樣重建。Nguyen 等人在此基礎(chǔ)上拓展到二維信號，在多分辨率圖像框架下對LR 圖像進(jìn)行重建。段立娟等人利用HR 圖像推算出其對應(yīng)的小波系數(shù)，再借助多階段學(xué)習(xí)策略重建HR 圖像。

表1 給出了基于插值方法的各重建算法之間的比較?；诓逯档膱D像重建方法雖然簡單且容易實(shí)現(xiàn)，但圖像重建效果并不理想。其中，單幅圖像的重建速度和重建效果尚且能夠滿足部分領(lǐng)域的需求，但多幅圖像的圖像重建不能解決其在運(yùn)算速度、運(yùn)算復(fù)雜度以及圖像精度上所存在的問題。

表1 基于插值的圖像重建算法比較Table 1 Comparison of image reconstruction algorithms based on interpolation

3 基于重構(gòu)的圖像重建方法

基于重構(gòu)的超分辨率圖像重建方法在圖像處理領(lǐng)域使用較為廣泛，主要分為頻域法和空域法。利用多幅LR 圖像與未知HR 圖像提取所需的圖像特征信息，并估計(jì)HR 圖像特征信息后重建HR 圖像。

3.1 頻域法

Patti 等人最早提出在傅里葉變換頻域內(nèi)消除LR 圖像的頻譜混疊，對多幅LR 圖像進(jìn)行傅里葉變換實(shí)現(xiàn)超分辨率圖像重建。頻域法提高了運(yùn)算速度和圖像精度，但只適合于整體平移和空間不變的模型，很難解決圖像噪音問題。

3.2 空域法

空域法指根據(jù)影響LR 圖像的空間域因素建立HR 圖像成像模型，包括非均勻內(nèi)插法、迭代反向投影法、凸集投影法、最大后驗(yàn)概率法等。

非均勻內(nèi)插法對抽象出的非均勻分布的LR 圖像特征信息進(jìn)行擬合或插值得到分布均勻的HR 圖像特征信息來實(shí)現(xiàn)超分辨率圖像重建。雖然該算法重建效率高，但需要充分的先驗(yàn)信息，降低了靈活性。

Irani 等人提出迭代反向投影法（iterative backprojection approach，IBP）解決超分辨率圖像重建算法對圖像先驗(yàn)信息的高依賴性問題，有效改善重建圖像質(zhì)量問題和對圖像先驗(yàn)信息依賴問題，但也使得重建圖像的唯一性不能得到保證。

凸集投影法（projections onto convex set，POCS）利用HR 圖像的正定性、有界性、光滑性等限制條件對重建圖像的邊緣信息和結(jié)構(gòu)細(xì)節(jié)信息進(jìn)行保留，但該算法運(yùn)算復(fù)雜度高，收斂速度慢，且每次迭代對先驗(yàn)信息都存在較強(qiáng)的依賴性。

最大后驗(yàn)概率法（maximum a posteriori estimation，MAP）是指在已知LR 圖像序列信息和HR 圖像后驗(yàn)概率達(dá)到最大的前提下，對HR 圖像進(jìn)行圖像特征信息估計(jì)，保證圖像解唯一性的同時(shí)提高圖像清晰度，但圖像邊緣信息提取有待加強(qiáng)。

陳光盛等人將POCS 和MAP 結(jié)合，在MAP 迭代優(yōu)化過程中加入POCS 約束凸集中的先驗(yàn)條件，充分發(fā)揮出兩者的優(yōu)勢，利用POCS 彌補(bǔ)MAP 收斂穩(wěn)定性和降噪能力弱的缺點(diǎn)，MAP 彌補(bǔ)POCS 邊緣和細(xì)節(jié)保持差的缺點(diǎn)。

表2 綜合呈現(xiàn)基于重構(gòu)的圖像重建方法在先驗(yàn)信息依賴性、可行解唯一性、運(yùn)算復(fù)雜度、運(yùn)算速度、算法靈活性、重建圖像質(zhì)量六方面的特點(diǎn)與性能。

表2 基于重構(gòu)的圖像重建算法比較Table 2 Comparison of image reconstruction algorithms based on reconstruction

4 基于學(xué)習(xí)的圖像重建方法

近年來，隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，基于學(xué)習(xí)的圖像重建方法主要是集中學(xué)習(xí)給定圖像數(shù)據(jù)集的圖像特征信息，建立LR 圖像與HR 圖像之間的圖像序列先驗(yàn)關(guān)系，再通過超分辨率圖像重建算法實(shí)現(xiàn)圖像重建，整體圖像重建思想流程如圖3 所示。

圖3 基于學(xué)習(xí)的圖像重建算法思想Fig.3 Idea of image reconstruction algorithm based on learning

圖中，黃色實(shí)線表示HR 圖像通過降采樣變?yōu)長R 圖像，綠色實(shí)線表示LR 圖像通過上采樣變?yōu)镠R圖像，黑色實(shí)線表示HR 圖像與LR 圖像之間的圖像序列信息之間建立的圖像序列先驗(yàn)關(guān)系。

目前，基于學(xué)習(xí)的圖像重建方法可分為深度學(xué)習(xí)前的圖像重建算法和深度學(xué)習(xí)后的圖像重建算法。

4.1 深度學(xué)習(xí)前的圖像重建算法

基于樣例學(xué)習(xí)法起源于Freeman 等人根據(jù)馬爾科夫網(wǎng)絡(luò)提出的單幅圖像重建算法，主要是通過對原始HR 圖像實(shí)施退化操作，建立訓(xùn)練圖像特征信息庫來學(xué)習(xí)HR 圖像的先驗(yàn)信息，以此來恢復(fù)圖像的高頻細(xì)節(jié)特征信息。

鄰域嵌入法以圖像塊為單位對圖像特征信息進(jìn)行提取，構(gòu)建特征信息庫對LR圖像塊和HR圖像塊進(jìn)行加權(quán)求和以實(shí)現(xiàn)HR 圖像重建。鄰域嵌入法減弱模型對樣本的依賴性的同時(shí)也削弱了模型的靈活性。

Chang 等人利用LR 圖像和HR 圖像相同的局部結(jié)構(gòu)線性性質(zhì)來獲取相鄰點(diǎn)的權(quán)重以求最終的重建圖像，大幅度避免了模型運(yùn)算過程中過擬合問題的出現(xiàn)。

稀疏表示法重點(diǎn)以字典學(xué)習(xí)和稀疏編碼為核心來實(shí)現(xiàn)圖像重建效率與重建質(zhì)量的有效提升。用稀疏編碼對圖像塊進(jìn)行表示，再從樣本圖像中抓取HR 圖像塊和LR 圖像塊，形成超完備字典，并根據(jù)字典得到樣本圖像的稀疏線性表示，最后根據(jù)稀疏系數(shù)重建HR 圖像，如圖4 所示。

圖4 稀疏表示法Fig.4 Sparse representation

傳統(tǒng)稀疏表示法是通過獨(dú)立考慮圖像塊之間的稀疏性后重建圖像空間結(jié)構(gòu)的，這容易丟失圖像部分紋理細(xì)節(jié)和空間結(jié)構(gòu)特征。對此，Timofte 等人將鄰域嵌入與稀疏編碼結(jié)合，在約束圖像塊與鄰域信息之間關(guān)系的同時(shí)降低了算法運(yùn)算復(fù)雜度。Li 等人將非局部自相似與稀疏編碼結(jié)合提出自學(xué)習(xí)的超分辨率圖像重建算法，有效縮減了模型訓(xùn)練時(shí)間和提高了模型魯棒性。檀結(jié)慶等人將局部結(jié)構(gòu)相似融合于稀疏表示法之中，很好地解決了因傳統(tǒng)稀疏表示法所造成的圖像紋理結(jié)構(gòu)信息缺失問題。沈瑜等人在PCA-Net 模型中加入稀疏優(yōu)化算法，對圖像特征映射矩陣進(jìn)行迭代優(yōu)化，得到最優(yōu)解后將LR圖像和HR 圖像的稀疏特征表示結(jié)合卷積得到高分辨率重建圖像，一定程度上使得圖像細(xì)節(jié)信息、邊緣紋理信息得到清晰保留。曾臺(tái)英等人提出用主成分分析法和層次聚類結(jié)合訓(xùn)練得到不同于傳統(tǒng)稀疏表示法中的字典模型來提高重建圖像的質(zhì)量評價(jià)。

4.2 深度學(xué)習(xí)后的圖像重建算法

由于深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理、數(shù)據(jù)挖掘、機(jī)器翻譯等領(lǐng)域有著較好的應(yīng)用。對此，不少學(xué)者將深度學(xué)習(xí)與SRIR 結(jié)合，使得SRIR 技術(shù)從最初小規(guī)模的三層訓(xùn)練模型到如今大規(guī)模的深層訓(xùn)練模型，運(yùn)算速度、圖像精度、網(wǎng)絡(luò)結(jié)構(gòu)深度都發(fā)生了質(zhì)與量的變化。且深度學(xué)習(xí)在超分辨率圖像重建問題中的應(yīng)用結(jié)果表明：該類型算法不僅是從深層次網(wǎng)絡(luò)結(jié)構(gòu)去改變對圖像特征的提取與重建，而且還解決了網(wǎng)絡(luò)結(jié)構(gòu)加深所帶來的過擬合、梯度消失或爆炸、模型參數(shù)量急劇增加、網(wǎng)絡(luò)不收斂或不穩(wěn)定、參數(shù)不能自我優(yōu)化等問題，使得圖像獲得多尺度、多細(xì)節(jié)的圖像信息。

通常，基于深度學(xué)習(xí)的超分辨率圖像重建算法是在原有的基礎(chǔ)網(wǎng)絡(luò)上融入新的網(wǎng)絡(luò)結(jié)構(gòu)。比如：多個(gè)殘差塊堆疊而成的殘差網(wǎng)絡(luò)，多個(gè)跳躍長（短）連接與殘差塊組建的密集連接網(wǎng)絡(luò)，多個(gè)遞歸單元組成的遞歸神經(jīng)網(wǎng)絡(luò)，集中學(xué)習(xí)各個(gè)通道特征、層特征、空間特征的注意力機(jī)制，加強(qiáng)圖像連續(xù)性學(xué)習(xí)、傳遞的記憶力機(jī)制以及低頻信息與高頻信息共享權(quán)重的反饋機(jī)制，如圖5 所示。

圖5 深度學(xué)習(xí)背景下的圖像重建網(wǎng)絡(luò)結(jié)構(gòu)基本圖Fig.5 Image reconstruction network structure diagram under background of deep learning

表3 以表格的形式呈現(xiàn)出基于深度學(xué)習(xí)的超分辨率圖像重建算法深層次網(wǎng)絡(luò)結(jié)構(gòu)的類型、相關(guān)作用和使用這些網(wǎng)絡(luò)結(jié)構(gòu)的代表算法。

表3 深度學(xué)習(xí)背景下的部分網(wǎng)絡(luò)結(jié)構(gòu)Table 3 Partial structure of network under deep learning background

本文主要從兩方面基于深度學(xué)習(xí)的超分辨率圖像重建算法進(jìn)行詳細(xì)介紹：（1）基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的深度學(xué)習(xí)圖像重建算法直接對LR 圖像和HR 圖像進(jìn)行端到端映射學(xué)習(xí)，彌補(bǔ)以往算法對高頻細(xì)節(jié)信息丟失的缺陷，同時(shí)簡化其學(xué)習(xí)過程；（2）基于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）的深度學(xué)習(xí)圖像重建算法利用“對抗博弈”思想，將模型訓(xùn)練無監(jiān)督化，借助反向傳播不斷優(yōu)化模型來縮減原始圖像與重建圖像之間的差距。

Dong 等人首次將卷積神經(jīng)網(wǎng)絡(luò)與超分辨率圖像重建技術(shù)結(jié)合，提出SRCNN 算法。通過大量卷積對輸入的LR 圖像進(jìn)行特征提取，不斷學(xué)習(xí)眾多圖像的特征表達(dá)形式，其重建效果與重建效率遠(yuǎn)超以往的圖像重建算法，且模型的泛化能力也更強(qiáng)。SRCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

圖6 SRCNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure of SRCNN

隨后，Kim 等人針對SRCNN 算法處理圖像細(xì)節(jié)不足、網(wǎng)絡(luò)計(jì)算量大、網(wǎng)絡(luò)運(yùn)算速率低等問題，在其基礎(chǔ)上提出FSRCNN（fast super-resolution convolutional neural network）算法。在網(wǎng)絡(luò)最后使用反卷積層實(shí)現(xiàn)圖像放大，避免如SRCNN 初始對LR 圖像進(jìn)行上采樣操作而造成細(xì)節(jié)缺失問題；去掉SRCNN網(wǎng)絡(luò)中的非線性映射部分，采用相應(yīng)的收縮、映射和擴(kuò)展來達(dá)到相同的效果；選用多個(gè)小卷積核代替大的濾波器去處理尺寸較小的LR 圖像，提取不同感受野大小下的圖像特征。Lee等人利用教師網(wǎng)絡(luò)對HR圖像進(jìn)行二次采樣提取圖像中間特征，再傳遞給學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，大幅度提高了FSRCNN的網(wǎng)絡(luò)性能。

（1）VGG 網(wǎng)絡(luò)

Kim 等人引入VGG 網(wǎng)絡(luò)結(jié)構(gòu)來增加網(wǎng)絡(luò)層數(shù)，使用不同大小的感受野來全面提取淺層、中間層、高層的圖像細(xì)節(jié)信息，解決了SRCNN 算法依賴于小圖像區(qū)域特征信息的問題。

（2）亞像素層

Shi 等人提出用亞像素上采樣層來增加模型感受野范圍，提出ESPCN（efficient sub-pixel convolutional neural network）法直接對LR 圖像進(jìn)行特征提取處理，減少每層網(wǎng)絡(luò)結(jié)構(gòu)中的數(shù)據(jù)運(yùn)算量，解決模型參數(shù)量急劇增加問題。

（3）殘差網(wǎng)絡(luò)

He 等人將多個(gè)殘差塊堆疊構(gòu)成殘差網(wǎng)絡(luò)（residual network，ResNet）來解決卷積網(wǎng)絡(luò)結(jié)構(gòu)過深而導(dǎo)致網(wǎng)絡(luò)退化問題，同時(shí)利用殘差塊之間的跳躍連接來加強(qiáng)不同層上的圖像特征信息傳遞和緩解模型梯度消失問題。

由于每一個(gè)殘差塊提取的特征信息需要經(jīng)過跳躍連接才能傳遞到下一個(gè)模塊，且越往后傳遞，模塊得到的特征越復(fù)雜，反而丟失了原有的簡單特征，即網(wǎng)絡(luò)結(jié)構(gòu)的性能在淺層特征、低頻信息的傳遞上有所欠缺。對此，在殘差網(wǎng)絡(luò)基礎(chǔ)上提出各種新穎的殘差網(wǎng)絡(luò)以解決上述問題：

①卷積殘差記憶網(wǎng)絡(luò)。在深度殘差網(wǎng)絡(luò)中添加長短期記憶連續(xù)提取圖像特征信息，加強(qiáng)圖像信息在不同層之間的連續(xù)傳播和使用。

②多尺度殘差網(wǎng)絡(luò)。在保持網(wǎng)絡(luò)深度不變的前提下，通過增加每個(gè)殘差塊中殘差函數(shù)的種類來提升網(wǎng)絡(luò)多樣性，便于網(wǎng)絡(luò)訓(xùn)練過程中對圖像不同方面的特征信息進(jìn)行提取與融合，解決了目前圖像重建算法圖像特征提取尺度單一問題。

③深度并行殘差網(wǎng)絡(luò)。通過對殘差網(wǎng)絡(luò)的局部結(jié)構(gòu)進(jìn)行改變，局部殘差學(xué)習(xí)圖像初始特征和全局殘差學(xué)習(xí)復(fù)雜融合特征相結(jié)合，提升網(wǎng)絡(luò)訓(xùn)練速度的同時(shí)加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)中圖像特征信息的傳播效率。

（4）注意力機(jī)制

隨著網(wǎng)絡(luò)結(jié)構(gòu)的不斷加深，殘差網(wǎng)絡(luò)容易忽略圖像空間、結(jié)構(gòu)、紋理之間的相關(guān)性，導(dǎo)致訓(xùn)練重心偏向于一些價(jià)值不高的圖像區(qū)域，降低了重建圖像質(zhì)量。

為此，Zhang 等人將通道注意力機(jī)制與殘差相結(jié)合來構(gòu)造更深的網(wǎng)絡(luò)去削弱LR 圖像中的大量低頻信息對CNN 性能表達(dá)的阻礙，同時(shí)提出RIR（ResNet in ResNet）殘差結(jié)構(gòu)使低頻信息繞過網(wǎng)絡(luò)，自適應(yīng)縮放每個(gè)通道的特征來提高圖像特征信息處理效率和模型魯棒性。Woo 等人將通道注意力模塊和空間注意力模塊融合組成CBAM（convolutional block attention module）模型，使網(wǎng)絡(luò)重心移向特征信息較多的圖像區(qū)域，加強(qiáng)網(wǎng)絡(luò)有針對性地對圖像重點(diǎn)信息進(jìn)行提取。徐永兵等人根據(jù)水下低質(zhì)圖像特性，提出由雙層注意力機(jī)制和視差注意力機(jī)制引導(dǎo)的雙目圖像重建算法，保證圖像質(zhì)量不受地理空間、人眼視覺差異等外界條件的影響，既提高了圖像空間分辨率，還保留了真實(shí)水下拍攝圖像的細(xì)節(jié)信息。盧正浩等人在網(wǎng)絡(luò)中添加混合注意力機(jī)制和長短跳躍連接來進(jìn)一步加強(qiáng)圖像高頻信息重建和圖像多尺度特征的重復(fù)利用，很好地改善了重建圖像邊緣信息和紋理結(jié)構(gòu)信息。

（5）遞歸神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)單一網(wǎng)絡(luò)下的超分辨率圖像重建算法主要通過單一網(wǎng)絡(luò)學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的特征關(guān)系，其淺層部分的網(wǎng)絡(luò)容易造成圖像特征信息的丟失，而加深其網(wǎng)絡(luò)又會(huì)導(dǎo)致其訓(xùn)練時(shí)間以及難度的增加。

Kim 等人提出將遞歸神經(jīng)網(wǎng)絡(luò)運(yùn)用到超分辨率圖像重建中的DRCN 算法，多次運(yùn)用卷積和遞歸去不斷學(xué)習(xí)LR 圖像與HR 圖像之間的差異，使圖像信息在網(wǎng)絡(luò)中反復(fù)循環(huán)、遞歸以達(dá)到恢復(fù)圖像高頻信息的效果和解決參數(shù)量遞增問題。程德強(qiáng)等人提出多通道遞歸的殘差網(wǎng)絡(luò)模型，利用遞歸方法將殘差網(wǎng)絡(luò)重復(fù)利用后形成32 層的遞歸網(wǎng)絡(luò)，再引入交叉學(xué)習(xí)機(jī)制將不同通道進(jìn)行排列組合以加速融合不同通道的圖像特征信息，提高網(wǎng)絡(luò)的重建性能。

（6）密集連接網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制都需要在網(wǎng)絡(luò)中搭建低層與高層之間的連接，且每一個(gè)模塊將特征傳遞至下一個(gè)模塊之前均需使自身所提取的特征與之前模塊傳入的特征進(jìn)行融合。

對此，為最大化網(wǎng)絡(luò)結(jié)構(gòu)中各層特征信息的高效融合與傳遞，Huang等人提出密集連接網(wǎng)絡(luò)（densely connected convolutional network，DenseNet）。在層與層之間使用跳躍長（短）連接充分將不同級別層的特征信息融合，使其達(dá)到增強(qiáng)信號傳輸、減輕梯度消失、減少參數(shù)量、增強(qiáng)網(wǎng)絡(luò)穩(wěn)定性等優(yōu)點(diǎn)，并進(jìn)一步加強(qiáng)網(wǎng)絡(luò)性能，提高圖像重建效果。

（7）混合網(wǎng)絡(luò)

但是過多的跳躍連接會(huì)增加模型的復(fù)雜度、參數(shù)量以及運(yùn)行內(nèi)存消耗量。對此，程玉等人利用密集殘差網(wǎng)絡(luò)和注意力機(jī)制提出基于密集殘差注意力網(wǎng)絡(luò)的超分辨率圖像重建算法，既加快了模型收斂速度，還減輕梯度消失問題，也因注意力機(jī)制的加入使得網(wǎng)絡(luò)對圖像有效的低頻、高頻信息準(zhǔn)確學(xué)習(xí)提取，降低了運(yùn)算成本和縮減了運(yùn)算時(shí)間。Zhang等人構(gòu)建稠密殘差網(wǎng)絡(luò)（dense residual network，RDN）對LR 圖像低級特征重復(fù)利用，還原圖像缺失的高頻細(xì)節(jié)信息，但由于模型中所含參數(shù)量過大而失去實(shí)際適用性。滿開亮等人提出基于稠密殘差網(wǎng)絡(luò)的ERDN（enhanced residual dense network）算法，使用多卷積核的稠密殘差塊提取圖像細(xì)節(jié)信息，再利用全局特征復(fù)用塊對圖像多層信息進(jìn)行特征信息重組與綜合利用，使得模型參數(shù)量較RDN 減少50%的同時(shí)還提高了圖像4 倍重建質(zhì)量。此外，DRRN（deep recursive residual network）、SRFBN（super-resolution feedback network）、SRDenseNet等算法也能夠保證圖像特征圖連續(xù)傳遞、重復(fù)利用的同時(shí)削減跳躍連接數(shù)量，減少運(yùn)算成本。

（8）AdderNet

Song 等人利用加法運(yùn)算解決卷積乘法運(yùn)算的運(yùn)行內(nèi)存消耗和成本增加問題，提出AdderNet 來很好地提取紋理、顏色等低頻信息和高頻信息。

在Goodfellow等人提出GAN之后，出現(xiàn)了許多基于GAN 的超分辨率圖像重建算法，其在圖像重建效果、網(wǎng)絡(luò)運(yùn)算量、運(yùn)算速度等方面都有很好的結(jié)果。

SRGAN 算法首次將生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)對抗訓(xùn)練應(yīng)用到超分辨率圖像重建當(dāng)中，它利用生成器產(chǎn)生HR 圖像，判別器判別重建HR 圖像和原始HR 圖像，并反向優(yōu)化生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)，同時(shí)用“感知損失”代替?zhèn)鹘y(tǒng)的MSE 損失函數(shù)來增強(qiáng)圖像細(xì)節(jié)信息恢復(fù)，確保重建圖像的高逼真性和高質(zhì)量性，SRGAN 網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。

圖7 SRGAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Network structure of SRGAN

（1）去掉BN 層

SRGAN 算法雖然保留了較多的圖像細(xì)節(jié)特征，但網(wǎng)絡(luò)中使用的BN 層產(chǎn)生了大量參數(shù)，導(dǎo)致消耗了大量運(yùn)行內(nèi)存和降低了網(wǎng)絡(luò)性能。對此，Lim 等人去掉BN層而提出EDSR（enhanced deep superresolution）算法，發(fā)現(xiàn)網(wǎng)絡(luò)訓(xùn)練并沒有產(chǎn)生惡性影響，減少了網(wǎng)絡(luò)運(yùn)行參數(shù)的同時(shí)還獲得了更多的圖像紋理信息。

（2）改變卷積核大小

Wang 等人提出增強(qiáng)型的ESRGAN（enhanced super-resolution generative adversarial network）算法來提高網(wǎng)絡(luò)泛化能力，用殘差縮放加快深層網(wǎng)絡(luò)的訓(xùn)練速度和縮減網(wǎng)絡(luò)運(yùn)算參數(shù)量，使得重建HR 圖像具有更加豐富的紋理特征，且色彩亮度也更貼近原始HR 圖像。Shang 等人在ESRGAN 算法基礎(chǔ)上用小核卷積代替大的濾波器來進(jìn)行細(xì)節(jié)特征提取，保證網(wǎng)絡(luò)性能的同時(shí)也減低了計(jì)算復(fù)雜度和噪聲輸入。Soh 等人也在ESRGAN 算法基礎(chǔ)上引入自然流行鑒別器（natural manifold discrimination），提出NatSR（super-resolution with natural manifold discrimination）算法，雖然NatSR 算法提高了圖像的PSNR值，但也導(dǎo)致了圖像崩潰和重復(fù)偽影現(xiàn)象。

（3）引入特殊網(wǎng)絡(luò)

Vu等人使用相對生成對抗網(wǎng)絡(luò)來替換SRGAN中的生成對抗網(wǎng)絡(luò)，使圖像細(xì)節(jié)的提取與融合更為合理，減少了噪音和模糊的影響。

Wang 等人提出SMSR（sparse mask super-resolution）網(wǎng)絡(luò)來標(biāo)記圖像“無價(jià)值”的區(qū)域和精確定位圖像“有價(jià)值”的區(qū)域，動(dòng)態(tài)跳過模型的冗余計(jì)算和精準(zhǔn)提取圖像重點(diǎn)信息。

Park 等人利用一種可作用于特征域的判別網(wǎng)絡(luò)提出SRFeat（super-resolution with feature discrimination）算法，借助感知損失和對抗損失從成對的模擬數(shù)據(jù)中獲得圖像高頻細(xì)節(jié)。

Luo 等人根據(jù)輕量級網(wǎng)絡(luò)參數(shù)量小、運(yùn)算速度快等特點(diǎn)提出輕量級晶格網(wǎng)絡(luò)——LatticeNet（lightweight super-resolution model），使網(wǎng)絡(luò)運(yùn)算量減半后依舊能夠達(dá)到原有網(wǎng)絡(luò)的重建效果。

姜玉寧等人以VGG19 網(wǎng)絡(luò)搭建判別器網(wǎng)絡(luò)的基本框架，提高了重建圖像的清晰度和色彩亮度，豐富的細(xì)節(jié)紋理信息使之更貼近原始HR 圖像。

（4）改變采樣方式

通常情況下，為了節(jié)省存儲(chǔ)空間與運(yùn)行成本，圖像重建模型會(huì)先對原始HR 圖像進(jìn)行下采樣縮小，再進(jìn)行上采樣放大，而這種先下采樣、后上采樣的方式容易導(dǎo)致圖像在逆放大過程中喪失原始圖像的精準(zhǔn)信息和降低重建圖像的質(zhì)量。

Kim 等人借助多卷積核的Fire 模塊提出輕量級的圖像重建算法SRAC（super-resolution using fire modules with asymmetric configuration），削減參數(shù)量的同時(shí)保證圖像細(xì)節(jié)信息的提取，但簡單的反卷積上采樣使圖像產(chǎn)生了棋盤效應(yīng)。

Xiao 等人提出一種可逆的縮放網(wǎng)絡(luò)（invertible rescaling net，IRN）在水平、垂直、對角三個(gè)方向上對圖像采樣過程中丟失的圖像特征信息進(jìn)行建模，實(shí)現(xiàn)圖像高度還原保真。Wei 等人提出組件分而治之（component divide-and-conquer，CDC）算法，決定網(wǎng)絡(luò)在圖像平面、邊緣、對角三個(gè)區(qū)域是否進(jìn)行重點(diǎn)學(xué)習(xí)和重建。

LapSRN（super-resolution with deep Laplacian pyramid network）利用迭代上采樣方式對圖像進(jìn)行先低倍放大再高倍放大來重建HR 圖像，在一定程度上緩解了網(wǎng)絡(luò)訓(xùn)練中對圖像連續(xù)多次放大而丟失圖像細(xì)節(jié)信息的問題。

（5）融合注意力機(jī)制

蔣明峰等人提出在生成對抗網(wǎng)絡(luò)中融合自注意力機(jī)制的超分辨率磁共振圖像重建SA-SR-GAN 算法，提高重建圖像精度的同時(shí)保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。

Niu 等人提出全注意力網(wǎng)絡(luò)（holistic attention network，HAN），利用層注意力塊自適應(yīng)增強(qiáng)“高貢獻(xiàn)特征層”和抑制“冗余特征層”，利用空間注意力塊捕獲通道內(nèi)與通道間的圖像細(xì)節(jié)特征信息。Lu等人提出MASA（matching acceleration and spatial adaptation）網(wǎng)絡(luò)解決HAN 網(wǎng)絡(luò)對LR 圖像和重建HR 圖像之間隱藏的差異性特征信息利用性較低問題，使之能夠在保持較強(qiáng)魯棒性的條件下處理不同尺度、不同形式的樣本圖像，大量的定量和定性實(shí)驗(yàn)驗(yàn)證了其提出的模型的有效性。

（6）適用場景

實(shí)際生活中，超分辨率圖像重建算法的輸入圖像不一定都是自然、正常的圖像，比如，Deng 等人使用曝光過強(qiáng)或不足的圖像作為輸入圖像，提出耦合反饋神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行端到端訓(xùn)練，以實(shí)現(xiàn)圖像的融合與重建。Wang 等人提出基于“無監(jiān)督的退化表示學(xué)習(xí)”的盲-超分辨率圖像重建算法，借助退化編碼器學(xué)習(xí)LR 圖像特征信息和圖像特征空間中的各種圖像退化信息，并抽象表示學(xué)習(xí)到的各類圖像特征，且將其輸入到退化感知網(wǎng)絡(luò)中預(yù)測卷積核和調(diào)制系數(shù)，以便靈活適應(yīng)于各類真實(shí)場景的圖像重建。Kong 等人根據(jù)圖像塊復(fù)原難度的不同，提出Pipeline-ClassSR 網(wǎng)絡(luò)解決卷積操作帶來的圖像干擾問題（噪聲、模糊等）。且實(shí)際生活中，圖像放大的情況并不是限定的，即圖像所需的分辨率大小是任意性的（如×2.5、×3.5、×10、×a等）。對此，提出相應(yīng)的算法實(shí)現(xiàn)圖像任意倍數(shù)放大后，仍舊清楚得知圖像內(nèi)容信息也成為了研究的重點(diǎn)。比如：Chen 等人根據(jù)人眼連續(xù)呈現(xiàn)圖像的性質(zhì)，借鑒3D 重建的隱式函數(shù)思想，提出局部隱式函數(shù)對自然圖像進(jìn)行連續(xù)表達(dá)，將圖像表示成任意分辨率大小形式。

此外，SRwarp 算法和Meta-SR 算法也可實(shí)現(xiàn)LR 圖像任意尺寸大小的重建。深度學(xué)習(xí)后的各算法特點(diǎn)對比如表4 所示。

表4 深度學(xué)習(xí)后的各算法特點(diǎn)對比Table 4 Comparison of features of each algorithm after deep learning

5 實(shí)驗(yàn)數(shù)據(jù)

深度學(xué)習(xí)前大部分圖像重建方法主要集中于小型數(shù)據(jù)集上的測試和驗(yàn)證，其中文獻(xiàn)[100]對傳統(tǒng)圖像重建方法所用數(shù)據(jù)集進(jìn)行了詳細(xì)介紹，本文著重以基于深度學(xué)習(xí)的超分辨率圖像重建算法常用的數(shù)據(jù)集以及相關(guān)內(nèi)容進(jìn)行歸納總結(jié)。

用于深度學(xué)習(xí)的超分辨率圖像重建的圖像數(shù)據(jù)集所涉及的領(lǐng)域較多，涵蓋人物、動(dòng)植物、建筑、自然景觀等，且許多開源的數(shù)據(jù)集在圖像外部條件（分辨率大小、張數(shù)、格式等）和內(nèi)部條件（內(nèi)容、風(fēng)格、紋理等）上存在著較大差異，具體情況如表5 所示。

表5 超分辨率圖像重建的開源數(shù)據(jù)集Table 5 Open source dataset for super-resolution image reconstruction

6 圖像質(zhì)量評價(jià)

圖像質(zhì)量評價(jià)（image quality assessment，IQA）的方式主要分為人眼視覺系統(tǒng)感知方面的主觀評價(jià)和實(shí)驗(yàn)數(shù)值計(jì)算方面的客觀評價(jià)。

表6 從圖像特點(diǎn)、變化過程、適用場景、優(yōu)勢、局限性五個(gè)維度對影響全參考圖像、半?yún)⒖紙D像、盲參考圖像這三類圖像重建效果的客觀因素進(jìn)行歸納分析。

表6 影響不同圖像重建效果的客觀因素Table 6 Objective factors affecting different image reconstruction effects

6.1 主觀評價(jià)

主觀評價(jià)是指觀察者通過眼睛觀察重建的HR 圖像，主要依據(jù)觀察者在色彩、清晰度、噪音、質(zhì)感等方面對圖像的綜合評價(jià)，但由于觀察者在生理、心理等方面對圖像顏色、結(jié)構(gòu)、紋理的敏感度不同都會(huì)對圖像質(zhì)量評價(jià)產(chǎn)生直接或間接的影響，這容易使對圖像質(zhì)量的評價(jià)停留在圖像表面信息，而忽略圖像隱藏的深層信息。

6.2 客觀評價(jià)

客觀評價(jià)是指通過一定的指標(biāo)衡量原始圖像與重建圖像之間的接近度。通常情況下，與人類的視覺感知高度相關(guān)的評價(jià)方式需要完全參考原始圖像的內(nèi)容信息，即完全參考型評價(jià)方式（full-reference IQA，F(xiàn)R-IQA）。

（1）均方誤差（mean square error，MSE）指原始圖像和重建圖像之間像素值均方差，是FR-IQA 評價(jià)方式中運(yùn)算最簡單的度量方法：

（2）峰值信噪比（peak-signal to noise ratio，PSNR）指通過計(jì)算原始圖像與重建圖像之間全局像素誤差的大小來衡量圖像質(zhì)量，是FR-IQA 評價(jià)方式中使用最廣泛的度量方法：

其中，表示圖像像素最大值，PSNR的單位為dB，其值越大，說明重建圖像失真越小，重建圖像質(zhì)量越高。

（3）結(jié)構(gòu)相似性（structural similarity，SSIM）指充分考慮人類視覺系統(tǒng)對圖像結(jié)構(gòu)信息的敏感程度，從結(jié)構(gòu)、對比度、亮度三方面衡量原始圖像與重建圖像之間相似程度的度量方法：

其中，、、表示相似性控制參數(shù)，=1。、分別表示原始圖像和重建圖像的均值與方差，σ表示圖像和兩者之間的協(xié)方差。、、均為常數(shù)，=(×)/2，=(×)/2，=/2 。其值越大，說明原始圖像與重建圖像越相似，且重建圖像質(zhì)量越高。

（4）多尺度結(jié)構(gòu)相似性（mean structural similarity，MSSIM）指在保持其不變的情況下，對同一圖像進(jìn)行低通濾波操作后得到不同分辨率大小圖像的、，然后對圖像進(jìn)行綜合評價(jià)的度量方法：

（5）特征相似性指數(shù)（feature similarity，F(xiàn)SIM）指利用相位一致性特征提取高度相關(guān)的圖像特征信息和梯度幅度特征提取影響人眼視覺感受的對比度信息來綜合衡量圖像局部相似問題的度量方法。

（6）學(xué)習(xí)感知圖像塊相似度（learned perceptual image patch similarity，LPIPS）指利用不同層面的視覺表征所共享的感知相似性去衡量圖像在對比度、飽和度、噪聲、空間結(jié)構(gòu)等方面的細(xì)微差別。

表7 給出部分基于深度學(xué)習(xí)的超分辨率圖像重建算法在部分?jǐn)?shù)據(jù)集上PSNR 與SSIM 的測試結(jié)果。

表7 深度學(xué)習(xí)后各算法的重建效果對比Table 7 Comparison of reconstruction effects of each algorithm after deep learning

7 結(jié)束語

提高圖像質(zhì)量主要有兩種方式：（1）對采集圖像的設(shè)備源硬件性能進(jìn)行升級；（2）對圖像進(jìn)行分辨率處理的軟件（或算法）進(jìn)行改進(jìn)。而超分辨率圖像重建研究主要針對圖像處理算法進(jìn)行研究，是一個(gè)實(shí)用性、適用性超強(qiáng)的研究，尤其在引入卷積神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)之后，在圖像特征提取與融合上愈發(fā)成熟。本文全面綜合介紹超分辨率圖像重建領(lǐng)域內(nèi)的各類算法，發(fā)現(xiàn)其本質(zhì)在于運(yùn)用一定的算法來提高重建圖像的質(zhì)量，以便LR 圖像恢復(fù)至含有更多細(xì)節(jié)信息的HR 圖像。另外，本文發(fā)現(xiàn)要想提出在各方面（網(wǎng)絡(luò)深度、運(yùn)算速度、圖像精度、時(shí)間復(fù)雜度等）都高效的算法十分困難，且大多數(shù)算法使用的圖像都是特定的，導(dǎo)致其適用的范圍較窄。因此，未來超分辨率圖像重建算法可以從以下方向或者角度進(jìn)行研究：

（1）均衡網(wǎng)絡(luò)訓(xùn)練各方面的關(guān)系

①均衡速度與精度間的關(guān)系

現(xiàn)有的大部分超分辨圖像重建算法時(shí)常出現(xiàn)以犧牲網(wǎng)絡(luò)運(yùn)算速度的代價(jià)來提高圖像的精度，緩解挖掘高分辨率圖像所需的低頻、高頻信息丟失的問題，如何有效、快速、準(zhǔn)確地提取圖像顏色、邊緣等低頻信息和紋理、結(jié)構(gòu)等高頻信息依舊是圖像重建領(lǐng)域的重點(diǎn)研究方向。

②均衡效率與深度間的關(guān)系

超分辨率圖像重建算法中加深網(wǎng)絡(luò)深度在一定程度上可以提升圖像細(xì)節(jié)，減少偽影等，但也容易導(dǎo)致網(wǎng)絡(luò)的計(jì)算量增大，從而降低網(wǎng)絡(luò)效率。如何保證網(wǎng)絡(luò)效率的前提下，適當(dāng)增加網(wǎng)絡(luò)層數(shù)有待進(jìn)一步的研究。

（2）傳統(tǒng)方法在深度學(xué)習(xí)方法中的延續(xù)

基于深度學(xué)習(xí)的超分辨率圖像重建算法能夠深層次挖掘圖像的細(xì)節(jié)特征，殘差網(wǎng)絡(luò)、密集連接網(wǎng)絡(luò)等復(fù)雜深層的網(wǎng)絡(luò)結(jié)構(gòu)能夠提取不同層面的圖像細(xì)節(jié)，并通過跳躍連接等將其傳遞融合，使得一些簡單的圖像特征缺失，或者忽略了圖像特征域中的高頻信息。對此，可利用某些傳統(tǒng)算法特性來提高圖像重建性能，比如：利用小波變換獨(dú)立分析不同尺度信息特點(diǎn)，稀疏編碼對多個(gè)圖像塊協(xié)同提取圖像特征特點(diǎn)，基于樣例學(xué)習(xí)法對圖像信息預(yù)先學(xué)習(xí)特點(diǎn)來搭建豐富的圖像特征信息庫，又或者利用邊緣導(dǎo)向插值法提前將網(wǎng)絡(luò)訓(xùn)練注意力集中于圖像邊緣信息，以此達(dá)到彌補(bǔ)LR 圖像邊緣紋理細(xì)節(jié)信息模糊不

清缺陷的目的。

（3）面向生活中各類真實(shí)場景

由于交通、醫(yī)學(xué)、航空等領(lǐng)域?qū)D像質(zhì)量有著十分高的要求，無論是將超分辨率圖像重建運(yùn)用在這些大領(lǐng)域，還是將其運(yùn)用在人臉、指紋、車牌識別等小領(lǐng)域，它能夠很好地幫助研究者們解決該領(lǐng)域所存在的一些問題。如何將LR 圖像重建成更貼合人眼的HR 圖像，如何構(gòu)建更適合真實(shí)場景圖像的算法也是值得深入研究的。

（4）重建圖像的質(zhì)量評估方式

本文介紹的MSE、PSNR、SSIM、MSSIM、FSIM、LPIPS 等方法，是目前較為客觀的反映圖像重建質(zhì)量的方法，但仍然不能準(zhǔn)確反映圖像的重建質(zhì)量。尋找到更貼合人眼視覺感知的圖像質(zhì)量評估方法仍是未來研究的重點(diǎn)。