光學(xué)遙感圖像的超分辨率處理技術(shù)綜述

張震洲 高昆* 李維 王俊偉 陳卓一 吳穹 蘇云

光學(xué)遙感圖像的超分辨率處理技術(shù)綜述

張震洲1高昆1*李維2王俊偉1陳卓一3吳穹1蘇云2

（1 北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）（2 北京空間機(jī)電研究所，北京 100094）（3 中國空間技術(shù)研究院總體部，北京 100094）

光電成像系統(tǒng)探測器的欠采樣效應(yīng)、光學(xué)系統(tǒng)的衍射極限等諸多降晰因素影響著光學(xué)對地觀測系統(tǒng)的分辨力。超分辨率處理技術(shù)利用信號處理的手段重建成像系統(tǒng)截止頻率之外的信息，可以在不改變硬件設(shè)備的前提下，獲得高于成像系統(tǒng)分辨率的圖像，對于光學(xué)遙感器的設(shè)計(jì)和應(yīng)用有著重要意義。文章結(jié)合了光學(xué)遙感圖像退化模型和圖像超分辨率處理的技術(shù)實(shí)施途徑，按照基于圖像重建的方法，基于學(xué)習(xí)的方法和重建與學(xué)習(xí)混合的方法進(jìn)行了分類綜述，對比了各種主要算法的基本特點(diǎn)，并對未來的發(fā)展方向進(jìn)行了展望。

遙感圖像 退化模型 超分辨率處理方法 評價(jià)指標(biāo) 航天遙感

0 引言

自1972年第一顆地球觀測衛(wèi)星——陸地衛(wèi)星（Landsat-1）被美國國家航空和航天局（NASA）發(fā)射升空起，對地觀測技術(shù)在軍事偵察，環(huán)境監(jiān)測，地圖繪制，全球變化分析等方面發(fā)揮著重要作用。當(dāng)下，高分辨對地觀測已經(jīng)成為各航天大國空間技術(shù)競爭的熱點(diǎn)，如美國“鎖眼”（Keyhole，KH）系列間諜衛(wèi)星，其KH-12的地面分辨率達(dá)0.1m，瞬時(shí)幅寬達(dá)40~50km[1]。然而，傳輸型衛(wèi)星受限于成像傳感器的欠采樣效應(yīng)與成像鏈路中諸多退化因素，通過在硬件水平上減小像元尺寸、改進(jìn)采樣模式、降低軌道高度、增大光學(xué)系統(tǒng)焦距等方法來提升分辨率的成本和風(fēng)險(xiǎn)都相當(dāng)大[2]，因此，如何在不改變硬件的前提下獲得高分辨率圖像，對于遙感器的設(shè)計(jì)和應(yīng)用意義重大。

超分辨率（Super-Resolution，SR）圖像處理技術(shù)（簡稱“超分”）指在原有成像系統(tǒng)基礎(chǔ)上，通過算法從單張或多張退化的低分辨率（Low Resolution，LR）圖像中生成高分辨率（High Resolution，HR）圖像，旨在恢復(fù)成像系統(tǒng)截止頻率之外的信息，突破分辨率的限制。超分可分為針對欠采樣效應(yīng)的超分辨率重建技術(shù)（簡稱“超分重建”）和針對圖像退化的超分辨率復(fù)原技術(shù)（簡稱“超分復(fù)原”）。

文獻(xiàn)[3-4]在20世紀(jì)60年代最先提出超分的概念，從單張LR圖像中重建HR圖像。在此基礎(chǔ)上，根據(jù)局部鄰域相似性的多幀圖像超分重建隨后被提出[5]。最早的技術(shù)大多利用簡單的插值，如鄰近插值、雙二次插值、雙三次插值等。之后的研究者逐漸把超分辨率處理當(dāng)成一種不適定（Ill-posed）問題，嘗試通過建模求解圖像采樣退化的逆過程，主要在成像分析和幾何分析的角度尋找解決方案。此后，結(jié)合反向傳播的誤差衰減方法出現(xiàn)[6]，為基于神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行了鋪墊。進(jìn)入90年代，基于亞像素位移的多幀超分[7]和基于多傳感器圖像融合[8]等開創(chuàng)性方法也被提出來，超分技術(shù)便開始快速發(fā)展，從單級特征增強(qiáng)逐漸過渡到多級特征增強(qiáng)。此時(shí)該領(lǐng)域的主要理論模型有：概率論模型、插值模型、變換域模型、機(jī)器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)模型，以及一些混合模型等。2000年以后，基于深度學(xué)習(xí)（Deep Learning）的方法因具有強(qiáng)大的多層特征學(xué)習(xí)和表達(dá)能力而得到廣泛關(guān)注，并演化出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、自編碼器（Autoencoder，AE）和生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）等模型。

本文將主要分析光學(xué)遙感圖像的退化模型和超分辨率處理面臨的挑戰(zhàn)，分類探討主流的算法及其對比，介紹衡量處理結(jié)果的指標(biāo)，最后總結(jié)該項(xiàng)技術(shù)并做出展望。

1 光學(xué)遙感圖像的退化模型與超分辨率處理面臨的挑戰(zhàn)

超分來源于對自然圖像的研究，后被推廣至遙感圖像。但遙感圖像包含豐富的地物類型，成像鏈路上存在的采樣、形變、降晰、噪聲等諸多退化因素以及云層、地形起伏、霧霾等光照變化導(dǎo)致的地面?zhèn)斡暗?，使得遙感影像的語義信息比自然圖像復(fù)雜得多，因此遙感圖像的超分難度更大。

1.1 光學(xué)遙感圖像的退化模型

遙感系統(tǒng)獲取光學(xué)圖像的過程可以看作是連續(xù)地物輻射信息被成像系統(tǒng)量化輸出圖像的過程。這其中輻射信息會經(jīng)歷一系列退化而導(dǎo)致圖像降質(zhì)，一般可歸結(jié)為四個過程[9]：

1）形變過程：包含幾何層面的平移、旋轉(zhuǎn)、尺度變化等。光學(xué)系統(tǒng)產(chǎn)生的畸變和在成像傳感器光電轉(zhuǎn)換和信號掃描讀出過程中，遙感平臺相對地物場景的運(yùn)動是導(dǎo)致形變的主要原因；

2）模糊過程：主要指成像模糊，可當(dāng)作一個對于連續(xù)場景的低通濾波器，一般用點(diǎn)擴(kuò)散函數(shù)（Point Spread Function，PSF）或模糊核（Blurring Kernel）描述。遙感系統(tǒng)成像時(shí)，探測器接收到的輻射受到大氣影響，會包含地表直接反射的輻射、大氣向下散射后經(jīng)地表二次反射的輻射和太陽輻射向上散射的部分；此外，遙感平臺振動會造成運(yùn)動模糊、光學(xué)系統(tǒng)存在散焦模糊等，綜合導(dǎo)致了遙感圖像的模糊；

3）采樣過程：包括空間和灰度級的量化，是傳感器將連續(xù)景物映射到圖像網(wǎng)格和灰度級分辨單元的過程。通常遙感圖像信息量巨大，單個特征占用像素?cái)?shù)有限，所以欠采樣造成的混疊（Aliasing）效應(yīng)更加明顯。沒有達(dá)到遙感系統(tǒng)最小地面分辨單元尺度的特征，會被包含在對應(yīng)像素所記錄的所有特征的平均亮度中無法分辨[10]；

4）噪聲影響過程：遙感系統(tǒng)中，噪聲主要由電路在轉(zhuǎn)化，存儲和傳輸信號時(shí)引入，一般用高斯噪聲來表示。

上述過程如圖1所示，可以表示為：

式中h和1分別表示原始HR圖像和退化圖像；、和分別表示采樣過程、模糊過程和形變過程；表示噪聲影響。式（1）可簡化為式（2），其中為形變、模糊和采樣的綜合。

圖1 HR圖像到LR圖像的退化過程

超分辨率處理便是求解圖像降質(zhì)的逆過程。由于不同HR圖像采樣退化后可能得到同一張LR圖像，所以超分辨率處理是一個不適定問題[11]。綜合來看，遙感圖像比自然圖像情況更復(fù)雜，但二者超分辨率處理的基本問題是相同的，所以有時(shí)會將研究自然圖像的下采樣退化方法遷移來應(yīng)用于遙感領(lǐng)域[12]。

1.2 光學(xué)遙感領(lǐng)域中超分辨率處理面臨的挑戰(zhàn)

遙感圖像的超分辨率處理主要面臨以下挑戰(zhàn)：

1）遙感成像全鏈路上的退化因素很多，PSF類型復(fù)雜，使得建立模型、確定先驗(yàn)和學(xué)習(xí)映射關(guān)系的難度增加；

2）遙感圖像中光照和陰影情況復(fù)雜，語義信息豐富，針對自然圖像的算法未必在遙感圖像上有同樣效果，特別是多幀超分中的配準(zhǔn)和插值會受到嚴(yán)重影響；

3）星上應(yīng)用時(shí)需要處理過程高速，輸出具有時(shí)效性，這對算法的時(shí)間和空間復(fù)雜度、魯棒性等有特別要求；

4）現(xiàn)有基于統(tǒng)計(jì)的圖像質(zhì)量（quality，全文同）評價(jià)指標(biāo)沒有很好的權(quán)衡人眼的主觀感受。

2 光學(xué)遙感圖像的超分辨率處理方法

超分的實(shí)現(xiàn)思路主要有根據(jù)采樣退化模型與先驗(yàn)約束重建HR圖像和學(xué)習(xí)LR與HR圖像間的映射關(guān)系兩類。本文根據(jù)算法思路和發(fā)展脈絡(luò)，分類為基于圖像重建的方法，基于學(xué)習(xí)的方法和重建與學(xué)習(xí)混合的方法。

2.1 基于圖像重建的方法

基于圖像重建的方法通過提取LR圖像中的特征并將其映射到HR圖像中來避免分辨率提升后產(chǎn)生的模糊與混疊，最終在HR尺度上獲得同LR圖像一樣的感知屬性，大致可分為基于插值的衍生方法、概率論方法和變換域方法。

（1）基于插值的衍生方法

插值衍生的方法建立在簡單插值方法基礎(chǔ)上。先配準(zhǔn)圖像，再把LR圖像插值到標(biāo)定好的HR網(wǎng)格中進(jìn)行重建，最后通過去模糊和降噪提升圖像質(zhì)量。

迭代反向投影（Iterative Back-Projection，IBP）最初用于多幀超分重建[13]，現(xiàn)也可用于單幀重建。該方法先由真實(shí)LR圖像猜想一個HR圖像，再將估計(jì)HR圖像采樣退化得到估計(jì)LR圖像，計(jì)算兩個LR圖像之間的重建誤差并將其反向投影來循環(huán)優(yōu)化初始猜想，直到滿足收斂條件得到最終的HR圖像。第次重建誤差由式（3）給出：

PSF反卷積方法是站在圖像復(fù)原角度的方法。其理論認(rèn)為形變和模糊過程都可以歸結(jié)為成像系統(tǒng)的PSF退化，LR圖像由HR圖像與PSF卷積后再采樣并添加噪聲得到。過程由式（5）表示：

（2）基于概率模型的方法

針對超分辨率處理的不適定性，通過先驗(yàn)條件和正則化約束將其轉(zhuǎn)換為適定問題的基于概率模型的方法就成為一種直觀的解決思路。

貝葉斯理論是結(jié)合了數(shù)據(jù)信息和先驗(yàn)信息的預(yù)測方法，在超分領(lǐng)域有廣泛的應(yīng)用。最大后驗(yàn)概率估計(jì)（Maximum A Posteriori Probability，MAP）是典型基于貝葉斯理論，把HR和LR圖像當(dāng)作兩個隨機(jī)過程來在已知LR圖像的基礎(chǔ)上估計(jì)HR圖像的方法。h的概率表示為：

有學(xué)者提出基于全局隱馬爾可夫樹（Universal Hidden Markov Tree, Universal HMT）的最大后驗(yàn)概率方法來實(shí)現(xiàn)遙感圖像超分辨率重建[18]，其通過在小波域的隱馬爾可夫樹理論為多幀LR圖像超分提供先驗(yàn)，仿真結(jié)果在Landsat-7衛(wèi)星的全色圖片上驗(yàn)證了算法的有效性。還有學(xué)者提出了基于最大后驗(yàn)概率估計(jì)的迭代優(yōu)化方法進(jìn)行遙感全色圖像的超分辨率處理[19]，該方法參考一個HR全色圖像信息來通過灰度級映射更好地利用高頻細(xì)節(jié)，同時(shí)還保持了圖像的光譜特性；該方法在實(shí)現(xiàn)了良好效果的同時(shí)只損失了很小一部分光譜信息。

正則化約束可選擇全變分正則化、Tikhonov正則化、變指數(shù)正則化等[20]。Tikhonov正則化可以較好地去除噪聲，但容易過渡平滑邊界信息；全變分正則化能很好的保留圖像中的邊界信息，但可能產(chǎn)生偽邊界；變指數(shù)正則化兼有上述兩者的優(yōu)勢，但計(jì)算過程更復(fù)雜[21]。此外還可以對上述方法做簡單的改進(jìn)，如針對遙感圖像處理的區(qū)域自適應(yīng)全變分正則化[22]方法能在一定程度上緩解偽邊界的問題。

（3）基于變換域的方法

在頻率域角度具有對圖像進(jìn)行像素變化分析的優(yōu)勢，能在相對簡單的計(jì)算復(fù)雜度下控制圖像不同頻率分量，特別是增強(qiáng)圖像高頻分量?；谧儞Q域的方法可分為四步：圖像配準(zhǔn)、域變換操作、圖像重建和逆變換到空間域。該方法要求域變換操作盡量避免光譜混疊，但也難免在逆變換時(shí)丟失一些信息。主要的域變換方法有傅里葉變換和小波變換。超分中該方法常與其他方法結(jié)合使用，如文獻(xiàn)[17-18]。有學(xué)者用基于離散小波變換后圖像和輸入圖像插值的方法實(shí)現(xiàn)超分辨率處理，其中以穩(wěn)定小波變換作為中間步驟增強(qiáng)變換域高頻分量[23]。還有學(xué)者利用兩階段的離散小波變換并結(jié)合亞像素平移技術(shù)通過多幀全色LR遙感圖像得到具有清晰細(xì)節(jié)的HR遙感圖像[24]。

2.2 基于學(xué)習(xí)的方法

基于學(xué)習(xí)的方法可以擬合復(fù)雜的數(shù)學(xué)模型來近似圖像塊之間的映射關(guān)系，可根據(jù)其發(fā)展分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。

（1）基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法

傳統(tǒng)學(xué)習(xí)方法也稱淺層學(xué)習(xí)方法，學(xué)習(xí)得到的映射關(guān)系往往是卷積核，對照表或圖像塊間的簡單映射。主要步驟有數(shù)據(jù)集建立、樣本學(xué)習(xí)和HR圖像生成[25]。傳統(tǒng)學(xué)習(xí)方法主要有鄰域嵌入（Neighbor Embedding）、稀疏表示（Sparse Representation）和映射回歸（Mapping & Regression）等。

鄰域嵌入方法建立于流形學(xué)習(xí)（Manifold Learning）的基礎(chǔ)上。其假設(shè)對應(yīng)的LR與HR圖像塊在各自特征空間有相同的流形結(jié)構(gòu)，用某一圖像塊的特征向量在多大程度上可以被其特征空間的鄰域表示來描述。當(dāng)樣本足夠多時(shí)，便可以先在LR樣本集中找到目標(biāo)LR圖像塊的鄰近樣本，學(xué)習(xí)近鄰關(guān)系，再將這種關(guān)系遷移到HR樣本集中，最后目標(biāo)HR圖像塊根據(jù)其近鄰樣本生成。有學(xué)者在基礎(chǔ)方法上添加HR圖像的局部相容性和平滑性約束[26]。還有學(xué)者將其與稀疏編碼，回歸等方法結(jié)合引出更先進(jìn)的方法[27]。

稀疏表示方法利用圖像內(nèi)在的稀疏性，通過學(xué)習(xí)HR圖像塊集合與LR圖像塊集合的字典，編碼已知的LR圖像，再將編碼用于HR圖像塊字典中生成HR圖像。除上述標(biāo)準(zhǔn)步驟外，往往還需后續(xù)的全局約束，如利用重建誤差等。此外，還可以改進(jìn)訓(xùn)練數(shù)據(jù)預(yù)處理方法以及在圖像生成階段施加正則化約束[28]。文獻(xiàn)[29]采用引入了分類字典概念的字典學(xué)習(xí)提升最終效果；文獻(xiàn)[30]用稀疏字典和殘差字典共同學(xué)習(xí)，前者幫助重建初始HR圖像，后者修補(bǔ)前者損失的信息。

映射回歸方法把超分當(dāng)作HR和LR空間的回歸問題，目的在于直接學(xué)習(xí)LR圖像到HR圖像的映射來實(shí)現(xiàn)超分。不過該方法容易陷入過擬合的情況，一般要通過正則項(xiàng)約束。典型應(yīng)用有利用核脊回歸（Kernel Ridge Regression，KRR)[31]和支持向量回歸（Support Vector Regression，SVR）的方法。有學(xué)者用SVR方法學(xué)習(xí)遙感圖像中高頻分量的先驗(yàn)知識，用Landsat ETM+衛(wèi)星圖像生成ASTER衛(wèi)星圖像，該方法在較少樣本數(shù)的情況下依然能實(shí)現(xiàn)良好的效果[32]。

（2）基于深度學(xué)習(xí)的方法

深度學(xué)習(xí)方法是基于人工神經(jīng)網(wǎng)絡(luò)的新興方法，也是現(xiàn)在超分辨率處理的主要研究方向。深度神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)大量數(shù)據(jù)的分層表示，能提取有效的高層特征擬合復(fù)雜的數(shù)學(xué)模型來實(shí)現(xiàn)LR圖像空間到HR圖像空間的復(fù)雜映射。其通過優(yōu)化函數(shù)利用被反向傳播到各層處的誤差來優(yōu)化各層參數(shù)，從而不斷提升映射的準(zhǔn)確性。相比傳統(tǒng)算法，深度學(xué)習(xí)方法在量化指標(biāo)和感知指標(biāo)上都有更好的提升，但是對計(jì)算機(jī)算力和存儲資源要求較高，本文將深度神經(jīng)網(wǎng)絡(luò)分為卷積神經(jīng)網(wǎng)絡(luò)CNN，生成對抗網(wǎng)絡(luò)GAN和自編碼器AE來介紹。

卷積神經(jīng)網(wǎng)絡(luò)由卷積層搭建而成，卷積層以卷積操作為基本運(yùn)算函數(shù)，另外CNN還利用激活函數(shù)、池化層、正則化層等增強(qiáng)網(wǎng)絡(luò)性能并加快網(wǎng)絡(luò)收斂速度。用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像超分辨率處理的先例超分辨CNN（Super-Resolution Convolutional Neural Network，SRCNN）[33]是一個簡單的三層卷積神經(jīng)網(wǎng)絡(luò)，先對輸入LR圖像提取特征，再通過非線性映射得到HR圖像特征，最后重建HR圖像（如圖2所示），首次基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了端到端映射的超分辨率處理。在此基礎(chǔ)上，快速SRCNN（Fast SRCNN，F(xiàn)SRCNN）[34]被提出來，其利用反卷積層提升分辨率來避免一些直接插值的副作用。亞像素卷積神經(jīng)網(wǎng)絡(luò)（Efficient Sub-Pixel Convolutional Neural Network，ESPCN）[35]則采用多層特征提取和亞像元卷積提升分辨率，可在減小運(yùn)算量的同時(shí)提升上采樣效果。之后，深度超分辨網(wǎng)絡(luò)（Very Deep Super Resolution Network，VDSR）[36]證明了網(wǎng)絡(luò)深度越深，學(xué)習(xí)高維特征的能力越強(qiáng)，超分能力也越強(qiáng)。不過更深的網(wǎng)絡(luò)訓(xùn)練起來更加困難，所以需要一些技巧來促進(jìn)網(wǎng)絡(luò)的收斂，如利用殘差結(jié)構(gòu)，循環(huán)結(jié)構(gòu)等。從此基于深度學(xué)習(xí)的超分辨率處理迎來了爆發(fā)式發(fā)展，各式各樣的網(wǎng)絡(luò)被提出來，同時(shí)應(yīng)用也由自然圖像發(fā)展至遙感圖像。針對遙感圖像的深度殘差網(wǎng)絡(luò)（ResNet-Deep Residual Network，RS-DRL）[37]就是基于SRCNN網(wǎng)絡(luò)來提取特征，并取得了比VDSR更好的效果。此后，為了進(jìn)一步增強(qiáng)網(wǎng)絡(luò)針對遙感圖像的處理能力，具有各種特殊結(jié)構(gòu)的網(wǎng)絡(luò)涌現(xiàn)出來，如具有自適應(yīng)多尺度特征融合結(jié)構(gòu)的網(wǎng)絡(luò)[12]，具有局部和全局特征聯(lián)合結(jié)構(gòu)的網(wǎng)絡(luò)[38]，具有混合高階注意力結(jié)構(gòu)的網(wǎng)絡(luò)[39]和具有深度循環(huán)結(jié)構(gòu)的網(wǎng)絡(luò)[40]等等。這些方法都在特定的數(shù)據(jù)集上取得了很好的效果。

圖2 SRCNN結(jié)構(gòu)圖

生成對抗網(wǎng)絡(luò)是基于生成網(wǎng)絡(luò)發(fā)展而來的非監(jiān)督學(xué)習(xí)方法[41]。由兩部分構(gòu)成：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，應(yīng)用于超分領(lǐng)域時(shí)，前者以LR圖像作為輸入，輸出模仿真實(shí)HR圖像的樣本，而后者接受生成的樣本和真實(shí)的樣本，并將它們盡可能分辨開，兩個網(wǎng)絡(luò)相互博弈對抗，共同訓(xùn)練最后達(dá)到平衡。最初采用該方法的超分辨GAN（Super-Resolution GAN，SRGAN）[42]，便遷移了原始的生成對抗原理，通過GAN訓(xùn)練出強(qiáng)大的生成器，結(jié)構(gòu)如圖3所示。在此基礎(chǔ)上，針對遙感圖像邊界信息增強(qiáng)的GAN被提出來[43]，該網(wǎng)絡(luò)對輪廓處的噪聲魯棒性很強(qiáng)，能生成增強(qiáng)了輪廓信息的HR圖像，其結(jié)果優(yōu)于SRCNN和SRGAN。此后，多種借鑒了自然圖像超分的GAN被用于遙感領(lǐng)域[44]。但遙感圖像中的低頻信息顯著多于自然圖像，所以直接遷移用于自然圖像的GAN容易造成判別器迷惑，對此有學(xué)者提出聯(lián)合式對抗訓(xùn)練來解決上述問題[45]?？傮w來看，GAN優(yōu)勢在于生成高頻細(xì)節(jié)的能力更強(qiáng)，但是訓(xùn)練更加困難且不穩(wěn)定，另外有時(shí)生成的細(xì)節(jié)會偏離真實(shí)性，這在遙感領(lǐng)域是要避免的。

圖3 SRGAN網(wǎng)絡(luò)結(jié)構(gòu)[33]

自編碼器結(jié)構(gòu)類似普通的神經(jīng)網(wǎng)絡(luò)，但是要求輸入層與輸出層的神經(jīng)元數(shù)量相等，并且在中間神經(jīng)元較少的隱藏層部分提取高維特征，結(jié)構(gòu)如圖4所示。通過AE將LR圖像和HR圖像分別編碼，得到各自的高維特征并建立二者的映射關(guān)系，最后便可通過：LR圖像→LR圖像高維特征→HR圖像高維特征→HR圖像的步驟實(shí)現(xiàn)超分辨率處理?；贏E的方法在超分領(lǐng)域應(yīng)用相對較少。有學(xué)者提出基于獨(dú)立堆疊AE的兩段式神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)多分辨率分析[46]：第一階段通過兩個AE借助真實(shí)HR圖像構(gòu)建全色LR圖像，其中第二個AE的訓(xùn)練特征來自于前一個AE的輸出；第二階段再通過圖像間的關(guān)系和LR圖像生成HR多光譜圖像。由于稀疏編碼算法在減輕網(wǎng)絡(luò)模型和緩解訓(xùn)練壓力的問題上有優(yōu)越性，結(jié)合了深度網(wǎng)絡(luò)的稀疏編碼器突出了提取深層特征的能力，故在遙感領(lǐng)域表現(xiàn)好于淺層稀疏編碼，如全局聯(lián)合字典模型[47]和聯(lián)合稀疏自編碼器[48]等。

圖4 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)[42]

2.3 重建和學(xué)習(xí)的混合方法

混合方法兼有圖像重建方法和學(xué)習(xí)方法的特征，目的在于互補(bǔ)兩者的缺點(diǎn)[11]：基于圖像重建的算法將LR圖像插值到HR圖像的分辨率不能生成缺少的高頻細(xì)節(jié)，而且會不可避免地產(chǎn)生模糊；基于學(xué)習(xí)的算法能生成缺失的高頻細(xì)節(jié)，但是需要大量的圖像數(shù)據(jù)且效果非常依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量?？傮w上混合方法是這兩者的一種權(quán)衡。

基于圖像重建和傳統(tǒng)機(jī)器學(xué)習(xí)的混合方法大多探索圖像內(nèi)容的冗余信息，如相同或不同尺度上的重復(fù)紋理結(jié)構(gòu)等[11]，生成模型利用冗余信息重建HR圖像[49-50]，區(qū)別大多在于信息的搜索和利用方法上。也有一些混合方法結(jié)合了多類方法，如利用最大后驗(yàn)概率-馬爾可夫隨機(jī)場（Markov Random Field, MRF）模型來緩解不適定性、混疊、噪聲、模糊等問題[51]：先訓(xùn)練得到HR圖像的近似，進(jìn)而估計(jì)一個離散馬爾可夫隨機(jī)場并以此作為先驗(yàn)，再通過粒子群優(yōu)化算法優(yōu)化上述模型來生成HR圖像。前文所述方法[18]也有類似的特性。

深度學(xué)習(xí)在混合方法中應(yīng)用較少，大多與變換域方法結(jié)合。如利用小波變換并訓(xùn)練多個頻率段的CNN來實(shí)現(xiàn)超分辨率處理[52]，類似還有利用小波變換和局部與全局殘差結(jié)合的CNN生成HR圖像[53]?？偨Y(jié)大致過程為：小波變換分解LR圖像為不同頻率分量，利用神經(jīng)網(wǎng)絡(luò)預(yù)測高頻分量，通過逆小波變換得到HR圖像。

2.4 超分辨率處理方法對比分析

基于圖像重建的方法在特定采樣退化情況下可以實(shí)現(xiàn)很好的效果，特別在緩解模糊和增強(qiáng)圖像邊界信息的層面上。這類方法通過數(shù)學(xué)模型分析圖像退化過程，需要先驗(yàn)知識作為約束。但弊端也很明顯：遙感圖像的退化過程非常復(fù)雜，很難用數(shù)學(xué)模型來模擬，而且復(fù)雜的模型求解十分困難。在大尺度超分辨率處理時(shí)，由于先驗(yàn)條件不足，效果會很差。此外，這類方法無法生成原本沒有的高頻細(xì)節(jié)，只適合簡單特定的應(yīng)用場景?；趥鹘y(tǒng)學(xué)習(xí)的方法通過學(xué)習(xí)淺層映射關(guān)系，一定程度上避免了建立數(shù)學(xué)模型的困難，在特定領(lǐng)域的小數(shù)據(jù)集上可以實(shí)現(xiàn)很好的效果，而且能生成缺失的細(xì)節(jié)信息。但缺點(diǎn)是習(xí)得的映射關(guān)系基于淺層特征，往往需要專業(yè)知識人為設(shè)計(jì)特征，此外還傾向于過擬合訓(xùn)練數(shù)據(jù)，不適合將學(xué)習(xí)結(jié)果直接應(yīng)用到多樣的圖像數(shù)據(jù)中。這種方法適用于有一定訓(xùn)練數(shù)據(jù)的特定類型場景?；谏疃葘W(xué)習(xí)的方法可以提取圖像多層次的特征并在更高層次學(xué)習(xí)圖像特征間的映射關(guān)系，從而得到表征能力強(qiáng)的映射。這種方法效果最好，同時(shí)對圖像類型泛化能力強(qiáng)，且適用于多尺度的超分辨率處理。特別是CNN和GAN，前者在統(tǒng)計(jì)量化指標(biāo)上表現(xiàn)突出，后者在感知指標(biāo)上表現(xiàn)突出。但這種方法對數(shù)據(jù)集的要求非常高，表現(xiàn)強(qiáng)烈依賴于數(shù)據(jù)集質(zhì)量，對系統(tǒng)算力和存儲量的要求也很高，且網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練難度較大。這種方法適用于對處理效果要求較高的場景。雖然如此，深度學(xué)習(xí)的突出優(yōu)勢使得其已經(jīng)成為當(dāng)前研究的主流方向。混合方法主要以結(jié)合傳統(tǒng)學(xué)習(xí)方法為主，其綜合了圖像退化建模和學(xué)習(xí)映射的優(yōu)勢，權(quán)衡了圖像重建產(chǎn)生模糊和學(xué)習(xí)方法依賴數(shù)據(jù)集的問題，在特定類型的圖像數(shù)據(jù)上進(jìn)一步提升效果。但這種方法依然對退化及圖像類型有依賴性，泛化能力不強(qiáng)。結(jié)合了深度學(xué)習(xí)的混合方法表現(xiàn)趨近于深度學(xué)習(xí)的效果。

總結(jié)各類方法如表1，混合方法隨具體算法不同，指標(biāo)變化較大，表中不做說明。

表1 基于圖像重建的方法與基于學(xué)習(xí)的方法對比

3 超分辨率處理結(jié)果的評價(jià)方法

超分辨率處理結(jié)果的評價(jià)方法有主觀和客觀兩類。主觀評價(jià)方法依據(jù)人眼主觀感知評價(jià)圖像，如平均意見得分測試?？陀^評價(jià)方法利用基于數(shù)學(xué)統(tǒng)計(jì)的量化指標(biāo)給圖像打分?？陀^評價(jià)方法又可根據(jù)是否需要參考圖像分為有參評價(jià)方法和無參評價(jià)方法。所有評價(jià)方法中，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）是使用最廣泛的方法。

3.1 有參評價(jià)方法

（1）峰值信噪比PSNR

由像素值可能的動態(tài)范圍和均方誤差來定義，公式如下：

式中 MSE為均方誤差，公式為：

（2）結(jié)構(gòu)相似度SSIM

式中1=0.01，2=0.03。SSIM越高，結(jié)果越好。

（3）特征相似性（Feature SIMilarity，F(xiàn)SIM）

FSIM考慮到人眼依賴中低級特征信息理解圖像，衡量與結(jié)構(gòu)信息有關(guān)的一致性[55]。公式為：

（4）全局圖像質(zhì)量評價(jià)（Q-index）

Q-index基于圖像的相關(guān)性，亮度和對比度進(jìn)行評價(jià)[56]，分別對應(yīng)公式右端三個部分：值越高，結(jié)果越好。

3.2 無參評價(jià)方法

無參評價(jià)方法分為基于退化的方法和基于訓(xùn)練的方法，前者需事先確定退化模型，后者需事先訓(xùn)練得到HR圖像的統(tǒng)計(jì)信息。一般基于訓(xùn)練的方法更符合人的主觀判斷[57]。

（1）盲/無參考圖像質(zhì)量評估（Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE）

BRISQUE[58]基于圖像亮度符合高斯分布這一假設(shè)。首先提取規(guī)定化圖像的像素統(tǒng)計(jì)特性，再用高斯分布擬合，得到大量圖像統(tǒng)計(jì)特性的特征向量，最后用習(xí)得的特征向量預(yù)測圖像得分。得分越高，圖像質(zhì)量越好。原論文作者用支持向量機(jī)（Support Vector Machines，SVM）實(shí)現(xiàn)。

（2）基于感知特征的無參考圖像質(zhì)量評價(jià)（Perception based Image Quality Evaluator，PIQE）

PIQE[59]先分塊圖像，用其中像素變化較大的塊進(jìn)行畸變角度和噪聲角度的評估，將存在失真的塊分為畸變塊和噪聲塊，再分別用畸變評價(jià)標(biāo)準(zhǔn)和噪聲評價(jià)標(biāo)準(zhǔn)評判，最后綜合衡量圖像的退化水平并得出結(jié)果。PIQE越低，圖像質(zhì)量越好。

（3）自然圖像質(zhì)量評價(jià)模型（Natural Image Quality Evaluator，NIQE）

NIQE[60]使用無畸變訓(xùn)練集，提取像素統(tǒng)計(jì)特性擬合一個多變量高斯分布，再用這種分布和輸入圖像統(tǒng)計(jì)特征的距離作為評價(jià)得分。NIQE越低，圖像質(zhì)量越好。

4 結(jié)束語

超分辨率處理一直以來是圖像處理領(lǐng)域的一大熱點(diǎn)，特別在遙感領(lǐng)域有非常重要的應(yīng)用價(jià)值。本文綜述了遙感領(lǐng)域圖像超分辨率處理技術(shù)，將其歸類為基于圖像重建的方法，基于學(xué)習(xí)的方法和重建與學(xué)習(xí)混合的方法。目前，基于圖像重建的方法相對成熟，基于學(xué)習(xí)的方法的視覺效果較好，但距離實(shí)用還有較大差距。筆者認(rèn)為光學(xué)遙感圖像超分辨率處理方法主要有如下幾個發(fā)展方向：

1）尋求更準(zhǔn)確和全面的遙感全鏈路圖像退化模型（如考慮了空間移變效應(yīng)的退化模型）。這不僅利于估計(jì)點(diǎn)擴(kuò)散函數(shù)和噪聲，也使結(jié)果更符合實(shí)際；

2）壓縮域的超分辨率重建。受限于天–地?cái)?shù)據(jù)傳輸?shù)膸?，原始遙感圖像數(shù)據(jù)需經(jīng)過有損壓縮后傳輸?shù)降孛妫芏鄨D像細(xì)節(jié)信息因此丟失；而未來以壓縮感知（Compressed Sensing，CS）為代表的壓縮采樣技術(shù)如果能應(yīng)用在遙感成像，就意味著超分辨率處理算法需要綜合考慮成像模型和壓縮算法帶來的圖像降質(zhì)、運(yùn)動補(bǔ)償、編碼傳輸機(jī)制等來實(shí)現(xiàn)壓縮域的圖像處理；

3）設(shè)計(jì)面向復(fù)雜場景的深度網(wǎng)絡(luò)模型及建立高質(zhì)量數(shù)據(jù)集。遙感圖像在較小視域內(nèi)壓縮了大量的地理信息且場景富于變化，因此復(fù)雜場景下描述遙感圖像語義特征非常困難。目前基于深度學(xué)習(xí)的超分算法效果強(qiáng)烈依賴于訓(xùn)練數(shù)據(jù)集的規(guī)模和質(zhì)量，對于數(shù)據(jù)集以外的場景難以取得理想效果，或者雖能生成符合人眼感官的清晰細(xì)節(jié)，但與真實(shí)地物細(xì)節(jié)有較大差異。因此設(shè)計(jì)高性能的深度學(xué)習(xí)網(wǎng)絡(luò)，特別是研究面向乏樣本的少量學(xué)習(xí)（Few-shot Learning）網(wǎng)絡(luò)，解決超分問題的不適定性，實(shí)現(xiàn)對復(fù)雜遙感圖像端對端的準(zhǔn)確映射，是未來學(xué)習(xí)類算法研究的重要內(nèi)容；

4）效率和魯棒性問題。目前效果較好的算法往往計(jì)算復(fù)雜度較高，不利于快速處理。如何減少計(jì)算量，提高算法速度，實(shí)現(xiàn)星上處理等問題非常值得研究。此外，很多算法做了各種假設(shè)，如照度不變等，這在實(shí)際成像中難以滿足，因此算法的魯棒性也需要深入研究；

5）超分算法評價(jià)指標(biāo)的研究。主流的PSNR、SSIM等指標(biāo)并不能與人主觀感受一致，這對結(jié)果評判帶來很大的困擾，因而適用于超分辨率處理的圖像質(zhì)量評價(jià)標(biāo)準(zhǔn)仍然需要進(jìn)一步研究。

[1] 宋宏偉, 鄭團(tuán)結(jié). 新型衛(wèi)星成像系統(tǒng)的進(jìn)展與思考[J]. 影像技術(shù), 2011, 23(1): 40-44.SONG Hongwei, ZHENG Tuanjie. Advancement and Consideration of Novel Satellite Imaging Systems[J]. Image Technology, 2011, 23(1): 40-44. (in Chinese)

[2] 孫濤, 林立宇, 孫夫雄, 等. 光學(xué)遙感影像復(fù)原與超分辨重建[M]. 北京: 國防工業(yè)出版社, 2012: 55-63.SUN Tao, LIN Liyu, SUN Fuxiong, et al. Optical Remote Sensing Image Restoration and Super-resolution Reconstruction[M]. Beijing: National Defense Industry Press, 2012: 55-63. (in Chinese)

[3] HARRIS J L. Diffraction and Resolving Power[J]. Journal of the Optical Society of America, 1964, 54(7): 931-933.

[4] GOODMAN J W. Introduction to Fourier optics[M]. Roberts & Company Publishers, 2004.

[5] TSAI R, HUANG T. Multiframe Image Restoration and Registration[J]. Advances in Computer Vision and Image Processing, 1984, 1(2): 317-339.

[6] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning Representations by Back-propagating Errors[J]. Nature, 1986: 533-536, 323.

[7] PELEG S, KEREN D, SCHWEITZER L. Improving Image Resolution Using Subpixel Motion[J]. Pattern Recognition Letters, 1987, 5(3): 223-226.

[8] NGUYEN N, MILANFAR P, GOLUB G. A Computationally Efficient Superresolution Image Reconstruction Algorithm[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2001, 10(4): 573-583.

[9] PAPATHANASSIOU C, PETROU M. Super Resolution: An Overview[C]// 2005 IEEE International Geoscience & Remote Sensing Symposium, July 25-29, 2005, Seoul, South Korea. IEEE, 2005.

[10] ROHITH G, KUMAR L S. Paradigm Shifts in Super-resolution Techniques for Remote Sensing Applications[J]. The Visual Computer, 2020(9). DOI:https://doi.org/10.1007/s00371-020-01957-8.

[11] FERNANDEZ-BELTRAN R, LATORRE-CARMONA P, PLA F. Single-frame Super-resolution in Remote Sensing: A Practical Overview[J]. International Journal of Remote Sensing, 2017, 38(1/2): 314-354.

[12] WANG X, WU Y, MING Y, et al. Remote Sensing Imagery Super Resolution Based on Adaptive Multi-scale Feature Fusion Network[J]. Sensors (Basel, Switzerland), 2020, 20(4): 1919-1922.

[13] IRANI M, PELEG S. Improving Resolution by Image Registration[J]. GVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[14] LI F, DONALD F, JIA X. Improved IBP for Super-resolving Remote Sensing Images[J]. Geographic Information Sciences, 2006, 12(2): 106-111.

[15] OSKOUI-FARD P, STARK H. Tomographic Image Reconstruction Using the Theory of Convex Projections[J]. IEEE Transactions on Medical Imaging, 2002, 7(1): 45-58.

[16] AGUENA, MLS, MASCARENHAS, NDA. Multispectral Image Data Fusion Using POCS and Super-resolution[J]. Computer Vision & Image Understanding, 2006, 102(2): 178-187.

[17] ZHAO N, WEI Q, BASARAB A, et al. Fast Single Image Super-resolution[EB/OL].[2020-20-20]. https://www.researchgate. net/publication/282402920_Fast_Single_Image_Super-Resolution.

[18] LI Feng, JIA Xiuping, FRASER D. Universal HMT Based Super Resolution for Remote Sensing Images[C]// Proceedings - International Conference on Image Processing, October 12-15, 2008, San Diego, 2008. IEEE, 2008.

[19] WANG S, ZHUO L, LI X. Spectral Imagery Super Resolution by Using of a High Resolution Panchromatic Image[C]//2010 3rd International Conference on Computer Science and Information Technology, July 9-11, 2010, Chengdu, China. IEEE, 2010. DOI:10.1109/ICCSIT.2010.5565205.

[20] TIKHONOV A N. Regularization of Incorrectly Posed Problems[J]. Soviet Mathematics Doklady, 1963, 4(6): 1624-1627.

[21] GAO K, ZHU Z, DOU Z, et al. Variable Exponent Regularization Approach for Blur Kernel Estimation of Remote Sensing Image Blind Restoration[J]. IEEE Access, 2018, 6(1): 4352-4374.

[22] YUAN Q, YAN L, LI J, et al. Remote Sensing Image Super-resolution via Regional Spatially Adaptive Total Variation Model[C]// IGARSS 2014–2014 IEEE International Geoscience and Remote Sensing Symposium, July 13-18, 2014, Quebec City, Canada. IEEE, 2014. DOI:10.1109/IGARSS.2014.6947126.

[23] DEMIREL H, ANBARJAFARI G. IMAGE Resolution Enhancement by Using Discrete and Stationary Wavelet Decomposition[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2011, 20(5): 1458-1460.

[24] ROHITH G, VASUKI A. A Novel Approach to Super Resolution Image Reconstruction Algorithm from Low Resolution Panchromatic Images[C]//2015 3rd International Conference on Signal Processing, Communication and Networking (ICSCN), March 26-28, 2015, Chennai, India. IEEE, 2015.

[25] 謝海平, 謝凱利, 楊海濤. 圖像超分辨率方法研究進(jìn)展[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(19): 34-41.XIE Haiping, XIE Kaili, YANG Haitao. Research Progress of Image Super-resolution Methods[J]. Computer Engineering and Applications. 2020, 56(19): 34-41. (in Chinese)

[26] CHANG H, YEUNG D Y, XIONG Y. Super-resolution Through Neighbor Embedding[EB/OL]. [2020-10-20]. https://www. researchgate.net/publication/4082219_Super-resolution_through_neighbor_embedding.

[27] TIMOFTE R, DE V, GOOL L V. Anchored Neighborhood Regression for Fast Example-based Super-resolution[C]// IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. IEEE, 2014.

[28] DONG W, ZHANG L, SHI G, et al. Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[29] 王超,孫權(quán)森, 劉亞洲, 等. 基于分類字典學(xué)習(xí)的遙感圖像超分辨率方法[J]. 航天返回與遙感, 2015, 36(6): 72-79.WANG Chao, SUN Quansen, LIU Yazhou, et al. Remote-sensing Image Super-resolution Algorithm Based on Classified Dictionary Learning[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(6): 72-79. (in Chinese)

[30] ZHANG Y, WU W, DAI Y, et al. Remote Sensing Images Super-resolution Based on Sparse Dictionaries and Residual Dictionaries[C]// 2013 IEEE International Conference on Dependable, December 21-22, 2013, Chengdu, China. IEEE, 2014.

[31] KIM K I, KWON Y H. Single-image Super-resolution Using Sparse Regression and Natural Image Prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(6): 1127-1133.

[32] ZHANG H, HUANG B. Scale Conversion of Multi Sensor Remote Sensing Image Using Single Frame Super Resolution Technology[C]// 2011 19th International Conference on Geoinformatics, June 24-26, 2011, Shanghai, China. IEEE, 2011.

[33] DONG C, LOY C C, HE K, et al. Image Super-resolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2016, 38(2): 295-307.

[34] DONG C, LOY C C, TANG X. Accelerating the Super-resolution Convolutional Neural Network[EB/OL].[2020-10-20]. https://link.springer.com/chapter/10.1007/978-3-319-46475-6_25.

[35] SHI W, CABALLERO J, FERENC HUSZAR, et al. Real-time Single Image and Video Super-resolution Using an Efficient Sub-pixel Convolutional Neural Network[J]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1874-1883.

[36] KIM J, LEE J K, LEE K M. Accurate Image Super-resolution Using Very Deep Convolutional Networks[J]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1646-1654.

[37] HUANG N, YANG Y, LIU J, et al. Single-image Super-resolution for Remote Sensing Data Using Deep Residual-learning Neural Network[C]// 24th International Conference on Neural Information Processing, October 10-26, 2017 Guangzhou, China. Springer, 2017.

[38] LEI S, SHI Z, ZOU Z. Super-resolution for Remote Sensing Images via Local-global Combined Network[J]. IEEE Geoscience & Remote Sensing Letters, 2017(8): 1-5.

[39] ZHANG Dongyang, SHAO Jie, LI Xinyao, et al. Remote Sensing Image Super-resolution via Mixed High-order Attention Network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020: 1-14. DOI: 10.1109/TGRS.2020.3009918.

[40] JIANG K, WANG Z, YI P, et al. Deep Distillation Recursive Network for Remote Sensing Imagery Super-resolution[J]. Remote Sensing, 2018, 10(11): 1700.

[41] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Networks[EB/OL]. [2020-10-20]. https://www.researchgate.net/publication/263012109_Generative_Adversarial_Networks.

[42] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic Single Image Super-resolution Using a Generative Adversarial Network[EB/OL]. [2020-10-20]. https://www.researchgate.net/publication/308152499_Photo-Realistic_Single_Image_Super- Resolution_Using_a_Generative_Adversarial_Network.

[43] JIANG K, WANG Z, YI P, et al. Edge-enhanced GAN for Remote Sensing Image Superresolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019: 5799-5812.

[44] MA W, PAN Z, GUO J AND LEI B, Super-resolution of Remote Sensing Images Based on Transferred Generative Adversarial Network[C]// 2018 IEEE International Geoscience and Remote Sensing Symposium, November 5, 2018,Valencia, Spain. IEEE, 2018: 1148-1151.

[45] LEI S, SHI Z, ZOU Z. Coupled Adversarial Training for Remote Sensing Image Super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 58(5): 3633-3643.

[46] AZARANG A, GHASSEMIAN H. A New Pansharpening Method Using Multi Resolution Analysis Framework and Deep Neural Networks[C]// 2017 3rd International Conference on Pattern Recognition & Image Analysis, April 19-20, 2017, Shahrekord, Iran. IEEE, 2017.

[47] HOU B, ZHOU K, JIAO L. Adaptive Super-resolution for Remote Sensing Images Based on Sparse Representation with Global Joint Dictionary Model[J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 56(4): 2312-2327. DOI: 10.1109/TGRS.2017.2778191.

[48] SHAO Z, WANG L, WANG Z, et al. Remote Sensing Image Super-resolution Using Sparse Representation and Coupled Sparse Autoencoder[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(8): 2663-2674.

[49] GLASNER D, BAGON S, IRANI M. Super-resolution from a Single Image[C]// 2009 IEEE International Conference on Computer Vision, September 29-October 2, Kyoto, Japan. IEEE, 2009.

[50] HUANG J B, SINGH A, AHUJA N. Single Image Super-resolution from Transformed Self-exemplars[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition, June 7-12, 2015, Boston, MA, USA. IEEE, 2015.

[51] GAJJAR P P, JOSHI M V. Zoom Based Super-resolution: A Fast Approach Using Particle Swarm Optimization[C]// 4th International Conference on Image and Signal Processing, ICISP, 2010, Trois-rivières, Qc, Canada. Berlin: Springer-Verlag, 2010.

[52] WANG T, SUN W, QI H, et al. Aerial Image Super Resolution via Wavelet Multiscale Convolutional Neural Network[EB/OL]. [2020-10-20].https://www.researchgate.net/publication/323791121_Aerial_Image_Super_Resolution_via_Wavelet_Multiscale_ Convolutional_Neural_Networks.

[53] MA W, PAN Z, GUO J, et al. Achieving Super-resolution Remote Sensing Images via the Wavelet Transform Combined with the Recursive Res-net[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(6): 3512-3527.

[54] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 1-14.

[55] ZHANG L, ZHANG L, MOU X, et al. FSIM: A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[56] WANG Z, BOVIK A C. A Universal Image Quality Index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.

[57] BOVIK A C. Perceptual Video Processing: Seeing the Future [J]. Proceedings of the IEEE, 2010, 98(11): 1799-1803.

[58] MITTAL A, MOORTHY A K, Fellow, et al. No-reference Image Quality Assessment in the Spatial Domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[59] VENKATANATH N, PRANEETH D, MARUTHI C B, et al. Blind Image Quality Evaluation Using Perception Based Features[C]// 2015 Twenty First National Conference on Communications (NCC), February 27-March 1, 2015, Mumbai, India. IEEE, 2015.

[60] MITTAL A. Making a Completely Blind Image Quality Analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

A Survey on the Optical Remote Sensing Image Super-resolution Technology

ZHANG Zhenzhou1GAO Kun1*LI Wei2WANG Junwei1CHEN Zhuoyi3WU Qiong1SU Yun2

（1 Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education, Beijing Institute of Technology, Beijing 100081, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Institute of Spacecraft System Engineering, CAST, Beijing 100094, China）

The under-sampling effect of detectors in the photoelectric imaging system, the diffraction limit of the optical system, and many other degradation factors affect the resolving power of the optical earth observation system. The super-resolution technology can reconstruct the information beyond the cut-off frequency of the imaging system through signal processing, and can obtain images with higher resolution without changing the hardware, which is of great significance to the design and application of optical remote sensors. Combining the optical remote sensing image degradation model and the implementation method of the super-resolution technology，the basic characteristics of the various super-resolution algorithms are summarized and compared according to the classification method based on image reconstruction, the learning-based method and hybrid methods. Also, a prospect for the future development direction is given.

remote sensing image; degradation model; super-resolution method; evaluation metric; space remote sensing

P407.8

A

1009-8518(2020)06-0021-13

10.3969/j.issn.1009-8518.2020.06.003

2020-10-25

國家自然科學(xué)基金（61875013）；裝備預(yù)研航天科技聯(lián)合基金（6141B061004）

張震洲, 高昆, 李維, 等. 光學(xué)遙感圖像的超分辨率處理技術(shù)綜述[J]. 航天返回與遙感, 2020, 41(6): 21-33.

ZHANG Zhenzhou, GAO Kun, LI Wei, et al. A Survey on the Optical Remote Sensing Image Super-resolution Technology[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(6): 21-33. (in Chinese)

張震洲，男，1996年生，現(xiàn)在北京理工大學(xué)光電學(xué)院光學(xué)工程專業(yè)攻讀碩士學(xué)位。研究方向?yàn)檫b感圖像處理。E-mail：zhangzz@bit.edu.cn。

（編輯：毛建杰）