光學(xué)遙感影像超分辨率重構(gòu)研究進展

趙曉冬，張洵穎，程雪梅

（1.西北工業(yè)大學(xué)無人系統(tǒng)技術(shù)研究院，西安 710072，2.西北工業(yè)大學(xué)365研究所，西安 710072）

1 引 言

隨著航空航天遙感技術(shù)的發(fā)展，遙感影像的數(shù)據(jù)量大幅增加，高分辨率光學(xué)遙感影像具備豐富的紋理、空間和語義信息。在軍事領(lǐng)域可以檢測特定軍事目標(biāo)如艦船、飛機等，獲得情報進行精確制導(dǎo)，在民用領(lǐng)域可以感知城市狀態(tài)，監(jiān)測海洋漏油、病蟲害、災(zāi)后搜救、土地調(diào)查等。然而在獲得影像的過程中，遙感系統(tǒng)會受到如氣流擾動、成像衍射、傳輸干擾、相對姿態(tài)變化、下采樣、附加噪聲等多種因素的影響，導(dǎo)致影像的像質(zhì)下降。利用硬件途徑提高影像分辨率的方法被眾多因素所限制。

超分辨率（Super Resolution，SR）重構(gòu)［1］指在觀測系統(tǒng)不改變的前提下，利用算法恢復(fù)影像獲取過程中所丟失的成像截止頻率以上的高頻信息，分為單幀影像重構(gòu)和多幀序列影像重構(gòu)。單幀影像重構(gòu)是典型的數(shù)學(xué)反問題，充分利用先驗知識進行影像重構(gòu)，非常適用于不能直接獲取序列影像的應(yīng)用場景。多幀影像充分利用影像之間的冗余互補信息，結(jié)合先驗知識，可以獲得更好的重構(gòu)應(yīng)用效果。多幀重構(gòu)算法通過時間分辨率的犧牲提高空間分辨率，算法更為復(fù)雜。

隨著遙感領(lǐng)域的不斷發(fā)展，如何通過各類理論來有效進行超分辨率重構(gòu)，是目前光學(xué)遙感影像恢復(fù)領(lǐng)域非常有前途的研究熱點。遙感領(lǐng)域的研究人員應(yīng)當(dāng)充分運用遙感技術(shù)和信號分析技術(shù)，獲得更多的地物特征信息，為光學(xué)遙感影像的后續(xù)分析奠定基礎(chǔ)。

2 光學(xué)遙感影像降質(zhì)模型

在光學(xué)遙感影像重構(gòu)當(dāng)中，降質(zhì)模型對于求解非常重要，反映了高分辨率目標(biāo)遙感影像與低分辨率觀測遙感影像間的映射關(guān)系，可以體現(xiàn)退化因素。在光學(xué)遙感影像成像過程當(dāng)中，假設(shè)X(x,y)代表不失真連續(xù)信號物影像，退化得到序列低分辨率觀測影像Yi(k,l)(i=1,2,…,p)為離散影像。當(dāng)滿足采樣定理時，X(x,y)可以被不失真地轉(zhuǎn)換為離散影像X(k,l)，即原始數(shù)字影像。光學(xué)遙感影像的降質(zhì)模型框圖如圖1所示。

基于多幀光學(xué)遙感影像的降質(zhì)模型表述為：

該降質(zhì)模型表示基于多幀光學(xué)遙感影像的重構(gòu)模型，假設(shè)高分辨率影像大小為L1N1×L2N2，參數(shù)L1和L2表示水平和豎直方向的降采樣因子，X代表需要計算重構(gòu)的高分辨率遙感影像，Yk表示第k幀觀測到的低分辨率影像，Mk表示第k幀影像對應(yīng)的運動矩陣，Bk表示第k幀影像對應(yīng)的模糊矩陣，D表示降采樣矩陣，nk表示第k幀的加性噪聲。

基于單幀光學(xué)遙感影像的降質(zhì)模型表示為：

圖1 光學(xué)遙感影像降質(zhì)模型原理圖Fig.1 Principle diagram of optical remote sensing image degradation model

其中，X表示需要計算重構(gòu)的高分辨率遙感影像，Y表示觀測到的低分辨率遙感影像，H表示模糊矩陣，D表示降采樣矩陣，n表示噪聲矩陣。

3 病態(tài)性問題解決方法

遙感影像的成像過程受到光學(xué)衍射、噪聲、欠采樣等多種因素影響，造成影像降質(zhì)的過程是一個數(shù)學(xué)正問題，從降晰且離散的遙感影像中估計連續(xù)信號，是非常經(jīng)典的數(shù)學(xué)反問題。對于遙感成像系統(tǒng)來說，在逆濾波時，噪聲非常可能會被放大繼而淹沒真實信號；卷積函數(shù)精確表達形式未知，對其求逆向反卷積從本質(zhì)上講不可行；即使噪聲和核函數(shù)已經(jīng)精確已知，逆濾波也不能獲得有意義可解釋的解，所有這些因素都會導(dǎo)致重構(gòu)變成非常嚴重的不適定問題。

針對這類不適定問題，對其進行求解的過程中，需要施加一定程度的先驗條件及限制，從而將其轉(zhuǎn)為適定問題求解，實現(xiàn)這一轉(zhuǎn)化的思路稱之為正則化（Regularization）。正則化算法的主要解決思路是利用各類先驗知識修改原問題，將其變?yōu)樽钚』瘑栴}，或?qū)⑶蠼膺^程變?yōu)橥队暗鷨栴}，并在此過程中對數(shù)據(jù)范圍加以限制，抑制不合理的解；對解建立相應(yīng)的統(tǒng)計模型，并將其作為先驗知識，從而使求解問題變成參數(shù)的估計和優(yōu)化問題。

4 超分辨率重構(gòu)算法

4.1 最大后驗估計

最大后驗估計（Maximum A Posteriori，MAP）算法進行重構(gòu)的主要思想是在已知低分辨率觀測序列的前提下，使高分辨率出現(xiàn)的后驗概率最大。假設(shè)有k幅低分辨率觀測圖像，表示為g={g1,g2,…gk}，則超分辨率重構(gòu)問題表述為：

依據(jù)貝葉斯定理，有條件概率：

將式（4）代入式（3），并取對數(shù)可得：

其中，第二項代表高分辨率影像存在時低分辨率影像的概率密度函數(shù)，代表噪聲模型類型，第一項代表影像先驗?zāi)Ｐ停煌肼暷Ｐ图跋闰災(zāi)Ｐ途鶗a(chǎn)生相應(yīng)最小化函數(shù)，可以選擇Huber-MRF、Gaussian-MRF等先驗?zāi)Ｐ瓦M行描述。MAP的超分辨率重構(gòu)應(yīng)用非常早，研究人員針對火星探測器Viking獲取的多幅低分辨率影像，運用MAP技術(shù)恢復(fù)并進行了三維高分辨率影像重構(gòu)。Shen H F等［2］在擴展MAP框架的基礎(chǔ)上，將運動估計、分割與超分辨率重構(gòu)過程建立在統(tǒng)一的框架當(dāng)中，使MAP可以應(yīng)用在針對多個運動目標(biāo)以及場景劇烈變化情況下的重構(gòu)過程之中。

4.2 迭代反投影

迭代反投影 （Iterative Back Projection，IBP）算法采用待求高分辨率影像初始估計作為當(dāng)前計算結(jié)果，將此結(jié)果通過觀測模型投影得到低分辨率模擬影像，隨后采用迭代方式逐步減少模擬降質(zhì)過程所得影像與實際低分辨率影像之間的誤差，根據(jù)該誤差不斷更新當(dāng)前估計，從而迭代循環(huán)獲得最終的重構(gòu)影像。Friden B R［3］將代數(shù)層析相關(guān)濾波理論引入投影算法中，并將其推廣到彩色視頻重構(gòu)領(lǐng)域，IBP方法很容易理解，其缺點是解不具備唯一性，迭代過程存在不收斂的可能性，難以引入先驗知識。

4.3 確定性正則化

確定性正則化算法利用先驗知識增加約束，使解可以連續(xù)依賴于觀測數(shù)據(jù)并且具備物理意義，基于正則化變分理論的重構(gòu)技術(shù)，根據(jù)影像的降質(zhì)模型建立代價函數(shù)，進行最小化求解，獲得最優(yōu)重構(gòu)影像，該類算法計算復(fù)雜度較小，并且可以達到較好的重構(gòu)效果，其框架表示為變分模型：

其中，第一項代表數(shù)據(jù)約束項，用于衡量觀測數(shù)據(jù)kg和理想數(shù)據(jù)z之間相一致的程度；第二項代表正則化項，用于約束光滑性和有界變差等圖像先驗信息；λ代表均衡二者的正則化參數(shù)，控制求解過程中的貢獻量。該類型影像重構(gòu)框架圍繞三個問題展開：U(f)的具體設(shè)計、λ的參數(shù)選取以及變分模型求解。較為經(jīng)典的正則化算子包括Tikhonov模型、TV模型、雙邊全變分模型和自適應(yīng)雙邊全變分模型。

式（6）可以視為非約束最優(yōu)化問題，利用變分法將求解最優(yōu)問題轉(zhuǎn)化為求解歐拉-拉格朗日方程問題。變分PDE可以更好地處理曲率、梯度、水平集和切線等敏感信息，可以采用較為成熟的優(yōu)化方法和計算算法，具備穩(wěn)定性，可以獲得較高的影像質(zhì)量。針對式（6）的能量函數(shù)，歐拉-拉格朗日方程可以描述為：

可以使用最速下降法進行超分辨率重構(gòu)問題的求解，利用最速下降法進行運算的迭代公式描述為：

4.4 凸集投影

凸集投影（Projection Onto Convex Sets，POCS）算法［4］認為，高分辨率影像約束條件可以定義為向量空間的凸集合，只要求取集合交集，便可獲得超分辨率影像的解。該算法在可行解的空間內(nèi)定義一系列約束條件，包括觀測數(shù)據(jù)的正定性、一致性、光滑性、能量有界性等，將限制條件定義為完備內(nèi)積空間的緊凸集，通過求解交集獲取重構(gòu)的最終解。假設(shè)影像的n個約束集定義為相應(yīng)的投影算子，分別表示為P1,P2,…,Pn，則高分辨率影像通過迭代方程進行求解。

POCS算法決定于每個投影算子的選擇，其中，數(shù)據(jù)一致性約束最為重要，描述了高低分辨率影像間的關(guān)系，IBP算法為POCS算法只考慮數(shù)據(jù)一致性時的特殊情況。POCS中可以引入像素取值范圍約束、幅度約束、參考圖像約束、能量約束等條件，并且可以將噪聲模型、采樣格網(wǎng)及運動模糊、改進PFS系數(shù)、分割圖、時空聯(lián)合自適應(yīng)［5］等概念引入約束中進行凸集求解。缺點是解不唯一，收斂速度慢，依賴初始條件。有學(xué)者提出將POCS和MAP結(jié)合起來［6-7］進行重構(gòu)，給出了輸出解的收斂證明和唯一性證明。

4.5 稀疏表示

壓縮感知理論［8］突破奈奎斯特定理，以遠低于奈奎斯特的頻率，對信號進行壓縮采樣，通過與稀疏基不相關(guān)的測量矩陣，將信號從高維投影至低維，通過求解最優(yōu)化問題，從少量觀測值中，以較高或完全概率重構(gòu)原始信號。字典稀疏表示原理如圖2所示。

圖2 字典稀疏表示原理圖Fig.2 Principle diagram of dictionary sparse representation

離散數(shù)字信號，即影像x∈RN可以由基向量{ψi}i=1,…,k ，ψiRN的線性組合形式表示為其中，αi為表示系數(shù)。當(dāng)時，稱ψi為原子，將稱為字典。根據(jù)N與K的大小關(guān)系分為三種情況：N＞K時，字典欠完備；N=K時，字典完備；N＜K時，字典過完備。

矩陣形式表示為式（10），α為x關(guān)于ψ的稀疏系數(shù)。

假設(shè)光學(xué)遙感影像的重構(gòu)模型描述為：

其中，y代表降質(zhì)圖像，x代表重構(gòu)目標(biāo)圖像，B代表模糊因子，D代表降采樣因子，假設(shè)影像x在過完備字典中足夠稀疏，x=ψα，則x可由低維觀測值y求解：

4.6 偏微分方程

基于偏微分方程（Partial Differential Equation，PDE）的模型［12-13］根據(jù)像素點局部鄰域信息，判斷該點的區(qū)域特征，在不同的區(qū)域進行各向異性擴散，在平滑噪聲的同時，保持或增強邊緣。偏微分方程的發(fā)展經(jīng)歷了由線性到非線性，由各向同性擴散到各向異性擴散的過程，可以歸結(jié)為求解初始值為輸入影像的非線性擴散問題。

PDE最早協(xié)助建立了圖像的多尺度表達理論，從Perona-Malik（P-M）方程、MCM及其改進模型、張量擴散模型到高階模型，PDE理論開創(chuàng)了一個新的領(lǐng)域。文獻［12］在綜合考慮平滑區(qū)域、邊緣區(qū)域、角點和交叉點區(qū)域三類不同維度特征的基礎(chǔ)上結(jié)合高階張量進行分析，提出了基于偏微分方程統(tǒng)一架構(gòu)的單幀重構(gòu)模型。邵文澤［13］進行了結(jié)構(gòu)張量圖像建模方法的研究，設(shè)計了統(tǒng)一正則化的PDE模型，更好地刻畫角形、平坦、邊緣結(jié)構(gòu)的濾波性能，并分別進行了圖像修補、圖像插值、超分辨率重構(gòu)等實驗的驗證。

4.7 深度學(xué)習(xí)

目前已涌現(xiàn)很多成熟的基于深度學(xué)習(xí)的超分辨率重構(gòu)研究成果，其中，基于端到端的超分辨率算法是主流研究方向，可高效運行于GPU平臺。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）通過訓(xùn)練學(xué)習(xí)顏色、邊緣、紋理、形狀以及圖像拓撲結(jié)構(gòu)等特征，對結(jié)構(gòu)進行準確描述，已被證明是深度學(xué)習(xí)中最好的結(jié)構(gòu)。

SRCNN［14-15］算法于2014年開啟了CNN算法在超分辨率重構(gòu)領(lǐng)域當(dāng)中的探索之門，利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練適合LR圖像重建的模型，直接學(xué)習(xí)輸入圖像和輸出圖像的關(guān)系，合理優(yōu)化網(wǎng)絡(luò)參數(shù)。FSRCNN［16］采用無預(yù)處理的圖像作為輸入，將SRCNN中的非線性映射部分替換為壓縮、映射和擴展。VDSR［17］引入殘差網(wǎng)絡(luò)的思想，僅僅學(xué)習(xí)高低分辨率圖像的殘差，并將網(wǎng)絡(luò)結(jié)構(gòu)擴展到20層。

ESPCN［18］是基于多幀圖像的SR重構(gòu)網(wǎng)絡(luò)，圖像尺寸放大過程的插值函數(shù)被隱含地包含在前面的卷積層中，可以自動學(xué)習(xí)到。SRGAN［19］在生成模型的基礎(chǔ)上增加對抗模型，生成網(wǎng)絡(luò)生成高分辨率圖像，對抗網(wǎng)絡(luò)判斷拿到的圖像是由生成網(wǎng)絡(luò)生成的，還是數(shù)據(jù)庫中的原圖，從而相互促進完成SR重構(gòu)的過程。LapSRN［20］實現(xiàn)多級結(jié)構(gòu)，每一級完成一次兩倍上采樣操作，每一級先通過級聯(lián)卷積層提取特征，并通過反卷積層將提取出的特征尺寸上采樣兩倍。通過逐步上采樣，一級一級預(yù)測殘差，對每一級的結(jié)果進行監(jiān)督。

DRCN［21］第一次將遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在 SR重構(gòu)問題的求解中，利用殘差學(xué)習(xí)的方法加深網(wǎng)絡(luò)結(jié)構(gòu)，增加網(wǎng)絡(luò)感受野，提升性能。DRRN［22］對ResNet等結(jié)構(gòu)進行相應(yīng)的調(diào)整，采取了更深的網(wǎng)絡(luò)結(jié)構(gòu)，最佳網(wǎng)絡(luò)深度是52層，是一種多路徑模式的局部殘差學(xué)習(xí)、全局殘差學(xué)習(xí)合并多權(quán)重遞歸學(xué)習(xí)的網(wǎng)絡(luò)模型。

SRDenseNet［23］在稠密塊中將每一層的特征都輸入給后續(xù)所有層，將所有層的特征并置，減少參數(shù)數(shù)量。EDSR［24］去掉了ResNet中的批規(guī)范化操作，使網(wǎng)絡(luò)可以堆疊更多層數(shù)或在每層提取更多特征，獲得更好的性能表現(xiàn)。

5 光學(xué)遙感影像重構(gòu)應(yīng)用

在基于超分辨率算法的遙感應(yīng)用中，學(xué)者們基于各類重構(gòu)理論進行了廣泛的研究，陸續(xù)將以上超分辨 率重構(gòu)相關(guān)理論應(yīng)用于光學(xué)遙感影像的處理中，應(yīng)用傳統(tǒng)方法對遙感影像進行重構(gòu)的研究成果較為成熟，基于深度學(xué)習(xí)的應(yīng)用還在不斷探索。有學(xué)者嘗試將深度學(xué)習(xí)框架下 的超分辨率重構(gòu)算法應(yīng)用到衛(wèi)星影像重構(gòu)過程中［25］，獲得了較好的重構(gòu)效果。此外，也有其他 學(xué)者在基于深度學(xué)習(xí)的超分辨率重構(gòu)領(lǐng)域獲得了研究成果［26-28］。

一些學(xué) 者利用基于小波域的重構(gòu)算法［29］對SPOT遙感影像進行算法應(yīng)用，通過三線陣相機獲取到同一場景 在鄰近時相和不同角度的三張前影像、中影像和后視影像，進行多幀影像的重構(gòu)。也有研究人員將重構(gòu)技術(shù)應(yīng)用在三線陣影像中，研究光流配準、正射影像重構(gòu)算法和一級影像盲超分辨重構(gòu)算法［30］。有學(xué)者開展了空域自適應(yīng)濾波算法［31］研究，將其應(yīng)用于斜模式遙感影像復(fù)原系統(tǒng)中，進行斜模式下基于軟硬件結(jié)合的影像復(fù) 原算法及其應(yīng)用研究，其提出的復(fù)原框架，對于重構(gòu)領(lǐng)域具有重要啟發(fā)性。也有研究人員分別分析了基于頻域和空域的多種重構(gòu)算法［32］，將其應(yīng)用于光學(xué)遙感圖像的復(fù)原過程當(dāng)中，對兩幀圖像頻域解混疊，引入下采樣、正則項、位移算子及參數(shù)設(shè)置，提出新的更加魯棒的算法。

文獻［33］提出頻率混疊單幀重構(gòu)算法，將之應(yīng)用于衛(wèi)星影像重構(gòu)過程中，影像的分辨率和清晰度獲得了大幅增強。中科院西安光機所團隊將重構(gòu)技術(shù)應(yīng)用于傳感器制造過程中，利用棱鏡分光技術(shù)實現(xiàn)基于面陣的亞像元成像。文獻［34］對利用多種傳統(tǒng)重構(gòu)算法對我國的資源三號衛(wèi)星影像以及異源數(shù)據(jù)分別進行超分辨率實驗驗證。

有學(xué)者將隨機分形和小波變換相結(jié)合，提出小波分形插值算法［35］，并在單幀光學(xué)遙感影像中進行應(yīng)用。研究人員基于壓縮感知、字典學(xué)習(xí)以及圖像自相似性，實現(xiàn)了光學(xué)遙感影像的字典學(xué)習(xí)和超分辨率重構(gòu)［36-37］，并且提出新的指標(biāo)用于衡量重構(gòu)效果。文獻［38］對基于小波變換的邊緣檢測進行研究，針對遙感影像邊界和噪聲不清楚的問題，通過共軛梯度追蹤技術(shù)實現(xiàn)重構(gòu)精度以及效率的同步提升。一直以來，超分辨率重構(gòu)技術(shù)如何能夠更好地應(yīng)用于光學(xué)遙感影像處理過程當(dāng)中，一直是專業(yè)人員的熱點研究課題。

6 結(jié) 論

目前對于光學(xué)遙感影像超分辨率重構(gòu)技術(shù)的研究，已經(jīng)從能夠獲得改善影像質(zhì)量發(fā)展為對算法魯棒性、時效性、效率和應(yīng)用性等眾多方面的需求。如何提出通用、魯棒、高效的重構(gòu)算法，如何確定可以重構(gòu)的理論極限，對于約束參數(shù)如何進行自學(xué)習(xí)，如何在保證精度的前提下對性能進行加速，如何建立可解釋的重構(gòu)卷積網(wǎng)絡(luò)，如何建立更附合實際情況的退化模型，如何能夠?qū)⒗碚撗芯繎?yīng)用于具體的實踐中，都是光學(xué)遙感影像超分辨率重構(gòu)領(lǐng)域值得關(guān)注的研究熱點和發(fā)展方向。

此外，隨著器件的不斷升級，如何能將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用到嵌入式設(shè)備中進行實時計算，也是當(dāng)前研究下亟待解決的重要問題之一。目前已出現(xiàn)多種類型的智能計算平臺，包括ARM+GPU、ARM+FPGA、單純FPGA、TPU、NPU等各類平臺，其各有特點，在一定程度上可以互補。隨著國家在航空航天遙感領(lǐng)域的重大專項推進，隨著機器學(xué)習(xí)、數(shù)據(jù)挖掘及人工智能技術(shù)、智能芯片技術(shù)的大力發(fā)展，超分辨率重構(gòu)技術(shù)在遙感應(yīng)用領(lǐng)域必將獲得新的理論進展。