趙曉冬,張洵穎,程雪梅
(1.西北工業(yè)大學(xué)無人系統(tǒng)技術(shù)研究院,西安 710072,2.西北工業(yè)大學(xué)365研究所,西安 710072)
隨著航空航天遙感技術(shù)的發(fā)展,遙感影像的數(shù)據(jù)量大幅增加,高分辨率光學(xué)遙感影像具備豐富的紋理、空間和語義信息。在軍事領(lǐng)域可以檢測特定軍事目標(biāo)如艦船、飛機等,獲得情報進行精確制導(dǎo),在民用領(lǐng)域可以感知城市狀態(tài),監(jiān)測海洋漏油、病蟲害、災(zāi)后搜救、土地調(diào)查等。然而在獲得影像的過程中,遙感系統(tǒng)會受到如氣流擾動、成像衍射、傳輸干擾、相對姿態(tài)變化、下采樣、附加噪聲等多種因素的影響,導(dǎo)致影像的像質(zhì)下降。利用硬件途徑提高影像分辨率的方法被眾多因素所限制。
超分辨率(Super Resolution,SR)重構(gòu)[1]指在觀測系統(tǒng)不改變的前提下,利用算法恢復(fù)影像獲取過程中所丟失的成像截止頻率以上的高頻信息,分為單幀影像重構(gòu)和多幀序列影像重構(gòu)。單幀影像重構(gòu)是典型的數(shù)學(xué)反問題,充分利用先驗知識進行影像重構(gòu),非常適用于不能直接獲取序列影像的應(yīng)用場景。多幀影像充分利用影像之間的冗余互補信息,結(jié)合先驗知識,可以獲得更好的重構(gòu)應(yīng)用效果。多幀重構(gòu)算法通過時間分辨率的犧牲提高空間分辨率,算法更為復(fù)雜。
隨著遙感領(lǐng)域的不斷發(fā)展,如何通過各類理論來有效進行超分辨率重構(gòu),是目前光學(xué)遙感影像恢復(fù)領(lǐng)域非常有前途的研究熱點。遙感領(lǐng)域的研究人員應(yīng)當(dāng)充分運用遙感技術(shù)和信號分析技術(shù),獲得更多的地物特征信息,為光學(xué)遙感影像的后續(xù)分析奠定基礎(chǔ)。
在光學(xué)遙感影像重構(gòu)當(dāng)中,降質(zhì)模型對于求解非常重要,反映了高分辨率目標(biāo)遙感影像與低分辨率觀測遙感影像間的映射關(guān)系,可以體現(xiàn)退化因素。在光學(xué)遙感影像成像過程當(dāng)中,假設(shè)X(x,y)代表不失真連續(xù)信號物影像,退化得到序列低分辨率觀測影像Yi(k,l)(i=1,2,…,p)為離散影像。當(dāng)滿足采樣定理時,X(x,y)可以被不失真地轉(zhuǎn)換為離散影像X(k,l),即原始數(shù)字影像。光學(xué)遙感影像的降質(zhì)模型框圖如圖1所示。
基于多幀光學(xué)遙感影像的降質(zhì)模型表述為:
該降質(zhì)模型表示基于多幀光學(xué)遙感影像的重構(gòu)模型,假設(shè)高分辨率影像大小為L1N1×L2N2,參數(shù)L1和L2表示水平和豎直方向的降采樣因子,X代表需要計算重構(gòu)的高分辨率遙感影像,Yk表示第k幀觀測到的低分辨率影像,Mk表示第k幀影像對應(yīng)的運動矩陣,Bk表示第k幀影像對應(yīng)的模糊矩陣,D表示降采樣矩陣,nk表示第k幀的加性噪聲。
基于單幀光學(xué)遙感影像的降質(zhì)模型表示為:
圖1 光學(xué)遙感影像降質(zhì)模型原理圖Fig.1 Principle diagram of optical remote sensing image degradation model
其中,X表示需要計算重構(gòu)的高分辨率遙感影像,Y表示觀測到的低分辨率遙感影像,H表示模糊矩陣,D表示降采樣矩陣,n表示噪聲矩陣。
遙感影像的成像過程受到光學(xué)衍射、噪聲、欠采樣等多種因素影響,造成影像降質(zhì)的過程是一個數(shù)學(xué)正問題,從降晰且離散的遙感影像中估計連續(xù)信號,是非常經(jīng)典的數(shù)學(xué)反問題。對于遙感成像系統(tǒng)來說,在逆濾波時,噪聲非常可能會被放大繼而淹沒真實信號;卷積函數(shù)精確表達形式未知,對其求逆向反卷積從本質(zhì)上講不可行;即使噪聲和核函數(shù)已經(jīng)精確已知,逆濾波也不能獲得有意義可解釋的解,所有這些因素都會導(dǎo)致重構(gòu)變成非常嚴重的不適定問題。
針對這類不適定問題,對其進行求解的過程中,需要施加一定程度的先驗條件及限制,從而將其轉(zhuǎn)為適定問題求解,實現(xiàn)這一轉(zhuǎn)化的思路稱之為正則化(Regularization)。正則化算法的主要解決思路是利用各類先驗知識修改原問題,將其變?yōu)樽钚』瘑栴},或?qū)⑶蠼膺^程變?yōu)橥队暗鷨栴},并在此過程中對數(shù)據(jù)范圍加以限制,抑制不合理的解;對解建立相應(yīng)的統(tǒng)計模型,并將其作為先驗知識,從而使求解問題變成參數(shù)的估計和優(yōu)化問題。
最大后驗估計(Maximum A Posteriori,MAP)算法進行重構(gòu)的主要思想是在已知低分辨率觀測序列的前提下,使高分辨率出現(xiàn)的后驗概率最大。假設(shè)有k幅低分辨率觀測圖像,表示為g={g1,g2,…gk},則超分辨率重構(gòu)問題表述為:
依據(jù)貝葉斯定理,有條件概率:
將式(4)代入式(3),并取對數(shù)可得:
其中,第二項代表高分辨率影像存在時低分辨率影像的概率密度函數(shù),代表噪聲模型類型,第一項代表影像先驗?zāi)P停煌肼暷P图跋闰災(zāi)P途鶗a(chǎn)生相應(yīng)最小化函數(shù),可以選擇Huber-MRF、Gaussian-MRF等先驗?zāi)P瓦M行描述。MAP的超分辨率重構(gòu)應(yīng)用非常早,研究人員針對火星探測器Viking獲取的多幅低分辨率影像,運用MAP技術(shù)恢復(fù)并進行了三維高分辨率影像重構(gòu)。Shen H F等[2]在擴展MAP框架的基礎(chǔ)上,將運動估計、分割與超分辨率重構(gòu)過程建立在統(tǒng)一的框架當(dāng)中,使MAP可以應(yīng)用在針對多個運動目標(biāo)以及場景劇烈變化情況下的重構(gòu)過程之中。
迭代反投影 (Iterative Back Projection,IBP)算法采用待求高分辨率影像初始估計作為當(dāng)前計算結(jié)果,將此結(jié)果通過觀測模型投影得到低分辨率模擬影像,隨后采用迭代方式逐步減少模擬降質(zhì)過程所得影像與實際低分辨率影像之間的誤差,根據(jù)該誤差不斷更新當(dāng)前估計,從而迭代循環(huán)獲得最終的重構(gòu)影像。Friden B R[3]將代數(shù)層析相關(guān)濾波理論引入投影算法中,并將其推廣到彩色視頻重構(gòu)領(lǐng)域,IBP方法很容易理解,其缺點是解不具備唯一性,迭代過程存在不收斂的可能性,難以引入先驗知識。
確定性正則化算法利用先驗知識增加約束,使解可以連續(xù)依賴于觀測數(shù)據(jù)并且具備物理意義,基于正則化變分理論的重構(gòu)技術(shù),根據(jù)影像的降質(zhì)模型建立代價函數(shù),進行最小化求解,獲得最優(yōu)重構(gòu)影像,該類算法計算復(fù)雜度較小,并且可以達到較好的重構(gòu)效果,其框架表示為變分模型:
其中,第一項代表數(shù)據(jù)約束項,用于衡量觀測數(shù)據(jù)kg和理想數(shù)據(jù)z之間相一致的程度;第二項代表正則化項,用于約束光滑性和有界變差等圖像先驗信息;λ代表均衡二者的正則化參數(shù),控制求解過程中的貢獻量。該類型影像重構(gòu)框架圍繞三個問題展開:U(f)的具體設(shè)計、λ的參數(shù)選取以及變分模型求解。較為經(jīng)典的正則化算子包括Tikhonov模型、TV模型、雙邊全變分模型和自適應(yīng)雙邊全變分模型。
式(6)可以視為非約束最優(yōu)化問題,利用變分法將求解最優(yōu)問題轉(zhuǎn)化為求解歐拉-拉格朗日方程問題。變分PDE可以更好地處理曲率、梯度、水平集和切線等敏感信息,可以采用較為成熟的優(yōu)化方法和計算算法,具備穩(wěn)定性,可以獲得較高的影像質(zhì)量。針對式(6)的能量函數(shù),歐拉-拉格朗日方程可以描述為:
可以使用最速下降法進行超分辨率重構(gòu)問題的求解,利用最速下降法進行運算的迭代公式描述為:
凸集投影(Projection Onto Convex Sets,POCS)算法[4]認為,高分辨率影像約束條件可以定義為向量空間的凸集合,只要求取集合交集,便可獲得超分辨率影像的解。該算法在可行解的空間內(nèi)定義一系列約束條件,包括觀測數(shù)據(jù)的正定性、一致性、光滑性、能量有界性等,將限制條件定義為完備內(nèi)積空間的緊凸集,通過求解交集獲取重構(gòu)的最終解。假設(shè)影像的n個約束集定義為相應(yīng)的投影算子,分別表示為P1,P2,…,Pn,則高分辨率影像通過迭代方程進行求解。
POCS算法決定于每個投影算子的選擇,其中,數(shù)據(jù)一致性約束最為重要,描述了高低分辨率影像間的關(guān)系,IBP算法為POCS算法只考慮數(shù)據(jù)一致性時的特殊情況。POCS中可以引入像素取值范圍約束、幅度約束、參考圖像約束、能量約束等條件,并且可以將噪聲模型、采樣格網(wǎng)及運動模糊、改進PFS系數(shù)、分割圖、時空聯(lián)合自適應(yīng)[5]等概念引入約束中進行凸集求解。缺點是解不唯一,收斂速度慢,依賴初始條件。有學(xué)者提出將POCS和MAP結(jié)合起來[6-7]進行重構(gòu),給出了輸出解的收斂證明和唯一性證明。
壓縮感知理論[8]突破奈奎斯特定理,以遠低于奈奎斯特的頻率,對信號進行壓縮采樣,通過與稀疏基不相關(guān)的測量矩陣,將信號從高維投影至低維,通過求解最優(yōu)化問題,從少量觀測值中,以較高或完全概率重構(gòu)原始信號。字典稀疏表示原理如圖2所示。
圖2 字典稀疏表示原理圖Fig.2 Principle diagram of dictionary sparse representation
離散數(shù)字信號,即影像x∈RN可以由基向量{ψi}i=1,…,k ,ψiRN的線性組合形式表示為其中,αi為表示系數(shù)。當(dāng)時,稱ψi為原子,將稱為字典。根據(jù)N與K的大小關(guān)系分為三種情況:N>K時,字典欠完備;N=K時,字典完備;N<K時,字典過完備。
矩陣形式表示為式(10),α為x關(guān)于ψ的稀疏系數(shù)。
假設(shè)光學(xué)遙感影像的重構(gòu)模型描述為:
其中,y代表降質(zhì)圖像,x代表重構(gòu)目標(biāo)圖像,B代表模糊因子,D代表降采樣因子,假設(shè)影像x在過完備字典中足夠稀疏,x=ψα,則x可由低維觀測值y求解:
基于偏微分方程(Partial Differential Equation,PDE)的模型[12-13]根據(jù)像素點局部鄰域信息,判斷該點的區(qū)域特征,在不同的區(qū)域進行各向異性擴散,在平滑噪聲的同時,保持或增強邊緣。偏微分方程的發(fā)展經(jīng)歷了由線性到非線性,由各向同性擴散到各向異性擴散的過程,可以歸結(jié)為求解初始值為輸入影像的非線性擴散問題。
PDE最早協(xié)助建立了圖像的多尺度表達理論,從Perona-Malik(P-M)方程、MCM及其改進模型、張量擴散模型到高階模型,PDE理論開創(chuàng)了一個新的領(lǐng)域。文獻[12]在綜合考慮平滑區(qū)域、邊緣區(qū)域、角點和交叉點區(qū)域三類不同維度特征的基礎(chǔ)上結(jié)合高階張量進行分析,提出了基于偏微分方程統(tǒng)一架構(gòu)的單幀重構(gòu)模型。邵文澤[13]進行了結(jié)構(gòu)張量圖像建模方法的研究,設(shè)計了統(tǒng)一正則化的PDE模型,更好地刻畫角形、平坦、邊緣結(jié)構(gòu)的濾波性能,并分別進行了圖像修補、圖像插值、超分辨率重構(gòu)等實驗的驗證。
目前已涌現(xiàn)很多成熟的基于深度學(xué)習(xí)的超分辨率重構(gòu)研究成果,其中,基于端到端的超分辨率算法是主流研究方向,可高效運行于GPU平臺。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)通過訓(xùn)練學(xué)習(xí)顏色、邊緣、紋理、形狀以及圖像拓撲結(jié)構(gòu)等特征,對結(jié)構(gòu)進行準確描述,已被證明是深度學(xué)習(xí)中最好的結(jié)構(gòu)。
SRCNN[14-15]算法于2014年開啟了CNN算法在超分辨率重構(gòu)領(lǐng)域當(dāng)中的探索之門,利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練適合LR圖像重建的模型,直接學(xué)習(xí)輸入圖像和輸出圖像的關(guān)系,合理優(yōu)化網(wǎng)絡(luò)參數(shù)。FSRCNN[16]采用無預(yù)處理的圖像作為輸入,將SRCNN中的非線性映射部分替換為壓縮、映射和擴展。VDSR[17]引入殘差網(wǎng)絡(luò)的思想,僅僅學(xué)習(xí)高低分辨率圖像的殘差,并將網(wǎng)絡(luò)結(jié)構(gòu)擴展到20層。
ESPCN[18]是基于多幀圖像的SR重構(gòu)網(wǎng)絡(luò),圖像尺寸放大過程的插值函數(shù)被隱含地包含在前面的卷積層中,可以自動學(xué)習(xí)到。SRGAN[19]在生成模型的基礎(chǔ)上增加對抗模型,生成網(wǎng)絡(luò)生成高分辨率圖像,對抗網(wǎng)絡(luò)判斷拿到的圖像是由生成網(wǎng)絡(luò)生成的,還是數(shù)據(jù)庫中的原圖,從而相互促進完成SR重構(gòu)的過程。LapSRN[20]實現(xiàn)多級結(jié)構(gòu),每一級完成一次兩倍上采樣操作,每一級先通過級聯(lián)卷積層提取特征,并通過反卷積層將提取出的特征尺寸上采樣兩倍。通過逐步上采樣,一級一級預(yù)測殘差,對每一級的結(jié)果進行監(jiān)督。
DRCN[21]第一次將遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在 SR重構(gòu)問題的求解中,利用殘差學(xué)習(xí)的方法加深網(wǎng)絡(luò)結(jié)構(gòu),增加網(wǎng)絡(luò)感受野,提升性能。DRRN[22]對ResNet等結(jié)構(gòu)進行相應(yīng)的調(diào)整,采取了更深的網(wǎng)絡(luò)結(jié)構(gòu),最佳網(wǎng)絡(luò)深度是52層,是一種多路徑模式的局部殘差學(xué)習(xí)、全局殘差學(xué)習(xí)合并多權(quán)重遞歸學(xué)習(xí)的網(wǎng)絡(luò)模型。
SRDenseNet[23]在稠密塊中將每一層的特征都輸入給后續(xù)所有層,將所有層的特征并置,減少參數(shù)數(shù)量。EDSR[24]去掉了ResNet中的批規(guī)范化操作,使網(wǎng)絡(luò)可以堆疊更多層數(shù)或在每層提取更多特征,獲得更好的性能表現(xiàn)。
在基于超分辨率算法的遙感應(yīng)用中,學(xué)者們基于各類重構(gòu)理論進行了廣泛的研究,陸續(xù)將以上超分辨 率重構(gòu)相關(guān)理論應(yīng)用于光學(xué)遙感影像的處理中,應(yīng)用傳統(tǒng)方法對遙感影像進行重構(gòu)的研究成果較為成熟,基于深度學(xué)習(xí)的應(yīng)用還在不斷探索。有學(xué)者嘗試將深度學(xué)習(xí)框架下 的超分辨率重構(gòu)算法應(yīng)用到衛(wèi)星影像重構(gòu)過程中[25],獲得了較好的重構(gòu)效果。此外,也有其他 學(xué)者在基于深度學(xué)習(xí)的超分辨率重構(gòu)領(lǐng)域獲得了研究成果[26-28]。
一些學(xué) 者利用基于小波域的重構(gòu)算法[29]對SPOT遙感影像進行算法應(yīng)用,通過三線陣相機獲取到同一場景 在鄰近時相和不同角度的三張前影像、中影像和后視影像,進行多幀影像的重構(gòu)。也有研究人員將重構(gòu)技術(shù)應(yīng)用在三線陣影像中,研究光流配準、正射影像重構(gòu)算法和一級影像盲超分辨重構(gòu)算法[30]。有學(xué)者開展了空域自適應(yīng)濾波算法[31]研究,將其應(yīng)用于斜模式遙感影像復(fù)原系統(tǒng)中,進行斜模式下基于軟硬件結(jié)合的影像復(fù) 原算法及其應(yīng)用研究,其提出的復(fù)原框架,對于重構(gòu)領(lǐng)域具有重要啟發(fā)性。也有研究人員分別分析了基于頻域和空域的多種重構(gòu)算法[32],將其應(yīng)用于光學(xué)遙感圖像的復(fù)原過程當(dāng)中,對兩幀圖像頻域解混疊,引入下采樣、正則項、位移算子及參數(shù)設(shè)置,提出新的更加魯棒的算法。
文獻[33]提出頻率混疊單幀重構(gòu)算法,將之應(yīng)用于衛(wèi)星影像重構(gòu)過程中,影像的分辨率和清晰度獲得了大幅增強。中科院西安光機所團隊將重構(gòu)技術(shù)應(yīng)用于傳感器制造過程中,利用棱鏡分光技術(shù)實現(xiàn)基于面陣的亞像元成像。文獻[34]對利用多種傳統(tǒng)重構(gòu)算法對我國的資源三號衛(wèi)星影像以及異源數(shù)據(jù)分別進行超分辨率實驗驗證。
有學(xué)者將隨機分形和小波變換相結(jié)合,提出小波分形插值算法[35],并在單幀光學(xué)遙感影像中進行應(yīng)用。研究人員基于壓縮感知、字典學(xué)習(xí)以及圖像自相似性,實現(xiàn)了光學(xué)遙感影像的字典學(xué)習(xí)和超分辨率重構(gòu)[36-37],并且提出新的指標(biāo)用于衡量重構(gòu)效果。文獻[38]對基于小波變換的邊緣檢測進行研究,針對遙感影像邊界和噪聲不清楚的問題,通過共軛梯度追蹤技術(shù)實現(xiàn)重構(gòu)精度以及效率的同步提升。一直以來,超分辨率重構(gòu)技術(shù)如何能夠更好地應(yīng)用于光學(xué)遙感影像處理過程當(dāng)中,一直是專業(yè)人員的熱點研究課題。
目前對于光學(xué)遙感影像超分辨率重構(gòu)技術(shù)的研究,已經(jīng)從能夠獲得改善影像質(zhì)量發(fā)展為對算法魯棒性、時效性、效率和應(yīng)用性等眾多方面的需求。如何提出通用、魯棒、高效的重構(gòu)算法,如何確定可以重構(gòu)的理論極限,對于約束參數(shù)如何進行自學(xué)習(xí),如何在保證精度的前提下對性能進行加速,如何建立可解釋的重構(gòu)卷積網(wǎng)絡(luò),如何建立更附合實際情況的退化模型,如何能夠?qū)⒗碚撗芯繎?yīng)用于具體的實踐中,都是光學(xué)遙感影像超分辨率重構(gòu)領(lǐng)域值得關(guān)注的研究熱點和發(fā)展方向。
此外,隨著器件的不斷升級,如何能將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用到嵌入式設(shè)備中進行實時計算,也是當(dāng)前研究下亟待解決的重要問題之一。目前已出現(xiàn)多種類型的智能計算平臺,包括ARM+GPU、ARM+FPGA、單純FPGA、TPU、NPU等各類平臺,其各有特點,在一定程度上可以互補。隨著國家在航空航天遙感領(lǐng)域的重大專項推進,隨著機器學(xué)習(xí)、數(shù)據(jù)挖掘及人工智能技術(shù)、智能芯片技術(shù)的大力發(fā)展,超分辨率重構(gòu)技術(shù)在遙感應(yīng)用領(lǐng)域必將獲得新的理論進展。