多波段遙感影像銳化方法研究進展

陶兢喆,宋德瑞,宋傳鳴,王相海1,*

1. 遼寧師范大學地理科學學院,遼寧 大連 116029 2. 遼寧師范大學計算機與信息技術(shù)學院,遼寧 大連 116081 3. 國家海洋環(huán)境監(jiān)測中心,遼寧 大連 116023

引 言

目前以遙感影像為基本數(shù)據(jù)類型的對地觀測信息成為了監(jiān)測和分析地球環(huán)境及資源的有力手段,已廣泛應(yīng)用于農(nóng)林、地質(zhì)、水文、海洋、氣象、軍事等領(lǐng)域,對人類的生產(chǎn)和生活產(chǎn)生了深遠影響。在遙感影像中,多波段遙感影像是指寬波段入射光信號經(jīng)過遙感平臺中的分光元件所形成的反映不同的窄波段區(qū)間信息的三維影像集合,其包含二維空間信息和一維光譜信息,其中空間信息反映場景中的幾何特性,由單個波段影像內(nèi)容體現(xiàn);光譜信息對應(yīng)物體在不同波段的電磁波特性,由各波段影像對應(yīng)位置處的像素所體現(xiàn)。多波段影像因傳感器類型不同進一步可分為由若干個波段構(gòu)成的多光譜(multispectral,MS)影像和由上百個波段構(gòu)成的高光譜(hyperspectral,HS)影像。與單波段的全色(panchromatic,PAN)影像相比,MS或HS影像在提升了屬性信息獲取能力(光譜分辨率)的同時,其幾何信息獲取能力(空間分辨率)往往受限和下降,這種空間-光譜分辨率間的矛盾是由成像設(shè)備本身的機理決定的[1-2],例如,由EO-1衛(wèi)星搭載的首顆星載高光譜成像儀Hyperion的空間分辨率為30 m,而同平臺搭載的高級陸地成像儀的空間分辨率為10 m;典型的高空間分辨率商用衛(wèi)星如GeoEye、WorldView等系列的MS和PAN傳感器空間分辨率則分別在米級和亞米級。

近年來,隨著遙感應(yīng)用領(lǐng)域的深入和拓展,人們對遙感影像的空間分辨率提出了更高的需求。我國于2010年實施的“高分專項”,即高分辨率對地觀測系統(tǒng)重大專項,體現(xiàn)了國家對有關(guān)問題的高度重視。該項目的實施全面提升了我國自主獲取高分辨率觀測數(shù)據(jù)的能力,并加快了我國空間信息應(yīng)用體系的建設(shè)和相關(guān)產(chǎn)業(yè)的發(fā)展。然而,由于上述空間-光譜分辨率矛盾的緣故,同時具備高空-譜分辨率的遙感影像理論上難以通過現(xiàn)有硬件技術(shù)手段直接獲取,而同時遙感影像相對而言也始終存在改善空間分辨率的可能性。這樣通過軟件方法對低分辨率(low resolution,LR)的遙感影像進行增強使其達到高分辨率(high resolution,HR)的方法被提出并受到重視[3-5]。這種為彌補遙感影像空間信息采集的不足,利用輔助影像增強其空間分辨率的過程被稱為遙感影像的銳化(sharpening)。

盡管目前遙感影像的銳化研究已有超過30年的歷程,但仍是遙感影像處理領(lǐng)域最富有挑戰(zhàn)性的一個前沿方向,其中的許多關(guān)鍵問題仍有待被進一步探索和解決。本文對多波段遙感影像銳化方法的研究進展進行綜述,首先對多波段遙感影像銳化的內(nèi)涵進行了表述;然后以MS影像的全色銳化為主要視角對其研究進展進行分析和討論;隨后再對HS影像的銳化特點和一些特有方法進行歸納;最后對多波段遙感影像銳化方法發(fā)展現(xiàn)狀進行討論并展望未來。

1 多波段遙感影像銳化涵義

為了彌補多波段遙感影像空間信息采集不足的問題,自1986年的SPOT-1衛(wèi)星起,MS遙感平臺普遍幾乎會同時(根據(jù)技術(shù)手段的不同,實際成像過程可能存在微小的時間差)獲取MS和PAN影像。由于彼此配準且排除了拍攝姿態(tài)和時相因素等成像條件差異的影響,從而為后期通過影像處理手段對上述影像進行空-譜信息間的互補奠定了基礎(chǔ)。在盡可能保留LR MS影像光譜信息的同時,利用與之配準的HR PAN影像增強其空間信息,從而得到HR MS影像的方法通常被稱為 “全色銳化”(Pan-sharpening)。在全色銳化的基礎(chǔ)上,近年來有學者探索了少數(shù)衛(wèi)星/傳感器,如哨兵2號(Sentinel-2)所獲取的MS多空間分辨率波段影像間的銳化[6]。圖1以MS影像的全色銳化為例,展示了遙感影像銳化對應(yīng)的信源及輸出影像的視覺效果差異。其中MS影像為3波段彩色合成方式顯示,圖1(a)中的LR MS影像經(jīng)過了插值以便查看,所用數(shù)據(jù)來自高分二號衛(wèi)星(GF-2)。

圖1 遙感影像的銳化示例:MS影像的全色銳化(a):LR MS;(b):PAN;(c):HR MSFig.1 Sharpening example of remote sensing image:pan-sharpening of MS image

繼MS的全色銳化之后,人們將其擴展至HS影像,利用輔助影像PAN、MS,甚至HS影像進行HS影像的銳化研究,也被稱之為“超銳化”(Hyper-sharpening)。HS影像的銳化作為近幾年剛起步的研究領(lǐng)域,可認為是對MS銳化研究在理論層面上的自然擴展。盡管目前總體上仍缺乏能夠同時獲取HS影像和與之成像條件匹配的HR輔助影像的遙感平臺,該問題的興起亦催生了諸如“HISUI”[7]、“PRISMA”[8]及“SHALOM”[9]等同時提供“HS-MS”或“HS-PAN”配準影像的遙感項目的研究。

上述多波段影像的銳化不同于傳統(tǒng)影像處理中邊緣信息的“銳化”,前者除了可以提升遙感影像的視覺效果外,基于互補遙感影像信息間所具有的相對合理的物理意義,對于遙感影像后繼各類定性或定量化應(yīng)用具有重要的實際意義。

2 多光譜遙感影像銳化研究動態(tài)分析

在有關(guān)文獻中,銳化 (sharpening) 亦常被表述為“融合(fusion)”、“超分辨率(super-resolution)”和“分辨率增強(resolution enhancement)”等術(shù)語,以上述關(guān)鍵詞在5種具有一定代表性的遙感出版物(分別為IEEE Transactionson Geoscience and Remote Sensing、IEEE Geoscience and Remote Sensing Letters、IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing、IEEE Geoscience and Remote Sensing Magazine和ISPRS Journal of Photogrammetry and Remote Sensing)中對近20年相關(guān)文獻發(fā)表總數(shù)進行統(tǒng)計(截止至2022年9月),結(jié)果如圖2所示。

圖2 銳化研究相關(guān)文獻發(fā)表數(shù)量統(tǒng)計Fig.2 Statistics on the number of publications related to sharpening research

由圖中數(shù)據(jù)可知,針對有關(guān)遙感影像銳化的研究成果總體呈逐年上升趨勢。

綜合目前已有的多光譜遙感影像銳化方法[5],以算法實現(xiàn)的技術(shù)為脈絡(luò),分別從基于成分替代(component substitution,CS)、基于多分辨率分析(multi-resolution analysis,MRA)、基于最優(yōu)化模型(optimization model,OM)和基于深度學習(deep learning,DL)四個方面對多光譜遙感影像銳化方法的研究進展進行分析和討論。

2.1 基于成分替代的銳化方法

基于成分替代(CS)類方法的出發(fā)點是基于MS影像中包含了與其對應(yīng)的PAN影像相一致但分辨率較低的空間成分這一理論基礎(chǔ)而進行的。因此,其基本原理是利用某種光譜變換從經(jīng)過插值的MS影像中分離出該成分并用PAN影像對其進行替代,隨后進行逆變換以實現(xiàn)在結(jié)果中對兩者優(yōu)勢信息的整合(圖3)。一些開創(chuàng)性的全色銳化方法通?？蓺w為此類[5]。根據(jù)光譜變換的不同,早期的典型方法包括亮度-色調(diào)-飽和度(intensity-hue-saturation,IHS)變換、Brovey變換(Brovey transform,BT)、主成分分析(principal components analysis,PCA)變換和格拉姆-施密特(Gram-Schmidt,GS)正交變換等。

圖3 基于CS的全色銳化典型流程Fig.3 Typical process of CS-based pan-sharpening

一般而言,CS類方法計算復雜度低且易于實現(xiàn),經(jīng)此類方法銳化后的空間視覺質(zhì)量相對較好。空間成分的直接替代可較好地去除LR MS影像本身可能存在的頻率混疊(aliasing)現(xiàn)象,且影像視覺質(zhì)量相對而言不易受空間匹配失準的影響[2]。由于實用性較高,在常見的ERDAS、ENVI等大多數(shù)遙感影像平臺均集成了此類方法。但該類方法總體上存在如下主要缺點:對光譜信息的保持能力一般相對較差,替代與被替代成分之間由于光譜信息的不匹配,會導致局部亮度差異、對比度反轉(zhuǎn)等現(xiàn)象,從而引起光譜扭曲。

在CS類方法的改進工作中,一些工作側(cè)重于光譜變換本身的研究,如解決彩色空間變換適用波段數(shù)的問題、改善非線性IHS變換的顏色溢出問題、引入非線性PCA等。其中,得益于Tu等[10]的效率擴展工作,基于線性光譜變換的CS方法往往可采取通用的公式化形式進行概括,用恰當?shù)淖⑷敕绞饺〈@式的光譜變換過程,進而提高效率。按照文獻中的常用符號表示[2,5],該通用公式可表示為

(1)

(2)

采用類似式(1)或式(2)形式的方法分別稱為基于加性注入或乘性注入規(guī)則的方法,簡稱加性或乘性方法。不同方法的主要區(qū)別在于權(quán)重和增益的設(shè)置。

公式化后的CS方法主要改進方向是減小替代與被替代成分間的差異從而提高兩者信息匹配的程度。典型工作包括:利用最小二乘法計算PAN與MS影像之間線性組合權(quán)重的自適應(yīng)GS方法(GS adaptive,GSA)[11];根據(jù)MS與PAN影像間的信息關(guān)聯(lián)情況(相關(guān)系數(shù)),采取部分替代策略的自適應(yīng)CS方法(partial replacement adaptive CS,PRACS)[12];綜合考慮權(quán)重和增益的計算所形成的波段相關(guān)的空間細節(jié)(band-dependent spatial detail,BDSD)方法[13]。

有關(guān)的更新工作一般圍繞通用公式下的具體方法展開,但出于公式化緣故,一些改進思路往往具有一定的普適性,如引入迭代過程的方法[14];采用空間局部化的處理策略[15-16];利用智能算法計算權(quán)重[17]等。一些針對典型方法的代表性更新工作包括采用圖像分割/聚類引入空間自適應(yīng)的GS-Segm方法(segmentation-based GS)[16]、空間自適應(yīng)的非線性IHS(nonlinear IHS,NL-IHS)[15]、以引入物理約束的BDSD(physically constrained BDSD,BDSD-PC)為代表的BDSD相關(guān)改進方法[18]等。

2.2 基于多分辨率分析的銳化方法

基于多分辨率分析(MRA)類銳化方法的出發(fā)點是認為作為低空間分辨率的MS影像與對應(yīng)的高空間分辨率的PAN影像相比丟失了高頻細節(jié)信息,而這部分信息可由PAN影像提供。因此采用多尺度變換或其他空間域濾波從PAN影像中提取高頻信息,然后將其注入到MS影像中以實現(xiàn)分辨率的增強。MRA銳化方法一般只改變MS影像的高頻成分,而光譜信息(對應(yīng)能量或亮度)通常集中在低頻,因此相比CS方法能更好地實現(xiàn)光譜保持,但其空間質(zhì)量稍差。早期MRA銳化方法的增強結(jié)果在視覺質(zhì)量上并不盡如人意,比如采用小波變換的方法容易受吉布斯效應(yīng)(Gibbs effect)影響。

在MRA方法的發(fā)展歷程上,包含了兩種典型處理思路,在早期Schowengerdt的著作[19]中分別對應(yīng)為基于尺度空間技術(shù)的方法和基于空間域技術(shù)的方法。前者可追溯至面向廣義融合的有關(guān)方法,通過分別設(shè)計相應(yīng)的高、低頻融合規(guī)則,將MS影像的光譜信息和PAN影像的空間信息注入到融合結(jié)果中;后者通常遵循結(jié)構(gòu)注入(Amélioration de la Résolution Spatiale par Injection de Structures,ARSIS)的原則[20],在保留MS影像完整信息的情況下,以相對簡單的空間域濾波方式從PAN影像提取高頻信息,隨后注入到經(jīng)過插值的MS影像中(圖4)。與CS方法類似,后一種思路可在避免或減少完整多尺度變換計算的情況下以通用公式的方式進行描述,也是目前MRA銳化方法更為主流的思路,其對應(yīng)公式見式(3)

圖4 兩種典型MRA銳化思路示意(a):廣義融合;(b):結(jié)構(gòu)注入Fig.4 Diagrams of two typical MRA sharpening ideas(a):Generalized fusion;(b):Structural injection

(3)

式(3)中,PL為P的低通濾波結(jié)果。

由式(1)和式(3)可看出,符合對應(yīng)公式的CS和MRA方法之間聯(lián)系緊密,具有相互對偶的特點。在較好的優(yōu)化策略下,兩類方法可達到非常接近的質(zhì)量[4]。而采用有關(guān)通用公式的方法也常被統(tǒng)稱為基于細節(jié)注入模型的方法、基于注入模型的方法、基于通用融合框架的方法和快速銳化方法等。采用此類通用公式表示的CS和MRA方法也被稱為基于二代技術(shù)的方法[2,5]。

總體而言,MRA方法的主要改進方向在于提高空間質(zhì)量,其一是采用或引入空間局部自適應(yīng)策略[21]、尺度間相關(guān)性[22]、迭代注入[23]、植被指數(shù)[24]等更復雜的注入模型設(shè)計[25]或引入相對先進的多尺度變換[26]、空間域濾波方法[27]等途徑以更有效地實現(xiàn)細節(jié)信息的判別和提取;其二是從傳感器成像的物理屬性出發(fā),通過利用調(diào)制傳遞函數(shù)(module transfer function,MTF)信息[28]或半盲模糊核估計[29]等方式更準確的刻畫MS與PAN影像間的空間模糊退化關(guān)系。

此外,鑒于上述CS與MRA類方法間的互補特性,一些改進思路可能同時涉及兩類方法,如去模糊策略、更準確的直方圖匹配策略、對乘性方法引入霧校正機制等;而形成“CS+MRA”的混合(hybrid)方法也是常見思路,如IHS變換與小波變換結(jié)合的“加性小波亮度比例法”(additive wavelet luminance proportional,AWLP)[30]、PCA與輪廓波(contourlet)結(jié)合[31]、IHS和引導濾波結(jié)合[32]、空間PCA和MTF濾波器結(jié)合的方法[33]等。有文獻指出,大多數(shù)的此類混合方法實際可歸于采用了特定注入模型的MRA方法[2]。

具有代表性的、獲得相對較多更新關(guān)注的MRA方法主要包括基于加性的多孔小波(additivetrous wavelet transform,ATWT)[34]、AWLP[35]、MTF信息匹配的通用拉普拉斯金字塔(Generalized Laplacian Pyramid with MTF-matched filter,GLP)[21]、基于高通調(diào)制的GLP(GLP with high-pass modulation,GLP-HPM)[25]等方法。

2.3 基于最優(yōu)化模型的銳化方法

基于最優(yōu)化模型(OM)的方法,也常稱為基于模型(model-based)的方法、基于模型優(yōu)化的方法、變分優(yōu)化(variational optmization)方法和貝葉斯(Bayesian)方法等。該類方法往往與涉及超分辨率等典型圖像重構(gòu)反問題(inverse problem)的方法類似,有文獻也將其歸納為基于超分辨率范式(paradigm)的方法[3]。一般而言,基于OM的方法從描述待求HR影像與觀測影像間退化關(guān)系的影像觀測模型出發(fā),形成關(guān)于上述模型的目標函數(shù)(或稱能量泛函),并進一步尋求目標函數(shù)的極小值來獲得對應(yīng)的銳化結(jié)果。由于HR影像的估計問題通常屬于病態(tài)(ill-posed)問題,需引入關(guān)于待求HR影像的正則項(或稱先驗知識、懲罰項)為目標函數(shù)形成額外的約束條件,以保證解的唯一性和穩(wěn)定性。

在問題建模方面,常以貝葉斯估計或研究泛函極值的變分法[36]為理論建模工具。其中前者的推導過程相對固定,一般以最大化后驗概率估計(maximum a posteriori,MAP)的方式建立“以觀測影像為樣本,求解目標影像的條件概率密度函數(shù)的最大化”問題,根據(jù)觀測模型中的噪聲分布假設(shè)(通常為高斯白噪聲分布)利用貝葉斯公式推導得出待最小化的目標函數(shù);后者所形成的目標函數(shù)可能更為靈活,研究者們往往對待求影像的梯度、曲率、紋理等幾何信息做出假設(shè),同時通過建立HR-LR影像間的關(guān)聯(lián)性或利用諸如光譜角等某種相似度量方式直接給出空間和光譜信息方面的約束項。近年來兩類方法所形成的目標函數(shù)形式趨同,事實上兩種方法也存在著本質(zhì)上的聯(lián)系[37]。通常對應(yīng)的目標函數(shù)形式可描述為

argminx{Fλ(x,y)+FS(x,z)+R(x)}

(4)

式(4)中,x,y和x分別對應(yīng)待求影像、LR MS影像和PAN影像。Fλ(·)、FS(·)和R(·)分別對應(yīng)光譜保真項、空間保真項和正則項。

在基于OM的銳化方法中,不同方法的主要區(qū)別往往在于對正則項的選取和設(shè)計,常見的有信號的高斯分布、全變分(total variation,TV)、稀疏表示等相關(guān)內(nèi)容。但由于建模思路的差異,一些方法未必嚴格符合式(4),比如可能在正則項中引入PAN信息以取代空間保真項。由于復雜正則項的引入,目標函數(shù)整體而言通常不存在閉式解,需利用最優(yōu)化方法如梯度下降法、交替方向乘子法(alternating direction method of multipliers,ADMM)[38]等迭代求取結(jié)果的數(shù)值近似解。

該類方法的一些典型工作包括:Ballester等提出了首個面向全色銳化的變分模型[36]。他們在模型中引入空間退化假設(shè)、光譜退化假設(shè)(MS與PAN影像間的線性組合)的同時通過等高線圖來體現(xiàn)信源幾何結(jié)構(gòu)的匹配,提出了“P+XS”(即“PAN+MS”)方法;Moeller等在P+XS方法幾何匹配項的基礎(chǔ)上,把待求結(jié)果與小波融合結(jié)果的匹配作為約束,提出了基于變分小波的增強方法(variational wavelet pan-sharpening,VWP)及效率更高的AVWP(alternative VWP)方法[39];Zhang等將MAP框架引入小波域[40],使得算法的抗噪聲能力得到提升;馬爾科夫隨機場(Markov random field,MRF)常用于刻畫影像像素鄰域的空間相關(guān)性,Joshi等使用了非勻質(zhì)高斯MRF(in-homogeneous Gaussian MRF)作為先驗[41]。

TV模型在影像處理中的應(yīng)用非常廣泛,其鼓勵影像的分段平滑,能夠在保留邊緣的同時去除噪聲。典型的TV相關(guān)OM 銳化方法包括一般TV[42]、各向異性TV[43]、增強TV[35]、動態(tài)TV[44]、空-譜TV[45]、加權(quán)或方向TV[46]、二階TV[47]等。一些復雜程度更高的幾何項如描述局部曲率的海森矩陣(Hessian)、分數(shù)階幾何項等也被研究者考慮。

此外,許多方法將信號潛在的非局部相似[48]、低秩[49]或稀疏屬性[50]等作為約束。其中,隨著近年來壓縮感知理論的興起,以過完備字典學習為代表的稀疏表示方法是OM方法中常見的一大類別,意味著將HR MS影像表示為能夠反映影像局部通用結(jié)構(gòu)信息的字典元素(即原子,通常對應(yīng)影像塊形式)的稀疏線性組合。字典的訓練和稀疏編碼環(huán)節(jié)通常相對一致,前者往往通過K奇異值分解(K-singular value decomposition,K-SVD)、在線字典學習等方法得到,后者則基于基追蹤、正交匹配追蹤(orthogonal matching pursuit,OMP)、同步OMP(simultaneous OMP)等方法實現(xiàn)。基于稀疏表示的各類方法主要區(qū)別之一在于字典的設(shè)計。在訓練樣本類型或字典類型方面,典型思路有采用與觀察影像無關(guān)的外部訓練樣本、以觀測影像的初始銳化結(jié)果為訓練樣本;視影像塊最近鄰集合為字典、過完備學習字典與小波等正交基函數(shù)組成的混合字典、光譜字典、多尺度字典等。卷積稀疏編碼技術(shù)[51]近年來也被采用,其原理與下文涉及的卷積神經(jīng)網(wǎng)絡(luò)有一定關(guān)聯(lián)。

近年來隨著ADMM等交替優(yōu)化技術(shù)在各類影像重構(gòu)問題中的發(fā)展,興起了采用即插即用(plug and play,PnP)技術(shù)路線[52]的OM方法,可以有效地引入三維塊匹配濾波(block-matching and 3D filtering,BM3D)[53]、K-SVD等成熟去噪方法解決目標優(yōu)化問題,避免陷入對復雜正則項設(shè)計的過度關(guān)注。Teodoro等[54]以PnP的方式在正則項中引入了場景自適應(yīng)的高斯混合模型(Gaussian mixture models,GMM)。

OM類銳化方法在具有較高的設(shè)計靈活度、算法通用度和綜合質(zhì)量的同時,也存在著算法復雜度高、參數(shù)不易選取、運行時計算量高昂的問題。

2.4 基于深度學習的銳化方法

基于深度學習(DL)的銳化方法近幾年來開始流行,主要是利用起源于神經(jīng)科學研究的人工神經(jīng)網(wǎng)絡(luò),尤其是利用近年來興起的基于DL的自編碼器(autoencoder,AE)[55]、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[56]、生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[57]等,通過大規(guī)模樣本訓練出具備一定泛化能力的網(wǎng)絡(luò)模型參數(shù)來建立輸入、輸出影像間的非線性映射關(guān)系。由于真實的訓練樣本無法獲取,通常采用模擬退化的方式生成LR-HR配對的訓練樣本[5]。

在典型的CNN網(wǎng)絡(luò)結(jié)構(gòu)中,除最初的輸入層及最后的輸出層外,中間的各層通常以 “卷積層+非線性激活層”為類似的基本模塊組成整體的網(wǎng)絡(luò)結(jié)構(gòu)。在訓練環(huán)節(jié),各卷積層所對應(yīng)卷積核中的參數(shù)更新是網(wǎng)絡(luò)模型訓練的核心部分,而非線性激活層所對應(yīng)的激活函數(shù)(如修正線性單元,即rectified linear unit,ReLU[58])則為網(wǎng)絡(luò)模型引入了非線性要素。在網(wǎng)絡(luò)訓練過程中,需在輸出層后追加損失函數(shù)(loss function)作為更新依據(jù),而損失函數(shù)實際與OM方法中的目標函數(shù)相對應(yīng)。在每次迭代中,輸入的訓練樣本由前向后逐層完成運算,通過隨機梯度下降等優(yōu)化方法對損失函數(shù)所得梯度依據(jù)鏈式法則進行反向傳播,即從后往前依據(jù)各層的學習率(對應(yīng)步長因子)逐層地更新有關(guān)參數(shù),直至模型收斂。在測試環(huán)節(jié)則是直接以黑盒的形式使用訓練好的網(wǎng)絡(luò)模型,輸入待測試影像并輸出結(jié)果。模型參數(shù)通常固定,無法感知輸入影像在網(wǎng)絡(luò)內(nèi)部的中間狀態(tài)?；贒L的全色銳化一般流程如圖5所示。

圖5 基于DL的全色銳化一般流程Fig.5 General process of DL-based pan-sharpening

與基于OM的銳化方法類似,相對較早的DL類銳化方法的設(shè)計思路同樣較多地受到超分辨率領(lǐng)域有關(guān)方法的影響,一些方法直接利用或沿用了典型的超分辨率DL方法或網(wǎng)絡(luò)設(shè)計結(jié)構(gòu),如超分辨率卷積神經(jīng)網(wǎng)絡(luò)(super-resolution CNN,SRCNN)。其中,Huang等[59]于2015年在稀疏去噪AE的基礎(chǔ)上,提出了首個DL的銳化方案;Zhong等[60]利用SRCNN改進了GS方法中的MS影像插值結(jié)果;Masi等[61]在SRCNN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,提出了首個專門面向MS影像全色銳化的全卷積網(wǎng)絡(luò),即全色銳化神經(jīng)網(wǎng)絡(luò)(pansharpening neural network,PNN)方法,獲得了較高的質(zhì)量評價。

在DL銳化方法后繼的發(fā)展方向中,往往傾向于引入更深層、更復雜的網(wǎng)絡(luò)結(jié)構(gòu),如殘差網(wǎng)絡(luò)[56]、多尺度網(wǎng)絡(luò)[62]、稠密連接網(wǎng)絡(luò)[63]、GAN[64]、雙流網(wǎng)絡(luò)[65]、自注意力機制[66]、交叉特征融合網(wǎng)絡(luò)[67]、面向HS影像的3D網(wǎng)絡(luò)[68]等;或是與OM、細節(jié)注入類方法結(jié)合,如將深度先驗嵌入OM方法[69]、將模型迭代計算過程用網(wǎng)絡(luò)層的模塊形式表達的深度展開網(wǎng)絡(luò)等[70]。此外,對損失函數(shù)的改進也是一類較受關(guān)注的方向[71]。

相比基于OM的銳化方法,基于DL的銳化方法具有高效的運行時效率,且由于深層網(wǎng)絡(luò)及非線性要素的引入使得該類方法在理論上能夠達到超越傳統(tǒng)方法的質(zhì)量,在影像處理等領(lǐng)域也普遍獲得了極高的關(guān)注度,近幾年來也逐漸被應(yīng)用于銳化問題的研究中。盡管頗具潛力,但此類方法往往因訓練時長、參數(shù)調(diào)節(jié)和硬件算力要求等使其在現(xiàn)階段的研究門檻偏高。此外,難以有效獲取的真實訓練樣本、受限的泛化能力以及仍待挖掘的理論完備性也是此類方法面臨的主要問題。

3 高光譜遙感影像銳化研究動態(tài)分析

與多光譜(MS)影像相比,高光譜(HS)影像存在如下特點:一是光譜維數(shù)及波段間信息冗余度高。典型的MS影像波段數(shù)為4、8或12,但常見的HS影像波段數(shù)為200左右,這將導致計算開銷明顯增加;同時HS影像的波段間(尤其是相鄰波段)相關(guān)性較大,經(jīng)PCA變換后,通常絕大多數(shù)信息集中在前幾個主成分分量當中。二是HR輔助影像的多樣化。MS影像的HR輔助影像通常僅對應(yīng)PAN影像,且后者分辨率往往為前者的4倍。相比之下,PAN、MS影像(含RGB彩色影像)都有成為HS影像的HR輔助影像的可能,且主、輔影像間分辨率倍數(shù)關(guān)系也未必是4。三是與常見類型的HR輔助影像的光譜范圍差異大。PAN、MS影像的波長范圍通常為450～800 nm,一般限于可見光或可見光-近紅外(visible and near-infrared,VNIR)區(qū)間;HS影像波長范圍則一般為400～2 500 nm,覆蓋VNIR和短波紅外(short wave infrared,SWIR)區(qū)間。

盡管針對HS影像的主要銳化方法同樣從屬于CS、MRA、OM和DL 四類方法,由于HS影像存在的上述特點,許多MS全色銳化方法不能直接被有效地應(yīng)用于HS銳化問題。這意味著HS銳化研究的常用方法類型與側(cè)重點通常與MS全色銳化有所不同。

總體而言,在有關(guān)HS銳化的研究中往往更傾向于采用對多波段支持更為靈活的OM方法。除了前面第2節(jié)中提到的文獻[40,45]等部分工作外,Hardie和Eismann等[72]在2004年最早地提出了基于OM的HS銳化方法,使用多元正態(tài)分布作為先驗分布,先后建立了兩個隨機模型來分別刻畫像素的局部關(guān)聯(lián)和線性混合屬性。此外,與MS全色銳化相比,光譜信息的保持往往對于HS銳化而言更為關(guān)鍵。先驗設(shè)計通常圍繞光譜信息展開[73-75]。

針對HS影像數(shù)據(jù)維度高的特點,通常采用子空間變換[76-77]的方式對HS影像降維,使得傳統(tǒng)MS銳化方法能夠形成有效擴展,避免維度災(zāi)難。其中的典型方法包括基于PCA域的引導濾波銳化方法(guided filtering in PCA domain,GFPCA)、稀疏表示方法、基于子空間矢量TV的HySure方法(hyperspectral image superresolution via subspace-based regularization,HySure)以及文獻[54]等。

除子空間外,另一種常見的MS銳化向HS銳化的擴展思路是基于波段匹配[78]的方式(圖6),主要用于解決輔助HR影像的多波段及信源間光譜差異大的問題。其中,Chen等[79]以擴展框架的形式,在光譜范圍相關(guān)性的基礎(chǔ)上對HS波段分組及插值使得每組HS波段與MS波段一一對應(yīng),每個分組對應(yīng)一個全色銳化子問題;Selva等[78]所提出的框架更具一般性,對輔助影像的波段數(shù)及光譜范圍的重疊情況均不做限定,為每個HS LR波段從HR輔助影像中以選擇或合成的方式形成相應(yīng)的輔助波段。Picone等[80]進一步對波段選擇的標準進行了更為深入的討論。

圖6 常見的兩類高光譜數(shù)據(jù)預處理手段(a):波段匹配;(b):子空間變換Fig.6 Two common preprocessing methods for hyperspectral data(a):Band matching;(b):Subspace transformation

考慮到HS影像自身的三維特性和信息的冗余特性,除DL方法中提到的使用3D卷積核的方法[68]外,一些方法利用張量表示[81]對HS影像進行變量描述和特性分析,避免了用二維矩陣描述時波段數(shù)據(jù)向量化造成的空間信息丟失問題等。文獻[82]則利用隱馬爾可夫森林模型探索了HS影像的變換域空-譜系數(shù)統(tǒng)計特性。與相對更追求算法實用性的子空間方法相比,此類方法更傾向于理論層面的探索。

解混(unmixing)是HS影像的一類重要且特有的應(yīng)用。此類應(yīng)用通過非負矩陣分解(non-negative matrix factorization,NMF)[83]、頂點成分分析(vertex component analysis,VCA)[84]等解混方法將HS影像分解為端元矩陣與豐度矩陣的乘積,其中前者象征純凈地物類型的光譜曲線,反映光譜信息;后者為地物組成比例,反映空間信息。由于其目的是獲取亞像素級別的地物組成信息,與HS影像的銳化目的具有一定相關(guān)性,于是有許多HS銳化方法與之結(jié)合。其中一些方法以迭代解混的過程與銳化過程結(jié)合,典型方法包括Robinson等對解混和分辨率增強的先后順序展開的早期的探索[85];Yokoya等[77]提出的耦合NMF(coupled NMF,CNMF)方法,以交替解混的方式實現(xiàn)HS與MS影像間的空-譜信息互補;Bendoumi等[86]進一步將影像劃分為子塊,以局部解混的方式改善誤差并降低計算開銷。另一類思路是以O(shè)M為基礎(chǔ),將解混有關(guān)的內(nèi)容與正則項結(jié)合。需要指出的是,解混本身也是一種子空間變換或探索信號低秩特性的過程[76]。典型方法如將端元視為光譜字典中的原子,在豐度圖上探索待求信號的局部或非局部性質(zhì)等。此外,有文獻在將超分辨率DL方法用于HS銳化時,將基于NMF思路的方法用于改善結(jié)果的光譜質(zhì)量[87]。Kim等[88]則以CNMF方法的結(jié)果為初始解,針對信源光譜范圍重疊較小的問題展開了研究。

4 銳化方法的發(fā)展現(xiàn)狀討論

近幾年來,隨著硬件條件及有關(guān)學科理論與方法的進步,影像處理領(lǐng)域中以O(shè)M和DL為代表的新型方法不斷涌現(xiàn),明顯地提高了自然影像超分辨率、去模糊、去噪等典型問題的處理水平。相關(guān)研究的進步與流行也對遙感影像銳化產(chǎn)生了深刻影響,許多新的研究工作開始立足于上述兩類方法。然而,相對傳統(tǒng)的CS和MRA方法仍吸引著大量關(guān)注,近年來仍不斷有相關(guān)的研究工作提出。結(jié)合一些數(shù)年來相對權(quán)威的銳化綜述類文獻及著作[2,4-5,89-90]對幾類代表性方法的比較實驗和討論,認為銳化方法的現(xiàn)階段發(fā)展存在兩方面特點:

(1) 目前盡管多種類型銳化方法共同發(fā)展,更受主流認可的銳化方法仍是CS和MRA的方法。主要原因表現(xiàn)在以下兩個方面:

一是從遙感影像銳化問題自身的特點來看,不同于同樣追求分辨率增強的一般影像的超分辨率等問題,以PAN影像為代表的HR輔助影像為銳化過程提供了相對真實且準確的空間信息先驗。這種來自于硬件或信源層面的輔助信息為銳化應(yīng)用的質(zhì)量下限提供了一定的保證。歸功于上述應(yīng)用特點,經(jīng)過充分優(yōu)化的CS和MRA類方法在銳化質(zhì)量方面并不明顯弱于許多先進的OM或DL方法,而后者的計算開銷和算法復雜度往往遠超前者。

二是從實際應(yīng)用層面來看,在復雜成像條件和場景類型等因素的作用下所形成的真實影像內(nèi)容可能千差萬別,且遙感影像完整場景的數(shù)據(jù)維度往往遠超自然影像,同時銳化通常處于遙感影像分析流程中的預處理環(huán)節(jié),意味著銳化方法的算法穩(wěn)定性、計算效率和操作便利性等因素是一個重要的考量因素。在影像內(nèi)容變化相對較大的情況下,OM類方法將可能面臨先驗假設(shè)過于理想化、默認參數(shù)設(shè)置不兼容、參數(shù)調(diào)節(jié)繁瑣以及字典容量不足的問題;而DL方法可能面臨網(wǎng)絡(luò)模型訓練樣本無法匹配真實影像空-譜退化過程、無法完全覆蓋場景特征帶來的適配挑戰(zhàn),同時DL類方法的穩(wěn)定性仍有待提高[5]。在效率方面,盡管DL方法的運行時效率通常優(yōu)于OM方法,但假如涉及重訓練等適配問題,其時間開銷在實際應(yīng)用中往往是不可承受的。相對而言,更為輕量、易于實現(xiàn)和復現(xiàn)[35,4]的CS和MRA類方法將更受實際應(yīng)用的青睞。

(2) 多波段遙感影像銳化領(lǐng)域呈現(xiàn)出多種方法的相互滲透,尤其是以細節(jié)注入模型為中心相互交融的趨勢。由前文的分析可知,CS和MRA方法在統(tǒng)一的細節(jié)注入模型下的性能及改進方向趨同。而在OM或DL方法設(shè)計中以細節(jié)注入模型為基礎(chǔ),以及將超分辨率和去模糊等領(lǐng)域的方法引入細節(jié)注入模型等思路也是這一趨勢的體現(xiàn)。有文獻從貝葉斯視角分析了主要的CS和MRA方法[91],這類方法實際也可在滿足特定的假設(shè)條件下用OM方法建模。某種程度上,這種跨應(yīng)用領(lǐng)域、跨銳化方法類型的混合技術(shù)的原理探索及方案設(shè)計有助于更好地理解相關(guān)方法并形成方法間的優(yōu)勢互補。

5 展 望

多波段遙感影像的銳化已經(jīng)歷了三十多年的發(fā)展,盡管人們已提出了多種類型的全色銳化和超銳化方法,目前在有關(guān)研究中仍然存在一些亟待更深入解決的主要問題及未來可能出現(xiàn)的挑戰(zhàn)。本文認為該領(lǐng)域今后的研究工作在以下幾個方面應(yīng)該受重視。

(1) 以遙感應(yīng)用為導向的銳化方法。目前,盡管各種類型下的銳化方法不斷被提出和更新,僅有少量相對早期的CS和MRA方法被集成到行業(yè)軟件中,并真正服務(wù)于工程應(yīng)用。一方面,在更具符合實際應(yīng)用條件且優(yōu)化程度相對更高的基于細節(jié)注入模型方法的基礎(chǔ)上,進一步面向遙感信息服務(wù)提供商或遙感圖像處理等平臺開發(fā)有關(guān)的快速、自動化的銳化模塊并非遙不可期,且對于整體行業(yè)應(yīng)用而言也將產(chǎn)生重要意義。而DL類方法由于較高的運行時效率以及目前針對特定數(shù)據(jù)展現(xiàn)出來的優(yōu)勢,也在實際應(yīng)用中具有較大的潛力,有望在未來得到進一步發(fā)展和完善后成為更主流的技術(shù)手段。另一方面,不同的遙感分析應(yīng)用可能具有不同的銳化產(chǎn)品需求,需更多地關(guān)注有關(guān)真實應(yīng)用下的銳化方法表現(xiàn),或者以具體應(yīng)用為導向設(shè)計專門的銳化方法。

(2) 更合理的無參考銳化質(zhì)量綜合評價。由于更能反映實際應(yīng)用的需要,直接在原始分辨率影像上開展的全尺度實驗在銳化研究中往往不可或缺,而與之相對應(yīng)的無參考評價指標自身設(shè)計的合理性就顯得至關(guān)重要。然而現(xiàn)階段應(yīng)用最廣的QNR或其他的改進綜合指標如HQNR等都在不同程度上存在著一定的缺陷或不足。同時,出于銳化問題的空間-光譜質(zhì)量需求,目前還沒有面向自然圖像的無參考指標被成功的用于銳化領(lǐng)域。合理的評價體系對于銳化研究領(lǐng)域發(fā)展的重要性并不亞于具體銳化方法的設(shè)計,而在不合理的評價指標下,難以對銳化方法做出相對準確的評價。為此,對無參考綜合指標展開更進一步的探索和改進是十分必要的。

(3) 復雜成像條件下的影像銳化。在傳統(tǒng)銳化研究中,鑒于多波段影像及輔助影像幾乎同時獲取的緣故,往往無需額外考慮影像的配準、校正等預處理環(huán)節(jié)。隨著全球衛(wèi)星種類的不斷增加以及可獲取影像產(chǎn)品的不斷豐富,面向多信源、多時相等復雜成像條件下的影像銳化時,可能出現(xiàn)由影像配準及校正、復雜分辨率比例(非整數(shù)、高倍率)、復雜影像關(guān)系模型建立(如時-空-譜關(guān)系、異質(zhì)影像非線性關(guān)系)等問題帶來的挑戰(zhàn)。在此類問題下,傳統(tǒng)銳化方法的有效性有待驗證,而OM和DL兩類新型銳化方法有望取得更大程度的性能突破。

(4) 新類型成像技術(shù)下的分辨率提升方法。隨著基于壓縮感知的成像(如快照式壓縮成像)、立體成像、視頻遙感等的硬件技術(shù)或信息采集層面的發(fā)展,不排除遙感圖像銳化相關(guān)問題的思路和方法將隨之產(chǎn)生較大變革,一些原本設(shè)計良好的銳化方案或方法類型也將可能不再適用。因此,研究者可關(guān)注和思考有關(guān)新型成像技術(shù)下的分辨率提升策略。