通道融合的漸進(jìn)增強(qiáng)遙感圖像全色銳化算法

賈雅男，郭曉杰

天津大學(xué)智能與計算學(xué)部，天津 300350

0 引 言

高分辨率的多光譜圖像在遙感圖像應(yīng)用中發(fā)揮著重要的作用，如目標(biāo)檢測(Cheng和Han，2016)、場景分類(Nogueira等，2017)、環(huán)境監(jiān)測(Foody，2003)和土地測量(Mulders，2001)等。然而，由于機(jī)載存儲技術(shù)和傳輸技術(shù)的限制(Thomas等，2008)，大多數(shù)衛(wèi)星無法直接獲取高分辨率的多光譜圖像，只能提供低分辨率的多光譜圖像和高分辨率的全色圖像。低分辨率的多光譜圖像擁有豐富的光譜信息，但缺乏空間細(xì)節(jié)信息；而其對應(yīng)的高分辨率全色圖像有豐富的細(xì)節(jié)信息但幾乎沒有光譜信息。顯然，這兩種圖像都無法滿足實際應(yīng)用的需求，所以將兩種圖像融合為高分辨率的多光譜圖像是很有必要的，這種圖像融合技術(shù)稱為全色與多光譜圖像融合或全色銳化(唐霖峰 等，2023)。

傳統(tǒng)的全色與多光譜圖像融合方法可大致分為成分替換法、多分辨率分析法和基于模型的方法。常見的成分替換算法有主成分分析(principal component analysis，PCA)方法(Ghadjati等，2019)、基于強(qiáng)度色彩飽和度(intensity-hue-saturation，IHS)的方法(Tu等，2001)和施密特正交變化(Gram-Schmidt，GS)方法(Laben和Brower，2000)。該類方法使用線性變換將上采樣的低分辨率多光譜圖像分解為光譜分量和空間分量，之后用全色圖像替換空間分量。雖然成分替換法速度快，易于實現(xiàn)，但在融合過程中忽略了兩種圖像的差異性，直接替換導(dǎo)致圖像的低頻信息被破壞，造成了嚴(yán)重的光譜失真。多分辨率分析法(Liu，2000；Schowengerdt，1980)利用多尺度濾波器提取全色圖像的高頻信息，之后將其注入到上采樣的低分辨率多光譜圖像中。雖然在一定程度上解決了光譜失真的問題，但這類方法容易產(chǎn)生混疊效應(yīng)和邊緣偽影(方帥 等，2020)?；谀Ｐ偷姆椒?Ballester等，2006；Fang等，2013；Vivone等，2015，2018)假設(shè)低分辨率多光譜圖像和全色圖像分別是高分辨率多光譜的圖像的空間和光譜的退化版本?；谶@個假設(shè)，這類方法通過不同的模型建立源圖像和高分辨率多光譜圖像之間的關(guān)系。然而，實際情況遠(yuǎn)比假設(shè)復(fù)雜得多，而設(shè)計一個優(yōu)良的模型優(yōu)化算法也是極為困難的。

近年來，基于深度學(xué)習(xí)的全色與多光譜圖像融合算法成為一個新的研究熱點。基于深度學(xué)習(xí)的方法有更加優(yōu)秀的非線性擬合能力，可以獲得比傳統(tǒng)方法更好的融合效果。Masi等人(2016)提出了一個由3層卷積組成的遙感圖像融合神經(jīng)網(wǎng)絡(luò)(pan-sharpening by convolutional neural networks，PNN)，將上采樣的低分辨率多光譜圖像與全色圖像拼接起來作為輸入，通過卷積重構(gòu)為高分辨率的多光譜圖像。然而，僅僅3層卷積無法完全發(fā)揮出深度神經(jīng)網(wǎng)絡(luò)優(yōu)秀的擬合能力，還有很大的優(yōu)化空間。所以，很多研究者通過加大網(wǎng)絡(luò)的深度進(jìn)行優(yōu)化。如PANNet(Yang等，2017)利用更深的網(wǎng)絡(luò)提取高頻信息，并將提取到的高頻信息注入到上采樣的多光譜圖像中。此外，Wei等人(2017)利用ResNet(He等，2016)架構(gòu)改進(jìn)PNN，提出了深度殘差泛銳化神經(jīng)網(wǎng)絡(luò)(deep residual pan-sharpening neural network，DRPNN)。Wang等人(2019)用緊密連接的結(jié)構(gòu)構(gòu)造了一個44層的網(wǎng)絡(luò)，增加了網(wǎng)絡(luò)的深度，在一定程度上提升了性能。但隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練會變得越來越困難，并且這種直接增加網(wǎng)絡(luò)層數(shù)的方式?jīng)]有充分利用兩種模態(tài)的圖像特性。

為了更好地從兩種模態(tài)中獲取不同的信息，充分挖掘兩種圖像在空間和光譜上的特性，很多方法使用多個分支的結(jié)構(gòu)提取不同的特征。例如，Liu等人(2020)提出一個雙流融合網(wǎng)絡(luò)(two-stream fusion network，TFNet)，使用兩個分支分別提取低分辨率多光譜圖像的光譜信息和全色圖像的空間信息，隨后將兩種特征整合起來重構(gòu)為高分辨率多光譜圖像。MPNet(multispectral pan-sharpening network)(Wang等，2021)分別使用2-D和3-D卷積從源圖像中提取特征，并添加融合分支將提取到的特征進(jìn)行融合。FDFNet(full-depth feature fusion network)(Jin等，2022b)使用3個分支進(jìn)行全色與多光譜圖像的融合，并增加了不同分支之間的交互。由于多光譜圖像和全色圖像分辨率不同，這些方法均采用直接將多光譜圖像上采樣以保持分辨率的一致性。然而，直接將多光譜圖像的分辨率上采樣到原來的4倍，導(dǎo)致多光譜圖像在空間上存在明顯間斷的區(qū)域，為后續(xù)圖像的恢復(fù)工作增加了難度，甚至一些區(qū)域無法完全恢復(fù)，如圖1(c)所示，選中區(qū)域道路不連貫，出現(xiàn)了中斷。

圖1 GaoFen-2數(shù)據(jù)集的一個樣例

為了減少空間上的不連貫，一些方法嘗試不直接對多光譜圖像上采樣，而是利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)域之間的變換，得到增強(qiáng)的信息表達(dá)。SDPNet(surface and deep-level constraint-based pan-sharpening network)(Xu等，2021a)通過兩個不同的編碼—解碼器結(jié)構(gòu)的網(wǎng)絡(luò)學(xué)習(xí)兩個模態(tài)之間的轉(zhuǎn)化，之后用這兩個網(wǎng)絡(luò)提取不同深度的特征作為增強(qiáng)的信息表示。Jin等人(2022a)利用拉普拉斯金字塔提取不同尺度的特征，在不同尺度上進(jìn)行圖像的恢復(fù)，從一定程度上避免了直接上采樣帶來的圖像質(zhì)量退化的影響。Wang等人(2021)提出了一種從光譜到空間的卷積SSConv(spectral-to-spatial convolution)將光譜特征轉(zhuǎn)換到空間域上，避免了上采樣的操作。然而，由于缺少參考圖像的監(jiān)督,這些方法通常遵循Wald協(xié)議(Wald等，1997)把下采樣的源圖像當(dāng)做訓(xùn)練數(shù)據(jù)，源圖像作為參考圖像進(jìn)行訓(xùn)練，這種處理方式也降低了圖像的質(zhì)量。于是，一些研究者嘗試使用基于生成對抗網(wǎng)絡(luò)的無監(jiān)督方法直接使用源圖像進(jìn)行訓(xùn)練。如PANGAN(pan-sharpening based on a generative adversarial network)(Ma等，2020)使用兩個判別器分別使全色圖像和多光譜圖像與生成的高分辨率多光譜圖像進(jìn)行對抗學(xué)習(xí)。HPGAN(hyperspectral pansharpening using 3-D generative adversarial networks)(Xie等，2021)分別在全局、光譜和空間上對融合過程進(jìn)行約束，提出了一種3D的從光譜到空間的生成器生成高分辨率多光譜圖像。此外，李昌潔等人(2021)使用拉普拉斯金字塔結(jié)構(gòu)的生成器提取多個尺度的特征，之后用這些特征構(gòu)造出最后的結(jié)果。然而，這些基于生成對抗網(wǎng)絡(luò)的方法在訓(xùn)練過程中很容易遭受模型坍塌和梯度消失的問題(Nagarajan和Kolter，2017)，難以收斂到一個好的結(jié)果。

為了解決上述問題，本文提出一種端到端的漸進(jìn)式細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)，得到增強(qiáng)的多光譜圖像后，將多光譜圖像和全色圖像在通道上拼接進(jìn)行融合，充分提取兩種圖像的特征，最后將提取到的特征重構(gòu)為高分辨率的多光譜圖像。如圖2所示，整個網(wǎng)絡(luò)有兩個階段：漸進(jìn)尺度增強(qiáng)和通道融合。在漸進(jìn)尺度細(xì)節(jié)增強(qiáng)階段，全色圖像分別下采樣到原來的1/2和1/4，之后與多光譜圖像拼接起來通過兩個細(xì)節(jié)增強(qiáng)模塊得到多光譜圖像的增強(qiáng)表示；在通道融合階段，增強(qiáng)的多光譜圖像在每個通道上與全色圖像通過結(jié)構(gòu)保持模塊進(jìn)行融合，之后將各個通道的特征重新整合在一起得到最終的融合結(jié)果。如圖1所示，本文方法的融合結(jié)果在光譜上保持了更多的色彩信息，在空間上也維持了細(xì)節(jié)的連續(xù)性。本文的主要貢獻(xiàn)總結(jié)如下：

圖2 本文算法網(wǎng)絡(luò)結(jié)構(gòu)圖

1)提出了一種端到端的漸進(jìn)式細(xì)節(jié)增強(qiáng)和結(jié)構(gòu)保持的網(wǎng)絡(luò)，可以有效地解決空間上的不連續(xù)問題，取得了領(lǐng)先的性能；

2)在通道層面上進(jìn)行融合，在充分利用全色圖像豐富的空間信息的同時，保持了低分辨率多光譜圖像的光譜信息，獲得更好的融合結(jié)果；

3)進(jìn)行了完備的消融實驗，驗證了各個模塊的有效性，同時大量的對比實驗證明本文方法的融合結(jié)果無論在視覺效果上還是客觀指標(biāo)評價上都達(dá)到了最優(yōu)。

1 本文算法

在本文中，將低分辯多光譜圖像記為ILRMS∈Rmn×C，其中m和n分別代表低分辨率多光譜圖像的高度和寬度，C代表圖像的通道數(shù)(C=4)；IPAN∈R(rm)(rn)×c代表全色圖像，其空間分辨率是多光譜圖像的r倍，c代表全色圖像的通道數(shù)(c=1)；IHRMS∈R(rm)(rn)×C代表理想的高分辨率多光譜圖像。如圖2所示，在漸進(jìn)尺度細(xì)節(jié)增強(qiáng)階段，通過兩個細(xì)節(jié)增強(qiáng)模塊將多光譜圖像的分辨率逐步增大4倍；在通道融合階段，利用提出的結(jié)構(gòu)保持模塊將全色圖像和分解的增強(qiáng)圖像在通道上進(jìn)行融合，最后將特征重建為高分辨率的多光譜圖像。整個網(wǎng)絡(luò)在多尺度的增強(qiáng)損失和重構(gòu)損失的約束下進(jìn)行端到端的訓(xùn)練。

1.1 漸進(jìn)尺度細(xì)節(jié)增強(qiáng)

大多數(shù)基于深度學(xué)習(xí)的全色與多光譜融合算法存在的一個問題是直接將多光譜圖像上采樣以保持與全色圖像一致的尺寸。然而這種簡單的方式降低了圖像質(zhì)量，缺失了一部分空間細(xì)節(jié)。如果利用全色圖像額外的信息幫助多光譜圖像在融合前進(jìn)行增強(qiáng)，那么多光譜圖像缺失的空間信息就能得到一定的恢復(fù)。然而，直接將信息注入到多光譜圖像中可能會導(dǎo)致出現(xiàn)邊緣偽影的現(xiàn)象。為了解決上述問題，本文提出了一種漸進(jìn)尺度細(xì)節(jié)增強(qiáng)的策略，利用不同尺度的全色圖像的信息逐步得到增強(qiáng)的結(jié)果。

首先，多光譜圖像ILRMS與下采樣4倍的全色圖像IPAN↓4在通道維度上拼接，通過細(xì)節(jié)增強(qiáng)模塊得到空間分辨率增大2倍的多光譜圖像，可以表示為

IMS↑2=φ(C(ILRMS,IPAN↓4))

(1)

式中，C(·)代表在通道上進(jìn)行拼接，φ(·)代表用細(xì)節(jié)增強(qiáng)模塊對圖像進(jìn)行處理。之后將得到的放大2倍的多光譜圖像IMS↑2與下采樣2倍的全色圖像IPAN↓2拼接起來，再通過細(xì)節(jié)增強(qiáng)模塊進(jìn)行增強(qiáng)，得到分辨率與全色圖像一致的多光譜圖像，表示為

IMS↑4=φ(C(IMS↑2,IPAN↓2))

(2)

式中，IMS↑4代表放大4倍的增強(qiáng)的多光譜圖像。

在增強(qiáng)過程中，起到關(guān)鍵性作用的就是細(xì)節(jié)增強(qiáng)模塊，如圖2所示，細(xì)節(jié)增強(qiáng)模塊首先使用轉(zhuǎn)置卷積層將圖像的尺寸放大至原來的2倍，并使用ReLU(rectified linear unit)作為激活函數(shù)。之后再用兩個3×3的卷積將兩個模態(tài)的特征進(jìn)行整合，得到增強(qiáng)的多光譜信息表示。整體流程可以表示為

F1=ψ(WT*Fin)

(3)

F2=ψ(W1*F1)

(4)

F3=W2*F2

(5)

式中，F(xiàn)in代表輸入細(xì)節(jié)增強(qiáng)模塊的圖像，F(xiàn)i代表第i個卷積層輸出的特征，ψ(·)代表ReLU激活函數(shù)，*代表卷積操作，WT代表轉(zhuǎn)置卷積的權(quán)重，W1和W2分別是兩個卷積的權(quán)重。

1.2 通道融合

在漸進(jìn)尺度增強(qiáng)階段，低分辨率的多光譜圖像在全色圖像額外信息的幫助下獲得了一定的增強(qiáng)，并且使其尺寸與全色圖像保持一致，但還未充分利用兩種圖像的光譜和空間信息。為了充分融合兩種模態(tài)的互補(bǔ)特征，消除邊緣偽影的影響，本文提出了在通道上融合的策略，先將多光譜圖像在通道上進(jìn)行拆分，讓全色圖像與多光譜圖像的每一個通道都進(jìn)行融合，之后將融合后的特征整合到一起，重構(gòu)為高分辨率的多光譜圖像。如圖2所示，通道融合的過程可以概括為3個步驟，分別是分解、融合和重組。

在分解階段，多光譜的每個通道都與全色圖像進(jìn)行拼接，之后通過兩個3×3的卷積投影到特征空間，得到一個淺層的特征表示，可以表示為

FINi=Wd2*ψ(Wd1*C(IMSi,IPAN))

i=1,2,3,4

(6)

式中，IMSi代表多光譜圖像的第i通道，Wd1和Wd2是兩個卷積核的權(quán)重，F(xiàn)INi代表生成的第i個特征。之后的融合階段使用了一種新的融合策略，用8個結(jié)構(gòu)保持模塊在通道上進(jìn)行融合。如圖2所示，每個結(jié)構(gòu)保持模塊有4個分支，數(shù)量與多光譜圖像的通道數(shù)相等，每條分支使用卷積提取特征，同時為了信息的有效傳遞，還在每條分支上添加了殘差連接。結(jié)構(gòu)保持模塊可以表示為

FFUSEi=Wf2*ψ(Wf1*FINi)),i=1,2,3,4

(7)

FOUTi=FFUSEi+FINi,i=1,2,3,4

(8)

式中，Wf1和Wf2是各個分支上卷積的權(quán)重，F(xiàn)OUTi代表結(jié)構(gòu)保持模塊輸出的第i個特征。前一個模塊輸出的特征FOUTi當(dāng)做下一個模塊的輸入特征FINi，這樣隨著結(jié)構(gòu)保持模塊數(shù)量的增加，更多的圖像特征被提取出來進(jìn)行融合，為最后的圖像重構(gòu)做好準(zhǔn)備。在重構(gòu)階段，首先將得到的各個通道的特征重新整合起來，接著使用卷積層將特征重新映射重構(gòu)為高分辨率的多光譜圖像。這個過程可以表示為

FOUT=C(FOUT1,FOUT2,FOUT3,FOUT4)

(9)

IHRMS=S(Wf2*ψ(Wf1*FOUT))

(10)

式中，S(·)代表Sigmoid激活函數(shù)，IHRMS代表生成的高分辨率的多光譜圖像。通過以上步驟可以將特征重構(gòu)為期望的高分辨率多光譜圖像。

1.3 訓(xùn)練細(xì)節(jié)

訓(xùn)練的損失函數(shù)分為兩個部分，分別是多尺度的增強(qiáng)損失和重構(gòu)損失。其中重構(gòu)損失主要為了保證生成的高分辨率多光譜圖像與參考圖像在結(jié)構(gòu)上保持一致，表示為

(11)

(12)

L=Lrecon+Len

(13)

在這個損失函數(shù)的約束下，整個網(wǎng)絡(luò)可以進(jìn)行端到端的訓(xùn)練。

本文算法在PyTorch框架下實現(xiàn)，使用SGD(stochastic gradient descent)算法進(jìn)行優(yōu)化，共訓(xùn)練150輪，學(xué)習(xí)率初始值設(shè)置為0.000 5，每40輪衰減為原來的0.1，批量大小設(shè)置為8。

2 實驗結(jié)果

2.1 數(shù)據(jù)集與評價指標(biāo)

本文使用GaoFen-2(GF-2)和QuickBird(QB)數(shù)據(jù)集評測算法的性能，由于缺少參考圖像作為監(jiān)督，使用Wald協(xié)議(Wald等，1997)將源圖像下采樣作為訓(xùn)練數(shù)據(jù)。具體來說，首先分別將全色圖像和多光譜圖像下采樣為源圖像的1/4作為全色圖像和多光譜圖像的低分辨率版本，將原多光譜圖像當(dāng)做參考圖像。之后，分別將低分辨率的多光譜圖像、全色圖像和參考圖像裁剪成為64×64×4、256×256×1和256×256×4的圖像塊。最后，將其中的90%作為訓(xùn)練集進(jìn)行訓(xùn)練，剩下的10%用于測試。

在測試階段，為了定量評價各個算法的效果，使用峰值信噪比(peak signal-to-noise ratio，PSNR)(Horé和Ziou，2010)、結(jié)構(gòu)相似度(structural similarity，SSIM)(Wang等，2004)、相關(guān)系數(shù)(correlation coefficient，CC)(Kaneko等，2003)、光譜角映射(spectral angle mapper，SAM)(Yuhas等，1992)和總體相對誤差(erreur relative globale adimensionnelle de synthese，ERGAS)(Wald，2000)評測低分辨率對比實驗中算法的性能。使用無參考質(zhì)量指標(biāo)(quality-with-no-reference，QNR)、光譜失真指數(shù)Dλ和空間失真指數(shù)DS(Alparone等，2008)評測全分辨率對比實驗中算法的性能。

2.2 與其他算法的對比實驗

2.2.1 低分辨率對比實驗

為了驗證本文算法的效果，選用4種傳統(tǒng)算法和4種基于深度學(xué)習(xí)的算法作為比較。傳統(tǒng)算法分別是GS(Laben和Brower，2000)、SFIM(smoothing filter-based intensity modulation)(Liu，2000)、CNMF(coupled nonnegative matrix factorization)(Yokoya等，2012)和MTF-GLP(modulation transfer function generalized Laplacian pyramid)(Vivone等，2018)。4種基于深度學(xué)習(xí)的方法分別是PANNet(Yang等，2017)、TFNet(Liu等，2020)、FDFNet(Jin等，2022b)和GPPNN(gradient projection based pan-sharpening neural network)(Xu等，2021b)。所有基于深度學(xué)習(xí)的方法都使用相同的數(shù)據(jù)集在配備NVIDIA GeForce RTX 3060的GPU，16 GB RAM的計算機(jī)上重新訓(xùn)練，傳統(tǒng)方法都在Intel i5-9400F的CPU上運行。圖3和圖4分別展示了各算法在GF2和QB數(shù)據(jù)集上的視覺對比效果，為了便于觀察，僅展示生成的高分辨率多光譜圖像的R、G、B這3個通道?？梢钥吹?，基于深度學(xué)習(xí)的方法在顏色保持上普遍比傳統(tǒng)方法做得更好，傳統(tǒng)方法整體顏色偏灰暗，沒有保持多光譜圖像的光譜信息。在圖3和圖4中,傳統(tǒng)方法的融合結(jié)果都表現(xiàn)出嚴(yán)重的光譜退化問題，沒有保持多光譜圖像的顏色信息；而基于深度學(xué)習(xí)的方法雖然比傳統(tǒng)方法保持了更多的光譜信息，但有些方法的融合結(jié)果出現(xiàn)了明顯的色偏，如TFNet和GPPNN(圖3(h)、圖4(h)、圖3(j)和圖4(j))；PANNet的結(jié)果(圖3(g))有明顯的邊緣偽影。本文算法的融合結(jié)果在空間和光譜的保持上都有優(yōu)異的表現(xiàn)，既沒有出現(xiàn)明顯的偏色現(xiàn)象，也沒有邊緣偽影出現(xiàn)，圖像的整體質(zhì)量有顯著的提高。客觀評價指標(biāo)對比情況如表1和表2所示，可以看到，本文算法在5個有參考值的指標(biāo)上均取得了最優(yōu)的結(jié)果，這與視覺效果的表現(xiàn)一致。

圖3 GaoFen-2數(shù)據(jù)集的低分辨率視覺對比

圖4 QuickBird數(shù)據(jù)集的低分辨率視覺對比

表1 GaoFen-2數(shù)據(jù)集的數(shù)值比較

表2 QuickBird數(shù)據(jù)集的數(shù)值比較

2.2.2 全分辨率對比實驗

為了驗證算法在未下采樣圖像上的泛化能力，進(jìn)行全分辨率圖像的對比實驗。直接將源多光譜圖像和全色圖像裁剪成為128×128×4和512×512的圖像塊進(jìn)行測試。圖5和圖6分別展示了各算法在GF-2和QuickBird數(shù)據(jù)集上的視覺對比效果。從圖5來看，傳統(tǒng)方法中SFIM(圖5(d))和CNMF(圖5(e))都存在明顯的色偏現(xiàn)象；觀察紅色邊框區(qū)域可以發(fā)現(xiàn)，本文算法產(chǎn)生的融合結(jié)果減少了偽影的出現(xiàn)，在圖5(k)中，沒有出現(xiàn)在低分辨率多光譜圖像中的條紋狀偽影，在視覺效果上明顯優(yōu)于其他對比方法。同時注意觀察圖6的放大區(qū)域，可以發(fā)現(xiàn)本文算法顯著保持了圖像中道路區(qū)域的連續(xù)性，而其他的方法顯然無法保持，出現(xiàn)了明顯的圖像內(nèi)容間斷現(xiàn)象，如PANNet(圖6(g))、FDFNet(圖6(i))和GPPNN(圖6(j))等。從表1可以看出，本文算法在QNR(quality-with-no-reference)、Dλ和DS這3個無參考指標(biāo)上都取得了最優(yōu)或者次優(yōu)的成績，這說明了本文模型對于未下采樣圖像同樣具有較強(qiáng)的泛化能力。在表2中可以看出本文算法在指標(biāo)上沒有達(dá)到最優(yōu)，這是因為Dλ衡量了生成的結(jié)果與低分辨率多光譜圖像的光譜信息差異，DS代表著融合結(jié)果與全色圖像的空間信息偏差。本文算法相比于其他方法恢復(fù)了更多的細(xì)節(jié)，并且消除了全色圖像的網(wǎng)格偽影，導(dǎo)致在DS指標(biāo)上表現(xiàn)不夠好，從而影響QNR的結(jié)果。從圖像上可以直觀看出本文算法的優(yōu)越性，如圖6(k)，本文算法恢復(fù)了道路的連續(xù)性，并且去除了全色圖像中的網(wǎng)格偽影。

圖5 GaoFen-2數(shù)據(jù)集的全分辨率視覺對比

圖6 QuickBird數(shù)據(jù)集的全分辨率視覺對比

2.3 消融實驗

為了探究各個模塊的有效性，開展消融實驗，如表3所示，進(jìn)行4種不同設(shè)置的實驗。

1)漸進(jìn)尺度細(xì)節(jié)增強(qiáng)過程中，使用兩個細(xì)節(jié)增強(qiáng)模塊將多光譜圖像的分辨率逐步增大到與全色圖像保持一致。第1個實驗中，直接使用上采樣的多光譜圖像作為下一階段的輸入，以驗證細(xì)節(jié)增強(qiáng)模塊的有效性。在去掉細(xì)節(jié)增強(qiáng)模塊的情況下，所有參考指標(biāo)均出現(xiàn)了明顯下降，這表明本文所提出的細(xì)節(jié)增強(qiáng)模塊對于該任務(wù)來說是至關(guān)重要的。

2)在第2個實驗中，旨在減少結(jié)構(gòu)保持模塊的數(shù)量，以驗證其有效性以及合理的堆疊數(shù)量。將結(jié)構(gòu)保持模塊的數(shù)量減少到4個，從表3可以看到，去掉一半的結(jié)構(gòu)保持模塊，網(wǎng)絡(luò)性能下降，說明該模塊在網(wǎng)絡(luò)中發(fā)揮了重要的作用。

表3 在GaoFen-2數(shù)據(jù)集上消融實驗的結(jié)果

3)將結(jié)構(gòu)保持模塊的數(shù)量增加到10，其余配置與設(shè)置2)一致?？梢钥吹?，繼續(xù)增加該模塊性能并不會提高，這可能是因為網(wǎng)絡(luò)深度和數(shù)據(jù)規(guī)模不匹配。

4)去掉多尺度細(xì)節(jié)增強(qiáng)損失，探究該損失函數(shù)是否有效?？梢钥吹剑サ艉缶W(wǎng)絡(luò)的數(shù)值表現(xiàn)出一定程度的下降，證明了該損失函數(shù)對于提升模型表現(xiàn)的價值。因此，為取得網(wǎng)絡(luò)的最佳表現(xiàn)，該損失函數(shù)的設(shè)置是必要的。

2.4 模型參數(shù)量與時間

為比較不同模型的大小及平均處理用時，在GaoFen-2全分辨率測試集上進(jìn)行測試，該測試集共包含180對多光譜/全色圖像，其中多光譜圖像尺寸為128×128×4，全色圖像尺寸為512×512。結(jié)果如表4所示?？梢钥吹交谏疃葘W(xué)習(xí)的方法比傳統(tǒng)方法運行速度更快，TFNet的運行速度最快，平均每個圖像對只用0.006 s，PANNet的模型參數(shù)量最小，只有0.3 M，但本文算法在時間、模型參數(shù)量和效果上達(dá)到了平衡，以很小的時間和空間代價取得了較大的性能提升。

表4 時間和模型參數(shù)比較結(jié)果

3 結(jié) 論

本文提出了一種端到端的基于通道融合的漸進(jìn)式細(xì)節(jié)增強(qiáng)遙感圖像融合算法，通過通道融合充分利用兩個模態(tài)的互補(bǔ)信息生成高分辨率的多光譜圖像。同時為了解決之前方法上采樣多光譜圖像帶來的圖像質(zhì)量下降和空間細(xì)節(jié)缺失的問題，提出了漸進(jìn)式增強(qiáng)多光譜圖像，代替直接上采樣的操作。具體來說，算法分為兩個階段：漸進(jìn)尺度細(xì)節(jié)增強(qiáng)和通道融合。在漸進(jìn)尺度細(xì)節(jié)增強(qiáng)中，多光譜圖像與不同尺度的全色圖像拼接在一起，利用全色圖像中豐富的細(xì)節(jié)信息增強(qiáng)多光譜圖像；在通道融合中，將增強(qiáng)的多光譜圖像按通道拆分為4個子圖，每個子圖都與全色圖像進(jìn)行融合，最后將得到的特征重構(gòu)為高空間分辨率的多光譜圖像。本文開展的所有消融實驗驗證了各個模塊的有效性，同時對比實驗的結(jié)果表明本文算法在視覺效果和數(shù)值表現(xiàn)上均明顯超過了此前的算法，表明了本文模型的高效性。目前本文方法僅在4通道的多光譜圖像融合上取得了良好的效果，若要擴(kuò)展到更多通道的數(shù)據(jù)，如Landsat8等，則需要修改通道融合中各模塊的通道數(shù)量，不夠靈活。所以未來的研究方向應(yīng)著眼于構(gòu)建一種自適應(yīng)多光譜圖像通道數(shù)的融合結(jié)構(gòu)。