聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合方法

雷大江 杜加浩 張莉萍 李偉生

①(重慶郵電大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 重慶 400065)

②(重慶市圖像認(rèn)知重點(diǎn)實驗室 重慶 400065)

1 引言

由于遙感系統(tǒng)受到光學(xué)衍射和調(diào)制傳遞函數(shù)以及信噪比的限制[1]，目前大部分對地觀測衛(wèi)星，如Quickbird， IKONOS， WorldView-3等無法直接提供在空間與光譜維度上獲得高分辨率的遙感圖像，僅能提供低分辨率的多光譜圖像(Low Resolution Multi-Spectral image， LRMS)和高分辨率的全色圖像(PANchromatic image， PAN)。因此，將LRMS圖像和對應(yīng)的PAN圖像融合的遙感圖像融合(pan-sharpening)技術(shù)廣泛應(yīng)用于遙感領(lǐng)域以產(chǎn)生高分辨率的多光譜圖像(High Resolution Multi-Spectral image， HRMS)。

現(xiàn)有的遙感圖像融合方法大致可分為5類：(1)分量替換(Component Substitution， CS)；(2)多分辨率分析(Multi-Resolution Analysis， MRA)；(3)混合算法；(4)基于模型的遙感圖像融合方法；(5)基于深度學(xué)習(xí)的遙感圖像融合方法?；诜至刻鎿Q的方法簡單高效，在遙感領(lǐng)域中使用最為廣泛，比較經(jīng)典的算法有廣義IHS(Generalized Intensity Hue Saturation， GIHS)變換[2]，主成分分析(Principal Component Analysis， PCA)[3]以及各種變形[4]，其中基于光譜頻帶之間聯(lián)系的分量替換(Band-Dependent Spatial-Detail， BDSD)[5]算法目前融合效果較為優(yōu)異。該類方法能夠有效地增強(qiáng)空間細(xì)節(jié)信息，但是卻容易造成光譜失真?；诙喾直媛史治龅姆椒ㄔ诓煌叨取⒉煌纸鈱用鎸Σ煌臻g分辨率的圖像分別處理后再進(jìn)行融合，能夠在一定程度上解決成分替換方法光譜失真問題，遺憾的是在融合過程會丟失部分空間結(jié)構(gòu)信息，主要分為基于拉普拉斯金字塔的融合方法[6]以及基于小波變換的融合方法[7—9]?；旌纤惴ㄍㄟ^結(jié)合多種算法的優(yōu)點(diǎn)以提升融合圖像的效果，如聯(lián)合廣義拉普拉斯金字塔分解和Gram-Schmidt變換提出的方法GLP_CBD(MTF-tailored multiscale fusion of high-resolution MS and Pan imagery)[10]?；谀Ｐ偷倪b感圖像融合方法包括貝葉斯模型、稀疏表示以及變分模型，該類算法通過構(gòu)造PAN圖像和LRMS圖像的退化模型以復(fù)原高分辨率的多光譜圖像，如Chen等人[11]基于局部光譜一致性與動態(tài)梯度稀疏提出的變分模型方法。這類方法難點(diǎn)在于求解模型時算法的迭代次數(shù)以及超參數(shù)難以確定[12]。近年來，基于深度學(xué)習(xí)的遙感圖像融合方法興起，并因其卓越表現(xiàn)被人們廣泛認(rèn)可，例如將高通濾波處理后的LRMS與PAN圖像輸入殘差網(wǎng)絡(luò)，然后將網(wǎng)絡(luò)輸出與上采樣LRMS圖像數(shù)值相加以獲得融合結(jié)果的遙感融合方法(Deep Network Architecture for Pan-sharpening， PanNet)[13]，將水源、植物等非線性輻射指數(shù)添加到輸入并使用L1損失函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)(Target-Adaptive CNN-Based Pansharpening， PNN)[14]，提取PAN圖像多尺度特征的密集深度學(xué)習(xí)方法(Multi-scale Densely Deep Learning method for pan-sharpening， MDDL)[15]，基于生成對抗網(wǎng)絡(luò)的遙感圖像融合方法(Generative Adversarial Network for remote sensing image Pan-Sharpening， PSGAN)[16]以及基于多流融合生成對抗網(wǎng)絡(luò)的遙感圖像融合方法[17]。

目前基于深度學(xué)習(xí)的遙感圖像融合方法存在兩個問題：一是普遍忽略了MS上采樣的重要性，直接使用上采樣后的MS圖像而不是利用深度學(xué)習(xí)強(qiáng)大的特征提取能力直接將原始MS圖像作為輸入；二是不同尺度下可以觀察到不同的特征，而現(xiàn)有方法并沒有將網(wǎng)絡(luò)不同深度的特征利用起來。為此，本文提出一種聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合方法：算法首先使用梯度算子提取PAN圖像的結(jié)構(gòu)信息，使得PAN圖像的關(guān)鍵結(jié)構(gòu)信息以稀疏形式表現(xiàn)，并使用卷積網(wǎng)絡(luò)處理PAN圖像補(bǔ)充其他細(xì)節(jié)信息。同時，構(gòu)建頻譜特征提取子網(wǎng)提取LRMS圖像的光譜信息。然后通過分析U-Net[18]、ResNet[19]以及DenseNet[20]網(wǎng)絡(luò)結(jié)構(gòu)，受多尺度特征融合思想啟發(fā)開發(fā)具有多流融合架構(gòu)的金字塔模塊，金字塔模塊可以實現(xiàn)多尺度學(xué)習(xí)，隨著規(guī)模的增加，能夠增大空間感受野。最后，構(gòu)建空間光譜預(yù)測子網(wǎng)，使用跳層連接結(jié)構(gòu)并聯(lián)網(wǎng)絡(luò)低深層特征，得到融合后的多光譜圖像。實驗結(jié)果表明本文算法能夠有效提升融合后MS圖像的質(zhì)量，在主觀目視檢驗和客觀指標(biāo)評價上相較于其他遙感圖像融合方法都有所提升。

2 算法

2.1 網(wǎng)絡(luò)架構(gòu)

[A;B;C]表示將3個張量在通道層上使用Concat函數(shù)拼接在一起形成的張量。根據(jù)以上分析，本文提出一種聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合框架，如圖1所示，使用梯度算子和卷積核提取PAN圖像的結(jié)構(gòu)信息，同時構(gòu)建頻譜特征提取子網(wǎng)提取LRMS圖像的光譜信息，將提取特征作為由多個主干網(wǎng)絡(luò)構(gòu)成的金字塔模塊的輸入，最后，將金字塔模塊輸出、頻譜特征提取子網(wǎng)輸出以及卷積處理后的PAN圖像拼接輸入空間光譜預(yù)測子網(wǎng)，得到融合圖像。

在本文，使用L1范數(shù)作為模型的損失函數(shù)，一般形式為

2.2 頻譜特征提取子網(wǎng)

PAN圖像和LRMS圖像尺寸不一致，在融合過程通常需要上采樣處理LRMS圖像使得其與對應(yīng)的PAN圖像尺寸一致后再開展后續(xù)工作，但圖像上采樣的過程往往會丟失圖像部分信息并引入噪聲，這導(dǎo)致融合圖像質(zhì)量受到上采樣方法的一定約束。受諸如SRCNN[21]這樣的超分辨率算法的影響，本文構(gòu)建了頻譜特征提取子網(wǎng)，通過反卷積網(wǎng)絡(luò)擴(kuò)展LRMS圖像尺寸，然后使用兩層卷積核大小1×1的2-D卷積提取圖像的光譜特征。頻譜特征提取子網(wǎng)是一個4層卷積網(wǎng)絡(luò)，包含兩層卷積核大小為2×2的2-D轉(zhuǎn)置卷積和兩層卷積核大小為1×1的2-D卷積，具體如圖2所示。

圖2 頻譜特征提取子網(wǎng)

2.3 金字塔模塊

金字塔模塊由多個骨干網(wǎng)絡(luò)組成，形狀類似金字塔通過交替改變模型架構(gòu)的規(guī)模，金字塔模塊具有可調(diào)整的空間感受野。如圖1所示，具有3個不同規(guī)模的網(wǎng)絡(luò)，分別由Scale_1， Scale_2， Scale_3表示。規(guī)模的增加使得網(wǎng)絡(luò)加深，從而創(chuàng)建更大的感受野。該模塊能夠有效進(jìn)行空間信息與光譜信息融合，可表示為

圖1 聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合框架

2.4 空間光譜預(yù)測子網(wǎng)

空間光譜預(yù)測子網(wǎng)由一個卷積核大小為3×3的卷積神經(jīng)層和兩個卷積核為1×1的卷積神經(jīng)層構(gòu)成，使用LeakyReLU作為激活函數(shù)，每層網(wǎng)絡(luò)輸出的通道數(shù)都與LRMS圖像一致。網(wǎng)絡(luò)將頻譜特征提取子網(wǎng)輸出和卷積處理后的PAN圖像通過跳層連接的操作[18]與金子塔模塊輸出拼接，最后通過空間光譜預(yù)測子網(wǎng)可實現(xiàn)網(wǎng)絡(luò)低層語義和高層語義的整合，提高融合圖像的質(zhì)量。

3 實驗

3.1 實驗設(shè)置

在本節(jié)，為驗證本文所提算法的優(yōu)越性，選取具有代表性的WorldView-3衛(wèi)星圖像數(shù)據(jù)集分別進(jìn)行仿真數(shù)據(jù)實驗和真實數(shù)據(jù)實驗，并與其他遙感圖像融合算法作對比。WorldView-3衛(wèi)星獲取的多光譜圖像包括藍(lán)色、綠色、紅色、海岸帶、黃色、紅邊和兩組近紅外光譜在內(nèi)的8個波段，分辨率為1.24 m，全色圖像分辨率為0.31 m。為驗證本文所提算法的網(wǎng)絡(luò)模型各個組成模塊對最終融合結(jié)果的貢獻(xiàn)，在仿真數(shù)據(jù)集上進(jìn)行了消融實驗。

在接下來的仿真實驗與真實數(shù)據(jù)實驗中，本文所提算法將與包括BDSD， GLP_CBD， PNN，PanNet， MDDL， PSGAN在內(nèi)的6種算法進(jìn)行比較。每種算法均按照參考文獻(xiàn)中作者推薦的參數(shù)，使其取得最佳效果。所有基于深度學(xué)習(xí)的遙感圖像融合方法都是在具有Intel Xeon Gold 6148 CPU 2.40 GHz 和NVIDIA Tesla V100-SXM2-16 GB的GPU服務(wù)器上完成的。本文算法基于Pytorch深度學(xué)習(xí)框架實現(xiàn)，使用Adam算法作為損失函數(shù)的優(yōu)化求解器，批量大小設(shè)置為16，學(xué)習(xí)率設(shè)為0.001。訓(xùn)練時間大概6 h，每次測試融合生成3072×3072的遙感圖像花費(fèi)時間在1.2～1.8 s。

3.2 仿真實驗

圖3 構(gòu)成金字塔模塊的骨干網(wǎng)絡(luò)

在仿真實驗中，本文依據(jù)Wald協(xié)定[23]將獲取到的LRMS圖像作為參考的HRMS圖像，并使用MTF內(nèi)核平滑LRMS和PAN圖像使之匹配傳感器屬性，將平滑后的圖像進(jìn)行4倍下采樣，模擬PAN圖像與LRMS圖像。本文使用來自WorldView-3衛(wèi)星的圖像構(gòu)建對應(yīng)衛(wèi)星數(shù)據(jù)集，其中81920組HRMS/PAN/LRMS圖像作為訓(xùn)練集，1536組HRMS/PAN/LRMS圖像作為測試集，HRMS和PAN圖像大小為64×64，LRMS圖像大小為16×16。在主觀評價上，首先采用目視檢驗的方法對融合圖像在可見光譜上的多光譜圖像進(jìn)行主觀視覺判斷，包括每種方法的融合圖像和融合圖像與真實圖像對比的殘差圖。在客觀評價上，采用有參考圖像評價指標(biāo)綜合測定實驗結(jié)果，具體為：光譜角度映射(Spectral Angle Mapper，SAM)[24]，相對整體維數(shù)綜合誤差(Erreur Relative Global Adimensionnelle de Synthèse，ERGAS)[25]，廣義圖像質(zhì)量指標(biāo)(UIQI)向n波段擴(kuò)展(Qn)[26]，空間相關(guān)系數(shù)(Spatial Correlation Coefficient，SCC)[27]。所有需要將多光譜圖像上采樣的算法融合時均采用雙三次樣條插值算法。由于篇幅限制，僅展示一組World-View-3融合結(jié)果，如圖4與圖5所示。

如圖4所示為基于WorldView-3衛(wèi)星數(shù)據(jù)集的仿真實驗融合結(jié)果，其中LRMS和HRMS圖像分別對應(yīng)圖4(a)和圖4(f)，PAN圖像對應(yīng)圖4(b)，其余圖像分別為各算法的融合結(jié)果。其中LRMS圖像大小為128×128，余下所有圖像大小為512×512。從圖4可明顯看出基于深度學(xué)習(xí)的5種方法在空間結(jié)構(gòu)信息的保持上更加優(yōu)秀，在道路、水面以及車輛等光譜信息保持更完好。BDSD方法在水域存在光譜扭曲，色彩較深區(qū)域如屋頂、車身等色彩更加暗沉。GLP_CBD方法則在車輛等較小物體上存在一定程度的光譜失真，但在屋頂、水面和土壤等光譜信息保持較好。圖5是圖4中各方法融合結(jié)果和真實圖像對比的殘差圖，理論上紋理越少，算法的融合效果更好?？梢悦黠@看出，本文算法的殘差圖像紋理最少，這表明本文算法在仿真實驗中得到的融合結(jié)果最佳。更多的對比將用客觀指標(biāo)在下文展示。

圖4 基于WorldView-3衛(wèi)星數(shù)據(jù)集的仿真實驗融合結(jié)果

圖5 圖4中各方法與真實圖像對比的殘差圖

3.3 真實數(shù)據(jù)實驗

真實數(shù)據(jù)實驗則是直接在原始數(shù)據(jù)集的尺寸上使用仿真實驗訓(xùn)練好的模型進(jìn)行融合。在本節(jié)，由于真實數(shù)據(jù)實驗的融合圖像分辨率較高，在主觀視覺方面，為充分展示融合效果，本文只展示基于深度學(xué)習(xí)的5種遙感圖像融合方法在WorldView-3數(shù)據(jù)集上的融合圖像，并將其部分細(xì)節(jié)區(qū)域放大展示出來。在客觀評價上，使用無參考質(zhì)量評價指標(biāo)(Quality with No Reference index， QNR)[28]，QNR中包含了評價光譜細(xì)節(jié)損失的指標(biāo)Dλ和評價空間細(xì)節(jié)損失的指標(biāo)Ds。

基于WorldView-3衛(wèi)星數(shù)據(jù)集的真實數(shù)據(jù)實驗融合結(jié)果如圖6所示，其中LRMS圖像大小為128×256，其他展示圖像大小均為512×1024。LRMS圖像與PAN圖像分別對應(yīng)于圖6(a)和圖6(b)，圖6(c)—圖6(g)分別展示了基于深度學(xué)習(xí)的5種算法在真實數(shù)據(jù)實驗中的測試結(jié)果。為了便于觀察，圖7給出了圖6中大小為256×256的區(qū)域放大展示。從圖6和圖7可以看出本文算法光譜失真的程度更輕微，保持的空間結(jié)構(gòu)更加完整。

圖6 基于WorldView-3衛(wèi)星數(shù)據(jù)集的真實數(shù)據(jù)實驗融合結(jié)果

圖7 基于WorldView-3衛(wèi)星數(shù)據(jù)集的真實數(shù)據(jù)實驗融合結(jié)果關(guān)鍵局部區(qū)域

基于WorldView-3衛(wèi)星數(shù)據(jù)集的仿真實驗融合結(jié)果有參考圖像指標(biāo)評價如表1所示，從表可得，BDSD和GLP_CBD方法在各項指標(biāo)上相較基于深度學(xué)習(xí)的方法表現(xiàn)不佳，PNN在評價光譜信息的SAM和ERGAS指標(biāo)上相比其他基于深度學(xué)習(xí)的方法有所欠缺，本文算法在各項指標(biāo)上取得最優(yōu)，與展示圖像表現(xiàn)一致?；赪orldView-3衛(wèi)星數(shù)據(jù)集的真實數(shù)據(jù)實驗指標(biāo)評價如表2所示，可以看到本文算法在空間信息保真以及光譜信息保真上做得比較均衡，從而在綜合圖像質(zhì)量QNR指標(biāo)上表現(xiàn)最為優(yōu)異。結(jié)合仿真實驗和真實數(shù)據(jù)實驗各方面指標(biāo)，可以得出本文提出的創(chuàng)新點(diǎn)對遙感圖像融合具備積極的作用。

表1 基于WorldView-3衛(wèi)星的仿真實驗融合結(jié)果評價

表2 基于WorldView-3衛(wèi)星的真實數(shù)據(jù)實驗融合結(jié)果評價

3.4 消融實驗

為檢測本文所提算法各組成部分在整個遙感圖像融合過程中起到的作用，本節(jié)使用基于World-View-3衛(wèi)星的仿真數(shù)據(jù)集進(jìn)行消融實驗，進(jìn)行定性定量分析。

基于WorldView-3衛(wèi)星仿真數(shù)據(jù)集的消融實驗結(jié)果如表3所示，可以看出金字塔模塊對光譜信息保真和空間信息保真均起到正向作用，缺少金字塔模塊的本文算法在各項指標(biāo)評價上都與本文算法保持了較大的差距；空間光譜預(yù)測子網(wǎng)則在光譜信息保真上起到的作用相較于其他模塊不是很大，但在空間結(jié)構(gòu)信息保真方面起到的作用最好，缺少空間光譜預(yù)測子網(wǎng)的本文算法在除光譜映射角SAM指標(biāo)外其他各項指標(biāo)都遠(yuǎn)遠(yuǎn)不如本文算法；頻譜特征提取子網(wǎng)僅對光譜信息保真貢獻(xiàn)大，缺少頻譜特征提取子網(wǎng)的本文算法在光譜映射角SAM指標(biāo)相較于本文算法相差較大；將頻譜特征提取子網(wǎng)上采樣部分去除，使用雙三次插值算法上采樣LRMS圖像輸入的本文算法各項指標(biāo)均相較本文算法更差。由此得出各模塊對遙感圖像融合都具有積極的作用，是所提算法不可或缺的一部分。

表3 基于WorldView-3衛(wèi)星仿真數(shù)據(jù)集的消融實驗融合結(jié)果評價

4 結(jié)束語

本文提出了一種聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合方法，基于多尺度特征融合思想，通過分析殘差網(wǎng)絡(luò)、密集連接網(wǎng)絡(luò)結(jié)構(gòu)開發(fā)了具有多流融合架構(gòu)的金字塔模塊，將梯度算子和卷積核提取的全色圖像空間結(jié)構(gòu)信息分別與構(gòu)建的頻譜特征提取子網(wǎng)提取的光譜信息拼接輸入金字塔模塊，最后構(gòu)建空間光譜預(yù)測子網(wǎng)整合金字塔模塊輸出的高級特征與網(wǎng)絡(luò)前端頻譜特征子網(wǎng)輸出、卷積處理后的PAN圖像的低級特征，獲得融合后的MS圖像。實驗結(jié)果表明，本文所提算法對比大多遙感圖像融合算法，在充分提高空間分辨率的同時引起的光譜畸變更加輕微。同時，消融實驗證明采用卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)地提取原始MS圖像的光譜信息對融合圖像質(zhì)量的提高更加有效。本文算法采用串行多分支的多尺度特征網(wǎng)絡(luò)結(jié)構(gòu)用于遙感圖像融合，實驗結(jié)果證明多尺度特征模型能夠充分提高遙感圖像融合算法生成圖像的空間結(jié)構(gòu)信息保持能力。理論上，可以使用諸如拉普拉斯算子等圖像輪廓特征提取方法提取全色圖像更豐富的邊緣結(jié)構(gòu)信息，擴(kuò)展金字塔塔基，提高融合后MS圖像的質(zhì)量。但不足的是，隨著結(jié)構(gòu)信息的豐富可能導(dǎo)致光譜信息畸變現(xiàn)象的增加，未來結(jié)合變分算法對損失函數(shù)加以改造，權(quán)衡光譜信息和空間結(jié)構(gòu)信息，可能對融合后的MS圖像質(zhì)量會有更大的提高。