結(jié)合卷積注意模塊與卷積自編碼器的細(xì)節(jié)注入遙感圖像融合

李明，劉帆，李婧芝

（太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 晉中 030600）

0 引言

遙感圖像融合的目的是將多源圖像綜合成高質(zhì)量圖像，以提高圖像信息的利用率、提升原始圖像的空間分辨率和光譜分辨率，利于監(jiān)測(cè)［1］。其中，全色圖像具有較高的空間分辨率，多光譜圖像具有豐富的光譜信息，利用其互補(bǔ)信息生成具有高空間分辨率的多光譜波段圖像［2］，提高圖像的可視效果。

目前遙感圖像融合的方法主要分為四種類型［2］：1）分量替換（Component Substitution，CS），如強(qiáng)度-色調(diào)-飽和度（Intensity Hue Saturation，IHS）變換［3］，主成分分析（Principal Component Analysis，PCA）［4］和Gram-Schmidt（GS）［1］等；2）多分辨率分析（Multiresolution Analysis，MRA），如非下采樣Contourlet 變換（Non-Subsample Contourlet Transform，NSCT）［5］和非下采樣剪切波變換（Non-Subsample Shearlet Transform，NSST）［2］等；3）變分優(yōu)化（Variational Optimization，VO），如基于貝葉斯［6］和稀疏表示［7］等；4）機(jī)器學(xué)習(xí)（Machine Learning，ML）［2］，如基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［8］、對(duì)抗神經(jīng)網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）［9］和條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）［10］等。然而大部分算法需要設(shè)計(jì)復(fù)雜的融合規(guī)則，且仍然存在不同程度的細(xì)節(jié)缺失和光譜失真情況。近年來，基于VO/ML 算法與CS/MRA 算法的混合模型算法被提出，并取得顯著的效果?；旌夏Ｐ退惴▽⒐庾V信息與空間細(xì)節(jié)信息分開處理，在光譜信息保留上有了很大的提升，如基于稀疏表示的細(xì)節(jié)注入（Detail injection based Sparse Representation，SR-D）［11］與基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合（Detail injection based Convolutional Neural Network，Di-PNN）［12］。但是僅依靠淺層網(wǎng)絡(luò)獲取的融合圖像仍存在圖形特征提取不完全，導(dǎo)致圖像信息保留不全面、信息缺失和冗余信息等問題［2］，使得融合圖像的空間信息和光譜信息沒有得到有效的表達(dá)，在細(xì)節(jié)信息和光譜信息上有很大的提升空間。

為了解決上述問題，本文提出結(jié)合卷積注意模塊、高斯濾波器和卷積自編碼器作為新的混合模型的融合算法。一方面卷積自編碼器可以從低分辨率高頻圖像中獲取對(duì)應(yīng)的高分辨率高頻圖像；另一方面高斯濾波器與卷積注意模塊可以提高網(wǎng)絡(luò)的學(xué)習(xí)能力，獲取更準(zhǔn)確的圖像高頻信息。其中，高斯濾波器可以從已知圖像中，通過濾波獲取圖像的高低頻信息［13］，并通過二次濾波獲取圖像的降階圖像。在模型訓(xùn)練過程中引入卷積注意模塊提高圖像關(guān)鍵信息的重要性和網(wǎng)絡(luò)的學(xué)習(xí)能力，使得模型預(yù)測(cè)的圖像更加接近缺失的細(xì)節(jié)信息，減少融合階段的光譜失真，獲取更加準(zhǔn)確的高分辨率多光譜圖像。

1 卷積自編碼器

通過訓(xùn)練卷積自編碼器獲取低分辨率高頻圖像與高分辨率高頻圖像的非線性映射關(guān)系。卷積自編碼器具有局部連接特性，并通過卷積操作實(shí)現(xiàn)權(quán)重共享和二維空間信息保留［14］。卷積自編碼器的結(jié)構(gòu)包括兩個(gè)主要部分：編碼和解碼。

1.1 編碼

編碼獲取輸入圖像的壓縮版本，由卷積層和最大池化層組成編碼部分網(wǎng)絡(luò)。編碼部分通過卷積操作捕捉圖像中的結(jié)構(gòu)信息；最大池化刪除非重疊子區(qū)域中的所有非最大值，在隱藏表示上引入稀疏性，使特征檢測(cè)器變得更廣泛適用。卷積自編碼器隨機(jī)初始化w個(gè)卷積核，表示為K=［K1，K2，…，Kw］，通過卷積核K卷積操作，提取到w個(gè)卷積核下的圖像的特征信息Tw。計(jì)算公式為

式中，δ表示編碼層的激活函數(shù)，F(xiàn)為被處理的圖像數(shù)據(jù)，Tw為經(jīng)過卷積核操作后獲取圖像的特征信息，bw表示w個(gè)卷積核偏置項(xiàng)。編碼部分由多個(gè)卷積層和最大池化層的疊加組成，上一層提取的特征信息被作為下一層的輸入信息，通過多層運(yùn)算獲取圖像的壓縮版本。同時(shí)在編碼部分引入卷積注意模塊，處理編碼部分中間步驟中的信息，實(shí)現(xiàn)對(duì)圖像的自適應(yīng)特征細(xì)化。

1.2 解碼

解碼將編碼部分的圖像壓縮版本進(jìn)行圖像重建。由反卷積層和上采樣層組成解碼部分。重建圖像是通過反卷積Tw和圖像上采樣實(shí)現(xiàn)。計(jì)算公式為

式中，用來描述解碼層重建的輸入圖像，δ為解碼層的激活函數(shù)，KTw為編碼計(jì)算得到的卷積核的轉(zhuǎn)置。利用KTw對(duì)Tw進(jìn)行反卷積操作，將反卷積后的結(jié)果相加得到新的重構(gòu)特征圖Tw。解碼層通過多個(gè)反卷積層和上采樣層的疊加實(shí)現(xiàn)對(duì)輸入圖像的重建。

1.3 損失函數(shù)

卷積自編碼器通過編碼與解碼的疊加實(shí)現(xiàn)了對(duì)圖像信息的壓縮和重建。與標(biāo)準(zhǔn)網(wǎng)絡(luò)一樣，訓(xùn)練過程中通過反向傳播算法對(duì)神經(jīng)網(wǎng)絡(luò)中的權(quán)重進(jìn)行微調(diào)。用低分辨率高頻圖像作為輸入圖像，高分辨率高頻圖像Ft作為標(biāo)簽圖像。用均方誤差作為卷積自編碼器的損失函數(shù)，計(jì)算在n個(gè)樣本數(shù)量下，卷積自編碼器計(jì)算重建圖像與標(biāo)簽圖像Ft之間的均方誤差。計(jì)算公式為

2 卷積注意模塊

注意力通過卷積注意模塊實(shí)現(xiàn)，卷積注意模塊（Convolutional Attention Module，CAM）是一種簡(jiǎn)單而有效的前饋卷積神經(jīng)網(wǎng)絡(luò)注意模塊。給定一個(gè)中間特征信息，模塊沿著通道和空間兩個(gè)維度順序推斷注意映射，然后將注意映射與輸入特征相加以進(jìn)行自適應(yīng)特征細(xì)化［15］。將卷積注意模塊與卷積自編碼器編碼部分結(jié)合，編碼部分最大池化后的信息作為卷積注意模塊的輸入，對(duì)信息進(jìn)一步細(xì)化自適應(yīng)特征和加強(qiáng)注意力。圖1為卷積注意模塊流程。

圖1 卷積注意模塊流程Fig.1 Convolutional attention module flowchart

2.1 通道注意力模塊

通道注意力模塊利用特征的通道關(guān)系生成通道注意圖。通道注意力模塊首先采用平均池化聚合空間信息，最大池化提取圖像的紋理信息，生成兩個(gè)不同的上下文信息，然后將獲取的兩個(gè)信息輸入一個(gè)共享網(wǎng)絡(luò)中生成通道注意力圖M［16］。共享網(wǎng)絡(luò)由多層感知機(jī)（Multilayer Perceptron，MLP）和隱藏層組成。并通過δ 函數(shù)對(duì)共享網(wǎng)絡(luò)的輸出信息進(jìn)行合并生成通道注意力圖M，表達(dá)為

式中，對(duì)待處理的圖像信息F使用平均池化（AvgPool）和最大池化（MaxPool）操作聚合特征地圖中的空間信息，生成平均池化特征和最大池化特征。然后將兩個(gè)特征經(jīng)過MLP 和一個(gè)隱藏層，求和合并輸出特征向量，如圖2所示。

圖2 通道注意力模塊流程Fig.2 Channel attention module flowchart

獲取圖像的通道注意力圖M后，將M與通道注意力模塊的輸入特征做乘法，獲取經(jīng)過通道注意力處理的特征圖，并輸入至空間注意力模塊進(jìn)一步細(xì)化。

2.2 空間注意力模塊

空間注意力模塊是在通道注意力模塊基礎(chǔ)上的進(jìn)一步操作。沿通道軸應(yīng)用池化操作可以有效地突出特征圖中信息區(qū)域［15］。為了有效計(jì)算空間注意，沿通道軸進(jìn)行平均池化和最大池化操作，然后通過一個(gè)標(biāo)準(zhǔn)卷積層將它們連接并卷積，生成空間注意力圖，表示為

式中，對(duì)通道注意力圖M依次進(jìn)行平均池化（AvgPool）和最大池化（MaxPool）操作，并通過一個(gè)n×n大小的標(biāo)準(zhǔn)卷積將它們連接，如圖3所示。

圖3 空間注意力流程Fig.3 Spatial attention flowchart

獲取圖像的空間注意力圖S后，先利用S與空間注意力模塊輸入特征圖做乘積獲取經(jīng)過空間注意力模塊處理后的特征圖，再與卷積注意模塊的輸入信息F相加即可獲取輸入圖像自適應(yīng)特征細(xì)化后的圖像。通過卷積注意模塊的自適應(yīng)特征細(xì)化，卷積自編碼器在編碼部分得以保留更多的關(guān)鍵信息，減少圖像細(xì)節(jié)信息的丟失和光譜信息失真。

3 算法流程描述

基于理論分析結(jié)合卷積自編碼器、卷積注意模塊和高斯濾波器［17］作為新的遙感圖像融合算法。算法的核心是通過訓(xùn)練卷積自編碼器獲取低分辨率高頻圖像與高分辨率高頻圖像的非線性映射關(guān)系；利用獲取的非線性映射關(guān)系，將低分辨率多光譜圖像的高頻圖像作為輸入，獲取其對(duì)應(yīng)的高分辨率多光譜圖像的高頻信息，即多光譜圖像缺失的細(xì)節(jié)信息。流程見圖4。

圖4 算法流程Fig.4 Method flowchart

3.1 數(shù)據(jù)預(yù)處理

1）將全色圖像P通過計(jì)算進(jìn)行濾波處理，獲取高分辨率P的低頻信息PL，并通過圖像差值操作PH=P-PL獲取高分辨率P的高頻圖像PH。將PL圖像進(jìn)行二次濾波操作，獲取PL圖像的高頻圖像PLH，即為高分辨率高頻圖像PH對(duì)應(yīng)的低分辨率高頻圖像PLH。

2）將多光譜圖像M處理至與P相同像素大小的圖像，將圖像中的每個(gè)波段k通過計(jì)算獲取圖像的低頻圖像。進(jìn)一步通過圖像差值操作獲取圖像不同波段的高頻圖像。

3.2 模型訓(xùn)練

模型訓(xùn)練是通過卷積自編碼器的訓(xùn)練獲取低分辨率高頻圖像和高分辨率高頻圖像的映射關(guān)系。在此階段，低分辨率高頻圖像PLH作為卷積自編碼器的輸入圖像，高分辨率高頻圖像PH作為卷積自編碼器的標(biāo)簽圖像。

1）編碼部分：編碼部分用于獲取低分辨率高頻圖像PLH的壓縮版本。在編碼部分最大池化后引入卷積注意模塊，實(shí)現(xiàn)對(duì)編碼部分中間過程圖像的自適應(yīng)特征細(xì)化，從而加強(qiáng)卷積自編碼器對(duì)關(guān)鍵信息的關(guān)注。

2）解碼部分：解碼部分用于將低分辨率高頻圖像PLH的壓縮版本進(jìn)行圖像重建。通過上采樣操作恢復(fù)圖像的大小，反卷積操作實(shí)現(xiàn)對(duì)圖像信息的恢復(fù)。并計(jì)算重建圖像與標(biāo)簽圖像PH的均方誤差，更新網(wǎng)絡(luò)的參數(shù)權(quán)值。

為卷積自編碼器設(shè)定一定的迭代次數(shù)，模型優(yōu)化器Adadelta［18］對(duì)模型參數(shù)進(jìn)行更新，獲取低分辨率高頻圖像PLH與高分辨率高頻圖像PH之間的映射關(guān)系。

3.3 圖像融合

2）圖像融合：圖像的融合遵循CS 算法一般融合框架［1］，計(jì)算公式為

4 實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)平臺(tái)及參數(shù)設(shè)置

實(shí)驗(yàn)采用QuickBird 和SPOT 衛(wèi)星數(shù)據(jù)集作為試驗(yàn)訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)。為了擴(kuò)充樣本數(shù)據(jù)集，采用滑窗方式，裁剪步長(zhǎng)設(shè)置為5，裁剪圖像塊尺寸為8×8。在訓(xùn)練中模型訓(xùn)練批量大小為256，訓(xùn)練迭代次數(shù)為1 600，優(yōu)化器Adadelta 進(jìn)行網(wǎng)絡(luò)模型參數(shù)優(yōu)化和學(xué)習(xí)率自適應(yīng)。

操作系 統(tǒng)為Win10；CPU 為Intel Core i5，主頻2.2 GHz；內(nèi)存500 GB。軟件平臺(tái)：MATLAB2016a、Pycharm。訓(xùn)練環(huán)境：Keras 2.1.6；Tensorflow 1.8；Python 版本為3.6.7。

4.2 濾波器選擇分析

用濾波器對(duì)模型訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，克服模型訓(xùn)練中高低頻信息冗余導(dǎo)致信息缺失的問題［12］。同時(shí)利用濾波器生成高分辨率高頻圖像對(duì)應(yīng)的低分辨率高頻圖像。為了驗(yàn)證濾波器對(duì)算法的適應(yīng)性，選擇基于QuickBird 衛(wèi)星獲取的遙感圖像進(jìn)行實(shí)驗(yàn)，在網(wǎng)絡(luò)模型迭代次數(shù)為150 次的情況下獲取本文算法的融合結(jié)果。

圖5為QuickBird 數(shù)據(jù)集進(jìn)行一次濾波后的高分辨率高頻圖像，含有大量圖像細(xì)節(jié)信息，作為模型訓(xùn)練的標(biāo)簽圖像。從圖5中可以明顯發(fā)現(xiàn)高斯濾波器、形態(tài)學(xué)濾波器和均值濾波器有較好的細(xì)節(jié)提取能力。從圖5（c）可知均值濾波器處理圖像的同時(shí)對(duì)圖像進(jìn)行模糊化處理，圖像中建筑邊緣信息丟失明顯；形態(tài)學(xué)濾波器相對(duì)于均值濾波器保留了更多的圖像細(xì)節(jié)信息，但是從圖5（d）放大區(qū)域可以發(fā)現(xiàn)，最上部中汽車邊緣部分有明顯的像素扭曲。從圖5（a）中發(fā)現(xiàn)高斯濾波器處理后圖像避免了細(xì)節(jié)丟失和噪聲引入。從圖5（b）可以看出拉普拉斯濾波器提取細(xì)節(jié)能力比較弱。圖6為進(jìn)行二次濾波后的圖像，用來模擬低分辨率高頻圖像。由圖4可知訓(xùn)練完成的卷積自編碼器可獲取缺失的細(xì)節(jié)信息EH，即濾波后的圖像為低分辨率高頻圖像，通過模型獲取對(duì)應(yīng)的高分辨率高頻圖像。因此P進(jìn)行二次濾波后的圖像PLH與相關(guān)性越強(qiáng)，圖像能獲取更完整的細(xì)節(jié)圖像。將不同濾波器獲取的PLH圖像與進(jìn)行相關(guān)系數(shù)（Correlation Coefficient，CC）［19］計(jì)算。相關(guān)系數(shù)用來判斷兩幅圖像之間的相關(guān)性，公式為

圖5 網(wǎng)絡(luò)模型的標(biāo)簽圖像Fig.5 Labeled images of the network model

圖6 網(wǎng)絡(luò)模型的輸入圖像Fig.6 Input images of the network model

式中，I表示原圖像，R為待對(duì)比圖像，與表示圖像均值。相關(guān)系數(shù)的值和兩個(gè)圖像的相關(guān)性成正比，其值越接近1，說明兩幅圖像相關(guān)性越強(qiáng)。表1記錄了不同濾波器下的PLH圖像與的相關(guān)系數(shù)，其中高斯濾波的相似性最強(qiáng)。選擇高斯濾波器對(duì)模型訓(xùn)練的圖像進(jìn)行預(yù)處理。為了進(jìn)一步說明本文高斯濾波器有較好的適應(yīng)性，進(jìn)行基于高斯濾波器的圖像融合實(shí)驗(yàn)。

表1 PLH 與 的相關(guān)系數(shù)Table 1 CC for PLH and

表1 PLH 與 的相關(guān)系數(shù)Table 1 CC for PLH and

Values CC Laplace 0.051 2 Mean 0.104 2 Morphological 0.178 1 Gaussian 0.333 8

針對(duì)不同的濾波器，在模型迭代次數(shù)一定的情況下進(jìn)行了遙感圖像融合。圖7為高斯濾波器、拉普拉斯濾波器、均值濾波器、形態(tài)學(xué)濾波器得到的融合結(jié)果。從主觀上判斷，可以發(fā)現(xiàn)圖7（a）、（d）有明顯的細(xì)節(jié)注入效果，圖7（b）、（c）細(xì)節(jié)信息缺失明顯。同時(shí)，圖7（a）與（d）相比，光譜信息保留更完全，圖7（d）在放大區(qū)域可以明顯發(fā)現(xiàn)物體邊緣發(fā)生了較為明顯的光譜扭曲。在表2中，采用6 個(gè)參數(shù)對(duì)融合圖像進(jìn)行客觀評(píng)價(jià)，分別為平均梯度（Average Gradient，AG）［17］、相對(duì)全局融合誤差（Erreur Relative Global Adimensionnelle Synthese，ERGAS）［20］、光譜角（Spectral Angle Mapper，SAM）［21］、CC、均方根誤差（Relative Average Spectral Error，RASE）［22］和通用圖像質(zhì)量評(píng)價(jià)指標(biāo)（Universal Image Quality Index，UIQI）［23］，可以發(fā)現(xiàn)高斯濾波器相比其他濾波器有更好的表現(xiàn)。

圖7 不同濾波器下的融合圖像Fig.7 Fusion images with different filters

表2 不同濾波器下的融合圖像指標(biāo)Table 2 Fusion image metrics with different filters

4.3 迭代次數(shù)分析

在4.1 節(jié)的濾波器選擇中，模型迭代次數(shù)是一定的。卷積自編碼器迭代次數(shù)不同，影響著模型學(xué)習(xí)圖像細(xì)節(jié)結(jié)果。選取客觀指標(biāo)CC、ERGAS、UIQI 和RASE 作為本階段實(shí)驗(yàn)的觀測(cè)數(shù)值。如圖8所示，ERGAS、RASE 和CC 表示圖像中的光譜保持度，ERGAS 和RASE 值越小表明圖像的光譜信息保留越完全，CC 值越接近1 表明圖像相似度越高，圖像保留信息越多；UIQI 表示圖像中保留的空間細(xì)節(jié)，值越接近1 表明圖像的空間細(xì)節(jié)信息保留更多，融合結(jié)果更好。圖8中黑色曲線為融合圖像的真實(shí)指標(biāo)數(shù)值，綠色曲線為擬合曲線，擬合曲線更好地描述了指標(biāo)的變化趨勢(shì)，為迭代次數(shù)的選擇提供了重要參考。在圖8（a）中，CC 指標(biāo)總體在0.944 到0.956 之間浮動(dòng)，由擬合曲線可以發(fā)現(xiàn)，指標(biāo)在1 500 次迭代之前迅速上升，在1 500 次到1 750次時(shí)趨于穩(wěn)定，在1 750 次到2 000 次有了下降趨勢(shì)，說明迭代1 600 次左右，圖像的CC 指標(biāo)普遍最佳。在圖8（b）中，RASE 指標(biāo)在6.4 到7.2 之間浮動(dòng)，1 500 次迭代之前，隨著迭代次數(shù)的增加RASE 指標(biāo)逐漸下降，表明圖像逐漸保留更多的光譜信息，迭代1 500 次到1 600 次時(shí)趨于平穩(wěn)，在1 600 次之后RASE 指標(biāo)有上升趨勢(shì)，可以看出，在迭代次數(shù)為1 550 次左右時(shí)，RASE 的值普遍更佳。在圖8（c）中，ERGAS 指標(biāo)的變化范圍在3.15 與3.55 之間浮動(dòng)，1 500 次迭代之前，ERGAS 指標(biāo)平穩(wěn)下降，圖像的融合質(zhì)量逐步上升，并且在1 600次左右達(dá)到了擬合曲線的最低值，從1 750 次之后指標(biāo)值有了上升趨勢(shì)，可以發(fā)現(xiàn)迭代次數(shù)在1 600 左右圖像的ERGAS 指標(biāo)值普遍較好。圖8（d）中，UIQI 值的浮動(dòng)范圍在0.95 到0.97 之間，可以發(fā)現(xiàn)，迭代次數(shù)在1 600 次之前，UIQI 指標(biāo)值在平穩(wěn)上升，并且在1 600 次與1 900 次之間擬合曲線趨勢(shì)平穩(wěn)，沒有明顯變化，在1 900 次之后，擬合曲線出現(xiàn)了下降趨勢(shì)，表明迭代1 700 次左右時(shí)UIQI 值普遍較好。結(jié)合圖8，以每幅圖的擬合曲線作為重要參考，可以看出合適的迭代次數(shù)在1 600 次左右，此時(shí)圖像的各項(xiàng)指標(biāo)普遍較好，獲取的融合圖像較佳。

圖8 不同迭代次數(shù)對(duì)應(yīng)的圖像指標(biāo)值Fig.8 Image index values with different number of iterations

4.4 實(shí)驗(yàn)結(jié)果分析

為了證明算法的有效性，將本算法與其他8 種融合算法進(jìn)行比對(duì)實(shí)驗(yàn)。這8 種融合算法分別為IHS 算法［1］，BDSD 算法［19］，MTF-GLP-HPM［24］算法，基于卷積神經(jīng)網(wǎng)絡(luò)的融合算法（PNN）［25］，基于卷積神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)注入算法（Di-PNN）［12］，基于稀疏表示的細(xì)節(jié)注入算法（SR-D）［11］，基于對(duì)抗生成網(wǎng)絡(luò)的融合算法（GAN）和基于卷積自編碼器網(wǎng)絡(luò)的融合算法（CAE）［26］。

圖9為QuickBird 衛(wèi)星獲取的意大利Roma 原圖像融合結(jié)果和局部放大圖。圖9（a）為多光譜圖像，分辨率為2.44 m。圖9（b）為全色圖像，分辨率為0.61 m。多光譜圖像與全色圖像大小均為512×512 像素。圖9（c）～（k）為不同算法下的融合結(jié)果。圖9（c）為利用IHS 變換獲取的融合圖像，在IHS 變換中采用全色圖像替換多光譜圖像的強(qiáng)度分量以增強(qiáng)多光譜圖像中的細(xì)節(jié)信息。可以發(fā)現(xiàn)，IHS 變換在增強(qiáng)細(xì)節(jié)信息的同時(shí)，也導(dǎo)致了圖像光譜信息的失真。從圖9（c）局部放大圖中可以發(fā)現(xiàn)樹的顏色發(fā)生了失真，由綠色變成了淡綠色。圖9（d）是BDSD 算法的融合結(jié)果，相比IHS 算法，BDSD 算法對(duì)融合進(jìn)行了適應(yīng)性選擇，保留了更多的光譜信息，但是在圖9（d）放大區(qū)域中仍然存在斑點(diǎn)光譜失真的現(xiàn)象。圖9（e）是MTF_GLP_HPM 算法的融合結(jié)果，該算法保留了好的光譜信息與空間細(xì)節(jié)信息?？梢园l(fā)現(xiàn)，MTF_GLP_HPM 算法獲取的融合圖像在建筑邊緣存在偽影，在圖像的陰影部分也出現(xiàn)了細(xì)節(jié)扭曲的情況。圖9（f）是SR-D 算法的融合結(jié)果，可以觀察到圖像的黑暗部分存在明顯的噪聲。因此，SR-D 算法在提升細(xì)節(jié)信息和光譜信息的同時(shí)，也為融合結(jié)果也引入了噪聲。PNN 算法首次將深度學(xué)習(xí)引入遙感圖像融合領(lǐng)域，圖9（g）為PNN 算法的融合結(jié)果。與多光譜圖像相比，該算法在保留光譜信息的同時(shí)，加入了全色圖像的細(xì)節(jié)信息。由于PNN 融合算法采用三層卷積操作，在光譜信息和細(xì)節(jié)信息上仍有缺失，從圖9（g）可以發(fā)現(xiàn)，PNN 融合算法的結(jié)果圖像細(xì)節(jié)信息保留不完全，并存在偽影，融合效果仍有大的進(jìn)步空間。為了更好地提高PNN 的融合效果，Di-PNN 算法被提出，Di-PNN 在細(xì)節(jié)信息保留上相比PNN 算法有很大的提高。圖9（h）為Di-PNN 算法的融合結(jié)果，與圖9（g）相比，在細(xì)節(jié)信息上有了更大的提高，保留了更多的空間細(xì)節(jié)信息與豐富的光譜信息。圖9（i）為GAN算法的融合結(jié)果，主觀上較圖9（c）～（h）有了大的進(jìn)步，但是在光譜信息保留上相比多光譜圖像仍有缺失。在圖9（i）局部放大圖中，可以發(fā)現(xiàn)樹木的顏色較淡，圖像的陰影部分也存在一些白色噪聲。圖9（j）是CAE算法的融合結(jié)果，與PNN 不同的是CAE 采用編碼解碼網(wǎng)絡(luò)，比PNN 有更強(qiáng)的空間細(xì)節(jié)提取能力和光譜保持能力。但是圖9（j）圖像整體偏暗，融合結(jié)果的光譜信息缺失，因此在光譜信息保持上，CAE 網(wǎng)絡(luò)仍可以改善。受限于深度學(xué)習(xí)網(wǎng)絡(luò)的端對(duì)端學(xué)習(xí)，PNN、GAN 和CAE 存在不同程度的光譜失真情況。本文提出算法的結(jié)果為圖9（k），與全色圖像和多光譜圖像相比，草木、建筑和海洋的邊緣細(xì)節(jié)比較清晰，光譜信息和空間細(xì)節(jié)信息得到了較好的保持，主觀視覺較好。

圖9 Roma 原圖像及不同算法的融合結(jié)果Fig.9 Roma source images and fusion result by different methods

表3給出了QuickBird 衛(wèi)星遙感圖像的客觀評(píng)價(jià)指標(biāo)。可以看出IHS 各項(xiàng)指標(biāo)處于劣勢(shì)，BDSD 算法加入MS 的適應(yīng)性選擇后，分量替換算法的指標(biāo)得到了明顯提升。MTF-GLP-HPM 算法與PNN 算法各項(xiàng)指標(biāo)相似，說明兩者融合結(jié)果客觀接近。SR-D 融合算法的RASE、UIQI 和AG 指標(biāo)較低說明圖像的細(xì)節(jié)信息丟失嚴(yán)重，同時(shí)光譜信息也存在丟失。與PNN 相比，Di-PNN 在指標(biāo)RASE 和UIQI 上有所改善，說明細(xì)節(jié)注入方式保留更多的空間細(xì)節(jié)信息，SAM、ERGAS 和CC 指標(biāo)說明Di-PNN 融合方式對(duì)光譜有較好的保存能力。GAN 算法與本文算法各項(xiàng)指標(biāo)相似，融合能力相近。但是SAM 和ERGAS 指標(biāo)表明本文算法有較好的光譜保存能力。同時(shí)CAE 算法融合的圖像在RASE 指標(biāo)和ERGAS 指標(biāo)上偏高，說明圖像的光譜與細(xì)節(jié)存在缺失，本文算法彌補(bǔ)了這些缺點(diǎn)并獲得了較好的指標(biāo)。綜上，本文提出的融合算法較優(yōu)于參考算法。

表3 Roma 原圖像融合結(jié)果性能比較Table 3 Performance comparison of fusion results of Roma source images

圖10為SPOT 衛(wèi)星在United Arab Emirates 區(qū)域獲取的原圖像和融合圖像的局部放大圖。圖10（a）為多光譜圖像，其分辨率為6 m。圖10（b）為對(duì)應(yīng)的全色圖像，分辨率為1.5 m。多光譜圖像與全色圖像大小均為512×512 像素。通過觀察圖10可以發(fā)現(xiàn)SPOT 衛(wèi)星的融合圖像擁有與QuickBird 衛(wèi)星融合圖像相似的結(jié)果。圖10（c）局部放大區(qū)域中，房屋的紅色房頂顏色變淺，并且草坪顏色也發(fā)生了光譜失真。圖10（d）中BDSD 算法有明顯的細(xì)節(jié)信息丟失，建筑邊緣部分模糊。圖10（e）在圖像的邊緣部分同樣也有細(xì)節(jié)丟失的情況。在圖10（e）中右上角部分建筑出現(xiàn)了細(xì)節(jié)信息錯(cuò)位的情況，不容易區(qū)分房屋界限。圖10（f）放大區(qū)域中可以明顯發(fā)現(xiàn)SR-D 算法存在空間細(xì)節(jié)丟失，邊緣信息不完全的情況。PNN 受限于淺層網(wǎng)絡(luò)的學(xué)習(xí)能力，在圖10（g）中均存在空間信息保留不完全，區(qū)域信息模糊，光譜信息丟失的情況。Di-PNN 對(duì)PNN 算法有了更好的優(yōu)化，圖10（h）在空間細(xì)節(jié)保留能力上有明顯的提高，但是仍然存在細(xì)節(jié)缺失問題，融合效果還有待進(jìn)一步提升。圖10（i）有較好的視覺融合結(jié)果，在空間細(xì)節(jié)信息與光譜信息的保持上比上述算法有明顯進(jìn)步。在圖10（j）中可以發(fā)現(xiàn)基于卷積自編碼器網(wǎng)絡(luò)的融合結(jié)果空間細(xì)節(jié)能力保持不完全，光譜信息失真，在房屋邊緣部分由黃色變成了墨綠色，光譜信息扭曲。本文算法得到的圖像在空間細(xì)節(jié)保留和光譜信息保存上有較好的改善。

圖10 United Arab Emirates 原圖像及不同算法的融合結(jié)果Fig.10 United Arab Emirates source images and fusion result by different methods

表4給出了SPOT 衛(wèi)星遙感圖像的客觀評(píng)價(jià)指標(biāo)。其中IHS 融合算法UIQI 指標(biāo)較好，表明其保留細(xì)節(jié)信息的能力，而其他指標(biāo)均處于劣勢(shì)，表明IHS 算法在光譜信息上的缺失。BDSD 算法指標(biāo)的提升表明其在各項(xiàng)能力上優(yōu)于IHS 融合算法。MTF-GLP-HPM 算法與PNN 算法各項(xiàng)指標(biāo)的差距很小，說明兩個(gè)算法在SOPT 衛(wèi)星上表現(xiàn)能力相似，但在主觀視覺上MTF-GLP-HPM 算法有更優(yōu)的表現(xiàn)能力。SR-D 融合算法SAM 指標(biāo)偏高，光譜信息存在丟失。PNN 算法在指標(biāo)上沒有突出的表現(xiàn)，Di-PNN 算法指標(biāo)的提升表明細(xì)節(jié)注入對(duì)PNN 算法改良的有效性。GAN 算法與本文算法雖然在主觀視覺上有強(qiáng)的相似性，但是本文算法有較好的指標(biāo)，保留了更多的光譜信息與細(xì)節(jié)信息。同時(shí)本文算法相比CAE 融合算法也有較好的表現(xiàn)能力。

表4 United Arab Emirates 原圖像融合結(jié)果性能比較Table 4 Performance comparison of fusion results of United Arab Emirates source images

5 結(jié)論

本文采用結(jié)合卷積自編碼器、卷積注意模塊和高斯濾波器的算法，將原始圖像進(jìn)行濾波處理，獲取低分辨率高頻圖像與高分辨率高頻圖像，接著將低分辨率高頻圖像重建到高分辨率高頻圖像作為卷積自編碼器的學(xué)習(xí)目標(biāo)，并通過卷積注意模塊對(duì)特征信息自適應(yīng)細(xì)化，提高卷積注意模塊對(duì)關(guān)鍵信息的保留，最終訓(xùn)練完成的卷積自編碼器能夠預(yù)測(cè)更完整的圖像缺失細(xì)節(jié)信息。通過采用細(xì)節(jié)注入的方式，克服了深度學(xué)習(xí)中端對(duì)端學(xué)習(xí)方式對(duì)光譜信息的損失。實(shí)驗(yàn)表明，本文提出的遙感圖像融合算法取得較好的視覺效果和客觀指標(biāo)，獲取的融合圖像保持了好的光譜信息和空間細(xì)節(jié)信息。