用于全色銳化的相對(duì)平均生成對(duì)抗網(wǎng)絡(luò)

陳婷,王松濤,高濤,劉夢(mèng)尼,陳友靜

(長(zhǎng)安大學(xué)信息工程學(xué)院,710000,西安)

為充分利用不同傳感器圖像之間的互補(bǔ)特征,一些圖像融合技術(shù)被相繼提出[1-3]。作為遙感圖像融合的一種方式,全色銳化可將低空間分辨率的多光譜(LRMS)圖像和高空間分辨率的全色(PAN)圖像進(jìn)行融合,從而獲得高分辨率多光譜(HRMS)圖像,目前已被廣泛用于目標(biāo)檢測(cè)、土地覆蓋分類(lèi)[4-5]等領(lǐng)域。然而,遙感衛(wèi)星對(duì)地面同一區(qū)域拍攝時(shí),僅能獲得一對(duì)LRMS圖像和PAN圖像,導(dǎo)致遙感圖像信息無(wú)法被充分利用。因此,如何通過(guò)圖像融合來(lái)獲得HRMS圖像已經(jīng)成為遙感圖像處理領(lǐng)域的研究熱點(diǎn)之一。

目前,全色銳化算法可大致分為4類(lèi)[6-7]。第1類(lèi)是基于成分替代的全色銳化算法,最具有代表性的算法是基于強(qiáng)度色調(diào)飽和度(IHS)的全色銳化算法[8]。該算法通過(guò)將原始多光譜圖像從RGB空間轉(zhuǎn)換到IHS空間,并使用PAN圖像代替IHS空間的強(qiáng)度(intensity)分量,由此得到全色銳化圖像。由于該變換只適用于三通道圖像,Rahmani等提出了AIHS算法,使該變換更適用于多通道圖像[9]。然而,基于成分替代的全色銳化算法普遍存在融合圖像光譜失真的現(xiàn)象。第2類(lèi)是基于多分辨率分析的全色銳化算法:King等將小波變換用于全色銳化獲得融合圖像[10];Liu J.等提出了一種基于平滑濾波器的強(qiáng)度調(diào)制(SFIM)來(lái)調(diào)節(jié)注入的空間細(xì)節(jié)[11]。但是,該類(lèi)算法過(guò)于依賴圖像配準(zhǔn)的準(zhǔn)確性。與第1類(lèi)算法相比,基于多分辨率分析的算法能夠有效保持光譜信息,但容易造成融合圖像空間失真。第3類(lèi)是基于變分模型的全色銳化算法,該類(lèi)算法根據(jù)先驗(yàn)知識(shí)進(jìn)行假設(shè),并通過(guò)最優(yōu)解得到融合結(jié)果。Tian等提出了基于梯度稀疏表示的變分全色銳化算法,取得了良好的效果[12]。然而,該類(lèi)算法需要合理的假設(shè),否則容易導(dǎo)致融合圖像產(chǎn)生失真。第4類(lèi)是基于深度學(xué)習(xí)的全色銳化算法。Masi等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的全色銳化算法(PNN)[13],將3層簡(jiǎn)單超分辨率網(wǎng)絡(luò)用于全色銳化,但該算法只是將全色銳化問(wèn)題當(dāng)作深度學(xué)習(xí)的一個(gè)黑盒子,缺乏合理的物理解釋。為此,He等將基于成分替代/基于多分辨率分析模型在一個(gè)統(tǒng)一的細(xì)節(jié)注入框架中表示,使提出的網(wǎng)絡(luò)結(jié)構(gòu)具有明確的物理解釋[14]。然而,這種將原圖像以堆疊方式輸入網(wǎng)絡(luò)的算法忽略了LRMS圖像與PAN圖像間的顯著性差異,不利于特征提取。Liu X.等利用兩個(gè)3層子網(wǎng)絡(luò)分別提取原圖像的層次特征來(lái)獲取PAN圖像和LRMS圖像之間的互補(bǔ)信息,并在特征維度對(duì)圖像進(jìn)行融合重建,使融合后的圖像取得了良好的效果[15]。Shao Z. F.等利用兩個(gè)不同深度的卷積層分別從PAN圖像和LRMS圖像中提取空間特征和光譜特征[16]。另外,在深度學(xué)習(xí)算法中,由于對(duì)抗網(wǎng)絡(luò)(GAN)能夠生成現(xiàn)實(shí)中不存在的圖像而被用于全色銳化[17]。Liu Q.等提出了PSGAN,首次將GAN用于全色銳化[18]。在此基礎(chǔ)上,Shao Z. M.等提出了殘差編解碼器條件生成對(duì)抗網(wǎng)絡(luò)(RED-cGAN),將自編碼器與GAN相結(jié)合以保持光譜信息和空間信息[19]。

雖然基于深度學(xué)習(xí)的全色銳化算法在全色銳化問(wèn)題中取得了進(jìn)展,但依然存在對(duì)原圖像特征提取不充分而導(dǎo)致細(xì)節(jié)信息丟失,以及忽略了特征間的差異而導(dǎo)致特征冗余并產(chǎn)生融合失真的問(wèn)題。針對(duì)這些問(wèn)題,本文基于相對(duì)平均生成對(duì)抗網(wǎng)絡(luò)(RaGAN)[20]提出了一種用于全色銳化的相對(duì)平均生成對(duì)抗網(wǎng)絡(luò)(Pan-RaGAN),融合后的圖像具有更多的空間細(xì)節(jié)信息和光譜信息。

1 相關(guān)內(nèi)容

1.1 相對(duì)平均生成對(duì)抗網(wǎng)絡(luò)

GAN的基本思想是通過(guò)生成器與鑒別器之間的對(duì)抗博弈使生成器生成足以以假亂真的假樣本,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of GAN

為解決GAN生成圖像質(zhì)量不高以及訓(xùn)練過(guò)程不穩(wěn)定的問(wèn)題,一些GAN的變體被相繼提出[20-23]。相對(duì)平均鑒別器的使用有助于生成器恢復(fù)更真實(shí)的圖像紋理細(xì)節(jié),相對(duì)平均鑒別器的函數(shù)表達(dá)式為

DRa(xr,xf)=σ(S(xr)-Exf[S(xf)])→1

(1)

DRa(xf,xr)=σ(S(xf)-Exr[S(xr)])→0

(2)

Exf[ln(1-DRa(xf,xr))]

(3)

Exf[ln(DRa(xf,xr))]

(4)

1.2 特征提取

基于深度學(xué)習(xí)的全色銳化網(wǎng)絡(luò)輸入方式通常有堆疊的輸入結(jié)構(gòu)和兩流輸入結(jié)構(gòu)這2種。PNN使用堆疊的方式將PAN圖像與LRMS圖像進(jìn)行堆疊,形成多通道圖像作為網(wǎng)絡(luò)輸入。PSGAN使用兩流的3層結(jié)構(gòu)作為網(wǎng)絡(luò)輸入,分別提取PAN圖像與LRMS圖像的特征。與堆疊的輸入結(jié)構(gòu)相比,兩流輸入結(jié)構(gòu)雖然能夠提升網(wǎng)絡(luò)的性能,但由于網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,導(dǎo)致特征提取不足,如果通過(guò)增加網(wǎng)絡(luò)的深度來(lái)提取特征會(huì)造成網(wǎng)絡(luò)訓(xùn)練困難等問(wèn)題。Huang等提出了一種密集塊體系結(jié)構(gòu),在可以提取更多特征信息的同時(shí)改善了網(wǎng)絡(luò)中的信息流和梯度,使網(wǎng)絡(luò)易于訓(xùn)練[24]。因此,本文提出使用密集塊作為網(wǎng)絡(luò)結(jié)構(gòu)的特征提取模塊。

1.3 注意力機(jī)制

注意力機(jī)制通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到一組用于保留感興趣特征的權(quán)重參數(shù),同時(shí)能夠抑制不必要的特征。陳一鳴等將注意力機(jī)制應(yīng)用于低級(jí)視覺(jué)處理任務(wù),并取得了成功[25]。在全色銳化問(wèn)題中,本文利用空間注意力機(jī)制對(duì)特征進(jìn)行重新分配權(quán)重,從而獲得了更多有用的細(xì)節(jié)信息作為融合圖像的高頻信息,有效地增強(qiáng)了細(xì)節(jié)信息的融合。Hu等提出由兩個(gè)卷積層構(gòu)造的空間注意力單元(SA),其結(jié)構(gòu)如圖2所示[26]。定義C表示圖像的通道數(shù),W和H表示圖像的寬和高,SA中的卷積核尺度為1×1,輸出特征通道數(shù)分別為C×n和1,n為增加通道數(shù)的比例,本文設(shè)置為2。若X是空間注意力模塊的輸入,尺寸為H×W×C,則空間注意力掩模α表示為

α=σ(W2*δ(W1*X+b1)+b2)

(5)

(6)

圖2 空間注意力單元結(jié)構(gòu)Fig.2 Architecture of spatial attention unit

2 用于全色銳化的相對(duì)平均生成對(duì)抗 網(wǎng)絡(luò)

Pan-RaGAN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,生成器網(wǎng)絡(luò)包括特征提取、特征融合、特征細(xì)化和特征重建共4個(gè)部分,主要用于生成HRMS圖像。鑒別器結(jié)構(gòu)使用全卷積網(wǎng)絡(luò)進(jìn)行構(gòu)建,主要用于判斷圖像是否為生成器生成的圖像。

(a)生成器

(b)鑒別器圖3 Pan-RaGAN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of Pan-RaGAN

2.1 特征提取模塊

由于PAN圖像只含有一個(gè)較長(zhǎng)波段范圍的波段而LRMS圖像由多個(gè)不同波長(zhǎng)范圍的波段組成(本文選用的GF-2衛(wèi)星和QB衛(wèi)星的LRMS圖像具有4個(gè)通道),因此通常認(rèn)為PAN圖像具有豐富的空間信息,LRMS圖像具有更多的光譜信息。為充分利用原圖像空間和光譜信息,Liu X.等在兩流輸入結(jié)構(gòu)中使用3層卷積網(wǎng)絡(luò)來(lái)提取PAN圖像與LRMS圖像的互補(bǔ)信息[15],這會(huì)導(dǎo)致對(duì)原圖像特征提取不充分并最終影響融合效果。由于批歸一化(BN)層在GAN網(wǎng)絡(luò)訓(xùn)練下會(huì)產(chǎn)生偽影,缺少穩(wěn)定性[18],因此本文對(duì)密集塊[24]進(jìn)行改進(jìn),剔除原密集塊中的BN層,得到密集連接結(jié)構(gòu)如圖4所示。

在模塊開(kāi)始端輸入原圖像,將每個(gè)卷積層的輸出都作為后面卷積層的輸入,卷積層的輸出特征表示為

(7)

圖4 密集連接結(jié)構(gòu)Fig.4 Architecture of dense connection

式中:Hi(·)表示Conv-ReLu運(yùn)算;[·]表示張量連接運(yùn)算(concat);i={1,2,…,K}表示第i個(gè)卷積層,K表示卷積層總數(shù),本文設(shè)置K=4;xi表示第i個(gè)卷積層的輸出特征;x0表示輸入的圖像。最終,得到改進(jìn)的密集塊輸出為

Ffe=fDC[x1,…,xK]

(8)

式中fDC表示張量連接運(yùn)算函數(shù)。

本文利用DC模塊形成用于提取原圖像特征的兩流輸入結(jié)構(gòu),如圖3a中的DC1和DC2所示,通過(guò)這種輸入結(jié)構(gòu)盡可能多地利用原圖像的中間層特征。兩個(gè)密集塊具有相同的結(jié)構(gòu)不同的權(quán)值,由于PAN圖像與LRMS圖像具有不同的通道數(shù)量,因此密集塊輸入層的特征通道數(shù)分別為1和4。

2.2 特征融合模塊

為了將提取的特征進(jìn)行融合,大多數(shù)算法使用張量連接將提取的特征進(jìn)行拼接,然后送入下一卷積層進(jìn)行處理,本文使用像素相加的融合策略將兩個(gè)獨(dú)立分支提取的PAN圖像空間信息和LRMS圖像光譜信息進(jìn)行融合,該融合規(guī)則相比張量連接可以減少模型的參數(shù)。像素相加的融合策略可表示為

(9)

2.3 特征細(xì)化模塊

生成器網(wǎng)絡(luò)的核心在于學(xué)習(xí)目標(biāo)圖像與LRMS圖像之間的殘差信息,這些殘差信息主要包含圖像的高頻細(xì)節(jié)信息和少量的光譜信息,而特征提取融合后的信息對(duì)殘差信息的構(gòu)建具有不同的作用。為了從融合的特征中選擇出PAN與LRMS圖像的互補(bǔ)信息同時(shí)剔除冗余信息,本文通過(guò)特征細(xì)化模塊對(duì)融合的特征重新分配權(quán)重,對(duì)殘差信息構(gòu)建貢獻(xiàn)度較大的特征分配較大的權(quán)值,對(duì)殘差信息構(gòu)建貢獻(xiàn)度較小的特征分配較小的權(quán)值,從而有效地選擇出高頻信息。

(10)

圖5 特征細(xì)化模塊Fig.5 Module of feature refinement

2.4 圖像重建模塊

圖像重建模塊包含一個(gè)上采樣層和一個(gè)卷積層,通過(guò)上采樣層將細(xì)化的特征上采樣到與目標(biāo)圖像相同的尺寸,卷積層輸出理想圖像與LRMS圖像之間的殘差,最后根據(jù)細(xì)節(jié)注入模型[14],使用跳躍連接將上采樣的LRMS圖像與卷積層的輸出相連接得到融合圖像。

2.5 鑒別器結(jié)構(gòu)

本文鑒別器由5層全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成,如圖3b所示。卷積濾波器的尺寸均為3×3。網(wǎng)絡(luò)前3層卷積步長(zhǎng)設(shè)置為2,等同于池化運(yùn)算用于提取特征,最后兩個(gè)卷積層步長(zhǎng)設(shè)置為1。除最后一層使用Sigmoid函數(shù)用于預(yù)測(cè)圖像的真實(shí)性外,其余4層均使用LeakyReLu激活函數(shù)。

2.6 損失函數(shù)

本文網(wǎng)絡(luò)的損失函數(shù)包括生成器損失和鑒別器損失兩個(gè)部分。生成器損失函數(shù)表示為

LG=αLadv+βLcont

(11)

式中:Lcont為內(nèi)容損失;α和β為平衡參數(shù),用于平衡對(duì)抗損失和內(nèi)容損失,實(shí)驗(yàn)中分別設(shè)置為1和100[18-19];Ladv表示生成器與鑒別器間的對(duì)抗損失,公式為

Ladv=

(12)

其中N表示訓(xùn)練樣本數(shù)。

相比于L2損失容易造成融合圖像產(chǎn)生模糊現(xiàn)象[13],L1損失則能較好地保持邊緣細(xì)節(jié)信息[18-19]。因此,本文使用L1損失作為內(nèi)容損失

(13)

式中‖·‖1表示L1范數(shù)。

鑒別器損失函數(shù)表示為

LD=

(14)

3 實(shí)驗(yàn)及結(jié)果分析

3.1 網(wǎng)絡(luò)訓(xùn)練環(huán)境配置與參數(shù)設(shè)置

本文使用Tensorflow深度學(xué)習(xí)框架,在NVIDIA Quadro RTX 5000顯卡上進(jìn)行訓(xùn)練和測(cè)試。訓(xùn)練過(guò)程中使用Adam優(yōu)化器,初始學(xué)習(xí)率為0.000 2,動(dòng)量為0.5,批量尺寸設(shè)置為32。

3.2 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

本文使用GF-2衛(wèi)星和QB衛(wèi)星獲取的圖像作為網(wǎng)絡(luò)的訓(xùn)練集與測(cè)試集。GF-2衛(wèi)星拍攝的PAN圖像與LRMS圖像的空間分辨率分別為0.8和3.2 m,QB衛(wèi)星拍攝的PAN圖像與LRMS圖像的空間分辨率分別為0.6和2.4 m。對(duì)原PAN圖像與LRMS圖像進(jìn)行裁剪,得到40 000對(duì)PAN圖像和LRMS圖像作為訓(xùn)練集。

定量評(píng)估采用5種常用的低分辨率評(píng)價(jià)指標(biāo)和3種全分辨率評(píng)價(jià)指標(biāo):低分辨率評(píng)價(jià)指標(biāo)包括光譜角映射(Γ)[28]、相關(guān)系數(shù)(T)、空間相關(guān)系數(shù)(Z)[29]、相對(duì)全局誤差(Λ)[30]、平均通用圖像質(zhì)量指標(biāo)(Θ)[31];全分辨率評(píng)價(jià)指標(biāo)包括無(wú)參考質(zhì)量指標(biāo)(Δ)[32]以及QNR中評(píng)價(jià)光譜細(xì)節(jié)損失的指標(biāo)(Dλ)和評(píng)價(jià)空間細(xì)節(jié)損失的指標(biāo)(Ds)。

3.3 殘差空間注意力模塊數(shù)量的選擇

考慮到不同數(shù)量的RSA模塊會(huì)對(duì)網(wǎng)絡(luò)的參數(shù)數(shù)量以及融合效果產(chǎn)生影響,本文在GF-2衛(wèi)星數(shù)據(jù)集上對(duì)包含不同數(shù)量的RSA模塊構(gòu)成的網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn),結(jié)果如圖6所示,圖中L表示RSA模塊的數(shù)量?？梢钥闯?不同的L對(duì)于指標(biāo)T、Z和Θ影響較小,而對(duì)于指標(biāo)Γ以及Λ則影響較大。當(dāng)L=6時(shí),所有的指標(biāo)均接近于最優(yōu)值?？紤]到計(jì)算效率和模型參數(shù)之間的平衡,實(shí)驗(yàn)中設(shè)置RSA模塊的數(shù)量L=6。

圖6 不同數(shù)量RSA模塊構(gòu)成的網(wǎng)絡(luò)在GF-2衛(wèi)星數(shù)據(jù)集上的指標(biāo)均值對(duì)比Fig.6 Comparison of index mean values of networks with different number of RSA modules on GF-2 satellite datasets

3.4 視覺(jué)評(píng)估

本文對(duì)GF-2號(hào)衛(wèi)星圖像和QB衛(wèi)星圖像分別進(jìn)行低分辨率測(cè)試和全分辨率測(cè)試。由于真實(shí)的HRMS圖像并不存在,所以在對(duì)圖像進(jìn)行低分辨率實(shí)驗(yàn)時(shí)遵循Wald協(xié)議[30],即將原始的PAN圖像與LRMS圖像均進(jìn)行4倍的下采樣,然后將原始的LRMS圖像作為真實(shí)的HRMS圖像。由于使用的衛(wèi)星圖像為不易直接顯示的4通道(藍(lán)、綠、紅和近紅外)圖像,所以文中顯示的圖像都為3通道(紅、綠、藍(lán))的真彩色圖像。

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11]

(d)Wavelet[10] (e)IHS[8] (f)RED-cGAN[19]

(g)PSGAN[18] (h)本文算法 (i)理想圖像圖7 不同算法對(duì)GF-2圖像的低分辨率全色銳化結(jié)果Fig.7 Results of low resolution pan-sharpening of GF-2 images by different algorithms

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11]

(d)Wavelet[10] (e)IHS[8] (f)RED-cGAN[19]

(g)PSGAN[18] (h)本文算法 (i)理想圖像圖8 不同算法對(duì)QB圖像的低分辨率全色銳化結(jié)果Fig.8 Results of low resolution pan-sharpening of QB images by different algorithms

圖7和圖8是不同算法對(duì)GF-2衛(wèi)星和QB衛(wèi)星的低分辨率圖像全色銳化結(jié)果?？梢钥闯?在圖7中SFIM[11]、Wavelet[10]和IHS[8]算法融合的圖像偏白色,與真實(shí)的圖像相比存在著光譜失真現(xiàn)象。另外,圖7c和圖7d出現(xiàn)嚴(yán)重偽影,造成不良的視覺(jué)效果。RED-cGAN[19]、PSGAN[18]以及本文算法融合的圖像則能夠保持與真實(shí)圖像相似的光譜信息。但是,在放大區(qū)域中,與圖7f和圖7g相比,圖7h中包含更多的建筑物縫隙細(xì)節(jié),因此本文算法的融合結(jié)果可以保持更多的細(xì)節(jié)信息,同時(shí)減少了光譜失真。從圖8可以看出:SFIM[11]、Wavelet[10]和IHS[8]算法保持的紋理細(xì)節(jié)信息接近于PAN圖像,然而由于基于成分替代以及多分辨率的算法未能合理地向上采樣的LRMS圖像中注入空間細(xì)節(jié)信息,導(dǎo)致融合圖像產(chǎn)生失真現(xiàn)象;RED-cGAN[19]、PSGAN[18]以及本文的算法則可以更好地保持光譜信息;另外,從圖8f、8g和8h中的紅色方框區(qū)域可以看出,本文算法可以保持更多的細(xì)節(jié)信息。

圖9和圖10是不同算法對(duì)GF-2衛(wèi)星和QB衛(wèi)星的全分辨率圖像全色銳化結(jié)果?？梢钥闯?圖9c～9e表現(xiàn)出不同程度的光譜失真,其顏色偏暗,與上采樣的LRMS圖像光譜信息差距較大,圖9f、9g、9h與上采樣的LRMS圖像具有相似的光譜信息,圖9h的空間結(jié)構(gòu)保持效果優(yōu)于圖9f和9g。在圖10中的放大區(qū)域中,圖10d和10e存在失真現(xiàn)象,這與在低分辨率下的融合結(jié)果一致。另外,圖10c、10d、10g出現(xiàn)的偽影造成了不良的視覺(jué)效果,相比圖10f,本文算法的融合結(jié)果具有良好的空間結(jié)構(gòu)。綜合可知,本文算法在GF-2衛(wèi)星圖像和QB衛(wèi)星圖像的全分辨率融合效果以及低分辨率融合效果都優(yōu)于其他算法。

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11] (d)Wavelet[10]

(e)IHS[8] (f)RED-cGAN[19] (g)PSGAN[18] (h)本文算法圖9 不同算法對(duì)GF-2圖像的全分辨率全色銳化結(jié)果Fig.9 Results of full resolution pan-sharpening of GF-2 images by different algorithms

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11] (d)Wavelet[10]

(e)IHS[8] (f)RED-cGAN[19] (g)PSGAN[18] (h)本文算法圖10 不同算法對(duì)QB圖像的全分辨率全色銳化結(jié)果Fig.10 Results of full resolution pan-sharpening of QB images by different algorithms

3.5 定量評(píng)估

由于視覺(jué)評(píng)估受主觀因素影響較大,因此本文對(duì)GF-2衛(wèi)星數(shù)據(jù)和QB衛(wèi)星數(shù)據(jù)實(shí)驗(yàn)結(jié)果進(jìn)行了定量實(shí)驗(yàn),結(jié)果如表1和表2所示?？梢钥闯?對(duì)于低分辨率評(píng)價(jià)指標(biāo),基于深度學(xué)習(xí)的算法優(yōu)于傳統(tǒng)算法。由于Pan-RaGAN根據(jù)細(xì)節(jié)注入模型將學(xué)習(xí)到的細(xì)節(jié)注入到上采樣的LRMS圖像,因此本文算法的Γ獲得了很大的提升;本文算法T較好,表明本文算法可以獲得與理想圖像更接近的效果。這與定性實(shí)驗(yàn)中的結(jié)果相符合,進(jìn)一步說(shuō)明了本文算法在低分辨率下測(cè)試結(jié)果的有效性。對(duì)于全分辨率參考評(píng)價(jià)指標(biāo),表1中本文算法在客觀評(píng)價(jià)指標(biāo)Ds上雖然沒(méi)有取得最好的結(jié)果,但是從主觀評(píng)價(jià)圖9中可以看出,本文算法依然取得了良好的效果。在表2中,由于全分辨率評(píng)價(jià)指標(biāo)將PAN圖像和LRMS圖像作為參考,而IHS[8]算法使用PAN圖像替換LRMS圖像的空間成分,使得融合后的圖像具有與PAN圖像相似的細(xì)節(jié)信息,因此IHS[8]算法獲得了比本文算法更好的Dλ。

表1 不同算法在GF-2數(shù)據(jù)集上的定量比較

表2 不同算法在QB數(shù)據(jù)集上的定量比較

3.6 相對(duì)平均鑒別器與條件鑒別器

由于PSGAN使用條件鑒別器損失函數(shù)獲得了良好的效果,因此本文在網(wǎng)絡(luò)中分別使用條件鑒別器損失函數(shù)和相對(duì)平均鑒別器損失函數(shù)構(gòu)成Pan-cGAN網(wǎng)絡(luò)以及Pan-RaGAN網(wǎng)絡(luò),并在GF-2衛(wèi)星數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試,以驗(yàn)證相對(duì)平均鑒別器損失函數(shù)的有效性,實(shí)驗(yàn)結(jié)果如圖11所示。可以看出,與Pan-cGAN的融合結(jié)果相比,本文算法的融合結(jié)果包含更多的細(xì)節(jié)信息。圖11中黃色方框內(nèi),本文算法的結(jié)果更接近理想HRMS圖像,而Pan-cGAN融合結(jié)果則出現(xiàn)空間細(xì)節(jié)模糊。

(a)Pan-cGAN (b)本文算法 (c)理想圖像圖11 使用相對(duì)平均鑒別器與條件鑒別器的全色銳化對(duì)比Fig.11 Contrast of pan-sharpening results between relative average discriminator and conditional discriminator

表3是使用相對(duì)平均鑒別器與條件鑒別器的全色銳化定量結(jié)果?？梢钥闯?本文算法在低分辨率下的定量評(píng)價(jià)指標(biāo)均優(yōu)于Pan-cGAN的,進(jìn)一步說(shuō)明了相對(duì)平均鑒別器損失函數(shù)的有效性。事實(shí)上,當(dāng)使用相對(duì)平均鑒別器時(shí),生成器損失函數(shù)受到理想HRMS圖像和生成HRMS圖像的共同作用,但是在條件對(duì)抗網(wǎng)絡(luò)中,生成器損失函數(shù)只受生成HRMS圖像的影響。因此,通過(guò)相對(duì)平均鑒別器可以提高融合圖像與理想的HRMS圖像之間的相似性。

表3 使用相對(duì)平均鑒別器與條件鑒別器的全色銳化定量結(jié)果

4 結(jié) 論

本文提出一種用于全色銳化的相對(duì)平均生成對(duì)抗網(wǎng)絡(luò),與現(xiàn)有算法相比,本文算法在主客觀評(píng)價(jià)上均取得了良好的結(jié)果,可獲得包含更豐富細(xì)節(jié)信息和光譜信息的融合圖像。本文結(jié)論如下。

(1)改進(jìn)的密集塊結(jié)構(gòu)和空間注意力機(jī)制能夠提高融合圖像的空間分辨率,同時(shí)保持光譜信息。在QB數(shù)據(jù)集上,本文算法的Γ比PSGAN算法的小0.157 4,Δ比PSGAN算法的大0.020 6。

(2)在網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)相同的情況下,相對(duì)平均鑒別器損失函數(shù)與條件鑒別器損失函數(shù)相比,能更好地保持圖像的細(xì)節(jié)信息。在GF-2數(shù)據(jù)集上,使用相對(duì)平均鑒別器損失函數(shù)的Γ和Λ比使用條件鑒別器損失函數(shù)的Γ和Λ分別小0.061和0.057 7。

(3)雖然本文算法在全色銳化中取得了良好效果,但仍然存在泛化性不強(qiáng)的問(wèn)題。下一步將探討深度學(xué)習(xí)算法與傳統(tǒng)算法的結(jié)合,進(jìn)一步提高算法的泛化能力。