一種改進(jìn)的WorldView-2遙感圖像融合方法

李 濤，王紅軍，李 甲，杜 陽

(1.河南科技學(xué)院新科學(xué)院 電氣工程系，河南 新鄉(xiāng)453003；2.北京大恒圖像視覺有限公司，北京 100193)

近年來，新型衛(wèi)星遙感多光譜圖像的波段在不斷增加，圖像的分辨率也在快速提高。以WorldView-2(WV-2)衛(wèi)星為例，它能夠提供8波段1.84 m分辨率的多光譜圖像和單波段0.46 m分辨率的全色圖像。與傳統(tǒng)衛(wèi)星圖像相比，WV-2衛(wèi)星具有以下特點(diǎn)：波段增加，光譜劃分更細(xì)；全色圖像的光譜覆蓋范圍變窄，使之與多光譜波段的光譜匹配發(fā)生較大變化。在遙感應(yīng)用上，往往需要同時(shí)具有高空間和高光譜分辨率的圖像。圖像融合技術(shù)就是利用高空間分辨率的全色圖像去提高多光譜圖像的空間分辨率，同時(shí)盡量保持多光譜圖像的光譜特性不變。WV-2衛(wèi)星圖像代表了超高分辨率遙感圖像的發(fā)展趨勢，同時(shí)也對(duì)遙感圖像的融合提出了更高的要求。

WV-2衛(wèi)星的光譜波段分布情況見表1。由表1可以看出多光譜與全色圖像的波譜覆蓋范圍，多光譜的8個(gè)波段中有3個(gè)波段沒有被全色波段覆蓋，多光譜與全色光譜響應(yīng)也不一致，正是這些特性導(dǎo)致融合結(jié)果變差。

表1 WorldView-2衛(wèi)星光譜波段分布Tab.1 Spectral band distribution of WorldView-2 satellite nm

Pan-sharpening算法是圖像融合算法的主要分支，也是遙感圖像融合的一種重要方法[1]。在幾十年的發(fā)展中，Pan-sharpening技術(shù)在不斷改進(jìn)，例如給予多分辨分析[2]的算法。隨著深度學(xué)習(xí)的應(yīng)用和發(fā)展，深度學(xué)習(xí)也被運(yùn)用到圖像融合中，例如Huang等[3]提出了深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)算法，但該方法偏離了Pan-sharpening算法的原理。隨后，Masi等[4]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的Pan-sharpening算法，符合Pan-sharpening算法原理，但該算法網(wǎng)絡(luò)結(jié)構(gòu)過于簡單，提取特征不夠深入。Wei等[5]提出了基于深層殘差神經(jīng)網(wǎng)絡(luò)的Pan-sharpening算法，通過11層殘差網(wǎng)絡(luò)提取輸入圖像的深層特征。蔡婉婷[6]提出了基于多層耦合卷積網(wǎng)絡(luò)的 Pan-sharpening 算法和基于耦合多尺度網(wǎng)絡(luò)的 Pan-sharpening 算法，利用卷積自編碼器提取圖像特征，保證圖像塊的空間信息不被破壞。基于深度學(xué)習(xí)的融合算法復(fù)雜度較高、設(shè)計(jì)不易，目前處在研究階段，應(yīng)用較少。文獻(xiàn)[7]首次提出了基于平滑濾波的亮度模型(SFIM)融合方法，這種方法可以快速融合數(shù)據(jù)量較大的遙感圖像，是一種增加空間細(xì)節(jié)信息的光譜保持型圖像融合方法，是依據(jù)簡化的太陽輻射和地表反射模型提出的一種光譜保持型融合技術(shù)，然而對(duì)于新型衛(wèi)星如WV-2，其融合過程容易導(dǎo)致光譜畸變。為減少SFIM方法對(duì)濾波器的依賴及在新型衛(wèi)星圖像融合過程中容易出現(xiàn)的問題，文獻(xiàn)[8]提出了一種改進(jìn)算法MSFIM。該文通過分析RGB-HIS變換模型對(duì)SFIM算法進(jìn)行了一種新的解釋，得出了SFIM融合算法的結(jié)果，即亮度分量與全色圖像不同、光譜信息無變換，說明SFIM方法的光譜保持較好而細(xì)節(jié)融入與全色圖像發(fā)生了變化。然而，該改進(jìn)算法沒有考慮多波段圖像波段之間的不同。

除SFIM融合方法外，目前較流行的還有HIS變換，但HIS變換對(duì)波段有限制。因此，Tu等[8]提出了一種Fast HIS方法。另外，DigitalGlobe公司的Chris等[9]提出了一種新的Pan-sharpening方法，該方法無波段限制，首先進(jìn)行RGB-HCS空間變換，然后在HCS空間進(jìn)行亮度分量替換，再反變換到RGB空間。李旭等[10]提出了一種基于對(duì)應(yīng)分析的WV-2圖像融合算法，此方法先將八波段多光譜圖像變換至成分空間，然后通過成分圖像將全色圖像的空間細(xì)節(jié)信息注入成分空間，經(jīng)反變換后得到融合結(jié)果。然而，Tu等[11]對(duì)Chris的方法進(jìn)行了分析，證明此方法實(shí)際上是一種與Brovey變換類似的方法。此外，還有傳統(tǒng)的小波變換、主成分分析等融合方法，但這些方法在新型衛(wèi)星WV-2圖像融合中都存在光譜畸變和細(xì)節(jié)融入難的問題[12-13]。

針對(duì)WV-2衛(wèi)星圖像融合存在的問題，本研究提出了一種基于SFIM的改進(jìn)算法?？紤]到WV-2衛(wèi)星圖像各波段光譜響應(yīng)的不同，本研究在MSFIM方法[2]的基礎(chǔ)上增加了一系列參數(shù)，設(shè)想各波段一定存在一個(gè)最佳的權(quán)值使融合結(jié)果達(dá)到最佳。實(shí)驗(yàn)結(jié)果證明這樣的設(shè)想是正確的，確實(shí)找到了這樣一組參數(shù)，最終得到了高質(zhì)量的融合結(jié)果。

1 亮度平滑濾波調(diào)制融合方法(SFIM)

SFIM融合方法是由Liu[7]在2010年提出的一種比值融合方法。該方法在傳統(tǒng)的圖像融合中能夠快速進(jìn)行融合并能保持圖像的光譜特性不變，通過全色圖像與全色低頻圖像的比值獲取地形和高頻細(xì)節(jié)信息，再將這些高頻信息融入多光譜圖像中[14]。然而，這種方法對(duì)產(chǎn)生Panlow的低通濾波器依賴較大，不同的低通濾波器可能導(dǎo)致結(jié)果有較大差異。該算法如下：

(1)

式中：Panlow由全色圖像Pan經(jīng)過平滑濾波得到；Band1，…，Bandn為多光譜圖像的各個(gè)波段；Band1SFIM，…，BandnSFIM為融合后的多光譜圖像的各個(gè)波段。

融合時(shí)，首先將多光譜圖像插值到與全色圖像同樣大小，然后與全色圖像和低通濾波后的全色圖像進(jìn)行式(1)的計(jì)算。SFIM方法在傳統(tǒng)的三波段多光譜圖像融合中能夠得到較好的結(jié)果，但隨著多光譜圖像波段的增加，它已不能滿足多波段圖像的融合要求。由于WV-2衛(wèi)星遙感圖像的全色與多光譜各個(gè)波段的光譜響應(yīng)特性不再與傳統(tǒng)衛(wèi)星一樣，所以傳統(tǒng)的融合方法很難適應(yīng)WV-2遙感圖像的融合。

2 改進(jìn)的SFIM融合方法

SFIM方法要想得到較好的融合效果，必須設(shè)計(jì)一個(gè)性能較好的低通平滑濾波器[15-16]，以得到較理想的Panlow。設(shè)計(jì)一個(gè)性能卓越的濾波器也是一件困難的事情，即使得到了一個(gè)性能卓越的濾波器，面對(duì)新型衛(wèi)星遙感圖像的特點(diǎn)，融合結(jié)果也難免不理想。為減少SFIM方法對(duì)濾波器的依賴，并使其能適應(yīng)WV-2衛(wèi)星圖像的融合，提出以下改進(jìn)方法：

(2)

該方法是在MSFIM方法基礎(chǔ)上提出的。MSFIM是在SFIM基礎(chǔ)上改進(jìn)的算法，然而MSFIM沒有考慮各個(gè)波段之間的差異?？紤]到多光譜圖像各個(gè)波段的差異，增加了系數(shù)k1,…,kn，并通過實(shí)驗(yàn)尋找最佳系數(shù)，從而改善融合效果。

I是從多光譜圖像中提取的亮度分量，本實(shí)驗(yàn)針對(duì)WorldView-2圖像融合采用I=(B+G+Y+R+RE+NIR1)/6。B、G、Y、R、RE、NIR1分別代表WV-2多光譜圖像的藍(lán)、綠、黃、紅、邊緣紅、近紅外1波段，k1,k2,…,kn為每個(gè)波段的常數(shù)系數(shù)。根據(jù)不同的融合需求可以選擇不同的系數(shù)，選擇不同的系數(shù)可使細(xì)節(jié)融入最好或光譜保持最好，亦可使細(xì)節(jié)融入和光譜保持綜合效果達(dá)到最好，該系數(shù)可以通過實(shí)驗(yàn)確定。如果可以改變亮度分量I和系數(shù)k1,k2,…,kn，那么本方法也可適用于其他新型衛(wèi)星圖像融合。

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證算法的正確性和優(yōu)良性，用兩組真實(shí)的WV-2圖像數(shù)據(jù)進(jìn)行融合實(shí)驗(yàn)：第一組為Sydney Australia, 4/3/2011，第二組為San Clementa California USA，3/21/2012。這里只融合WV-2的八波段多光譜圖像中的紅、綠、藍(lán)和近紅外波段，其他波段可用同樣方法操作。實(shí)驗(yàn)截取部分?jǐn)?shù)據(jù)，大小為300×300，灰度級(jí)為256。為獲取主觀評(píng)價(jià)融合結(jié)果的參考圖像，首先把多光譜和全色圖像下采樣到原來的四分之一，再把多光譜圖像上采樣到原來大小，這樣參與融合的全色圖像與多光譜圖像就有相同的大小，原始多光譜圖像就可以作為參考圖像用于融合結(jié)果的評(píng)價(jià)[17]。

3.1 第1組數(shù)據(jù)的實(shí)驗(yàn)

表2給出了不同波段在k取不同值時(shí)的相關(guān)系數(shù)。表2中CC1表示光譜相關(guān)系數(shù)，CC2表示細(xì)節(jié)相關(guān)系數(shù)，其前面的修飾表示不同波段，如BCC1表示藍(lán)波段的光譜相關(guān)系數(shù)。根據(jù)一定的先驗(yàn)知識(shí)，實(shí)驗(yàn)中k值從0取到1.5，步長為0.1，從而找出最佳值。步長太小，數(shù)據(jù)變化緩慢易導(dǎo)致融合結(jié)果變化不明顯，會(huì)增加實(shí)驗(yàn)工作量，步長太大又容易丟失最佳取值，故取步長為0.1。在此，僅用光譜相關(guān)系數(shù)和細(xì)節(jié)相關(guān)系數(shù)作為標(biāo)準(zhǔn)來尋找k的最佳值，因?yàn)檫@兩個(gè)準(zhǔn)則能夠很好地反映融合結(jié)果。

表2 數(shù)據(jù)1不同k值融合結(jié)果的相關(guān)系數(shù)Tab.2 Correlation coefficients of fusion results of different k values for data 1

從表2可以看出，正如設(shè)想的那樣，每個(gè)波段圖像的融合結(jié)果在使CC1或CC2達(dá)到最大時(shí)都有自己的最佳k值，例如藍(lán)波段k=0.2時(shí)有最大BCC1(0.941 066)，k=1.3時(shí)有最大BCC2(0.849 153)。

3.2 第2組數(shù)據(jù)的實(shí)驗(yàn)

從第2組數(shù)據(jù)的實(shí)驗(yàn)結(jié)果(表3)中可以看出，數(shù)據(jù)2得到了與數(shù)據(jù)1相同的結(jié)果，證明了該改進(jìn)算法的正確性和穩(wěn)定性。

表3 數(shù)據(jù)2不同k值融合結(jié)果的相關(guān)系數(shù)Tab.3 Correlation coefficients of fusion results of different k values for data 2

3.3 結(jié)果與分析

為證明改進(jìn)算法的有效性，對(duì)以上兩組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析。綜合計(jì)算表2和表3可得表4與表5。

表4 兩組數(shù)據(jù)各波段CC1最大時(shí)的k值Tab.4 The k value at the maximum of CC1 in each band of the two groups of data

表5 兩組數(shù)據(jù)各波段CC2最大時(shí)的k值Tab.5 The k value at the maximum of CC2 in each band of the two groups of data

表4列出了數(shù)據(jù)1和數(shù)據(jù)2各個(gè)波段獲得最大CC1時(shí)的最佳k值；表5列出了數(shù)據(jù)1和數(shù)據(jù)2各個(gè)波段獲得最大CC2時(shí)的最佳k值；對(duì)兩個(gè)相關(guān)系數(shù)求和，得到使CC1與CC2之和達(dá)到最大的k值(表6)。

表6 兩組數(shù)據(jù)各波段CC1與CC2之和最大時(shí)的k值Tab.6 The k value at the maximum sum of CC1 and CC2 in each band of two groups of data

從表4至表6可以看出兩組數(shù)據(jù)的最佳參數(shù)k比較接近或者相同。例如表4中CC1最大時(shí)兩組數(shù)據(jù)各個(gè)波段的k值相差不超過0.2，證明該改進(jìn)算法具有通用性，是可行的。根據(jù)融合圖像使用情況的不同，可以選擇表4、表5或表6中的k值。如果要融合圖像有較大的光譜相關(guān)性可以選擇表4中的參數(shù)；如果要融合圖像有較好的細(xì)節(jié)相關(guān)系數(shù)可以選擇表5中的參數(shù)；如果要融合圖像綜合光譜與細(xì)節(jié)可以選擇表6中的參數(shù)。

圖1給出了數(shù)據(jù)1改進(jìn)前和改進(jìn)后最佳k值時(shí)的紅、綠、藍(lán)波段組合成的融合圖像。

圖1 實(shí)驗(yàn)數(shù)據(jù)1及融合圖像Fig.1 Experimental data 1 and images of fusion

從圖1可以看出，融合圖像(c)的光譜保持最好，與原始圖像(a)的光譜特性最為相近；融合圖像(d)的細(xì)節(jié)信息融入最為充分；融合圖像(e)則具有光譜保持和細(xì)節(jié)融入的綜合優(yōu)勢。圖2給出了第2組數(shù)據(jù)的融合圖像，依然是改進(jìn)前和改進(jìn)后最佳k值時(shí)的紅、綠、藍(lán)波段組合成的融合圖像。

圖2 實(shí)驗(yàn)數(shù)據(jù)2及融合圖像Fig.2 Experimental data 2 and images of fusion

從圖2可以看出，融合圖像(c)的光譜保持最好，與原始圖像(a)的光譜特性最為相近；融合圖像(d)的細(xì)節(jié)信息融入最為充分；融合圖像(e)則具有光譜保持和細(xì)節(jié)融入的綜合優(yōu)勢。

對(duì)兩組數(shù)據(jù)的實(shí)驗(yàn)結(jié)果進(jìn)行主觀評(píng)價(jià)，數(shù)據(jù)1和數(shù)據(jù)2 的主觀評(píng)價(jià)結(jié)果完全一致，即用表4中的系數(shù)可以得到光譜保持最好的圖像，而用表5中的系數(shù)可以得到細(xì)節(jié)融入較豐富的圖像，用表6中的系數(shù)則可以得到具有綜合優(yōu)勢的融合圖像。實(shí)驗(yàn)結(jié)果證明改進(jìn)算法提高了圖像融合的性能。

4 結(jié)語

針對(duì)高分辨率的WV-2衛(wèi)星圖像，本研究在SFIM算法的基礎(chǔ)上提出了一種改進(jìn)的融合算法，該算法對(duì)圖像的波段沒有限制，能適應(yīng)多波段新型衛(wèi)星遙感圖像的融合。為克服SFIM方法存在的缺陷，改進(jìn)算法對(duì)每個(gè)波段的亮度進(jìn)行了修正，且各個(gè)波段的修正權(quán)系數(shù)不同。通過實(shí)驗(yàn)確定最佳系數(shù)k1,k2,…,kn，給出了3組最佳系數(shù)用于不同的融合需求，即最佳光譜保持、最佳細(xì)節(jié)融入和二者綜合的最佳系數(shù)。兩組實(shí)驗(yàn)結(jié)果完全一致，主觀評(píng)價(jià)符合客觀數(shù)據(jù)分析，表明了該改進(jìn)算法的有效性，證實(shí)該方法能很好地融合WV-2衛(wèi)星圖像，且可用于其他衛(wèi)星遙感圖像的融合。