李 濤,王紅軍,李 甲,杜 陽
(1.河南科技學(xué)院新科學(xué)院 電氣工程系,河南 新鄉(xiāng)453003;2.北京大恒圖像視覺有限公司,北京 100193)
近年來,新型衛(wèi)星遙感多光譜圖像的波段在不斷增加,圖像的分辨率也在快速提高。以WorldView-2(WV-2)衛(wèi)星為例,它能夠提供8波段1.84 m分辨率的多光譜圖像和單波段0.46 m分辨率的全色圖像。與傳統(tǒng)衛(wèi)星圖像相比,WV-2衛(wèi)星具有以下特點:波段增加,光譜劃分更細(xì);全色圖像的光譜覆蓋范圍變窄,使之與多光譜波段的光譜匹配發(fā)生較大變化。在遙感應(yīng)用上,往往需要同時具有高空間和高光譜分辨率的圖像。圖像融合技術(shù)就是利用高空間分辨率的全色圖像去提高多光譜圖像的空間分辨率,同時盡量保持多光譜圖像的光譜特性不變。WV-2衛(wèi)星圖像代表了超高分辨率遙感圖像的發(fā)展趨勢,同時也對遙感圖像的融合提出了更高的要求。
WV-2衛(wèi)星的光譜波段分布情況見表1。由表1可以看出多光譜與全色圖像的波譜覆蓋范圍,多光譜的8個波段中有3個波段沒有被全色波段覆蓋,多光譜與全色光譜響應(yīng)也不一致,正是這些特性導(dǎo)致融合結(jié)果變差。
表1 WorldView-2衛(wèi)星光譜波段分布Tab.1 Spectral band distribution of WorldView-2 satellite nm
Pan-sharpening算法是圖像融合算法的主要分支,也是遙感圖像融合的一種重要方法[1]。在幾十年的發(fā)展中,Pan-sharpening技術(shù)在不斷改進(jìn),例如給予多分辨分析[2]的算法。隨著深度學(xué)習(xí)的應(yīng)用和發(fā)展,深度學(xué)習(xí)也被運用到圖像融合中,例如Huang等[3]提出了深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)算法,但該方法偏離了Pan-sharpening算法的原理。隨后,Masi等[4]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的Pan-sharpening算法,符合Pan-sharpening算法原理,但該算法網(wǎng)絡(luò)結(jié)構(gòu)過于簡單,提取特征不夠深入。Wei等[5]提出了基于深層殘差神經(jīng)網(wǎng)絡(luò)的Pan-sharpening算法,通過11層殘差網(wǎng)絡(luò)提取輸入圖像的深層特征。蔡婉婷[6]提出了基于多層耦合卷積網(wǎng)絡(luò)的 Pan-sharpening 算法和基于耦合多尺度網(wǎng)絡(luò)的 Pan-sharpening 算法,利用卷積自編碼器提取圖像特征,保證圖像塊的空間信息不被破壞?;谏疃葘W(xué)習(xí)的融合算法復(fù)雜度較高、設(shè)計不易,目前處在研究階段,應(yīng)用較少。文獻(xiàn)[7]首次提出了基于平滑濾波的亮度模型(SFIM)融合方法,這種方法可以快速融合數(shù)據(jù)量較大的遙感圖像,是一種增加空間細(xì)節(jié)信息的光譜保持型圖像融合方法,是依據(jù)簡化的太陽輻射和地表反射模型提出的一種光譜保持型融合技術(shù),然而對于新型衛(wèi)星如WV-2,其融合過程容易導(dǎo)致光譜畸變。為減少SFIM方法對濾波器的依賴及在新型衛(wèi)星圖像融合過程中容易出現(xiàn)的問題,文獻(xiàn)[8]提出了一種改進(jìn)算法MSFIM。該文通過分析RGB-HIS變換模型對SFIM算法進(jìn)行了一種新的解釋,得出了SFIM融合算法的結(jié)果,即亮度分量與全色圖像不同、光譜信息無變換,說明SFIM方法的光譜保持較好而細(xì)節(jié)融入與全色圖像發(fā)生了變化。然而,該改進(jìn)算法沒有考慮多波段圖像波段之間的不同。
除SFIM融合方法外,目前較流行的還有HIS變換,但HIS變換對波段有限制。因此,Tu等[8]提出了一種Fast HIS方法。另外,DigitalGlobe公司的Chris等[9]提出了一種新的Pan-sharpening方法,該方法無波段限制,首先進(jìn)行RGB-HCS空間變換,然后在HCS空間進(jìn)行亮度分量替換,再反變換到RGB空間。李旭等[10]提出了一種基于對應(yīng)分析的WV-2圖像融合算法,此方法先將八波段多光譜圖像變換至成分空間,然后通過成分圖像將全色圖像的空間細(xì)節(jié)信息注入成分空間,經(jīng)反變換后得到融合結(jié)果。然而,Tu等[11]對Chris的方法進(jìn)行了分析,證明此方法實際上是一種與Brovey變換類似的方法。此外,還有傳統(tǒng)的小波變換、主成分分析等融合方法,但這些方法在新型衛(wèi)星WV-2圖像融合中都存在光譜畸變和細(xì)節(jié)融入難的問題[12-13]。
針對WV-2衛(wèi)星圖像融合存在的問題,本研究提出了一種基于SFIM的改進(jìn)算法。考慮到WV-2衛(wèi)星圖像各波段光譜響應(yīng)的不同,本研究在MSFIM方法[2]的基礎(chǔ)上增加了一系列參數(shù),設(shè)想各波段一定存在一個最佳的權(quán)值使融合結(jié)果達(dá)到最佳。實驗結(jié)果證明這樣的設(shè)想是正確的,確實找到了這樣一組參數(shù),最終得到了高質(zhì)量的融合結(jié)果。
SFIM融合方法是由Liu[7]在2010年提出的一種比值融合方法。該方法在傳統(tǒng)的圖像融合中能夠快速進(jìn)行融合并能保持圖像的光譜特性不變,通過全色圖像與全色低頻圖像的比值獲取地形和高頻細(xì)節(jié)信息,再將這些高頻信息融入多光譜圖像中[14]。然而,這種方法對產(chǎn)生Panlow的低通濾波器依賴較大,不同的低通濾波器可能導(dǎo)致結(jié)果有較大差異。該算法如下:
(1)
式中:Panlow由全色圖像Pan經(jīng)過平滑濾波得到;Band1,…,Bandn為多光譜圖像的各個波段;Band1SFIM,…,BandnSFIM為融合后的多光譜圖像的各個波段。
融合時,首先將多光譜圖像插值到與全色圖像同樣大小,然后與全色圖像和低通濾波后的全色圖像進(jìn)行式(1)的計算。SFIM方法在傳統(tǒng)的三波段多光譜圖像融合中能夠得到較好的結(jié)果,但隨著多光譜圖像波段的增加,它已不能滿足多波段圖像的融合要求。由于WV-2衛(wèi)星遙感圖像的全色與多光譜各個波段的光譜響應(yīng)特性不再與傳統(tǒng)衛(wèi)星一樣,所以傳統(tǒng)的融合方法很難適應(yīng)WV-2遙感圖像的融合。
SFIM方法要想得到較好的融合效果,必須設(shè)計一個性能較好的低通平滑濾波器[15-16],以得到較理想的Panlow。設(shè)計一個性能卓越的濾波器也是一件困難的事情,即使得到了一個性能卓越的濾波器,面對新型衛(wèi)星遙感圖像的特點,融合結(jié)果也難免不理想。為減少SFIM方法對濾波器的依賴,并使其能適應(yīng)WV-2衛(wèi)星圖像的融合,提出以下改進(jìn)方法:
(2)
該方法是在MSFIM方法基礎(chǔ)上提出的。MSFIM是在SFIM基礎(chǔ)上改進(jìn)的算法,然而MSFIM沒有考慮各個波段之間的差異??紤]到多光譜圖像各個波段的差異,增加了系數(shù)k1,…,kn,并通過實驗尋找最佳系數(shù),從而改善融合效果。
I是從多光譜圖像中提取的亮度分量,本實驗針對WorldView-2圖像融合采用I=(B+G+Y+R+RE+NIR1)/6。B、G、Y、R、RE、NIR1分別代表WV-2多光譜圖像的藍(lán)、綠、黃、紅、邊緣紅、近紅外1波段,k1,k2,…,kn為每個波段的常數(shù)系數(shù)。根據(jù)不同的融合需求可以選擇不同的系數(shù),選擇不同的系數(shù)可使細(xì)節(jié)融入最好或光譜保持最好,亦可使細(xì)節(jié)融入和光譜保持綜合效果達(dá)到最好,該系數(shù)可以通過實驗確定。如果可以改變亮度分量I和系數(shù)k1,k2,…,kn,那么本方法也可適用于其他新型衛(wèi)星圖像融合。
為驗證算法的正確性和優(yōu)良性,用兩組真實的WV-2圖像數(shù)據(jù)進(jìn)行融合實驗:第一組為Sydney Australia, 4/3/2011,第二組為San Clementa California USA,3/21/2012。這里只融合WV-2的八波段多光譜圖像中的紅、綠、藍(lán)和近紅外波段,其他波段可用同樣方法操作。實驗截取部分?jǐn)?shù)據(jù),大小為300×300,灰度級為256。為獲取主觀評價融合結(jié)果的參考圖像,首先把多光譜和全色圖像下采樣到原來的四分之一,再把多光譜圖像上采樣到原來大小,這樣參與融合的全色圖像與多光譜圖像就有相同的大小,原始多光譜圖像就可以作為參考圖像用于融合結(jié)果的評價[17]。
表2給出了不同波段在k取不同值時的相關(guān)系數(shù)。表2中CC1表示光譜相關(guān)系數(shù),CC2表示細(xì)節(jié)相關(guān)系數(shù),其前面的修飾表示不同波段,如BCC1表示藍(lán)波段的光譜相關(guān)系數(shù)。根據(jù)一定的先驗知識,實驗中k值從0取到1.5,步長為0.1,從而找出最佳值。步長太小,數(shù)據(jù)變化緩慢易導(dǎo)致融合結(jié)果變化不明顯,會增加實驗工作量,步長太大又容易丟失最佳取值,故取步長為0.1。在此,僅用光譜相關(guān)系數(shù)和細(xì)節(jié)相關(guān)系數(shù)作為標(biāo)準(zhǔn)來尋找k的最佳值,因為這兩個準(zhǔn)則能夠很好地反映融合結(jié)果。
表2 數(shù)據(jù)1不同k值融合結(jié)果的相關(guān)系數(shù)Tab.2 Correlation coefficients of fusion results of different k values for data 1
從表2可以看出,正如設(shè)想的那樣,每個波段圖像的融合結(jié)果在使CC1或CC2達(dá)到最大時都有自己的最佳k值,例如藍(lán)波段k=0.2時有最大BCC1(0.941 066),k=1.3時有最大BCC2(0.849 153)。
從第2組數(shù)據(jù)的實驗結(jié)果(表3)中可以看出,數(shù)據(jù)2得到了與數(shù)據(jù)1相同的結(jié)果,證明了該改進(jìn)算法的正確性和穩(wěn)定性。
表3 數(shù)據(jù)2不同k值融合結(jié)果的相關(guān)系數(shù)Tab.3 Correlation coefficients of fusion results of different k values for data 2
為證明改進(jìn)算法的有效性,對以上兩組實驗數(shù)據(jù)進(jìn)行分析。綜合計算表2和表3可得表4與表5。
表4 兩組數(shù)據(jù)各波段CC1最大時的k值Tab.4 The k value at the maximum of CC1 in each band of the two groups of data
表5 兩組數(shù)據(jù)各波段CC2最大時的k值Tab.5 The k value at the maximum of CC2 in each band of the two groups of data
表4列出了數(shù)據(jù)1和數(shù)據(jù)2各個波段獲得最大CC1時的最佳k值;表5列出了數(shù)據(jù)1和數(shù)據(jù)2各個波段獲得最大CC2時的最佳k值;對兩個相關(guān)系數(shù)求和,得到使CC1與CC2之和達(dá)到最大的k值(表6)。
表6 兩組數(shù)據(jù)各波段CC1與CC2之和最大時的k值Tab.6 The k value at the maximum sum of CC1 and CC2 in each band of two groups of data
從表4至表6可以看出兩組數(shù)據(jù)的最佳參數(shù)k比較接近或者相同。例如表4中CC1最大時兩組數(shù)據(jù)各個波段的k值相差不超過0.2,證明該改進(jìn)算法具有通用性,是可行的。根據(jù)融合圖像使用情況的不同,可以選擇表4、表5或表6中的k值。如果要融合圖像有較大的光譜相關(guān)性可以選擇表4中的參數(shù);如果要融合圖像有較好的細(xì)節(jié)相關(guān)系數(shù)可以選擇表5中的參數(shù);如果要融合圖像綜合光譜與細(xì)節(jié)可以選擇表6中的參數(shù)。
圖1給出了數(shù)據(jù)1改進(jìn)前和改進(jìn)后最佳k值時的紅、綠、藍(lán)波段組合成的融合圖像。
圖1 實驗數(shù)據(jù)1及融合圖像Fig.1 Experimental data 1 and images of fusion
從圖1可以看出,融合圖像(c)的光譜保持最好,與原始圖像(a)的光譜特性最為相近;融合圖像(d)的細(xì)節(jié)信息融入最為充分;融合圖像(e)則具有光譜保持和細(xì)節(jié)融入的綜合優(yōu)勢。圖2給出了第2組數(shù)據(jù)的融合圖像,依然是改進(jìn)前和改進(jìn)后最佳k值時的紅、綠、藍(lán)波段組合成的融合圖像。
圖2 實驗數(shù)據(jù)2及融合圖像Fig.2 Experimental data 2 and images of fusion
從圖2可以看出,融合圖像(c)的光譜保持最好,與原始圖像(a)的光譜特性最為相近;融合圖像(d)的細(xì)節(jié)信息融入最為充分;融合圖像(e)則具有光譜保持和細(xì)節(jié)融入的綜合優(yōu)勢。
對兩組數(shù)據(jù)的實驗結(jié)果進(jìn)行主觀評價,數(shù)據(jù)1和數(shù)據(jù)2 的主觀評價結(jié)果完全一致,即用表4中的系數(shù)可以得到光譜保持最好的圖像,而用表5中的系數(shù)可以得到細(xì)節(jié)融入較豐富的圖像,用表6中的系數(shù)則可以得到具有綜合優(yōu)勢的融合圖像。實驗結(jié)果證明改進(jìn)算法提高了圖像融合的性能。
針對高分辨率的WV-2衛(wèi)星圖像,本研究在SFIM算法的基礎(chǔ)上提出了一種改進(jìn)的融合算法,該算法對圖像的波段沒有限制,能適應(yīng)多波段新型衛(wèi)星遙感圖像的融合。為克服SFIM方法存在的缺陷,改進(jìn)算法對每個波段的亮度進(jìn)行了修正,且各個波段的修正權(quán)系數(shù)不同。通過實驗確定最佳系數(shù)k1,k2,…,kn,給出了3組最佳系數(shù)用于不同的融合需求,即最佳光譜保持、最佳細(xì)節(jié)融入和二者綜合的最佳系數(shù)。兩組實驗結(jié)果完全一致,主觀評價符合客觀數(shù)據(jù)分析,表明了該改進(jìn)算法的有效性,證實該方法能很好地融合WV-2衛(wèi)星圖像,且可用于其他衛(wèi)星遙感圖像的融合。