基于AIHS的遙感影像融合方法及其應(yīng)用研究*

胡佳偉，劉軍清，汪　康，陳　鵬，李偉生

(三峽大學(xué) 計算機(jī)與信息學(xué)院，湖北 宜昌 443000)

0　引言

目前，很多遙感衛(wèi)星都提供了兩種影像，一種是多光譜影像(Multi-Spectral Image,MS圖像)，另一種是全色影像(Panchromatic Image,PAN圖像)。MS圖像具有高光譜分辨率和低空間分辨率，PAN圖像具有高空間分辨率和低光譜分辨率?，F(xiàn)實(shí)中不可能直接獲得光譜分辨率和空間分辨率都高的圖像，因此很多學(xué)者試圖將這兩種圖像進(jìn)行融合，從而獲得光譜分辨率和空間分辨率較高的圖像。目前圖像融合技術(shù)可以分為像素級融合、特征級融合和決策級融合三個層次，我國在該領(lǐng)域的研究起步相對較晚，實(shí)現(xiàn)算法多集中于像素級融合，與國外同行相比還存在很大的差距。研究者已提出的融合方法主要有IHS(Intensity Hue Saturation)變換、主成分分析(Principal Component Analysis，PCA)變換、Brovey變換、GS(Gram-Schimdt)變換等[1-2]。這些方法雖然能較好地增加MS圖像的空間分辨率，但當(dāng)高分辨率圖像與MS圖像波段之間的光譜響應(yīng)范圍不一致時，融合后的影像色彩畸變嚴(yán)重[3]。雖然有學(xué)者提出小波變換可以較好地解決這一問題，但融合圖像的空間分辨率卻低于IHS變換。鑒于此，本文提出了IAIHS變換融合模型，以期得到更好的融合效果。

1　融合方法分析

1.1　基于IHS變換的影像融合方法

IHS模型定義了三個互不相關(guān)又容易預(yù)測的顏色心理屬性，即強(qiáng)度I、色調(diào)H和飽和度S。IHS變換能有效地從RGB圖像中分離出空間和光譜信息，這種變換方法更接近人對圖像的感知機(jī)理。RGB顏色空間和IHS顏色空間有著精確的轉(zhuǎn)換關(guān)系，在色度學(xué)中，把從RGB顏色空間紅(R)、綠(G)、藍(lán)(B)到IHS空間的強(qiáng)度(I)、色調(diào)(H)、飽和度(S)的轉(zhuǎn)換稱為正變換[4]，相反地，把IHS變換成RGB稱為反變換。IHS模型正變換通常采用下列公式實(shí)現(xiàn)：

(1)

(2)

(3)

其原理即RGB空間和IHS空間之間的變換，是將RGB空間的圖像分解成強(qiáng)度I、色調(diào)H、飽和度S三個分量，屬于色度空間變換。IHS反變換可表示如下：

(4)

式中V1和V2是變換中間變量。其原理是從IHS空間到RGB空間的變換，即為IHS反變換。

MS圖像先進(jìn)行IHS正變換得到H分量、S分量、I分量，保持H分量和S分量不變，用PAN圖像的P分量替換MS圖像的I分量，經(jīng)過直方圖匹配后得到新的I分量，再用新的I分量、原來不變的MS圖像的H分量和S分量進(jìn)行IHS反變換得到融合圖像[5]。根據(jù)上述融合原理，在MS圖像和PAN圖像融合過程中強(qiáng)度分量I將被PAN圖像的P分量替換。強(qiáng)度I可以通過下式計算而得：

(5)

式中Mi為MS圖像第i個頻帶，αi是一個以常數(shù)1/n為值的組合系數(shù)。然而大多數(shù)MS圖像包含了4個波段，即RGB和紅外波段。為了解決此問題，研究者們通過使用α=1/n(這里n表示的是波段數(shù))來擴(kuò)展這個方法。其過程是首先對MS圖像4個波段中的每一個波段進(jìn)行上采樣，并將每個波段范圍標(biāo)準(zhǔn)化到0～1之間，完成上述初始化工作后，進(jìn)行PAN圖像直方圖匹配，目的是確保PAN圖像和MS圖像的平均值和標(biāo)準(zhǔn)方差在相同的范圍內(nèi)[6-7]。P的計算如下：

(6)

式中σ和μ是標(biāo)準(zhǔn)方差和平均值。最后融合后圖像為：

(7)

傳統(tǒng)IHS變換融合方法具有計算簡單、融合圖像空間分辨率高等優(yōu)點(diǎn)，但其光譜失真較大。后來有學(xué)者提出了一種自適應(yīng)IHS變換融合方法，即AIHS變換融合法，它通過調(diào)整α系數(shù)，在保證空間分辨率的同時盡可能減小光譜失真。

1.2　基于AIHS變換的影像融合方法

為了解決IHS變換存在的光譜扭曲的不足，專家學(xué)者使強(qiáng)度分量盡可能地調(diào)整到接近PAN圖像，期望通過調(diào)整α系數(shù)使強(qiáng)度盡量接近PAN圖像的P值，如下：

(8)

可以利用梯度下降的方法和線性代數(shù)的方法求解微分方程來得到系數(shù)α。通過這種方式計算出的系數(shù)α與原始影像緊密相連，因此可保證影像的空間分辨率，同時也保持了影像的光譜分辨率。

因?yàn)镻和I之間的差異很大，經(jīng)過IHS變換方法融合后的MS圖像通過式(7)雖然獲得了高空間質(zhì)量，但其存在嚴(yán)重的頻譜失真問題。為了減少頻譜失真，相關(guān)文獻(xiàn)[8]中提出方法，通過解決下列優(yōu)化問題獲得的MS頻帶組合系數(shù)的自適應(yīng)線性組合求出強(qiáng)度分量I：

s.t.αi≥0,…,αn≥0

(9)

在確定強(qiáng)度分量I之后，AIHS實(shí)現(xiàn)為：

(10)

其中WP是PAN圖像由邊緣引起的加權(quán)矩陣，WP定義為：

(11)

其中λ是調(diào)諧參數(shù)，ε是PAN圖像梯度。

AIHS變換融合方法與傳統(tǒng)IHS變換相比，在一定程度上解決了光譜扭曲問題，融合后的圖像信息量較豐富，圖像清晰，地物細(xì)節(jié)表現(xiàn)力好，但仍然具有光譜失真的問題。目前提出的AIHS變換方法自適應(yīng)性不高，融合圖像所顯示的地形區(qū)域的顏色變化過大，過于平滑，于是本文提出了如下的融合方法改進(jìn)。

2　融合方法改進(jìn)

目前，大多數(shù)的全銳化融合方法過程可以分解為兩個連續(xù)的步驟：一是空間細(xì)節(jié)提取，二是空間細(xì)節(jié)注入?？臻g細(xì)節(jié)提取步驟是從高空間分辨率的PAN圖像中提取有用的空間細(xì)節(jié)圖像；空間細(xì)節(jié)注入步驟是確定如何將提取的空間細(xì)節(jié)注入到上采樣MS圖像中。一般來說，提取空間細(xì)節(jié)由PAN圖像及其低通近似圖像之間的差異決定，根據(jù)計算低通近似PAN圖像的方法，全銳化方法可以大致分為兩個主要類別：線性組合近似方法(LCA)和空間濾波器近似方法(SFA)。

AIHS變換融合方法屬于線性組合近似方法，在該變換融合法中求解系數(shù)α的過程就是一個自適應(yīng)的過程，得到的融合圖像仍然存在著光譜扭曲的不足，現(xiàn)將該方法改進(jìn)如下。

PAN圖像融合進(jìn)MS圖像的過程中，PAN圖像經(jīng)過空間細(xì)節(jié)提取之后將空間細(xì)節(jié)注入到MS圖像，這時PAN圖像由邊緣引起的加權(quán)矩陣(或調(diào)制系數(shù))決定了PAN圖像的空間細(xì)節(jié)注入到MS頻帶中的多少。一方面，如果注入的空間細(xì)節(jié)不夠，融合后的空間質(zhì)量就沒有之前的高，另一方面，如果注入的空間細(xì)節(jié)過多，則融合后的圖像就會產(chǎn)生大量的冗余信息，導(dǎo)致頻譜失真。

為了實(shí)現(xiàn)從PAN圖像邊緣到融合后圖像的轉(zhuǎn)移，AIHS方法中的加權(quán)矩陣是PAN圖像邊緣的函數(shù)。由于出現(xiàn)在PAN圖像中的邊緣可能不會出現(xiàn)在每一個MS頻帶上，因此將相同量的細(xì)節(jié)注入到不同的頻帶中的方法是不合適的，這將引起頻譜失真。通過分析很自然地想到，如果能期望調(diào)制的每個MS頻帶的加權(quán)矩陣都不相同就能解決這一問題，所以提出了用MS圖像的加權(quán)矩陣(MS誘導(dǎo)權(quán)重)來代替PAN圖像的加權(quán)矩陣(PAN誘導(dǎo)權(quán)重)。應(yīng)用MS圖像加權(quán)矩陣為：

(12)

在PAN圖像空間細(xì)節(jié)注入MS圖像頻帶過程中，為了避免頻譜失真，應(yīng)該保持MS圖像中每對MS波段之間的比例不變，為了達(dá)到這個目的，要使下式成立：

(13)

此外，為了保持每對MS圖像波段之間的比例不變，需要重新定義一個加權(quán)矩陣來調(diào)制每個頻帶注入的空間細(xì)節(jié)的量。那么，可以用PAN圖像加權(quán)矩陣WP和MS圖像加權(quán)矩陣WMi之間的線性組合來表示每個MS頻帶適當(dāng)?shù)募訖?quán)矩陣Wi，如下式所示：

(14)

通過改進(jìn)后的IAIHS變換融合方法，融合圖像能更清晰地顯示出地物特征邊緣，且圖像對比其他全銳化方法融合圖像在顏色方面更加清晰。接下來進(jìn)行常見全銳化方法和改進(jìn)后IAIHS變換融合方法實(shí)驗(yàn)，通過主客觀評價對融合效果進(jìn)行分析。

3　實(shí)驗(yàn)及結(jié)果分析

本文針對傳統(tǒng)的全銳化方法IHS變換進(jìn)行了實(shí)驗(yàn)，并在此基礎(chǔ)上進(jìn)行了AIHS變換圖像融合實(shí)驗(yàn)和算法改進(jìn)后的IAIHS變換圖像融合實(shí)驗(yàn)。

在圖像融合中對融合后圖像進(jìn)行評價是非常重要的。對融合效果的評價分為主觀評價和客觀評價，主觀評價是指人眼的視覺特性所能觀察到的圖像質(zhì)量的好壞，但這種評價會受到主觀因素的影響；客觀評價是指通過計算融合后圖像的信息熵、平均梯度等參數(shù)來評價融合的效果[9]。

圖1為待融合的MS圖像，圖2為待融合的PAN圖像，此為待融合的兩幅源圖像。圖3為IHS變換后融合圖像，圖4為AIHS變換后融合圖像。圖5為IAIHS變換后融合圖像。

圖1 MS圖像圖2 PAN圖像圖3 IHS變換后融合圖像圖4 AIHS變換后融合圖像圖5 IAIHS變換后融合圖像

IHS變換融合圖像色調(diào)變化大，但存在光譜扭曲，用AIHS變換進(jìn)行融合得到的圖像色調(diào)變化小，說明對原始多光譜信息保存較好，進(jìn)一步改善了IHS變換中存在的光譜扭曲。用IAIHS變換進(jìn)行融合得到的圖像較亮，更好地改善了空間質(zhì)量，保持了光譜特性。

試驗(yàn)還從客觀方面計算了MS圖像、PAN圖像、各種融合變換以及改進(jìn)的IAIHS變換得到的融合圖像的信息熵均值和平均梯度均值。待融合圖像、各種融合變換以及IAIHS變換得到的融合圖像第1、2、3通道的信息熵和平均梯度及最終信息熵均值和平均梯度值如表1、表2、表3所示。

表1　第1、2、3通道信息熵

表2　第1、2、3通道平均梯度

表3　信息熵均值和平局梯度均值

信息熵直接反映了一副圖像所包含信息的豐富程度，信息熵越大，圖像包含的信息越多，反之則越少，其計算公式如下：

(15)

其中H為圖像的熵，L為圖像的灰度級數(shù)，Pi為灰度值為i的像素點(diǎn)與圖像總像素之比。熵值越大表明圖像包含的平均信息量越豐富。

從表1和表3中數(shù)據(jù)分析可知改進(jìn)后的IAIHS變換融合圖像的信息熵均值略大于AIHS變換融合圖像，說明了在圖像包含的信息豐富程度方面，IAIHS變換得到的融合圖像更具優(yōu)勢。

平均梯度反映了圖像中微小細(xì)節(jié)反差與文理變化特征，同時也反映了圖像的清晰度。它的值越大則融合后圖像紋理越清晰。其計算公式如下：

(16)

其中M和N分別是圖像的行數(shù)和列數(shù)。

ΔIx=g(i+1,j)-g(i,j)

(17)

ΔIy=g(i,j+1)-g(i,j)

(18)

其中g(shù)(i,j)為像素點(diǎn)的灰度值。

對表2和表3中數(shù)據(jù)進(jìn)行分析可知，改進(jìn)后的IAIHS變換融合圖像的平均梯度值略大于AIHS變換融合圖像，說明了在圖像紋理清晰方面，IAIHS變換得到的融合圖像更具優(yōu)勢。IAIHS變換融合結(jié)果無論是從信息量還是從光譜扭曲方面，都明顯優(yōu)于其他各種變換方法。其信息量和光譜保真度較高，說明融合的影像信息量較豐富，圖像清晰，光譜扭曲現(xiàn)象較弱。

4　結(jié)論

高分辨率PAN圖像與低分辨率MS圖像的融合，是在RSI分析中得到高分辨率MS圖像的一種有效方式。本文針對用傳統(tǒng)IHS方法和AIHS方法融合得到的圖像存在嚴(yán)重的頻譜失真和光譜質(zhì)量低等問題，對待融合圖像由邊緣引起的加權(quán)矩陣替換進(jìn)行了分析，提出了一種改進(jìn)后的IAIHS變換融合方法。理論分析與實(shí)驗(yàn)結(jié)果表明，IAIHS變換方法能有效避免頻譜失真，改善空間質(zhì)量，同時保持光譜質(zhì)量。

[1] Lu Shanlong, Zou Lejun, Shen Xiaohua，et al.Multi-spectral remote sensing image enhancement method based on PCA and IHS transformations [J].Journal of Zhejiang University(Science A), 2011,12(6)：453-460.

[2] 劉軍，邵振峰.快速離散Curvelet變換和IHS變換集成的遙感影像融合方法[J].測繪科學(xué)，2012，37(1)：121-124.

[3] HA W，GOWDA P.HOWELL T A.A review of potential image fusion methods for remote sensing-based irrigation management： part II[J].Irrigation Science，2013，31(4)：851-869.

[4] TU T M，SU S C，SHYU H C，et al.A new look at IHS -like image fusion method[J]. Information Fusion， 2001(2)：177-186.

[5] 祝曉坤，龐國豐.一 種基 于 IHS 圓柱變換模型的影像融合質(zhì)量綜合評價方法[J].測繪科學(xué)，2011，36(4)：136-138.

[6] NAVANEETH K， RAMAKRISHNAN， PHILOMINA S.A Bi-level IHS transform for fusing panchromatic and multispectral images [J].Pattern Recognition and Machine Intelligence，2013(8251)：367-372.

[7] BALLESTER C，CASELLES V，IGUAL L， et al. A variational model for P+XS image fusion[J]. International Journal of Computer Vision， 2006，59(1)：43-58.

[8] RAHMANI S, STRAIT M, MERKURJEV D, et al. An adaptive IHS pan-sharpening method[J].IEEE Geoscience&Remote Senssing Letters,2010， 7(4): 746-750.

[9] 閆莉萍,劉寶生,周東華.一種新的圖像融合及性能評價方法[J].系統(tǒng)工程與電子技術(shù),2007,29(4):509-513.