基于IHS變換和Curvelet變換的衛(wèi)星遙感圖像融合方法*

肖化超　周詮　鄭小松

(中國空間技術(shù)研究院 空間電子信息技術(shù)研究院, 陜西 西安 710100)

?

基于IHS變換和Curvelet變換的衛(wèi)星遙感圖像融合方法*

肖化超周詮鄭小松

(中國空間技術(shù)研究院 空間電子信息技術(shù)研究院, 陜西 西安 710100)

摘要：全色圖像和多光譜圖像融合是合成高分辨率彩色遙感圖像的常用方法之一,高質(zhì)量的彩色圖像需要融合全色圖像的高空間分辨率和保持多光譜圖像的光譜特性.為提高融合圖像的質(zhì)量,文中提出了一種基于IHS和Curvelet變換的遙感圖像融合方法,該方法首先將多光譜圖像進行IHS變換,然后將代表空間分辨率的I分量與全色圖像進行Curvelet變換,并進行標(biāo)準(zhǔn)差融合,最后逆變換成高質(zhì)量的彩色圖像.實驗測試結(jié)果表明:文中方法合成圖像的信息熵、相對無量綱的全局誤差和通用圖像質(zhì)量指標(biāo)均優(yōu)于其他方法合成的圖像,文中方法融合圖像的平均梯度和相關(guān)系數(shù)與小波變換、PCA變換方法相當(dāng);文中方法的融合效果要優(yōu)于其他方法.

關(guān)鍵詞：圖像融合;多光譜圖像;全色圖像;Curvelet變換;IHS變換

空間遙感技術(shù)的快速發(fā)展使傳感器種類不斷增加,性能不斷提高,面向各種復(fù)雜應(yīng)用的傳感器信息系統(tǒng)也隨之大量涌現(xiàn),這使得系統(tǒng)獲得的信息量急劇增加并且呈現(xiàn)多樣性和復(fù)雜性.傳統(tǒng)的信息處理方法已不能很好地適用于多傳感器組合所帶來的新問題.利用不同類型傳感器數(shù)據(jù)間的一致性和互補性進行融合處理,減少冗余數(shù)據(jù),是提高數(shù)據(jù)利用率的有效途徑,為進一步的圖像解譯提供更加全面的信息.

信息融合技術(shù)可以綜合利用多源信息,從而獲得對同一事物或目標(biāo)的更客觀、更全面的認(rèn)識.圖像融合屬于信息融合的范疇,是指將不同傳感器或相同傳感器在不同時刻獲取的同一場景的圖像,經(jīng)過預(yù)處理、配準(zhǔn)后,再運用融合方法將多源信息綜合到一幅合成圖像的過程[1].由于多源遙感融合圖像具有冗余性、互補性和合作性,因此,多傳感器圖像融合可克服單一傳感器無法同時滿足光譜和空間分辨率均高的局限性,提高圖像質(zhì)量,從而有利于對圖像進行解譯[2].

在遙感圖像融合技術(shù)中,最常見的是全色圖像和多光譜圖像間的融合處理.在像素級圖像融合中,小波變換分層圖像融合是常見的方法[3- 4],利用具有多尺度分解特性的小波變換進行融合,與主成分變換[5]和壓縮感知方法[6]進行融合相似,能較好地保持空間細(xì)節(jié)特征,但容易丟失遙感圖像的光譜信息,從而出現(xiàn)光譜失真問題.基于IHS(Intensity-Hue-Saturation)變換的圖像融合方法具有較好的保留光譜信息特性[7-8],但對空間信息的保持性能較弱.為了提高融合圖像在光譜特征與空間細(xì)節(jié)信息保持方面的綜合性能,文中提出了一種基于IHS變換和Curvelet變換的遙感圖像融合方法,并通過實驗分析該方法的性能.

1高質(zhì)量圖像融合算法

全色圖像和多光譜圖像融合后的圖像質(zhì)量主要體現(xiàn)在空間分辨率和光譜特性保持上.空間分辨率表現(xiàn)為圖像紋理細(xì)節(jié)的保持.Curvelet變換是一種多尺度分析方法,能很好地保持圖像的細(xì)節(jié)特征.光譜特性表現(xiàn)為圖像的色彩,IHS變換是一種表示圖像色彩的方法.為提高融合圖像的質(zhì)量,文中提出了一種結(jié)合Curvelet變換和IHS變換的遙感圖像融合方法,以保持融合圖像的空間和光譜特征.

1.1　Curvelet變換原理

Curvelet變換[9]是在小波變換的基礎(chǔ)上發(fā)展起來的,克服了小波變換無法較好表征圖像邊緣方向特性的缺陷.Curvelet變換以圖像邊緣為基本元素,且具有完備性,能很好地適應(yīng)如直線或曲線狀特征圖像,能更加精確地表達圖像邊緣的方向,并能準(zhǔn)確地聚焦圖像的邊緣.與小波變換相似,Curvelet變換也是一種多尺度幾何分析工具,但與小波變換不同,其框架元素除了尺度和位移參數(shù)外,還有方向參量,也就是說金字塔中包含具有高度方向特殊性的元素.

Curvelet變換對圖像具有較好的稀疏表示能力,既能很好地表示平滑區(qū)域,也能較好地表示邊緣部分,使對應(yīng)邊緣部位的分解系數(shù)不必傳播到很多高頻尺度分量中,從而達到能量集中的效果.另外,傳統(tǒng)的小波變換只提供“點”的特性,而Curvelet變換具有很強的方向性,可直接獲得對直線甚至平面等高維特征變化特性的描述.Curvelet變換遵守一個尺度規(guī)則,每個子塊的頻率帶寬w、長度l近似滿足關(guān)系w=l2,即寬度是長度的平方.Curvelet變換的合成和分解流程圖如圖1所示.

圖1　Curvelet變換的合成和分解流程圖Fig.1　Synthesis and decomposition flowchart of Curvelet transform

Curvelet變換的分解過程如下:

(1)利用濾波器組P0和Δs(s≥0)將圖像f分解為不同子帶,即

f→(P0( f ),Δ1( f ),Δ2( f ),…)

(1)

不同的子帶Δs(f)包含了寬度為2-2s的細(xì)節(jié).

(2)將位于二階方形區(qū)域

內(nèi)的平滑窗口ωQ(x1,x2)與子帶函數(shù)相乘,隨著s固定而k1、k2變化可產(chǎn)生由函數(shù)到方塊的平滑分割,即

Δs(f)→(ωQΔs(f))Q∈Qs

(2)

(3)將每個二進方塊平移并進行歸一化,

gQ=(TQ)-1(ωQΔs( f )),Q∈Qs

(3)

式中,TQ( f )(x1,x2)=2sf(2sx1-k1,2sx2-k2).

(4)對gQ進行Ridgelet分析,即

(4)

Curvelet變換的合成過程實際上是分解過程的逆過程.首先實現(xiàn)Ridgelet合成

(5)

再由重正規(guī)化得到

hQ=(TQ)gQ，Q∈Qs

(6)

然后對各個子帶中的方塊進行平滑集成

(7)

最后進行子帶重建

(8)

綜上分析可知,Curvelet變換的核心是Ridgelet分析,Ridgelet分析[10-11]的初衷就是解決小波變換沿邊緣信息表達能力不足的缺點.

設(shè)CJ(x,y)表示圖像f的輪廓部分,ωj表示圖像f在尺度2-j下的細(xì)節(jié)部分,則離散Curvelet變換[12]的偽代碼如下:

(9)

B1=Bmin(圖像分塊區(qū)域大小);

forj=1:Jdo

對子帶ωj按Bj大小進行分塊,然后在每一分塊上分別進行Ridgelet變換;

ifjmod 2==1 thenBj+1=2Bj;

elseBj+1=Bj;}

離散Curvelet變換對圖像進行多尺度、多方向下的分解符合人類視覺系統(tǒng)感光的方式,能很好地表達圖像邊緣.

1.2　IHS變換

IHS變換是常用的遙感圖像融合方法之一,I、H、S分別反映圖像3個通道的特征:I為顏色亮度,H為色調(diào),S為飽和度.I表示圖像的空間分辨率;H與S表示圖像的光譜分辨率.采用IHS變換進行遙感圖像融合的主要步驟如下:先將多光譜圖像的3個波段分別放大映射到R、G、B通道,再對RGB彩色圖像進行IHS變換,然后將全色圖像與多光譜圖像變換后的I分量進行直方圖匹配后替換I分量,最后利用IHS反變換獲得融合圖像.

圖像的RGB 空間到IHS空間的變換如下:

(10)

(11)

(12)

IHS反變換為

(13)

1.3　融合算法描述

結(jié)合IHS變換和Curvelet變換的優(yōu)點,利用標(biāo)準(zhǔn)差法的融合規(guī)則,文中提出了新的高質(zhì)量全色和多光譜圖像的融合方法,具體步驟如下:

(1)采用雙線性插值法將多光譜圖像放大到全色圖像大小,并進行空間配準(zhǔn);

(2)三波段多光譜(R、G、B)圖像與全色圖像進行直方圖匹配;

(3)對多光譜圖像進行IHS變換(式(10)-(12)),生成I、H、S分量;

(4)分別對I分量和全色圖像進行Curvelet變換(式(9)),生成主系數(shù)C(x,y)和J個子帶系數(shù)ωj(x,y);

(5)采用標(biāo)準(zhǔn)差法將I分量和全色圖像PAN分解的主系數(shù)CI(x,y)和CPAN(x,y)進行融合,即在以處理像素為中心的局部區(qū)域內(nèi),標(biāo)準(zhǔn)差最大的系數(shù)為融合圖像的系數(shù).

(14)

其中Dst,I和Dst,PAN分別為I分量和全色圖像PAN的標(biāo)準(zhǔn)差,標(biāo)準(zhǔn)差Dst定義為

(15)

M、N分別為所取區(qū)域的行數(shù)和列數(shù),E(Ig(i,j))為區(qū)域內(nèi)亮度的平均值,Ig(i,j)為圖像在(i,j)處的亮度值.

(6)融合后主系數(shù)C′(x,y)與全色圖像的子帶系數(shù)ωj(x,y)組合,進行Curvelet變換合成,得到融合后的I′分量;

(7)對I′、H、S分量進行IHS反變換,得到高分辨率彩色圖像.

文中方法結(jié)合了IHS變換能較好保存光譜特性和Curvelet變換能較好保存空間信息的優(yōu)點.融合圖像中包含多光譜圖像豐富的光譜信息與全色圖像的細(xì)節(jié)信息,有利于圖像的識別和分類.

2仿真實驗與結(jié)果分析

為分析文中所提方法的性能,采用標(biāo)準(zhǔn)數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)將全色圖像和多光譜圖像進行融合,分別采用文中方法和IHS變換、小波變換、PCA變換進行仿真.

仿真采用標(biāo)準(zhǔn)測試圖像(如圖2(a)所示)和高分一號(GF-1)衛(wèi)星遙感數(shù)據(jù)作為實驗數(shù)據(jù).其中GF-1數(shù)據(jù)為LEVEL1A級,所成像為2014年6月8日的西安咸陽國際機場圖像.從主觀觀察來看,IHS融合方法由于只有I分量具有高分辨率信息,而其他兩個分量均為低分辨率信息,因此融合后的圖像較為模糊;小波變換和PCA變換是在各個子帶內(nèi)進行融合,因此保持了圖像的空間信息,但由于沒有考慮光譜信息,因此融合全色圖像后發(fā)生了光譜畸變.文中方法由于結(jié)合了Curvelet變換能較好保持空間信息和IHS變換能保持光譜特性的優(yōu)點,因此既較好地保存了多光譜圖像的光譜信息,又較好地融入了全色圖像的細(xì)節(jié)信息,融合效果比其他3種方法好.利用文中方法融合GF-1衛(wèi)星圖像(結(jié)果見圖3(c)),圖中飛機、候機廳房屋紋理清晰可見,圖像色彩與多光譜圖像相近,屋頂、草地色彩鮮艷,從主觀來看文中方法對衛(wèi)星圖像的融合是有效的.

圖像融合的客觀評價方法比較多,文中根據(jù)Wald等[13-14]提出的融合圖像評價標(biāo)準(zhǔn),對文中融合方法與基于IHS變換、PCA變換和小波變換的融合方法的5個統(tǒng)計指標(biāo)(圖像信息熵、平均梯度、相關(guān)系數(shù)、相對無量綱的全局誤差、通用圖像質(zhì)量指標(biāo))進行綜合比較.

(1)圖像信息熵是衡量圖像信息量的重要指標(biāo),對于一幅圖像,可認(rèn)為各像素的亮度值是相互獨立的,則此圖像的亮度(圖像最高亮度值為L)離散分布為p={p0,p1,…,pu,…,pL-1},pu為亮度值等于u的概率,圖像信息熵為

(16)

融合圖像的信息熵越大,表示融合后圖像的信息越豐富,融合質(zhì)量越好.

(2)平均梯度表征圖像的清晰程度,其公式為

(17)

一般來說,平均梯度越大,圖像層次越多,表示圖像越清晰,說明融合質(zhì)量越好.

(3)相關(guān)系數(shù)ccc反映兩幅圖像的相關(guān)程度,兩幅圖像越接近,ccc值越接近于1.相關(guān)系數(shù)定義為

(18)

其中,Ig,A(i,j)和Ig,B(i,j)分別為圖像A、B在(i,j)處的亮度值.

(4)相對無量綱的全局誤差eRGAS從整體上反映融合圖像的質(zhì)量,其值越小,融合光譜質(zhì)量越高.eRGAS定義為

(19)

式中,h/l是全色圖像與多光譜圖像的分辨率之比,rMSE(Bi)是第i個譜段融合前后的均方差,mi是第i個譜段圖像的平均值.

(5)通用圖像質(zhì)量指標(biāo)qUIQI[15]從相關(guān)性損失、像素輻射扭曲和對比度扭曲3個方面反映兩幅圖像的相似程度,通過比較融合前后圖像的qUIQI值,便可知道它們的相似情況,如果融合的兩幅圖像完全一樣,則其值應(yīng)為1.

(20)

對仿真圖像進行以上5種評價標(biāo)準(zhǔn)的比較,計算各融合圖像的信息熵、平均梯度、相關(guān)系數(shù)值、qUIQI值和eRGAS值，結(jié)果見表1.

從表中可以看出:文中方法較好地融入了全色圖像的空間信息,其中信息熵和平均梯度均反映了圖像的紋理特征,在一定程度上表征了融合圖像的細(xì)節(jié)特征,其熵值和平均梯度越大,表明融入空間信息越多;對于標(biāo)準(zhǔn)圖像和GF-1圖像,采用文中方法融合的圖像熵值在各譜段內(nèi)均大于其他3種方法,平均梯度在一個譜段次于小波融合算法.相關(guān)系數(shù)值、qUIQI值和eRGAS值反映了融合后圖像與原始多光譜圖像的相似程度,也就是光譜信息的保持程度,從表1中可以看出,文中方法的qUIQI值和ERGAS值優(yōu)于其他3種方法,盡管在相似系數(shù)上略差于基于小波變換和PCA變換的融合方法,但從總體來看,還是優(yōu)于基于小波變換的融合方法.這說明文中方法融合圖像損失的相關(guān)信息最少、像素輻射扭曲和對比度扭曲程度低,與融合前的多光譜圖像相似程度最高,綜合空間和頻譜特征兩方面,采用文中方法融合的圖像質(zhì)量優(yōu)于其他方法.

表1幾種方法融合圖像的性能對比

Table 1　 Performance comparison of fusion images by several methods

圖2各算法對標(biāo)準(zhǔn)測試圖像的融合結(jié)果

Fig.2Fusion results of each algorithm on standard test image

圖3各算法對GF-1衛(wèi)星數(shù)據(jù)的融合結(jié)果

Fig.3Fusion results of each algorithm on GF-1 satellite data

3結(jié)論

全色圖像和多光譜圖像融合是獲得高分辨率遙感彩色圖像的常用技術(shù)之一.文中結(jié)合IHS變換能較好地保留光譜特性和Curvelet變換能較好地保存空間信息的優(yōu)點,提出了基于IHS變換和Curvelet變換的遙感圖像融合方法.仿真實驗結(jié)果表明,文中方法的綜合融合效果優(yōu)于其他3種方法.文中方法雖然是針對衛(wèi)星遙感圖像融合進行設(shè)計的,但對其融合規(guī)則進行適當(dāng)修改后也可適用于其他類型圖像的融合.

參考文獻:

[1]ZHU X X,BAMLER R A.Sparse image fusion algorithm with application to pan-sharpening [J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(5):2827-2836.

[2]POHL C,GENDEREN J L.Multisensor image fusion in remote sensing:concepts,methods and application [J].International Journal of Remote Sensing,1998,9(5):823-854.

[3]DONG Z Y,WANG Z M,LIU D W,et al.SPOT5 multi- spectral(MS) and panchromatic(PAN) image fusion using an improved wavelet method based on local algorithm [J].Computers and Geosciences,2013,60(10):134-141.

[4]LIU Y P,JIN J,WANG Q,et al.Region level based multi- focus image fusion using quaternion wavelet and norma-lized cut [J].Signal Processing,2014,97(7):9-30.

[5]NAIDU V P S.Hybrid DDCT-PCA based multi sensor image fusion [J].Journal of Optics,2014,43(1):48- 61.

[6]孫季豐,洪博宇.基于壓縮傳感理論的多聚焦圖像融合方法 [J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2012,40(8):51-55.

SUN Ji-feng,HONG Bo-yu.Multi-focus image fusion met-hods based on compressive sensing theory [J].Journal of South China University of Technology(Natural Science Edition),2012,40(8):51-55.

[7]RAMAKRISHNAN N K,SIMON P.A bi-level IHS transform for fusing panchromatic and multispectral images [M]∥Pattern Recognition and Machine Intelligence.Berlin/Heidelberg:Springer,2013:367-372.

[8]ZHOU X R,LIU J,LIU S G.A GIHS-based spectral pre-servation fusion method for remote sensing images using edge restored spectral modulation [J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,88(2):16-27.

[9]DONOHO D L,DUNCAN M R.Digital curvelet transform:strategy,implementation and experiments [C]∥ Proceedings of SPIE.San Jose:SPIE,2000:12-30.

[10]CANDES E J,DONOHO D L.Curvelets:a surprisingly effective nonadaptive representation for objects with edges [C]∥Curve and Surface Fitting:Saint-Malo 1999.Nashville:Vanderbilt University Press,1999.

[11]DONOHO D L.Fast ridgelet transforms in dimension 2[R].Stanford:Department of Statistics,Stanford University,1997.

[12]STARCK J,NGUYEN M K,MURTAGH F.Deconvolution based on the curvelet transform [C]∥Proceedings of 2003 International Conference on Image Processing.Barcelone:IEEE,2003:993-996.

[13]WALD L,MANGOLINI M.Fusion of satellite images of different spatial resolutions assessing the quality of resulting images [J].Photogrammetry Engineering and Remote Sensing,1997,63(6):691-699.

[14]WALD L.Quality of high resolution synthesised images:is there a simple criterion [C]∥Proceedings of the Third Internation Conference “Fusion of Earth Data:Merging Point Measurements,Raster Maps and Remotely Sensed Images”.Sophia Antipolis:SEE/URISCA,2000:99-103.

[15]WANG Z,BOVIK A C.A universal image quality index [J].IEEE Signal Processing Letters,2002,9(3):81- 84.

A Fusion Method of Satellite Remote Sensing Image Based on IHS

Transform and Curvelet Transform

XIAOHua-chaoZHOUQuanZHENGXiao-song

(Academy of Electronic Information Technology, China Academy of Space Technology， Xi’an 710100, Shaanxi, China)

Abstract:The fusion of panchromatic images and multi spectral ones is one of the most commonly-used methods to compose high-resolution color remote sensing images. In order to achieve high-quality color images, it is necessary to fuse the high spatial resolution of panchromatic images and preserve the spectral characteristics of multi spectral images. In this paper, a novel fusion method of remote sensing images on the basis of the IHS transform and the Curvelet transform is proposed to improve the quality of fusion images. In the method, first, the RGB multi spectral images are converted into the IHS images. Then, the panchromatic image and the I component refering to spatial resolution are handled through the Curvelet transform, and are fused by means of the standard difference method. Finally, the high-quality color images are achieved through the inverse transforms. Experimnetal results show that the images fused through the proposed method are superior to those through the other methods in terms of entropy, relatively-dimensionless global error and universal image quality index, and are equivalent to those through the wavelet transform and the PCA transform in terms of average gradient and correlation coefficient. Overall, the proposed method has better fusion performance than the other three typical methods.

Key words:image fusion； multi spectral image； panchromatic image； Curvelet transform； IHS transform

doi：10.3969/j.issn.1000-565X.2016.01.009

中圖分類號：TP391

作者簡介：肖化超(1985-),男,博士生,工程師,主要從事空間數(shù)據(jù)處理與傳輸研究.E-mail:xiaohc@cast504.com

*基金項目：國家自然科學(xué)基金資助項目(61372175)

收稿日期：2015- 05-12

文章編號：1000-565X(2016)01- 0058- 07

Foundation item： Supported by the National Natural Science Foundation of China(61372175)