基于Curvelet和改進(jìn)區(qū)域方差的遙感圖像融合

欒 靜， 殷 明， 于立萍， 白瑞峰， 水 珺

（合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院，安徽 合肥 230009）

0 引 言

遙感圖像的融合是利用數(shù)據(jù)間的互補(bǔ)性和冗余性，將多光譜圖像和全色圖像進(jìn)行融合，使融合后的圖像在保持原始光譜特性的同時(shí)盡可能增加圖像的空間細(xì)節(jié)信息描述，既提高了遙感圖像的質(zhì)量，又有利于遙感圖像的分類和目標(biāo)識(shí)別等后續(xù)處理。目前關(guān)于多光譜圖像與高分辨率圖像的融合方法主要有HIS變換方法［1］、主成分分析法（PCA）［2］、基 于 張 量 積 離 散 小 波 變 換 方 法（DWT）［3］、基于Contourlet小波變換［4］及Curvelet變換方法［5］、改進(jìn)的非下采樣的Contourlet變換結(jié)合脈沖神經(jīng)耦合的圖像融合方法［6］、基于四元數(shù)小波［7］及文獻(xiàn)［8］中的一些新型小波的融合方法。HIS變換方法得到的融合圖像有較高的空間分辨率，但融合后圖像的光譜信息損失嚴(yán)重；主成分分析法融合則會(huì)失去圖像原有的物理特性，且實(shí)現(xiàn)運(yùn)算量大、計(jì)算復(fù)雜度高，無(wú)法滿足現(xiàn)在遙感圖像融合的需求；Contourlet變換具有很好的方向信息，但同樣不具有平移不變性；Curvelet變換是一種新的多尺度分析圖像處理工具，它比小波變換更加適合分析二維圖像邊緣特征，具有很強(qiáng)的方向性。文獻(xiàn)［9］采用Curvelet結(jié)合HIS變換的融合方法，用全色圖像的高頻分量替代多光譜圖像的高頻分量，但是忽略了全色圖像低頻分量所攜帶的信息，而且丟失了多光譜圖像的高頻分量所含的細(xì)節(jié)信息，從融合結(jié)果看會(huì)出現(xiàn)較嚴(yán)重的光譜失真和融合的圖像對(duì)比度低；文獻(xiàn)［10］采用了Contourlet變換和HIS變換相結(jié)合的融合方法，用亮度I分量的低頻部分替代全色圖像的低頻分量作為新的低頻系數(shù)，高頻分量的融合方法采用最大值法得到新的高頻系數(shù)，此融合方法不僅丟失了全色圖像的低頻信息，而且高頻融合方法容易使源圖像的冗余信息丟失，且在融合圖像中帶來(lái)一些人工信息。

根據(jù)以上分析及遙感圖像的特點(diǎn)，為更大程度地提高圖像的空間分辨率和光譜分辨率，本文提出一種HIS變換結(jié)合Curvelet變換的新融合算法對(duì)全色圖像和多光譜圖像進(jìn)行融合，高頻子帶融合使用拉普拉斯能量和結(jié)合改進(jìn)的加權(quán)平均算子，低頻子帶使用改進(jìn)的區(qū)域方差加權(quán)分析法對(duì)全色圖像和多光譜圖像進(jìn)行融合。實(shí)驗(yàn)表明：本文圖像融合技術(shù)能夠更充分地提取原圖像的細(xì)節(jié)信息，使融合圖像的邊緣及輪廓更加平滑，而且提高了圖像的整體對(duì)比度及清晰度，更好地保留了光譜信息。

1 Curvelet小波變換理論

Curvelet變換是一種新的圖像融合的多尺度幾何分析工具，由文獻(xiàn)［11］在Ridgelet理論基礎(chǔ)上首次提出，稱為第1代Curvelet，其主要部分是Ridgelet變換和子帶分解。第1代Curvelet變換與小波變換相比增加了一個(gè)方向參量，但是其需要子帶分解、平滑分塊、正規(guī)化和ridgelet分析等，并且Curvelet金字塔的分解會(huì)造成很大的冗余量。文獻(xiàn)［12］提出了實(shí)現(xiàn)更簡(jiǎn)單、快速的第2代Curvelet變換，它繼承和發(fā)展了小波分析良好的空域和頻域的局部特征，優(yōu)點(diǎn)是在細(xì)尺度下各特征高度各向異性，能更好地逼近曲線和直線，且能很好地稀疏表達(dá)圖像，使信號(hào)能量集中，在描述圖像的邊緣細(xì)節(jié)和紋理集合特征上有更好的優(yōu)勢(shì)。相對(duì)于適合描述圖像幾何特征的小波變換，Curvelet變換更適合圖像處理，在圖像融合中比傳統(tǒng)的小波能更好地提取和描述圖像的特征，為融合圖像保留更多的原始數(shù)據(jù)［13］?；贑urvelet變換的圖像變換流程如圖1所示。關(guān)于第2代Curvelet的理論詳見文獻(xiàn)［14］。

圖1 Curvelet分解與合成

2 Curvelet變換和HIS相結(jié)合的方法

2.1 基于Curvelet變換域的基本框架

基于Curvelet變換的圖像融合算法如圖2所示，主要步驟如下：

（1）對(duì)多光譜圖像進(jìn)行HIS變換，分別得到I、H、S分量。

（2）對(duì)全色圖像與I分量進(jìn)行直方圖匹配，對(duì)匹配后的全色圖像Pan選取窗口大小為5×5的均值濾波，然后和I分量執(zhí)行SFIM得到新的I分量，即

其中，Panmean為對(duì)Pan均值濾波后的圖像；Inew為最后得到的新的I分量。

（3）對(duì)新的亮度分量I和全色圖像Pan進(jìn)行Curvelet變換，分別獲得其高頻和低頻分量。

（4）對(duì)低頻系數(shù)采用改進(jìn)的區(qū)域加權(quán)方差進(jìn)行融合，對(duì)高頻系數(shù)采用拉普拉斯能量和“加權(quán)平均”算子進(jìn)行融合。

（5）對(duì)融合后的系數(shù)采用Curvelet逆變換進(jìn)行重構(gòu)。

（6）逆HIS變換，得到融合圖像。

圖2 基于Curvelet變換的圖像融合算法

2.2 低頻子帶融合規(guī)則

多光譜圖像的亮度分量I與全色圖像經(jīng)過(guò)Curvelet變換后得到的低頻分量是圖像的近似部分，包含了主要能量。目前對(duì)低頻系數(shù)的處理大多采用平均規(guī)則［15］，此方法雖然實(shí)現(xiàn)簡(jiǎn)單，但在一定程度上降低了圖像的對(duì)比度，造成源圖像有用信息的丟失，從而使光譜嚴(yán)重失真。對(duì)于低頻系數(shù)的融合要盡量保持圖像的光譜信息，增強(qiáng)整體圖像的對(duì)比度，故本文低頻系數(shù)融合采用改進(jìn)的區(qū)域方差加權(quán)分析法。文獻(xiàn)［16］采用的區(qū)域方差取最大值的融合方法，在圖像相應(yīng)像素點(diǎn)局部區(qū)域方差相差較大時(shí)具有很好的融合效果，但在局部區(qū)域方差相差不大時(shí)，該方法會(huì)丟失圖像的有用信息。為了解決這個(gè)問題，本文提出了一種帶閾值T的區(qū)域方差加權(quán)融合方法，且在方差相差較小時(shí)定義一種和閾值相關(guān)的加權(quán)系數(shù)進(jìn)行融合，此方法能更好地獲取2幅圖像的有用信息。低頻系數(shù)融合規(guī)則如下：

設(shè)αk（i，j）（k＝1，2分別表示待融合的2幅圖像A和B）表示第k個(gè)圖像（i，j）處的系數(shù)值，μk（i，j）表示以（i，j）為中心的3×3鄰域均值，（i，j）表示3×3鄰域方差，即

（1）根據(jù)方差公式分別對(duì)源圖像A和B計(jì)算3×3區(qū)域的方差（i，j）和（i，j）。

（2）定義dif＝｜ω1－ω2｜，當(dāng)dif≥T時(shí)位置（i，j）處低頻分量融合系數(shù)αF（i，j）求解方法為：

（3）當(dāng)dif＜T時(shí)，定義ω＝［1－（1－dif）／（1－T）］／2，故位置（i，j）處低頻分量融合系數(shù)αF（i，j）求解方法為：

2.3 高頻系數(shù)的融合

經(jīng)Curvelet變換以后得到的高頻系數(shù)包含圖像的細(xì)節(jié)信息，如邊緣、輪廓等。目前多數(shù)高頻系數(shù)融合都采用高頻系數(shù)絕對(duì)值、局部能量或局部方差最大的融合規(guī)則。當(dāng)源圖像被噪聲污染時(shí)，噪聲的信息量或能量也會(huì)被誤當(dāng)作高頻特征被保留，而且“絕對(duì)值最大”的方法易使源圖像的冗余信息丟失，且在融合圖像中帶來(lái)一些“人工信息”。文獻(xiàn)［17］中使用拉普拉斯能量和算子在融合算法上直接取最大值，當(dāng)源圖像的拉普拉斯能量和相差不大時(shí)，采用最大值法會(huì)丟失一部分細(xì)節(jié)信息。因此本文采用一種結(jié)合拉普拉斯能量和與改進(jìn)的加權(quán)平均算法來(lái)融合高頻系數(shù)，此方法考慮了區(qū)域中心像素對(duì)上下、左右、對(duì)角鄰域點(diǎn)之間的相關(guān)性，且在融合方法上設(shè)定了閾值M結(jié)合“加權(quán)平均”。此方法較好地避免了當(dāng)源圖像拉普拉斯能量和相差不大時(shí)易丟失數(shù)據(jù)的缺點(diǎn)，能捕獲較多源圖像的細(xì)節(jié)信息，增強(qiáng)了圖像的清晰度和分辨率，獲得更好的視覺效果。拉普拉斯（NML）能量和算法如下：

其中，NMLl，k（i，j）為l尺度k方向上（i，j）位置的拉普拉斯能量和；Fl，k（i，j）為l尺度k方向上（i，j）的系數(shù)；step為系數(shù)間的可變間距。

改進(jìn)的拉普拉斯能量和（NMSL）定義為：

其中，M為區(qū)域窗口，大小為（2M＋1）×（2N＋1）。經(jīng)實(shí)驗(yàn)采用3×3的窗口，權(quán)值矩陣ω為：

根據(jù)改進(jìn)的拉普拉斯能量和算子公式求出源圖像A和B的 NSML（i，j）和 NSML（i，j），然后計(jì)算：

令D＝｜NSML（i，j）－NSML（i，j）｜，當(dāng)D≥M時(shí)，高頻系數(shù)的融合為：

當(dāng)D＜M時(shí)，高頻系數(shù)融合為：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 客觀評(píng)價(jià)指標(biāo)

平均梯度（AG）定義為（13）式。平均梯度反映了圖像的清晰程度，還反映出圖像中微小細(xì)節(jié)反差和紋理變換特征。平均梯度越大，圖像層次越多，也越清晰。

其中，ΔxF（i，j）、ΔyF（i，j）分別為F（i，j）在x、y方向上的一階差分。

標(biāo)準(zhǔn)差std定義為：

其中，M、N為圖像的大?。籉（i，j）為圖像在（i，j）處的像素值；μ為其均值。標(biāo)準(zhǔn)差反映了圖像灰度相對(duì)于平均亮度的離散情況，標(biāo)準(zhǔn)差越大，則灰度分級(jí)越分散。

均值mean定義為：

對(duì)一副圖像來(lái)說(shuō)，均值反映了圖像的平均亮度，如果均值適中則表明視覺效果良好。

信息熵entropy定義為：

其中，L為圖像的灰度級(jí)總數(shù)；pi為灰度值是I的像素的概率分布。熵越大，說(shuō)明融合后的圖像信息增加得越多，所含圖像信息更豐富。

3.2 實(shí)驗(yàn)結(jié)果與融合評(píng)價(jià)

為了說(shuō)明本文方法的優(yōu)越性，本文采用了HIS方法、PCA方法、HIS＋小波變換的方法進(jìn)行了對(duì)比實(shí)驗(yàn)。第1組、第2組實(shí)驗(yàn)對(duì)比效果分別如圖3、圖4所示，第1組、第2組遙感圖像實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)分別見表1、表2所列。

由圖3、圖4可以看出，圖3c和圖4e整體比較暗淡，對(duì)比度較低；圖3d和圖4d整體過(guò)于平滑；圖3e和圖4e紋理及邊緣相對(duì)模糊；圖3f和圖4f中是采用文獻(xiàn)［9］方法得到的融合圖像，利用Curvelet變換，高頻融合絕對(duì)值取大、低頻采用光譜圖像的亮度分量的融合規(guī)則；圖3g和圖4g是文獻(xiàn)［10］方法得到的融合圖像，利用Contourlet變換，高頻用全色圖像的高頻系數(shù)、低頻使用多光譜圖像亮度分量的低頻分量的融合規(guī)則。由圖3、圖4可知，本文方法比其他方法有更好的視覺效果和清晰度、對(duì)比度。

從表1、表2中可以看出，本文方法的平均梯度、像素均值、方差和信息熵都優(yōu)于其他方法，圖像的平均梯度、信息熵高表明有更高的空間分辨率；方差高則圖像保證了較高的信息量；像素均值高表明圖像的平均亮度相對(duì)較高、視覺效果較好。

圖3 第1組在不同融合方法下的融合圖像

圖4 第2組在不同融合方法下的融合圖像

表1 不同融合方法對(duì)第1組圖像融合結(jié)果的比較

表2 不同融合方法對(duì)第2組圖像融合結(jié)果的比較

4 結(jié)束語(yǔ)

針對(duì)遙感圖像的特性及融合算法的缺點(diǎn)，本文提出了基于Curvelet變換的遙感圖像融合方法，低頻使用改進(jìn)的區(qū)域方差加權(quán)、高頻使用拉普拉斯能量和結(jié)合改進(jìn)的加權(quán)平均算子的算法。實(shí)驗(yàn)表明，該方法綜合了小波變換和HIS方法的優(yōu)點(diǎn)，改進(jìn)了融合高頻和低頻的算法，提高了融合圖像的分辨率和對(duì)比度，更好地保留了源圖像的光譜特性，獲得了很好的圖像邊緣及紋理信息，更適合人眼視覺和機(jī)器感知的特性。

［1］ Choi M.A new intensity－h(huán)ue－saturation fusion approach to image fusion with a tradeoff parameter［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，44（6）：1672－1682.

［2］ Ehlers M.Multisensor image fusion techniques in remote sensing［J］.ISPRS Journal of Photogrammetry and Remote Sensing，1991，46（1）：19－30.

［3］ Yocky D A.Image merging and data fusion by means of the discrete two－dimensional wavelet transform［J］.Journal of Optical Society of America，Part A，1995，12（9）：1834－1841.

［4］ Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation［J］.IEEE Transactions on Image，2005，14（12）：2091－2106.

［5］ 沙 浩，江 平.基于分類準(zhǔn)則的非下采樣Contourlet變換域圖像去噪［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，36（7）：892－896.

［6］ 劉 慧，周可法，王金林，等.改進(jìn)NSCT和IHS變換相結(jié)合的遙感影像融合［J］.中國(guó)圖象圖形學(xué)報(bào)，2014，19（2）：322－327.

［7］ 殷 明.四元數(shù)小波變換理論及其在圖像處理中的應(yīng)用研究［D］.合肥：合肥工業(yè)大學(xué)，2012.

［8］ 劉 衛(wèi).新型小波變換域圖像去噪及融合算法研究［D］.合肥：合肥工業(yè)大學(xué)，2013.

［9］ Valizadeh S A，Ghassemian H.Remote sensing image fusion using combining IHS and curvelet transform［C］／／International Symposium on Telecommunications.IEEE，2012：1184－1189.

［10］ Huang D，Yang M.SAR and multi－spectral images fusion based on contourlet and HIS transform［C］／／2010 6th International Conference on Wireless Communications Networking and Mobile Computing.IEEE，2010：1－4.

［11］ Candès E J，Donoho D J.Curvelet：a surprising effective non－adaptive representation for objects with edges［M］.Nashville，TN：Vanderbilt University Press，2000：1－10.

［12］ Candès E J，Donoho D L.New tight frames of curvelets and optimal representations of objects with piecewiseC2singularities［J］.Communications on Pure and Applied Mathematics，2004，57（2）：219－266.

［13］ 路雅寧，郭 雷，李暉暉.基于曲波活性測(cè)度的SAR與多光譜圖像融合［J］.計(jì)算機(jī)應(yīng)用研究，2012，29（11）：4360－4363.

［14］ Candès E，Demanet L，Donoho D，et al.Fast discrete curvelet transforms［J］.Multiscale Modeling and Simulation，2006，5（3）：861－899.

［15］ 劉成云，常發(fā)亮，劉春生，等.區(qū)域特征動(dòng)態(tài)加權(quán)的IHS小波遙感圖像融合［J］.計(jì)算機(jī)工程，2012，38（8）：198－200.

［16］ Wang Enjun，Wu Qing，Chu Xiumin，et al.Research on road image fusion enhancement technique based on wavelet transform［C］／／2008IEEE Vehicle Power and Propulsion Conference.IEEE，2008：1－5.

［17］ Tian H，F(xiàn)u Y，Wang P G.Image fusion algorithm based on regional variance and multi－wavelet bases［C］／／2010 2nd International Conference on Future Computer and Communication，Vol 2.IEEE，2010：792－795.