基于EMD的SAR與全色影像融合算法

陳　云　劉　廣　廖靜娟

1(中國科學院遙感與數(shù)字地球研究所　北京 100094)2(中國科學院大學　北京 100049)

?

基于EMD的SAR與全色影像融合算法

陳云1,2劉廣1廖靜娟1

1(中國科學院遙感與數(shù)字地球研究所北京 100094)2(中國科學院大學北京 100049)

摘要針對傳統(tǒng)融合方法不能有效處理非線性、非平穩(wěn)信號等問題，提出一種基于經(jīng)驗模態(tài)分解(EMD)的合成孔徑雷達(SAR)與全色影像融合方法。該方法首先對全色影像和降噪后的SAR影像進行EMD分解，然后采用基于區(qū)域特征的融合規(guī)則分別對高頻和低頻部分進行融合，最后通過EMD逆變換得到融合圖像。該方法可以有效處理非線性、非平穩(wěn)信號且具有完全自適應性。實驗結果表明，基于該算法的融合圖像滿足圖像融合要求，且融合效果優(yōu)于小波變換法及曲波變換。

關鍵詞SAR全色影像圖像融合EMD算法

0引言

SAR傳感器是一種可以全天時全天候采集數(shù)據(jù)的主動傳感器，并且能夠探測諸如地形地貌、厚度和表面粗糙度等特征的幾何形狀和結構[1]。但是由于SAR圖像中斑點噪聲的存在以及目標的微波反射特性受頻率、極化方式等因素的影響，僅利用SAR影像進行目標檢測和識別較為困難[2]。而全色光學遙感影像通常具有較高的空間分辨率，可以獲得地物的輪廓信息，且邊緣清晰。但光學傳感器易受陰雨天氣和大氣衰減等因素的影響。因此，將SAR與全色影像進行融合，充分利用其互補性，可以為后續(xù)處理如目標識別、變化監(jiān)測等提供更多有價值的信息[3,4]。

由于SAR與全色影像成像機理、波譜特性完全不同，且均為單波段圖像，將常用于多光譜與全色影像的融合方法如IHS、PCA等用于SAR與全色影像融合都無法取得理想效果[5]。相對于其他多源遙感圖像融合算法而言，SAR與全色圖像的融合算法研究較晚，已有的算法也較少[6]。多分辨率分解方法(MSD)能夠?qū)D像分解到不同尺度下，其分解過程與人類視覺系統(tǒng)分層次理解的特點非常相似[7]，且分解后各分量對應圖像不同信息?？紤]到多分辨率分解方法的以上特點，一些學者認為將該方法應用在融合中可以得到較好的融合結果，并針對SAR與全色影像選擇合適的融合規(guī)則，提出了相應的融合方法[8-13]。文獻[9]提出一種基于二維離散小波變換的融合算法，對小波分解后的高頻與低頻部分分別采用加權融合思想，但加權系數(shù)需要根據(jù)不同的應用來調(diào)整。文獻[11]利用à trous小波分解算法將全色影像的高頻部分與低頻部分進行分離，然后對高頻部分進行選擇加入到SAR影像中，而對全色影像的低頻部分則全部忽略。文獻[13]利用可以表示各項異性的曲波變換實現(xiàn)了SAR與全色影像的融合，但由于其采取高頻低頻部分都取大的融合規(guī)則，融合后圖像會遮蓋一些SAR影像中比較暗的邊緣細節(jié)信息。雖然以上算法均取得了一定的效果，但它們所利用分解方法不適用于非平穩(wěn)信號，并且均采用基于像元的融合規(guī)則。

最早由Huang等[14]提出的經(jīng)驗模態(tài)分解(EMD)是一種可以高效研究和分析信號的工具。鑒于EMD具有的完全自適應性以及在處理非線性、非平穩(wěn)信號方面較小波變換具有的優(yōu)勢，EMD已經(jīng)在圖像壓縮、圖像去噪、紋理分析等方面得以應用[15,16]并取得了較好的實驗結果。

基于以上分析，本文將EMD用于SAR與全色影像融合，并且提出一種基于區(qū)域特征的自適應的融合規(guī)則。算法首先對全色影像和降噪后的SAR影像進行EMD分解，然后采用基于區(qū)域特征的融合規(guī)則分別對高頻和低頻部分進行融合，最后通過EMD逆變換得到融合圖像。

1基于EMD的SAR與全色影像融合算法

SAR能夠記錄地面物體對雷達波的反射特性，對水體、居民地和植被比較敏感，并且SAR影像中含有豐富的紋理信息(如圖1(a)所示)。而全色影像可以獲得地物的輪廓信息，且邊緣清晰(如圖2(a)所示)。將SAR與全色影像進行融合，使融合后圖像在保留全色圖像的邊緣、輪廓等結構信息的同時，添加SAR影像所特有的地物特征信息描述。

EMD能夠根據(jù)信號本身的特點自適應地將信號分解成多個分量，即固有模態(tài)函數(shù)(IMF)，且可以有效地處理非線性、非平穩(wěn)信號。對于給定SAR影像與全色影像，基于EMD的融合方法的具體步驟為：

1) 預處理

利用增強LEE濾波對SAR影像FSAR進行降噪處理得到降噪影像FSF，并將得到降噪影像FSF與光學全色影像FPAN進行配準。

2) EMD變換

分別對降噪圖像FSF和全色影像FPAN進行EMD分解。

對于給定降噪圖像FSF第m行FSF(m)的EMD變換可以通過以下篩選步驟實現(xiàn)：

(1)

圖1　SAR影像及其分解的IMF分量

圖2　全色影像及其分解的IMF分量

從EMD分解過程及圖1、圖2可以看出，第1個IMF分量包含了小尺度的成分，主要表現(xiàn)為圖像的輪廓和細節(jié)信息；第2個IMF分量包含了次小尺度成分，依次往下，且包含的極值點數(shù)目也逐漸減少，即信號經(jīng)EMD分解后能夠?qū)崿F(xiàn)圖像從高頻到低頻分離。因此，可以利用多分辨率分解方法——EMD實現(xiàn)SAR與全色影像的多尺度分解。

3) 融合

針對SAR與全色圖像來講，融合的目的是既保留SAR與全色圖像的邊緣、輪廓、紋理等結構信息，又能添加SAR和全色圖像所特有的地物特征信息描述?？紤]到圖像的區(qū)域特征是由某一局部區(qū)域的多個像素體現(xiàn)的，且區(qū)域內(nèi)各像素之間有較強的相關性，基于區(qū)域特征的融合規(guī)則較基于像素的融合規(guī)則具有一定的優(yōu)越性，并在融合中取得了較好的融合結果[17]。因此，本文設計了一種新的基于區(qū)域特征的加權融合規(guī)則，其具體的實現(xiàn)為：

(2)

(3)

(4)

(5)

(6)

(7)

4) EMD逆變換

(8)

基于EMD的SAR與全色影像融合算法的技術流程圖如圖3所示。

圖3　算法技術流程圖

2實驗

2.1實驗環(huán)境及實驗數(shù)據(jù)

實驗是在3.00 GHz Intel(R) Core(TM)2 Duo CPU，內(nèi)存為8 GB，操作系統(tǒng)為64位Windows 7的微機上進行，編程環(huán)境為Matlab R2012b。

實驗中SAR圖像為COSMO SkyMed數(shù)據(jù)的地理編碼橢球體糾正(GEC)產(chǎn)品，空間分辨率為2.5 m×2.5 m，獲取時間為2012年1月16日。全色影像為高分一號PSM1于2013年9月21日獲取的全色影像，空間分辨率為2 m×2 m。為更好說明文中方法的有效性，選擇了包括水體、農(nóng)田、建筑、植被等地物的區(qū)域和城鎮(zhèn)區(qū)域進行實驗，圖幅大小均為512×512像素。

2.2評價指標

由于主觀評價具有主觀性、不確定性、不全面性，為了更客觀地評價融合結果，選擇信息熵、平均梯度、空間頻率指標對融合圖像進行評價。

信息熵[7]是衡量影像信息豐富程度的一個重要指標。融合圖像的熵越大，表示融合圖像的信息量增加，融合圖像所含的信息越豐富，融合質(zhì)量越好。

(9)

式中pi為影像F(x, y)中像素灰度值為i的概率，L為影像的灰度級數(shù)。

平均梯度[7]可以用來衡量圖像的清晰度，同時還可以敏感地反映圖像中微小細節(jié)反差及紋理變化特征，其計算公式如下:

(10)

其中，ΔIx和ΔIy分別為x和y方向上的差分。

空間頻率[7]體現(xiàn)了一幅圖像空間的總體豐富程度，該值越大，則表示融合后圖像信息越豐富。空間頻率公式定義為：

(11)

其中，RF、CF分別為空間行頻率、空間列頻率：

(12)

(13)

2.3實驗結果與分析

由于SAR系統(tǒng)相干成像的特點，SAR圖像會受到斑點噪聲的污染。采用增強Lee濾波法對SAR圖像進行噪聲抑制，并對濾波后SAR圖像與全色影像進行配準。為了更好地分析文中算法的有效性，選擇以下算法進行對比：算法1采用文獻[9]中二維離散小波變換融合算法，融合規(guī)則為高頻和低頻部分均采用加權融合思想。算法2采用文獻[11]中à trous分解方法，對高頻部分的小波系數(shù)進行選擇，直接添加到SAR圖像中。算法3采用文獻[13]中曲波變換融合算法，采取低頻高頻都取大的融合規(guī)則。算法中需要選擇小波基與分解層數(shù)的變換均選擇db4小波基，分解層數(shù)均為3。圖4、圖5分別為兩個實驗區(qū)域基于不同融合方法的融合實驗結果，表1、表2為對應的不同融合算法的客觀評價指標。

圖4　區(qū)域1融合方法比較

圖5　區(qū)域2融合方法比較

融合方法信息熵平均梯度空間頻率SAR圖像7.654716.241627.5024全色圖像5.882913.015326.3894算法17.858816.502227.5391算法27.537710.170017.2792算法37.670516.621628.3192文中算法7.571316.706030.1684

表2　區(qū)域2不同融合算法的評價指標

從目視效果來看，兩個區(qū)域中各融合方法得到的融合圖像較原始SAR圖像均在一定程度上加入了全色圖像信息，但算法2與算法3中保留了較多的SAR影像的信息，而全色影像信息卻較少；算法1與文中算法較其他兩個方法得到的融合圖像更加清晰，且包含了更多的細節(jié)信息。

表1中各融合算法得到的融合圖的評價指標表明，針對區(qū)域1，本文算法得到的融合圖像的信息熵略低于算法1、算法3，但其平均梯度與空間頻率明顯高于其他算法。從表2中的不同融合算法的客觀評價指標可以看出，對于區(qū)域2(城鎮(zhèn)區(qū)域)，各方法得到的融合圖像較原始圖像信息熵均有所提高。文中方法得到的融合圖像的信息熵、平均梯度以及空間頻率較原始單一圖像有明顯的提高，且高于其他融合方法。即文中方法在融入SAR重要信息的同時，較好地保持了全色圖像的高分辨率特征，且融合效果整體上優(yōu)于其他融合方法。由于雷達信號在城鎮(zhèn)區(qū)域的非平穩(wěn)性更加突出，文中算法在城鎮(zhèn)區(qū)域的優(yōu)越性表現(xiàn)的尤為明顯。另外，雖然算法2中采用的à trous變換較算法1中利用的普通小波變換具有一定優(yōu)勢。如不需要抽樣和插值、易于獲取影像細節(jié)特征，具有平移不變性，但是由于在融合的過程中。采用了直接對全色影像中的高頻信息進行選擇加入到SAR圖像中。對于全色低頻部分的信息完全忽略的融合規(guī)則，導致得到的融合圖像效果并不理想。這也表明，融合規(guī)則的優(yōu)劣直接影響融合的質(zhì)量，這在一定程度上也驗證了文中融合規(guī)則的有效性。

3結語

本文結合基于區(qū)域特征的自適應加權融合規(guī)則，提出了一種基于EMD的SAR與全色影像融合方法。該方法具有自適應性，且可以有效處理非線性、非平穩(wěn)信號。實驗結果表明，利用該算法得到的融合圖像充分地綜合了SAR與全色影像的互補信息，且融合效果優(yōu)于小波變換法及曲波變換法。將融合后圖像應用于目標識別與地物分類是下一步的工作內(nèi)容。

參考文獻

[1] Gormus E T,Canagarajah C N,Achim A M.Exploiting spatial domain and wavelet domain cumulants for fusion of SAR and optical images[C]//Proceedings of 2010 IEEE 17thInternational Conference on Image Processing (ICIP 2010),2010:1209-1212.

[2] Gungor O,Shan J.An optimal fusion approach for optical and SAR images[C]//Proc.ISPRS Commission VIIMid-term Symp,2006,18:111-116.

[3] Longbotham N,Chaapel C,Bleiler L,et al.Very high resolution multiangle urban classification analysis[J].IEEE Trans.Geosci.Remote Sens,2012,50(4):1155-1170.

[4] Vidal A,Moreno M R.Change detection of isolated housing using a new hybrid approach based on object classification with optical and Terrasar-X data[J].Int. J. Remote Sens,2011,32(24):9621-9635.

[5] Ma Y,Zhai Y,Geng P,et al.A Novel Algorithm of Image Fusion Based on PCNN and Shearlet[J].International Journal of Digital Content Technology and its Applications(JDCTA),2011,5(12):347-354.

[6] 余連生.SAR與全色遙感圖像的小波域融合算法研究[D].國防科學技術大學,2010.

[7] 余連生,文貢堅,李智勇,等.基于SIDWT的遙感圖像融合算法[J].計算機工程,2011,37(17):197-199.

[8] Alparone L,Facheris L,Baronti S,et al.Fusion of multispectral and SAR images by intensity modulation[C]//Proc.7th Int’l Conf. Information Fusion (Fusion 2004),2004:637-643.

[9] 鐘志勇,陳鷹.多源信息融合中小波變換的應用研究[J].測繪學報,2002,31(5):56-60.

[10] 宋建社,鄭永安,劉迎春.基于小波變換的SAR與可見光圖像融合算法[J].計算機應用研究,2004,21(10):110-111.

[11] Chibani Y.Selective synthetic aperture radar and panchromatic image fusion by using the à trous wavelet decomposition[J].EURASIP Journal on Applied Signal Processing,2005,2005(14):1-8.

[12] 李暉暉,郭雷,李國新.基于脊波變換的SAR與可見光圖像融合研究[J].西北工業(yè)大學學報,2006,24(4):418-422.

[13] 李暉暉,郭雷,劉航.基于二代curvelet變換的圖像融合研究[J].光學學報,2006,26(5):657-662.

[14] Huang N E,Shen Z,Long S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J].Proceedings of the Royal Society of London.Series A:Mathematical,Physical and Engineering Sciences,1998,454(1971):903-995.

[15] 劉妍.基于EMD方法的壓縮感知圖像處理研究[D].北京:北京郵電大學,2012.

[16] Song R,Guo H,Liu G,et al.Improved Goldstein SAR Interferogram Filter Based on Empirical Mode Dexomposition[J].IEEE Geosci.Remote Sens.Lett,2014,11(2):399-403.

[17] Ye C,Zhang L,Zhang Z.SAR and panchromatic image fusion based on region features in nonsubsampled contourlet transform domain[C]//Automation and Logistics (ICAL),2012 IEEE International Conference on,2012:358-362.

SAR AND PANCHROMATIC IMAGES FUSION ALGORITHM BASED

Chen Yun1,2Liu Guang1Liao Jingjuan1

1(InstituteofRemoteSensingandDigitalEarthChineseAcademyofScience,Beijing100094,China)

2(UniversityofChineseAcademyofScience,Beijing100049,China)

AbstractAiming at the problem of traditional fusion method that it cannot effectively deal with non-linear and non-stationary signals, this paper proposes a new fusion method for synthetic aperture radar (SAR) and panchromatic images, which is based on empirical mode decomposition (EMD) algorithm. In this method, first the decomposition with EMD algorithm is conducted on panchromatic images and denoised SAR images, and then a regional features-based image fusion rule is applied to fusing the images of high-frequency and low-frequency components separately. Finally, through EMD inverse transformation the fused images are obtained. This method can effectively process non-stationary and non-linear signals, and has full adaptive nature. Experimental results show that the fused images based on the new algorithm meet image fusion requirement, and are superior to wavelet transform and Contourlet transform in terms of fusion effect.

KeywordsSARPanchromatic imageImage fusionEMD algorithm

收稿日期：2014-11-06。國家科技支撐計劃課題(2012BAC16B01)。陳云，碩士生，主研領域：遙感圖像處理。劉廣，副研究員。廖靜娟，研究員。

中圖分類號TP751

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.044