一種快速的多光譜與全色圖像融合算法

趙春暉, 張宏宇, 李佳偉, 高 冰(哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 哈爾濱 150001)

?

一種快速的多光譜與全色圖像融合算法

趙春暉, 張宏宇, 李佳偉, 高 冰
(哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 哈爾濱 150001)

針對(duì)傳統(tǒng)非下采樣輪廓波變換(NSCT)在圖像融合中計(jì)算量大、效率較低的問題,引入快速非下采樣輪廓波變換(FNSCT),與IHS變換相結(jié)合,提出一種快速的多光譜與全色圖像融合算法.該算法首先對(duì)多光譜圖像進(jìn)行IHS變換提取亮度I分量,然后利用FNSCT算法分別對(duì)多光譜圖像的I分量與全色圖像進(jìn)行分解,并采用區(qū)域能量自適應(yīng)加權(quán)算法和最大值法融合其低頻和高頻系數(shù),最后通過FNSCT反變換與IHS反變換得到最終融合的多光譜圖像.實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)NSCT算法相比,此方法在保證融合圖像性能的前提下,大幅度提高了融合的效率.

圖像融合; 多光譜圖像; 全色光圖像; 快速非下采樣輪廓波變換; IHS變換

近年來,越來越多的光學(xué)衛(wèi)星投入使用,為人們提供了許多高質(zhì)量的遙感圖像.光學(xué)衛(wèi)星上搭載的全色傳感器和多光譜傳感器能夠同時(shí)獲取高空間分辨率的全色圖像和高光譜分辨率的多光譜圖像.多光譜圖像具有較豐富的光譜信息,但其空間分辨率較低,成像效果較差,所以融合多光譜與全色圖像可以獲得一個(gè)具有高空間分辨率的多光譜圖像,在軍事偵察,目標(biāo)識(shí)別和醫(yī)學(xué)影像等方面均有廣泛應(yīng)用.

傳統(tǒng)的多光譜與全色圖像融合算法有Brovey變換[1]、IHS變換[2]和PCA變換[3]等.此類方法可以有效地提高融合圖像的空間分辨率,但損失了大量的光譜信息,造成了嚴(yán)重的光譜失真.近年來,多尺度多方向分解方法被廣泛應(yīng)用于遙感圖像融合中,典型的有小波變換(wavelet transform, WT)[4]、脊波變換(ridgelet transform)[5]、曲波變換(curvelet transform)[6]、輪廓波變換(contourlet transform, CT)[7]和非下采樣輪廓波變換(non-subsampled contourlet transform, NSCT)[8]等.其中NSCT變換具有平移不變性,可以提取待融合圖像中的方向信息,并有效地消除吉布斯現(xiàn)象,和其他變換相比,提供了一種更優(yōu)的圖像分解方法.

然而,NSCT變換非常耗時(shí),限制了它的發(fā)展.因此,本文提出了一種快速非下采樣輪廓波變換(fast non-subsampled contourlet transform, FNSCT)與IHS變換相結(jié)合的算法,來實(shí)現(xiàn)多光譜與全色圖像的融合.

1 快速非下采樣輪廓波變換

1.1 非下采樣輪廓波變換

非下采樣輪廓波變換是在輪廓波變換的基礎(chǔ)上,利用輪廓分割去近似接近源圖像的一種方法.它被分為非下采樣金字塔(non-subsampled pyramid, NSP)和非下采樣方向?yàn)V波器組(non-subsampled directional filter bank,NSDFB)兩部分.前者用來確定NSCT的多尺度特征;后者用來確定NSCT的多方向特征.

非下采樣金字塔由雙通道非下采樣濾波器組(non-subsampled filter bank,NSFB)構(gòu)成,每級(jí)NSP分解可以得到一個(gè)高頻子帶和一個(gè)低頻子帶.低頻子帶可以通過迭代方式進(jìn)行后續(xù)階段的分解.所以,一個(gè)k級(jí)的NSP可以產(chǎn)生k+1個(gè)與源圖像具有相同尺寸的子帶,其中包括k個(gè)高頻子帶和一個(gè)低頻子帶.圖1為一組三級(jí)的NSP分解,其中H0(z2kI),k=0,1,2,代表低通濾波器,H1(z2kI),k=0,1,2,代表高通濾波器,k為分解級(jí)數(shù),其中灰色區(qū)域表示每級(jí)NSP分解中頻率通過的部分.每級(jí)濾波器都由上一級(jí)濾波器上采樣得到.第k級(jí)濾波器可表示為:

非下采樣方向?yàn)V波器組由一系列扇形濾波器組成. 對(duì)圖像進(jìn)行l(wèi)級(jí)分解, 每級(jí)分解得到與源圖像具有相同尺寸大小的2l個(gè)方向子帶, 提供了詳細(xì)的方向信息. 圖2給出了一個(gè)二級(jí)的NSDFB結(jié)構(gòu), 以及其頻譜切分圖. 其中U0(z)和U1(z)為扇形濾波器;U0(zQ)和U1(zQ)為象限濾波器.

圖1 三級(jí)塔式分解及頻譜切分圖Fig.1 Three-stage NSP and its frequency decomposition

圖2 四通道NSDFB及頻譜切分圖Fig.2 Four-channel NSDFB and its frequency decomposition

在NSDFB中,所有的濾波器均由上一級(jí)的扇形濾波器上采樣后旋轉(zhuǎn)所得,且與上一級(jí)濾波器具有相同計(jì)算復(fù)雜度.

1.2 快速NSCT實(shí)現(xiàn)

傳統(tǒng)NSCT算法的不足之處在于迭代運(yùn)算產(chǎn)生的巨大計(jì)算量,而快速NSCT(fast non-subsampled contourlet transform, FNSCT)可以通過一次濾波獲得所要分解的高低頻子帶,本節(jié)詳細(xì)地闡述一下單通道濾波器組中快速NSCT的實(shí)現(xiàn).如圖3所示.

圖3 單通道傳統(tǒng)NSCT與快速NSCT對(duì)比示意圖Fig.3 Illustration of single channel traditional NSCT and fast NSCT

圖3中H0(z)和H1(z2)分別代表NSP中的低通濾波器和高通濾波器,U0(z)和U1(zQ)分別代表NSDFB中的扇形濾波器和象限濾波器.最終分解子帶需要源圖像依次經(jīng)過這四個(gè)濾波器所獲得,然而,由于源圖像與各濾波器之間大小的不同,濾波器之間進(jìn)行卷積要比一幅圖像進(jìn)行多重濾波更有效率.因此,每個(gè)通道的NSCT濾波器組H0(z),H1(z2),U0(z)和U1(zQ)被組成為一個(gè)單一的分解濾波器F(z).

NSCT的樹狀濾波器組被重構(gòu)為一個(gè)多通道濾波器組,濾波器的數(shù)量由2k+2-4個(gè)減少到2k+1-1個(gè)(假設(shè)NSCT濾波器組的結(jié)構(gòu)是二進(jìn)制樹狀結(jié)構(gòu)),其中k表示分解級(jí)數(shù).

FNSCT的步驟為:

(1) 初始化:在NSP中設(shè)計(jì)低通濾波器H0(z)和高通濾波器H1(z),并在NSDFB中設(shè)計(jì)扇形濾波器U0(z)和象限濾波器U1(z).判定NSP的級(jí)數(shù)為n,每級(jí)NSP分解中方向分解的級(jí)數(shù)ln.

(3) 獲得分解濾波器組:將每個(gè)通道的多個(gè)濾波器進(jìn)行卷積,得到一個(gè)多尺度多方向的濾波器.

(4) 獲得分解子帶:利用分解濾波器組對(duì)源圖像進(jìn)行濾波獲得最終的分解子帶.

2 高低頻融合規(guī)則

2.1 低頻融合規(guī)則

低頻部分是圖像中變化較緩慢的部分,反映圖像的平均特性,所以對(duì)于低頻部分,本文采用一種基于區(qū)域能量的自適應(yīng)加權(quán)融合算法[9]進(jìn)行融合,能量區(qū)域采用3×3的窗口.對(duì)圖像進(jìn)行邊界延拓,則源圖像對(duì)應(yīng)方向、對(duì)應(yīng)分辨率上以(i,j)為中心的八鄰域局部能量EM,L(i,j),EP,L(i,j)分別定義為

為了提高融合質(zhì)量,本文使用基于區(qū)域能量的自適應(yīng)加權(quán)系數(shù)進(jìn)行融合,融合公式如下:

DF,L(i,j)=α1DM,L(i,j)+α2DP,L(i,j).

式中,DF,L(i,j)、DM,L(i,j)、DP,L(i,j)分別代表融合圖像、多光譜圖像和全色圖像(i,j)處的灰度值,加權(quán)系數(shù)α1和α2定義如下:

低頻部分中顯著的特征是能量,它保留了圖像的大部分整體信息,基于區(qū)域的融合方法考慮了區(qū)域內(nèi)各像素間的相關(guān)性,所以基于區(qū)域能量的融合規(guī)則能夠更好地體現(xiàn)圖像的局部特征.自適應(yīng)加權(quán)系數(shù)的選擇是基于融合部分的區(qū)域能量,不同的融合部分根據(jù)各自的區(qū)域能量確定相應(yīng)加權(quán)系數(shù),這樣更能夠提高低頻系數(shù)選取的正確性.

2.2 高頻融合規(guī)則

高頻部分的融合也直接影響到融合圖像的視覺效果,所以本文采用的是保留絕對(duì)值較大系數(shù)方法.高頻系數(shù)的值越大,其對(duì)應(yīng)位置的細(xì)節(jié)信息越豐富.融合公式如下:

高頻子帶中絕對(duì)值較大的系數(shù)對(duì)應(yīng)著一些突變,如圖像的邊緣、紋理等重要特征信息,所以對(duì)高頻部分的處理盡可能多地去保留圖像的細(xì)節(jié)信息.

2.3 融合步驟

本文提出的多光譜與全色圖像融合算法具體步驟如下:

(1) 對(duì)多光譜圖像進(jìn)行IHS變換,得到亮度I、色調(diào)H、飽和度S三個(gè)分量.

(2) 分別對(duì)亮度I分量和全色圖像進(jìn)行FNSCT變換,獲得各自的高頻和低頻系數(shù).

(3) 分別采用最大值法和局部能量自適應(yīng)加權(quán)算法對(duì)高低頻系數(shù)進(jìn)行融合.

(4) 對(duì)步驟(3)處理后的系數(shù)進(jìn)行FNSCT反變換,得到融合后的亮度分量I′.

(5) 將I′與H,S分量進(jìn)行IHS反變換得到最終的融合圖像.

本文算法的框圖如圖4所示.

圖4 算法框圖Fig.4 Framework of the proposed algorithm

3 實(shí)驗(yàn)仿真與分析

為了驗(yàn)證本文算法的有效性,采用兩組多光譜與全色圖像L1B和L1C[10]進(jìn)行實(shí)驗(yàn).兩組數(shù)據(jù)均為DEIMOS-2衛(wèi)星于2015年3月31日和2015年5月30日在加拿大溫哥華(北緯49°15′,西經(jīng)123°6′)城市及附近海港地區(qū)拍攝,該衛(wèi)星負(fù)載的推掃式高分辨率相機(jī)包含5個(gè)光譜通道,可獲得一幅單波段的全色圖像和一幅4波段的多光譜圖像(R,G,B,NIR).其中L1B數(shù)據(jù)已經(jīng)過校準(zhǔn),未經(jīng)過重采樣;L1C數(shù)據(jù)經(jīng)過校準(zhǔn),并經(jīng)過重采樣.兩組數(shù)據(jù)中全色圖像的空間分辨率為1 m,而多光譜圖像的空間分辨率為4 m.因數(shù)據(jù)源較大,本文分別截取兩組數(shù)據(jù)中1 000×1 000的圖像進(jìn)行實(shí)驗(yàn).本文仿真實(shí)驗(yàn)環(huán)境為MATLAB2014a.實(shí)驗(yàn)平臺(tái)是處理器為Intel(R)Xeon(R)CPU E7-4820,主頻2.0 GHz,內(nèi)存96.0 GB,Windows 64位操作系統(tǒng),操作界面如圖5所示.

圖5 實(shí)驗(yàn)操作界面
Fig.5 Experimental operation interface

L1B數(shù)據(jù)的實(shí)驗(yàn)圖像及實(shí)驗(yàn)結(jié)果如圖6所示.

L1C數(shù)據(jù)的實(shí)驗(yàn)圖像及實(shí)驗(yàn)結(jié)果如圖7所示.

圖6 L1B源圖像及融合結(jié)果Fig.6 The original images and fusion results of L1B(a)—多光譜圖像; (b)—全色圖像; (c)—NSCT融合圖像; (d)—FNSCT融合圖像.

圖7 L1C源圖像及融合結(jié)果Fig.7 The original images and fusion results of L1C(a)—多光譜圖像; (b)—全色圖像; (c)—NSCT融合圖像; (d)—FNSCT融合圖像.

本文采用主觀分析和客觀評(píng)價(jià)相結(jié)合的評(píng)價(jià)方法.主觀評(píng)價(jià)主要依據(jù)人眼對(duì)圖像的視覺感知對(duì)其進(jìn)行評(píng)價(jià).首先,從光譜信息保留角度,融合圖像色彩越接近多光譜的偽彩色圖像說明光譜信息保留越好,通過觀察可以看出,FNSCT算法融合后的圖像和NSCT算法融合的圖像均取得了良好的效果,空間細(xì)節(jié)得到了增強(qiáng),植被和路面更加清晰.

為了客觀地評(píng)價(jià)融合后的圖像,本文通過定量指標(biāo)來進(jìn)行評(píng)價(jià),即標(biāo)準(zhǔn)差(Standard Deviation,SD)、信息熵(Information Entropy,IE)、平均梯度(Average Gradient,AG)、相關(guān)系數(shù)(Correlation Coefficient,CC)[11]和光譜扭曲度(Degree of Distortion,DD)[12].SD和IE反映圖像所包含的信息量,其值越大,圖像所包含的信息越多,圖像融合的質(zhì)量越好.AG與圖像的清晰度有關(guān),AG越大,圖像的空間分辨率越好,相關(guān)系數(shù)和光譜扭曲度能反映融合后的圖像與多光譜圖像的光譜信息改變程度,相關(guān)系數(shù)越大、光譜扭曲度越小,表示圖像的光譜信息損失越少.由于四類指標(biāo)都是針對(duì)灰度圖像,因此將融合后的偽彩色圖像轉(zhuǎn)換為灰度圖像并進(jìn)行歸一化后再進(jìn)行指標(biāo)運(yùn)算.將圖像灰度值歸一化處理后得到結(jié)果如表1、表2所示.

表1 L1B融合結(jié)果的性能分析Table 1 Performance comparison of fusion results of L1B

表2 L1C融合結(jié)果的性能分析Table 2 Performance comparison of fusion results of LIC

表1和表2給出了兩組數(shù)據(jù)在NSCT和FNSCT融合方法的客觀評(píng)價(jià)結(jié)果,可以看出,NSCT和FNSCT在SD、IE、AG和CC指標(biāo)上相差甚微,各項(xiàng)指標(biāo)系數(shù)均取得了良好效果,說明圖像空間分辨率得以提升.在DD指標(biāo)上,兩種算法的光譜扭曲度均非常低,說明兩種算法很好地做到了光譜保持這一目標(biāo).NSCT算法比FNSCT算法的光譜留存率更高一點(diǎn),這也是后續(xù)需要提升的部分.

在運(yùn)算時(shí)間方面,如表1所示,L1B數(shù)據(jù)進(jìn)行融合時(shí),傳統(tǒng)NSCT算法需要47.86 s,而本文提出的FNSCT算法僅需要14.29 s;同樣,采用傳統(tǒng)的NSCT算法L1C數(shù)據(jù)需要38.5 s,采用FNSCT算法僅用13.28 s便可完成融合.由此可見,本文提出的FNSCT算法運(yùn)行速度更快,運(yùn)行時(shí)間更短,約為傳統(tǒng)NSCT算法的1/3.節(jié)省了大約50%的計(jì)算時(shí)間,大幅度提高了運(yùn)算效率.

4 結(jié) 論

本文提出一種快速的多光譜與全色圖像融合算法.首先經(jīng)過IHS變換計(jì)算出多光譜圖像的亮度分量I,然后亮度分量I與全色圖像分別通過FNSCT變換獲得各自的高低頻系數(shù),再根據(jù)高低頻系數(shù)特點(diǎn)選擇不同的融合規(guī)則進(jìn)行系數(shù)融合,最終通過FNSCT反變換和IHS反變換獲得融合的多光譜圖像.實(shí)驗(yàn)結(jié)果表明,本文提出的算法不但可以較好地保留多光譜圖像的光譜信息,提高圖像的空間分辨率,而且與傳統(tǒng)NSCT算法相比,有效地節(jié)約了算法的運(yùn)算時(shí)間,提高了計(jì)算效率.

[ 1 ] GILLESPIE A R,KAHLE A B,WALKER R E. Color enhancement of highly correlated images Ⅱ. Channel ratio and chromaticity transformation technique[J]. Remote Sensing Environment, 1987,22(3):343-365.

[ 2 ] TU T,SU S,SHYU H,et al. A new look at IHS like image fusion method[J]. Information Fusion, 2001,2(3):177-186.

[ 3 ] 張建,陳孝威. 基于Directionlets和PCA的多光譜與全色圖像融合[J]. 計(jì)算機(jī)科學(xué), 2012,39(3):249-250. (ZHANG J,CHEN X W. Based on directionlets and PCA multi spectral and panchromatic image fusion[J]. Computer Science, 2012,39(3):249-250.)

[ 4 ] LI H,MANJUNATH B,ITRA S. Multisensor image fusion using the wavelet transform[J]. Graphical Models and Image Processing, 1995,57(3):235-245.

[ 5 ] MINH N D,MARTIN V. The finite ridgelet transform for image representation[J]. IEEE Transactions on Image Processing, 2003,12(1):16-28.

[ 6 ] NENCINI F,GARZELLI A,BARONTI S,et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007,8(2):143-156.

[ 7 ] LIU K,GUO L,CHEN J S. Contourlet transform for image fusion using cycle spinning[J]. Systems Engineering and Electronics, 2011,22(2):353-357.

[ 8 ] DO M N,VETTERLI M. The contourlet transform: an efficient directional multiresolution image respresentation[J]. IEEE Transactions on Image Processing, 2005,14(12):2091-2106.

[ 9 ] 李新娥,任建岳,呂增明,等. NSCT域內(nèi)基于改進(jìn)PCNN和區(qū)域能量的多光譜和全色圖像融合方法[J]. 紅外與激光工程, 2013,42(11):3096-3102. (LI X E,REN J Y,LYU Z M,et al. Multi spectral and panchromatic image fusion method based on improved PCNN and regional energy in NSCT domain[J]. Infrared and Laser Engineering, 2013,42(11):3096-3102.)

[10] 2016 IEEE GRSS data fusion contest: very high temporal resolution from space[EB/OL].[2017-02-13]. http:∥www.grss-ieee.org/community/technical-committees/data-fusion/2016-ieee-grss-data-fusion-contest/.

[11] 殷明,龐紀(jì)勇,魏遠(yuǎn)遠(yuǎn),等. 結(jié)合NSDTCT和稀疏表示的遙感圖像融合[J]. 光子學(xué)報(bào), 2016,45(1):1-8. (YIN M,PANG J Y,WEI Y Y,et al. Remote sensing image fusion based on NSDTCT and sparse representation[J]. Photon Journal, 2016,45(1):1-8.)

[12] 毛克. 一種快速的全色和多光譜圖像融合算[J]. 測(cè)繪科學(xué), 2016,41(1):151-153. (MAO K. A fast fusion algorithm of panchromatic and multispectral images[J]. Science of Surveying and Mapping, 2016,41(1):151-153.)

【責(zé)任編輯: 李 艷】

A Fast Fusion Algorithm of Panchromatic and Multispectral Images

ZhaoChunhui,ZhangHongyu,LiJiawei,GaoBing

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Aiming at the problems of large amount of computation and low efficiency of traditional non sampling contourlet transform (NSCT) in image fusion, fast non-subsampled contourlet transform (FNSCT) is introduced, combining with the IHS transform, to propose a fast multi spectral and panchromatic image fusion algorithm. Firstly, the IHS transform is used to extract the luminanceIcomponent of multispectral images. ThenIcomponent of multi spectral image and panchromatic image are decomposed by FNSCT. Next,the low frequency and high frequency coefficients are fused by the region energy adaptive weighting algorithm and the maximum method. Finally, the final fusion multispectral image is obtained by FNSCT inverse transform and IHS inverse transform. The experimental results show that, Compared with the traditional NSCT algorithm, this method greatly improves the efficiency of fusion in the premise of ensuring the performance of the fused image.

image fusion; multispectral images; panchromatic image; FNSCT; IHS transform

2017-01-18

國(guó)家自然科學(xué)基金資助項(xiàng)目(61405041,61571145); 黑龍江省自然科學(xué)基金重點(diǎn)項(xiàng)目(ZD201216); 哈爾濱市優(yōu)秀學(xué)科帶頭人基金資助項(xiàng)目(RC2013XK009003).

趙春暉(1965-),男,黑龍江湯原人,哈爾濱工程大學(xué)教授,博士生導(dǎo)師.

2095-5456(2017)03-0206-06

TP 751.1

A