基于NSCT的紅外與可見光圖像融合方法

張?bào)@雷，趙俄英

(1．天津市復(fù)雜控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津300384;2．天津理工大學(xué)自動(dòng)化學(xué)院，天津300384)

1 引言

隨著電子信息技術(shù)和多傳感器技術(shù)的快速發(fā)展，圖像融合技術(shù)被廣泛應(yīng)用于遙感、軍事、醫(yī)學(xué)圖像處理、目標(biāo)識(shí)別、人臉識(shí)別和計(jì)算機(jī)視覺等領(lǐng)域［1］。圖像融合就是通過特定的算法對(duì)由不同傳感器所得到的同一場(chǎng)景的圖像進(jìn)行處理，以得到對(duì)場(chǎng)景內(nèi)容更為可靠、清晰和準(zhǔn)確描述的圖像。圖像融合通?？煞譃橄袼丶?jí)融合、特征級(jí)融合和決策級(jí)融合［2］。在圖像處理領(lǐng)域，像素級(jí)圖像融合是其他融合方法的基礎(chǔ)，基于多尺度分解的多分辨率圖像融合是圖像處理的一個(gè)重要分支。近年來，在多分辨率圖像融合領(lǐng)域取得了許多研究成果。大部分的方法都是基于金字塔變換。其中，小波變換成為圖像融合領(lǐng)域的研究熱點(diǎn)，因?yàn)樗哂卸喾直媛侍匦院土己玫臅r(shí)－頻特性，但小波在每一個(gè)分解層僅能捕捉有限的方向信息(包括水平方向、垂直方向和對(duì)角方向)。為此，學(xué)者們經(jīng)過不斷實(shí)驗(yàn)提出了新的圖像表示方法，如脊波變換、曲波變換，但效果仍不理想。2002年，Minh N．Do和Martin Vetterli提出的Contourlet變換［3］是一種有效的二維圖像表示方法，有很好的方向性和多分辨率特性。在輪廓波變換中，多尺度分解和多方向分解是彼此獨(dú)立的。首先用拉普拉斯金字塔變換對(duì)圖像進(jìn)行多尺度分解，然后再用方向?yàn)V波器組濾除由每一個(gè)拉普拉斯金字塔通道所得圖像的高頻分量。用基于輪廓波變換的融合方法所得到的融合圖像比前面幾種融合方法要好。但由于在拉普拉斯金字塔分解與方向?yàn)V波器組中下采樣與上采樣的存在，使得輪廓波變換缺乏平移不變性，從而導(dǎo)致了Pseudo-Gibbs效應(yīng)［4］的產(chǎn)生，這對(duì)于融合處理來說是不利的。于2006年由A．L．Cunha等提出的 NSCT(non-subsampled contourlet transform)［5］，不僅繼承了 Contourlet變換所有的多尺度、多方向特性，還具有平移不變性。它是輪廓波變換平移不變的一個(gè)版本。本文在分析NSCT的基礎(chǔ)上，針對(duì)紅外與可見光圖像在融合時(shí)亮點(diǎn)目標(biāo)易丟失且背景的邊緣、紋理信息不夠清晰的問題，提出基于非下采樣輪廓波變換(NSCT)與局部區(qū)域融合規(guī)則相結(jié)合的紅外與可見光圖像融合方法。

2 NSCT的基本原理

NSCT是通過采用非下采樣金字塔分解和非下采樣方向?yàn)V波器組來實(shí)現(xiàn)圖像的多尺度、多方向分解。NSCT是一種新的圖像幾何表示方法，與輪廓波變換相比，NSCT是平移不變的并且比Contourlet變換能更好地采集頻率且具規(guī)律性，由NSCT分解得到的多尺度、多方向圖像與原始圖像尺寸相同。

2．1 非下采樣金字塔(NSP)

非下采樣金字塔框架是一個(gè)雙通道非下采樣濾波器組，主要是通過二通道非下采樣濾波器組來實(shí)現(xiàn)的。理想的非下采樣金字塔濾波器組的頻率響應(yīng)如圖1所示。非下采樣濾波器組由于沒有下采樣和上采樣，所以具有平移不變的特性。

圖1 NSP的理想頻率響應(yīng)框圖

對(duì)于雙通道濾波器組來說，要實(shí)現(xiàn)分解后的完全重構(gòu)，濾波器必須滿足等式(1):

其中，H0(z)和H1(z)表示雙通道分解濾波器的頻率響應(yīng);G0(z)和G1(z)表示雙通道合成濾波器的頻率響應(yīng)。為了實(shí)現(xiàn)圖像的多尺度分解，可以通過迭代非下采樣濾波器組來構(gòu)建NSP。

2．2 非下采樣方向?yàn)V波器組(NSDFB)

圖2 NSDFB的理想頻率響應(yīng)框圖

非下采樣方向?yàn)V波器組也是一個(gè)雙通道非下采樣濾波器組，實(shí)際上是Contourlet中的方向?yàn)V波器組(DFB)具有了平移不變性，非下采樣方向?yàn)V波器組的理想頻率響應(yīng)如圖2所示。其中，U0，U1為分解扇形濾波器;V0，V1為重構(gòu)扇形濾波器，并且容易驗(yàn)證它們滿足完全重構(gòu)的條件，即U0(ω)V0(ω)+U1(ω)V1(ω)=1。對(duì)得到的頻域中的扇形濾波器作z變換就可得到z變換域中的分解扇形濾波器組U0(z)，U1(z)和重構(gòu)扇形濾波器組V0(z)，V1(z)。為得到更為精細(xì)的方向分解，可以通過迭代非下采樣濾波器組來構(gòu)建NSDFB。

2．3 NSCT 的實(shí)現(xiàn)

NSCT是由 NSP和 NSDFB構(gòu)成的，如圖3所示。NSP提供多尺度分解，NSDFB提供方向性分解。這一過程可以在由NSP輸出的低通子帶上重復(fù)迭代而實(shí)現(xiàn)。

圖3 NSCT的多尺度分解框架

組合的結(jié)果是一個(gè)雙重迭代濾波器組結(jié)構(gòu)，叫做非下采樣輪廓波濾波器組，它能把圖像在多尺度上分解成方向子帶。

3 基于NSCT的圖像融合方法

3．1 融合方法

待融合的兩幅圖像需是幾何上彼此經(jīng)過配準(zhǔn)的，對(duì)于每一幅圖像來說背景信息屬于低頻部分，邊緣和紋理信息則屬于高頻部分。因此，我們首先運(yùn)用NSCT對(duì)圖像進(jìn)行多尺度、多方向分解，把每一幅圖像分解成低頻低通子帶部分和高頻帶通子帶部分，然后針對(duì)各部分運(yùn)用不同的融合規(guī)則進(jìn)行融合。最后，通過逆NSCT對(duì)融合系數(shù)進(jìn)行重構(gòu)得到融合圖像。基于NSCT與局部區(qū)域融合規(guī)則相結(jié)合的紅外與可見光圖像融合框圖如圖4所示。

圖4 基于NSCT的紅外與可見光圖像融合框圖

3．2 融合規(guī)則

針對(duì)不同部分運(yùn)用不同融合規(guī)則融合由分解得到的多尺度和多方向圖像系數(shù)。低頻部分包括了大部分的背景信息，融合規(guī)則采用低頻系數(shù)加權(quán)平均求均值的選擇方法。首先對(duì)兩幅圖像的低頻分量進(jìn)行加權(quán)，本文選擇3×3的窗口模塊對(duì)低頻系數(shù)進(jìn)行加權(quán)，然后再對(duì)加權(quán)平均后的系數(shù)求均值得到低頻融合系數(shù)。其具體計(jì)算公式如式(2)所示:

高頻部分包含了大部分的圖像細(xì)節(jié)(邊緣和紋理信息)。如果采用系數(shù)值選大法則容易失去圖像的細(xì)節(jié)及紋理部分，如選用區(qū)域融合規(guī)則可能影響圖像的清晰度及對(duì)比度。根據(jù)這一情況采用系數(shù)值選大法與局部區(qū)域融合規(guī)則相結(jié)合的融合方法。

對(duì)于方向數(shù)少的高頻子帶(文中取≤4的方向)采用系數(shù)值選大法，即對(duì)兩幅圖像同一位置的高頻系數(shù)進(jìn)行比較取較大的那個(gè)作為融合系數(shù)，計(jì)算方法如式(3)所示:

在方向數(shù)多的高頻子帶(文中?。?的方向)選擇以系數(shù)為中心的基于局部區(qū)域均方差的融合規(guī)則。具體過程可分三步:

(1)將鄰域窗口模板依次作用在各待融合圖像上。

(2)分別計(jì)算各對(duì)應(yīng)系數(shù)的均方差。

(3)利用局部均方差融合規(guī)則進(jìn)行融合處理。

在計(jì)算對(duì)應(yīng)系數(shù)均方差時(shí)應(yīng)先計(jì)算對(duì)應(yīng)各層各方向上系數(shù)的均值，均值的計(jì)算如式(4)所示:

然后計(jì)算各對(duì)應(yīng)系數(shù)的均方差，局部均方差的表達(dá)式如式(5)所示:

4 實(shí)驗(yàn)仿真與分析

為驗(yàn)證融合算法的有效性，本文采用一組同一場(chǎng)景可見光圖像與紅外圖像作為測(cè)試圖，來測(cè)試基于NSCT融合方法的性能并與拉普拉斯金字塔(LP)融合方法［6］、離散小波(DWT)融合方法［7］、輪廓波變換(CT)融合方法［8］進(jìn)行對(duì)比。這些圖像被分解成3層且方向分別為2－2－3的子帶，采用的模板窗口。

在圖5(a)～圖5(b)中，IR圖像為紅外圖像，VI圖像為同一場(chǎng)景的可見光圖像。圖5(c)～圖5(f)分別是由拉普拉斯金字塔融合法、離散小波融合法、輪廓波變換融合法和本文所提出的融合方法所得到的融合圖像。這些融合圖像比原圖像的任何一幅都要好且都是比較清晰的。

為了更好地對(duì)融合算法的性能進(jìn)行客觀評(píng)價(jià)，本文采用6個(gè)客觀評(píng)價(jià)指標(biāo)來比較用4種不同融合方法所得到的實(shí)驗(yàn)結(jié)果。這6種客觀評(píng)價(jià)指標(biāo)分別為標(biāo)準(zhǔn)差(σ)、信息熵(Entropy)、均方根誤差(RMSE)、互信息(MI)、文獻(xiàn)［9］、［10］提出的一種通過綜合比較兩幅圖像間亮度、對(duì)比度、結(jié)構(gòu)3方面信息來確定它們相似程度的客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)SSIM因子以及Xydeas［11］提出的Q因子。紅外圖像與可見光圖像融合結(jié)果的客觀評(píng)價(jià)指標(biāo)對(duì)比如表1所示，圖6為4種融合方法得到的評(píng)價(jià)指標(biāo)歸一化后的客觀評(píng)價(jià)曲線，縱坐標(biāo)表示各對(duì)應(yīng)參數(shù)指標(biāo)的值，橫坐標(biāo)是為對(duì)比各融合指標(biāo)便于讀者觀察所設(shè)置的，沒有實(shí)際意義。

表1 紅外與可見光圖像融合結(jié)果性能評(píng)價(jià)

圖6 不同融合方法融合效果評(píng)價(jià)曲線

從主觀視覺效果上分析，LP融合方法所得融合圖像邊緣信息較模糊，亮點(diǎn)目標(biāo)也不太清楚;DWT融合方法和CT融合方法所得融合圖像中引入了比較明顯的“虛影”;而采用本文提出的融合算法得到的融合圖像視覺效果相對(duì)較好，更好地保留了源圖像中的邊緣、紋理信息，“虛影”也得到了比較好的抑制。

從客觀效果評(píng)價(jià)上分析，由表1可以看出本文所用融合方法中 σ，Entropy，MI，SSIM 和 Q因子都是最大的，且RMSE是最小的。可以從圖6各指標(biāo)的對(duì)比中清晰地看出來。所以由本文所提出的基于NSCT變換與局部區(qū)域融合規(guī)則相結(jié)合的紅外與可見光圖像融合方法所得到的融合圖像是所給方法中最好的。

5 結(jié)束語

NSCT在圖像處理中作為一種新的多尺度幾何分析方法，應(yīng)用到圖像融合領(lǐng)域中，能夠?yàn)槿诤蠄D像提供更為豐富的信息，有效降低因配準(zhǔn)誤差對(duì)融合性能的影響以及因循環(huán)平移所產(chǎn)生的Pseudo-Gibbs效應(yīng)，還能夠比較方便地計(jì)算各子帶圖像之間的對(duì)應(yīng)關(guān)系，利于融合運(yùn)算的實(shí)現(xiàn)。本文提出的基于NSCT與局部區(qū)域融合規(guī)則的紅外與可見光圖像融合算法在保留圖像邊緣和紋理信息上都相對(duì)優(yōu)于其他融合方法。同時(shí)，這一方法在其他領(lǐng)域也可能得到廣泛的應(yīng)用，諸如遙感、戰(zhàn)場(chǎng)監(jiān)視、目標(biāo)跟蹤、機(jī)器視覺和醫(yī)學(xué)分析等。

［1］ Wang Hong，Jing Zhongliang，Li Jianxun．A new image fusionmethod based on target area．［J］．Chinese Journal of Lasers，2005，(3):351 －355．(in Chinese)王宏，敬忠良，李建勛．一種基于目標(biāo)區(qū)域的圖像融合新方法［J］．中國(guó)激光，2005，(3):351 －355．

［2］ Liu Songtao，Zhou Xiaodong．Recent development of image fusion techniques［J］．Laser ＆ Infrared，2006，36(8):627 －631．(in Chinese)劉松濤，周曉東．圖像融合技術(shù)研究的最新進(jìn)展［J］．激光與紅外，2006，36(8):627 －631．

［3］ Do M N，VetterliM．The contourlet transform:An efficient directionalmultiresolution image representation［J］．IEEE Transactions on Image Processing，2005，14(12):2091－2106．

［4］ Bui T D，Chen G．Translation-invariant denoising using multiwavelets［J］．IEEE Transactions on Signal Processing，1998，46(12):3414 －3420．

［5］ Da Cunha A L，Zhou J，Do M N．The nonsubsampled contourlet transform:Theory，design，and applications［J］．IEEE Transactions on Image Processing，2006，15(10):3089－3101．

［6］ Chen Hao，Wang Yanjie．Research on image fusion algorithm based on laplacian pyramid transform［J］．Laser＆，2009，39(4):439 －442．(in Chinese)陳浩，王延杰．基于拉普拉斯金字塔變換的圖像融合算法研究［J］．激光與紅外，2009，39(4):439 －442．

［7］ Yang Bo，Jing Zhongliang．Image fusion algorithm based on the quincunx-sampled discrete wavelet frame［J］．Automatica Sinica，2010 ，(1):12 －22．(in Chinese)楊波，敬忠良．梅花形采樣離散小波框架圖像融合算法［J］．自動(dòng)化學(xué)報(bào)，2010，(1):12－22．

［8］ Zheng Jing，Zheng Yongguo．An image fusion method based on contourlet transform ［J］．Information Technology ＆ Informatization，2011，(2):37 －40．(in Chinese)鄭靜，鄭永果．一種基于Contourlet變換的圖像融合方法［J］．信息技術(shù)與信息化，2011，(2):37 －40．

［9］ Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:From error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600－612．

［10］ Xu Yunsheng，Yin Dong．An image quality assessment algorithm based on contourlet transform［J］．Electronic Technology，2010，(7):23 －26．(in Chinese)徐云生，尹東．一種基于Contourlet變換的圖像質(zhì)量評(píng)價(jià)算法［J］．電子技術(shù)，2010，(7):23 －26．

［11］ Xydeas C S，Petrovic V．Objective image fusion performance measure［J］．Electronics Letters，2000，36(4):308－309．