非下采樣變換的紅外與可見光圖像融合

陳小林，王延杰

(中國科學院長春光學精密機械與物理研究所，吉林長春130033)

1 引言

圖像融合是一種綜合處理多源圖像和圖像序列的技術，這種技術將來自不同數據源的多特征圖像進行合并，得到一個包含被測物體信息更完整的圖像，融合后的圖像具有比參加融合的任意一幅圖像更優(yōu)越的性質，能更精確地反映客觀實際［1］，更適合人的視覺和計算機視覺，或者更適合進一步的計算機圖像處理(如圖像分割、特征提取、場景監(jiān)視、目標識別及目標檢測等等)的需要［2］。

目前，圖像融合技術在軍事上的應用越來越廣泛，如導彈防御系統、精確制導導彈、自主式炮彈等技術。在民用方面，圖像融合也在遙感、智能機器人、醫(yī)學診斷和材料檢驗等領域得到相當廣泛的應用［3-7］。

小波(Wavelet)變換融合法［10］是目前學術界討論最廣泛的圖像融合方法。大部分小波變換融合法中都是采用離散小波變換，也有許多學者也將其他形式的小波變換應用到圖像融合中，如平移不變小波、復小波、多小波等。同金字塔變換一樣，小波變換也是一種圖像的多分辨率分析方法。同金字塔變換不同的是，小波變換具有較好的方向性，而且可以是非冗余的，正交小波變換還可以去除兩相鄰尺度上圖像信息間的相關性。不過，小波變換不能最優(yōu)地表示含線或者面奇異的高維函數。為了發(fā)展出一種新的高維函數的最優(yōu)表示方法，有人提出將 Ridgelet，Curvelet，二代 Curvelet，Contourlet，非下采樣 Contourlet為代表的多尺度幾何分析(Multiscale Geometric Analysis)工具［11］用于圖像融合?；谄潇`活的局部性和方向性，Choi等人率先將Curvelet變換引入到遙感圖像融合，之后，很多學者相繼將各種多尺度幾何分析工具運用到圖像融合中，這些方法的基本思路同金字塔變換融合法和小波變換融合法相似。

令人關注的是，CunhaA.L.等人在Contourlet變換的基礎上，提出了一種具有平移不變特性的Contourlet變換-非下采樣 Contourlet變換(Nonsubsampled Contourlet Transform， NSCT)［12］。NSCT不僅具有多尺度、時頻局部特性，還具有多方向特性，能夠有效捕捉圖像中的幾何特征，并且能夠對圖像進行稀疏表示，變換后能量更加集中，能夠為圖像融合提供更多的有用信息。圖像經NSCT分解得到的各子帶圖像之間具有相同的尺寸大小，從而便于融合運算的實現。NSCT在離散域中采用濾波器組實現圖像的多尺度、多方向分解，因而也有著較快的運算速度。

本文基于非下采樣Contourlet變換，針對紅外圖像與可見光圖像的融合，提出了加權與選擇結合的圖像融合算法，并針對低頻子帶系數和各帶通方向子帶系數提出了低頻基于區(qū)域梯度信息、高頻基于區(qū)域特征因子的融合方案。實驗結果顯示，提出的算法具有更高的融合性能。

2 非下采樣Contourlet變換

對于一維分段光滑或者有界變差函數，小波分析比傅里葉分析具有更“稀疏”的表示能力。不過小波這種最佳處理“點”奇異性的優(yōu)勢卻不能簡單地推廣到二維或更高維，不能有效處理“線”奇異性或“面”奇異性的信號。主要原因是二維可分離小波基只具有有限的方向，即水平、垂直、對角，方向性的缺乏使小波變換不能充分利用圖像本身的幾何正則性。

Contourlet變換除了具備時頻局部特性，還具備“各向異性”，可以在長寬比隨尺度而變化的基支撐區(qū)間，每個尺度上不等數的方向分解，從而實現對圖像的稀疏表示。在Contourlet變換的基礎上，Cunha A.L.等人提出了非下采樣Contourlet變 換 (Nonsubsampled Contourlet Transform，NSCT)［12］。

NSCT具有平移不變特性，與Contourlet變換一樣，都是分開進行尺度與方向的分解，采用非下采樣塔式濾波器組(Nonsubsampled Pyramid Filter Bank，NSPFB)進行多尺度分解，再利用非下采樣方向濾波器組(Nonsubsampled Directional Filter Bank，NSDFB)對前面的多尺度子帶圖像進行方向分解，最終完成圖像各個方向尺度的子帶分解，如圖1所示。

圖1 NSCT分解結構示意圖Fig.1 Schematic diagram of NSCT breakdown structure

在圖像的分解與重構期間，NSCT采取避免降采樣和上采樣的操作步驟，使得NSCT同時具備了平移不變性和子帶圖像間的同尺度特性［13，14］。

NSCT采用的NSPFB為二通道非下采樣濾波器組，如圖2(a)所示。其中，分解濾波器{H0(z)，H1(z)}和合成濾波器{G0(z)，G1(z)}，G(z)滿足Bezout恒等式，如式(1)所示，從而保證了NSPFB滿足完全重構(Perfect Reconstruction，PR)條件。類似一維“átrous”小波算法，為實現多尺度分解，下級進行上采樣時，采樣矩陣D=2I(I是2階單位矩陣)。

圖2 NSCT中二通道非下采樣濾波器組Fig.2 Two channel nonsubsampled filter group in the NSCT

圖3 給出了3級塔式分解示意圖以及相應的頻帶劃分示意圖。在j尺度下，帶通濾波器的頻域區(qū)間為，低通濾波器的頻域區(qū)間是經k級塔式濾波，得到k+1個子帶圖像。

圖4 采用二通道扇形濾波器實現四通道方向分解示意圖Fig.4 Schematic diagram of realization of four channel direction decomposition by using two channel fan filter

NSCT采用的NSDFB也是一組二通道非下采樣濾波器組，如圖2(b)所示。其中，分解濾波器{U0(z)，U1(z)}和合成濾波器{V0(z)，V1(z)}也滿足Bezout恒等式，從而保證了NSDFB滿足重構條件。采用理想頻域支撐區(qū)間為扇形的濾波器U0(z)和U1(z)可以實現二通道方向分解。例如，按采樣矩陣對濾波器U0(z)和U1(z)上采樣，得到U0(zD)和U1(zD)濾波器，如圖4所示。如果再對子帶圖像進行濾波，可實現四通道的方向分解。同理采用更為復雜的采樣矩陣可得到的更多方向分解［15］。尺度j下經N級分解，可得到方向分解級數lj的個子帶圖像。源圖像經NSPFB分解后，再將帶通子帶圖像輸入到NSDFB中，即可得到圖像的帶通方向信息。

3 圖像融合策略

對于融合的性能來說，除了圖像的多尺度分解和重構工具，融合規(guī)則非常重要。融合規(guī)則可分為基于像素選取的融合規(guī)則、基于窗口的融合規(guī)則和基于區(qū)域的融合規(guī)則。

在圖像的分解中，低頻系數的融合多采用加權平均法，定義如下:

其中:A，B為源圖像，F為融合圖像，Ci(m，n)為圖像i分解得到的低頻子帶在(m，n)處的系數。加權平均法將清晰區(qū)域的系數與模糊區(qū)域的系數進行“結合”，在提高模糊區(qū)域質量的同時，造成了清晰區(qū)域信息的損失，表現為融合圖像的對比度下降。本文采用基于區(qū)域梯度信息的系數融合準則，原理如下:

如果CA(m，n)=0或CB(m，n)=0，則

CF(m，n)=0.5 ×CA(m，n)+0.5 ×CB(m，n)。

如果CA(m，n)≠0且CB(m，n)≠0，則

絕對值較大的高頻系數對應于圖像中對比度變化較大的邊緣等特征，而人眼對于這些特征比較敏感。所以，對于高頻系數多采用絕對值取大的融合準則，原理如下:

其中:j=1，2，…，N代表分解的層數;i=1，2，3 代表每一層高頻系數的3個方向。

本文采用加權與選擇相結合的準則。該準則考慮了兩幅源圖像之間的相關性，根據相關性的不同，分別采用選擇和平均的算法。當兩幅源圖像之間的相關性較弱時，選擇鄰域能量較大的點;當兩幅源圖像之間的相關性較強時，將待融合的高頻系數進行加權，原理如下:

對不同方向的高頻子帶可采用區(qū)域系數絕對值加權和作為區(qū)域特征因子對高頻系數進行融合。定義高頻子帶在區(qū)域Q內的鄰域能量為活性測度:

其中:j=1，2，…，N代表分解的層數;ε =1，2，3 代表每一層高頻系數的3個方向;w(i，j)為權系數，滿足

匹配測度為區(qū)域歸一化互相關函數:

加權系數計算方法如下:

融合圖像相應的高頻子帶表達式:

基于區(qū)域梯度信息的系數融合準則考慮了圖像的邊緣等特征，提高了清晰區(qū)域的低頻系數選取的準確性。這種加權與選擇相結合的融合準則充分考慮了源圖像高頻子帶系數之間的相關性。

4 基于NSCT的融合試驗

NSCT分解得到的高頻子帶的個數可以靈活控制，因此，有必要研究NSCT分解的層數和方向子帶的個數對融合結果的影響。通過高頻子帶合成圖像可以看出每一種分解情況下得到的所有的細節(jié)信息。如下列實驗圖像所示，隨著分解層數和分解高頻子帶個數的增加，提取出來的細節(jié)信息不斷增加;在一定范圍內，高頻子帶個數的增加能夠突出圖像的邊緣信息，隨著高頻子帶的繼續(xù)增加，其它的非邊緣信息也會得到加強。

圖5 分解層數、分解高頻子帶個數實驗Fig.5 Experiments of decomposition of layers and decomposition of high frequency sub-band numbers

圖5 中分解層數和每層的高頻子帶個數用［d1，d2，…dl］表示，di代表第i層高頻子帶的個數，i=1，2，...，L代表分解層數。當分解層數為1時，融合圖像在數字的邊緣處存在模糊，而當分解層數為2和3時，融合圖像中模糊現象明顯減弱，說明分解層數的增加能夠提高算法的細節(jié)表現力。

為了驗證該融合算法的有效性和正確性，采用兩組紅外與可見光圖像進行融合實驗。經過配準后的可見光與紅外圖像大小為256 pixel×256 pixel，如圖6所示。

圖6 紅外與可見光圖像融合實驗(1)Fig.6 The first experiments of infrared and visible image fusion

驗證算法的同時，還采用了其它融合算法(加權平均算法、拉普拉斯變換融合、小波變換(WT)、離散小波變換(DWT)、離散小波框架變換(DWFT)、Contourlet變換(CNT)以及NSCT等不同圖像多尺度變換)進行性能比較。在所有基于多尺度分解的圖像融合算法中，圖像分解級數均為4級，基于NSCT融合算法中，尺度方向分解級數分別為2，3，3，4。采用平均梯度G、信息熵E以及基于圖像邊緣梯度信息的Q因子對融合性能進行客觀評價。

從融合的結果可以看出，幾種融合方法都改善了原始圖像的視覺效果，豐富了圖像信息，提高了圖像的清晰度。相比于其它圖像，圖6(f)的細節(jié)信息得到了更好的保留，紋理更清晰，有效地消除了圖像的模糊。

圖7 紅外與可見光圖像融合實驗(2)Fig.7 The second experiments of infrared and visible image fusion

圖7 是另一組融合實驗圖像。從融合的結果可以看出，幾種融合方法都改善了原始圖像的視覺效果。相對于源圖像而言，圖7(c)對比度明顯降低。圖(d)中引入了較為明顯的“虛假”信息，尤其是紋理比較豐富的部分，而在圖(e)與圖(f)中，“虛假”信息得到了抑制，主要原因是相對DWT算法，DWFT和NSCT算法沒有采用上采樣和降采樣，在分解和重構的實現過程中，避免了以前引入的頻率混疊項。相對于圖(e)的圖像，圖(f)細節(jié)更加豐富，主要原因是由于NSCT相對于DWFT具備更稀疏的圖像表示以及方向選擇性能力，變換后的圖像更加集中體現能量，有利于對圖像中重要的幾何特征進行更好的跟蹤和捕捉。

NSCT處理后能量更加集中，提供了更多的圖像信息。另外，變換的平移不變特性使其能夠有效減少配準誤差對融合性能的影響。圖像經非下采樣Contourlet分解得到具有同尺寸的各子帶圖像，有利于融合運算的實現，因而具有較快的運算速度，另外本研究在工程應用時對算法應用的實時性無嚴格要求。因此，非下采樣Contourlet變換可以作為更適合圖像融合的MGA工具。

5 結論

NSCT作為多尺度分解的一個重要手段，逐漸在圖像融合研究領域中廣泛應用。本文基于NSCT，重點針對紅外圖像與可見光圖像的融合，提出了加權與選擇結合的圖像融合算法，針對低頻子帶系數和各帶通方向子帶系數提出了低頻基于區(qū)域梯度信息、高頻基于區(qū)域特征因子的融合方案。實驗結果表明:相對于基于像素的圖像融合算法，基于區(qū)域梯度信息與區(qū)域特征因子的圖像融合算法具有更高的融合性能。

［1］毛士藝，趙巍.多傳感器圖像融合技術綜述［J］.北京航空航天大學學報，2002，28(5):512-518.MAO SH Y，ZHAO W.Comments on multisensor image fusion techniques［J］.J.Beijing University Aeronautics and Astronautics，2002，28(5):512-518.(in Chinese)

［2］SIMONE G，FARINA A，MORABITO F C.Image fusion techniques for remote sensing application［J］.Information Fusion，2002，3(1):3-15.

［3］杜寶祥.Contourlet變換在圖像處理中的應用研究［D］.哈爾濱：哈爾濱工程大學，2009.DU B X.Recearch on applications of contourlet transform in image processing［D］.Harbin:Harbin Engineering University，2009.(in Chinese)

［4］WEN C Y，CHEN J K.Multi-resolution image fusion technique and its application to forensic science［J］.Forensic Science International，2004，140(2-3):217-232.

［5］PAN J P，GONG J Y，LU J，et al..Image fusion based on local deviation and high-pass filtering of wavelet transform［J］.SPIE，2004，5660:191-198.

［6］TU T M，HUANG P S，HUNG C L，et al..A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery［J］.IEEE Geoscience and Remote Sensing Lett.，2004，1(4):309-312.

［7］宋好好.Contourlet變換在圖像分析處理中的應用研究［D］.上海：上海交通大學，2008.SONG H H.Application research on contourlet in image processing［D］.Shanghai:Shanghai Jiaotong University，2008.(in Chinese)

［8］HEATHER J P，SMITH M I.Multimodal image registration with applications to image fusion［C］.2005 7th IEEE International Conference on Information Fusion，Philadelphia，Pa，25-28 July，2005:372-379.

［9］楊俊，趙忠明.基于Curvelet變換的多聚焦圖像融合方法［J］.光電工程，2007，6(1):11-16.YANG J，ZHAO ZH M.Multifocus image fusion method based on curvelet transform［J］.Opto-Electronic Eng.，2007，6(1):11-16.(in Chinese)

［10］NIKOLOV S G，HILL P R，BULL D R，et al..Wavelets for image fusion［EB/OL］.(2001-03-06)［2011-07-21］.http://www.tallypaul.pwp.blueyonder.co.uk/papers/nikolov-wif.pdf.

［11］SHI W Z，ZHU C Q，TIAN Y，et al..Wavelet-based image fusion and quality assessment［J］.International J.Appl.Earth Observation and Geoinformation，2005，6(3):241-251.

［12］STARCK J L，CANDES E，DONOHO D L.The curvelet transform for image denoising［J］.IEEE T.Image Process.，2002:670-684.

［13］CANDES E J，DEMANET L，DONOHO D L.Fast discrete curvelet transform［EB/OL］.(2005-01-10)［2010-07-21］.http://www.acm.caltech.edu/emmanuel/paper/FDCT.pdf.

［14］倪偉.基于多尺度幾何分析的圖像處理技術研究［D］.西安：西安電子科技大學，2008.NI W.Research on image processing algorithms via multiscale geometric analysis［D］.Xi'an:Xi'an Univeristy of Electronic Science and Technology，2008.(in Chinese)

［15］BENDER E J，REESE C E，SVANDERWAL G.Comparison of additive image fusion vs.feature-level image fusion techniques for enhanced night driving［J］.SPIE，2003，4796:140-151.