有限離散剪切波域的紅外可見光圖像融合

陳清江，張彥博，柴昱洲，魏冰蔗

(西安建筑科技大學 理學院，陜西 西安 710055)

?

有限離散剪切波域的紅外可見光圖像融合

陳清江*，張彥博，柴昱洲，魏冰蔗

(西安建筑科技大學 理學院，陜西 西安 710055)

針對目前圖像融合過程中的不足之處，結合有限離散剪切波具有高的方向敏感性和拋物尺度化特性，提出了一種有限離散剪切波變換下的圖像融合算法。首先對嚴格配準的多傳感器圖像進行有限離散剪切波變換，得到低頻子帶系數和不同尺度不同方向的高頻子帶系數；然后對低頻子帶系數采用全局特征值和像素點之間的差異性與區(qū)域空間頻率匹配度相結合的融合算法，高頻方向子帶系數采用方向權重對比度與相對區(qū)域平均梯度和相對區(qū)域方差相結合的方案；最后通過有限離散剪切波逆變換得到融合圖像。實驗結果表明，與其他的融合算法相比較，本文算法不但有良好的主觀視覺效果，而且3幅圖像的客觀評價指標分別平均提高了0.9%、3.8%、3.1%，2.6%、3.8%、2.9%和1.5%、125%、59%，充分說明了本文融合算法的優(yōu)越性。

圖像融合；有限離散剪切波；對比度；區(qū)域平均梯度；平移不變性

1　引　言

圖像融合是指采用特定的算法將兩幅或多幅圖像合成為一幅更精準、更具可靠性圖像的過程。通過圖像融合技術可以最大限度地獲取對目標或場景信息的完整描述，更適合人的視覺及計算機檢測、分類、識別及處理。這種技術已廣泛應用于醫(yī)學、智能機器人、遙感等領域。

多尺度變換是將待融合圖像分解為不同尺度、不同方向上的一系列代表不同特征的子圖像，然后選取合適的融合規(guī)則，對子圖像進行運算選取，最后將處理后的系數進行逆變換得到重構圖像。它與人眼視覺系統(tǒng)對事物的認知過程非常相似，因此將多尺度變換的思想應用于圖像融合領域將得到符合人類視覺特征的融合圖像。1987年，Mallat將多尺度分析思想引入小波分析的研究中，提出了多分辨率分析[1]的概念。因此用小波變換[2-4]來處理圖像信號，可以較好地提取圖像邊緣輪廓等細節(jié)信息。然而，傳統(tǒng)的小波變換只能捕捉水平、垂直和對角3個方向的信息，并不能很好地表示圖像的“線奇異性”，在處理二維信號時有一定的局限性。為此，人們先后提出了DWT[5]、CT[6-7]、NSCT[8-9]、 DTCW T[10]、NSST[11]等變換，從移變性到平移不變性的發(fā)展，使得它們具有更好的方向選擇性，可以更稀疏地表達圖像的細節(jié)紋理信息，在圖像融合中取得了較好的主觀視覺效果；但其缺點是計算復雜度較高，且分解的方向數有限。隨后，S.H?user和G.Steidl[12]證明并構造了有限維歐式空間中parseval框架的離散剪切波，簡稱有限離散剪切波(FDST),它不僅滿足平移不變性，同時保持了DWT及NSCT的良好特性,并且由于FDST在分解、重構過程中采用快速Fourier變換算法，因此也具備了較好的運算效率。

多尺度變換將源圖像分解成低頻信息和不同尺度不同方向上的高頻信息，低頻子帶是源圖像的近似，包含了圖像的主要信息；高頻子帶包含了源圖像的細節(jié)信息。傳統(tǒng)的融合策略不能有效地提取圖像的邊緣輪廓等細節(jié)圖像，模糊了源圖像的清晰部分，容易引入虛假信息，導致融合結果失真。為改善圖像融合后的質量，本文對于低頻采用全局特征值和像素點之間的差異性與區(qū)域空間頻率匹配度相結合的融合算法；對于高頻采用將相對區(qū)域平均梯度和相對區(qū)域方差與方向權重對比度[13]相結合算法。實驗結果表明，該融合算法能有效地提取圖像的互補信息，保留多幅圖像的共同特征及邊緣紋理等細節(jié)信息，融合效果優(yōu)于其他算法。

2　有限離散剪切波變換

2.1剪切波變換[12]

設剪切型矩陣和拋物型矩陣分別為:

(1)

式中，p∈R+,s∈R。?ψ∈L2(R2)，對ψ進行膨脹、剪切及平移得到ψp,s,t，并且:

(2)

通過對ψp,s,t進行二維傅里葉變換，得到L2(R2)中任意f的連續(xù)剪切波變換及對應parseval等式，通過定義小波函數和沖擊函數可將頻域平面分成不同的區(qū)域，包括水平錐面、垂直錐面、錐面交叉線和低頻部分。如圖1所示。

圖1　不同區(qū)域的頻域平面 Fig.1　Frequency domain plane in different regions

(3)

對低頻部分上的剪切波，使用加細函數φ可使得φ(x)的平移變換為Ttφ(x)=φ(x-t)。

2.2有限離散剪切波

(4)

(5)

因此離散剪切波就可表示為：

(6)

圖2　測試圖像及重構圖像 Fig.2　Test image and reconstructed image

圖3　第一層和第二層分解的方向子帶 Fig.3　Directional subband of the first level and second level decomposition

3　圖像融合策略

FDST的分解融合過程：首先對源圖像進行FDST分解,得到不同尺度不同方向的低頻和高頻子帶系數;其次對低頻和各高頻系數分別選取不同的的融合規(guī)則以及對各系數進行運算選取,最后應用有限離散剪切波逆變換得到重構圖像。以兩幅圖像為例,算法主要步驟如下：

3.1低頻子帶融合策略

低頻圖像是源圖像的近似，在原始圖像中所占能量比例較大,包含了源圖像的主要信息。以往的低頻融合策略如區(qū)域能量忽略了黑暗部分，區(qū)域方差只增強了邊緣效果，并沒有提高整體的融合效果。 為改善圖像融合后的質量，受文獻[14]啟發(fā)，低頻部分采用全局特征值和像素點之間的差異性與區(qū)域空間頻率匹配度相結合的融過算法。具體融合規(guī)則如下：

(1)設A、B為低頻圖像，區(qū)域窗口大小為N×N,為了提高融合圖像的對比度，低頻不再采用簡單的加權平均或區(qū)域能量的方法，這里給出了一種自適應的加權融合方法，權重參量計算如下:

(7)

(8)

式中，λA、λB表示圖像A、B的全局特征值，全局特征值反映圖像的一般背景亮度，比灰度均值和中位數更能反映圖像的整體特性，計算如下:

(9)

(2)區(qū)域空間頻率反映圖像的局部特征，往往區(qū)域信息豐富、有效信息多的區(qū)域空間頻率大，這里結合區(qū)域空間頻率構造了一種區(qū)域空間頻率匹配度融合方法。首先計算A、B在(i,j)點的區(qū)域空間頻率：

SFA(i,j)=

(10)

SFB(i,j)=

(11)

式中，A(i+m,j+n),A(i+m-1,j+n),A(i+m,j+n-1),B(i+m,j+n),B(i+m-1,j+n),B(i+m,j+n-1)為A,B在(i+m,j+n),(i+m-1,j+n),(i+m,j+n-1)點的灰度值，定義與A、B相關的區(qū)域空間頻率匹配度：

(12)

式中，N(i,j)為以(i,j)點為中心的N×N區(qū)域。當A和B相接近時，MA,B(i,j)接近于1；當A和B相差較大時，MA,B(i,j)接近于0。令I(0.5

(13)

3.2高頻子帶融合策略

高頻圖像包含了源圖像的邊緣細節(jié)信息，對高頻系數的選取直接影響融合后圖像的清晰度，以往采用區(qū)域方差、區(qū)域平均梯度、空間頻率等方法能用不同的方式反映圖像的詳細信息，并且可以區(qū)分圖像的清晰和模糊區(qū)域，上述3種方法均能全面反映圖像特征，不同的方法也有不同的融合效果。但是在大多數現有的融合算法中通常只采用其中一種融合算法，這樣會丟失源圖像的細節(jié)信息，在主觀視覺效果和客觀評價指標之間不能達到最佳的折衷。本文將方向權重對比度與相對區(qū)域方差和相對平均梯度結合起來，克服了單一融合算法的缺點，有效地改善了融合后圖像的質量。具體步驟如下：

(14)

(15)

(16)

(17)

(18)

(3)選取融合后的高頻系數，為改善融合效果引入參量r(0

(19)

4　仿真實驗及結果分析

4.1不同變換域下同一種融合策略的圖像融合

為說明有限離散剪切波變換的優(yōu)越性，在不同的變換域下采用同一種本文提出的融合策略，對紅外與可見光圖(圖4(a)、4(b))進行融合比較。具體分別對傳統(tǒng)融合策略下采用平穩(wěn)小波變換(SWT)、離散小波變換(DWT)、非下采樣輪廓波變換(NSCT)、雙樹復小波變換(DTCWT)、非下采樣剪切波變化(NSST)、有限離散剪切波變換(FDST)進行比較。仿真的實驗機器為Thinkpad E420，軟件是Matlab2014a,對主觀視覺效果及對相應的客觀評價指標(信息熵EN,互信息量MI,邊緣相似度QAB/F)和運行時間進行比較說明。融合結果依次為圖4(c)～4(h)所示。

圖4　不同小波域在文章融合策略下對紅外與可見光圖的融合結果 Fig.4　Infrared and visible image fusion results using fusion strategy of this paper in different wavelet domain

圖4是紅外與可見光圖像的融合結果,從融合結果及細節(jié)放大效果中可以看出：圖4(c)、4(d)、 4(e)、4(f)和4(g)都不同程度地提取了源圖像的互補信息，視覺效果較源圖像都有所改善，但是圖像整體昏暗，模糊了源圖像的清晰部分；而4(h)中船的輪廓清晰可見，對比度適中，細節(jié)紋理特征突出，提取到了目標的主要信息，有更好的視覺效果。這說明FDST在圖像融合過程中比其他變換域具有更大的優(yōu)越性。相應的客觀指標評價結果如表1。

表1　不同小波域下對紅外與可見光圖的融合結果比較

由表1可以看出，在Infrared and visible圖的6種融合結果中，DWT邊緣相似度高于SWT,但SWT的熵值和互信息量卻優(yōu)于DWT。NSCT、DTCWT和NSST的熵值、互信息量和邊緣相似度相互接近。而FDST的各項客觀評價指標均優(yōu)于其他變換域下的融合結果。其中熵值、互信息量和邊緣相似度分別平均提升了26.3%、131.6%和63.6%。從運行時間來看，有限離散剪切波變換在視覺效果和客觀指標大大提升的同時，又有相對較高的運算效率，這充分說明了FDST在圖像融合中的優(yōu)越性。

4.2不同文獻算法的融合結果比較

不同的融合策略應用于不同的變換域會有不同的融合效果。這部分主要用4種不同的融合算法對3幅紅外與可見光圖(圖5(a)、5(b)，6(a)、6(b)，7(a)、7(b))進行了融合比較。具體包括：非下采樣剪切波變換下低頻采用空間頻率與平均梯度自適應加權，高頻采用區(qū)域方差取大的融合算法[16](NSST_ HSGLRV)；下采樣分數階小波變換下低頻采用區(qū)域能量取大法，高頻采用區(qū)域方差匹配度的融合算法[17]( FRWT_HRELV)；有限離散剪切波變換下低頻采用梯度加權，高頻采用區(qū)域標準差取大的融合算法[18](FDST_LGHRS); 有限離散剪切波變換下低頻采用全局特征值和像素點之間的差異性與區(qū)域空間頻率匹配度相結合，高頻采用方向權重對比度與相對區(qū)域平均梯度和相對區(qū)域方差相結合的融合算法(FDST_LGVHC)。融合結果依次為圖5(c)～5(g)、6(c)～6(g) 、7(c)～7(g)所示。

圖5　不同小波域在不同融合策略下對紅外與可見光圖(5)的融合結果 Fig.5　Infrared and visible image(5) fusion results using different fusion strategies in different wavelet domains

圖6　不同小波域在不同融合策略下對紅外與可見光圖(6)的融合結果 Fig.6　Infrared and visible image(6) fusion results using different fusion strategies in different wavelet domains

從融合結果及細節(jié)放大效果可以看出，圖5(c)～5(f)、6(c)～6(f)、7(c)～7(f)都提取到了目標的互補信息，但圖像的細節(jié)反差和明暗保持各有不同。如圖5(f)在整體色度和飽和度方面比圖5(c)、5(d)、5(e)表現更充分，草木中的細節(jié)紋理信息更為精確，充分保持了源圖像的主要信息。圖6(c)圖像色度發(fā)生改變，圖6(d)圖像整體模糊，而圖6(e)和6(f)效果明顯改善，尤其是圖6(f)中的電腦、瓶子、柜子等都清晰可見，對比度適中，細節(jié)紋理突出，視覺效果良好。圖7(c)和7(d)雖然能夠將目標信息融入到融合圖像中，但都模糊了源圖像的清晰部分。圖7(e)融合效果有所改善，與圖7(e)相比，圖7(f)更加清晰自然，區(qū)域特征明顯，邊緣輪廓保持完整。這說明在有限離散剪切波變換下低頻采用全局特征值和像素點之間的差異性與區(qū)域空間頻率匹配度相結合，高頻采用方向權重對比度與相對區(qū)域平均梯度和相對區(qū)域方差相結合的融合算法是可取的。相應的客觀評價指標見下表2。

由表2可以看出：在Infrared and visible image(6)的融合結果中，FDST_LGVHC除了熵值略低于FDST_LGHRS，其它指標均優(yōu)于NSST_ HSGLRV，FRWT_HRELV，FDST_LGHRS。其中熵值、互信息量和邊緣相似度分別平均提升了0.9%、3.8%和3.1%。而在Infrared and visible image(5)和Infrared and visible image(7)的融合結果中，FDST_LGVHC的熵值、互信息量和邊緣相似度均是最優(yōu)的。并且Infrared and visible image(5)的各項客觀評價指標分別平均提升了2.6%、3.8%和2.9%；Infrared and visible image(7)的各項客觀評價指標分別平均提升了1.5%、125%和59%。從運行時間來看，在有限離散剪切波變換下采用本文的融合策略不但客觀指標均有所提高，而且具有很好的時效性，進一步說明了本文算法的可取性。

表2　不同小波域在不同融合策略下對紅外與可見光圖的融合結果比較

5　結　論

結合有限離散剪切波具有平移不變性和拋物尺度化特性，提出了利用有限離散剪切波對源圖像進行多尺度變換，并對低頻子帶系數和各方向高頻子帶系數采用不同的融合策略，最后應用有限離散剪切波逆變換重構得到融合圖像。實驗結果表明：與其它融合算法相比，本文提出的融合算法能夠有效提取圖像的邊緣、輪廓等細節(jié)紋理信息，具有良好的主觀視覺效果。在客觀評價指標上，除了個別指標不是最優(yōu)，其它指標均優(yōu)于其它算法，而且圖像的客觀評價指標整體分別平均提高了0.9%、3.8%、3.1%，2.6%、3.8%、2.9%和1.5%、125%、59%?？傮w而言，本文融合算法能夠得到較好的融合效果，具有較高的運算效率。

[1]楊桄,童濤,陸松巖,等.基于多特征的紅外與可見光圖像融合[J].光學 精密工程,2014,22(2):489-496.

YANG G,TONG T,SONG-YAN L U,etal.. Fusion of infra- red and visible images based on multi-features[J].Optics&PrecisionEngineering,2014,22(2):489-496.(in Chinese)

[2]MEHRA I,NISHCHAL N K. Wavelet-based image fusion for securing multiple images through asymmetric keys[J].OpticsCommunications,2015,335:153-160.

[3]ZHANG H,CAO X. A way of image fusion based on wavelet transform[C]. 2013 IEEE 9th International Conference on Mobile Ad-hoc and Sensor Networks,IEEE Computer Society,2013:498-501.

[4]CHENG J,LIU H,LIU T,etal.. Remote sensing image fusion via wavelet transform and sparse represent- tation[J].IsprsJ.Photogrammetry&RemoteSensing,2015,104:158 173.

[5]YANG Y. Multimodal medical image fusion through a new DWT based technique[C]. 2010 4th International Conference on Bioinformatics and Biomedical Engineering(iCBBE),IEEE,2010:1-4.

[6]WANG X,LIU Q,WANG R,etal.. Natural image statistics based 3D reduced reference image quality assessment in contourlet domain[J].Neurocomputing,2015,151:683 691.

[7]楊粵濤,朱明,賀柏根,等.采用改進投影梯度非負矩陣分解和非采樣Contourlet變換的圖像融合方法[J].光學 精密工程,2011,19(5):1143-1150.

YANG Y T,ZHU M,HE B G,etal.. Fusion algori- thm based on improved projected gradient NMF and NSCT[J].Opt.PrecisionEng.,2011,19(5):1143-1150. (in Chinese)

[8]陳小林,王延杰.非下采樣變換的紅外與可見光圖像融合[J].中國光學,2011,4(5):489-496.

CHEN X L,WANG Y J. Infrared and visible image fusion based on nonsubsampled Contourlet transform[J].ChineseOptics,2011,04(5):489-496.(in Chinese)

[9]張蕾,金龍旭,韓雙麗,等.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學 精密工程,2015,23(3):810-818.

ZHANG L,JIN L X,HAN SH L,etal.. Fusion of infrared and visual images based on non-sampled contourlet transform and region classification[J].OpticsCommunications,2015,23(3):810-818.(in Chinese)

[10]RANGASWAMY Y,RAJA K B,VENUGOPAL K R. FRDF:face recognition using fusion of DTCWT and FFT features[J].ProcediaComputerScience,2015,54:809-817.

[11]陳貞,邢笑雪.基于非下采樣Shearlet變換與壓縮感知的圖像融合[J].液晶與顯示,2015(6):1024-1031.

CHEN ZH,XING X X. Image fusion algorithm based on non-subsampled Shearlet transform and compressed sensing[J]. 2015,30(6):1024-1031.(in Chinese)

[12]HAUSER S,STEIDL G. Convex multiclass segmentation with shearlet regularization[J].InternationalJ.ComputerMathematics,2013,90(1/2):62-81.

[13]蒲恬,方慶喆,倪國強.基于對比度的多分辨率圖像融合[J].電子學報,2000,12:116-118.

PU T,FANG Q ZH,NI G Q. Contrast-based multiresolution image fusion[J].ActaElectronicaSinica,2000,12:116-118. (in Chinese)

[14]ZHAO CH H,GUO Y T,WANG Y L. A fast fusion scheme for infrared and visible light images in NSCT domain[J].InfraredPhysicsandTechnology,2015,72:266-275.

[15]LIU X,ZHOU Y,WANG J. Image fusion based on Shearlet transform and regional features[J].AEU-InternationalJ.ElectronicsandCommunications,2013,68(6):471-477.

[16]石智,張卓,岳彥剛.基于Shearlet變換的自適應圖像融合算法[J].光子學報,2013,42(1):115-120.

SHI ZH,ZHANG ZH,YUE Y G. Adaptive image fusion algorithm based on shearlet transform[J].ActaPhotonicaSinica,2013,42(1):115-120. (in Chinese)

[17]徐小軍,王友仁,陳帥.基于下采樣分數階小波變換的圖像融合新方法[J].儀器儀表學報,2014(9):2061-2069.

XU X J,WANG Y R,CHEN SH. Novel image fusion method based on downsampling fractional wavelet transform[J].ChineseJ.ScientificInstrument,2014(9):2061-2069.(in Chinese)

[18]陳廣秋,高印寒,劉廣文,等.有限離散剪切波域結合區(qū)域客觀評價的圖像融合[J].吉林大學學報(工學版),2014,44 (6):1849-18 59.

CHEN G Q,GAO Y H,LIU G W,etal.. Image fusion based on area objective assessment in finite discrete shearlet transform domain[J].J.JilinUniversity(Engineering and Techonlogy Edition),2014,44(6):1849-1859.(in Chinese)

Fusion of infrared and visible images based on finite discrete shearlet domain

CHEN Qing-jiang*, ZHANG Yan-bo ,CHAI Yu-zhou, WEI Bing-zhe

(College of Science,Xi′an University of Architecture and Technology,Xi′an 710055,China)*Correspondingauthor,E-mail:qjchen66xytu@126.com

Aiming at the deficiency of the current image fusion process, combining with good directional sensitivity and parabolic scaling properties of Finite Discrete Shearlet Transform(FDST), a new image fusion algorithm based on FDST is proposed. Firstly, the registration multi sensing images are decomposed by FDST, and the low frequency sub-band coefficients and high frequency sub-band coefficients of different scales and directions are obtained. The fusion principle of low frequency sub-band coefficients is based on the method of combining the differences between global attribute and each pixel with region spatial frequency matching degree. As for high frequency sub-band coefficients, sum of the directional weight contrast can be adopted as the fusion rule, which combines with the relative region average gradient and relative region variance. Finally, the low frequency information and high frequency information are reconstructed to image by Finite Discrete Shearlet Inverse Transform. The results indicate that the algorithm proposed in this paper has a good subjective visual effect, and its quality indexes has been increased averagely by 0.9%、3.8%、3.1%， 2.6%、3.8%、2.9% and 1.5%、125%、59% respectively compared with other fusion algorithms, which shows that the algorithm is superior to other fusion algorithms.

image fusion;finite discrete shearlet;contrast;regional average gradient;shift-invariant

2016-04-18；

2016-05-11

陜西省自然科學基金資助項目(No.2015JM1024；No.2013JK0568)

2095-1531(2016)05-0523-09

TP391.4

Adoi:10.3788/CO.20160905.0523

陳清江(1966—)，男，河南信陽人，博士，教授，主要從事小波分析、圖像處理與信號處理方面的研究。E-mail:qjchen66xytu@126.com

Supported by Shaanxi Provincial Natural Science Foundation of China(No.2015JM1024；No.2013JK0568)