DTCWT域的紅外與可見光圖像融合算法*

張貴倉，蘇金鳳，拓明秀

(西北師范大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，甘肅 蘭州 730070)

1 引言

由于獲取圖像的傳感器互有差異，其成像原理和工作環(huán)境也有所區(qū)別，因此相同場景獲取的不同圖像會產(chǎn)生信息的互補和冗余。紅外與可見光圖像的融合在目標(biāo)跟蹤、監(jiān)視、軍事等領(lǐng)域發(fā)揮著重要的作用，如可見光圖像提供了場景細(xì)節(jié)信息，但當(dāng)可見光圖像中的目標(biāo)與背景具有相似的顏色和空間特征，或光照強度不足時，很難從可見光圖像中提取目標(biāo)信息。幸運的是，在紅外圖像中比背景更熱或更冷的目標(biāo)能夠很容易被識別出來[1]。因此，融合紅外圖像的目標(biāo)信息和可見光圖像的場景信息，能夠?qū)崿F(xiàn)對場景的全面描述，有助于觀察者對圖像的進(jìn)一步分析。

近幾年，紅外與可見光圖像融合算法主要在基于空間域和基于變換域這兩方面發(fā)展[2 - 5]。比較新的基于空間域算法有壓縮感知CS(Compressed Sensing)圖像融合[6]和魯棒主成分分析RPCA(Robust Principal Component Analysis)圖像融合[7]。其中，CS能夠通過較少的測量數(shù)據(jù)稀疏表示圖像并精確重構(gòu)，不僅減少了冗余信息，還能消除噪聲，避免信息損失[8,9]。2015年，Chen等人[10]提出了一種基于梯度的壓縮感知圖像融合算法，可以應(yīng)用于不同的融合場景，有很強的場景適應(yīng)性，但是融合圖像降低了對比度，不利于人或機器感知。魯棒主成分分析RPCA是一種新的低階矩陣恢復(fù)模型，可以將圖像分解成目標(biāo)分量和背景分量，實現(xiàn)對目標(biāo)和背景的精確提取[11]。2018年,Li等人[12]提出基于RPCA和壓縮感知的圖像融合算法，雖然得到了清晰的紅外目標(biāo)，但是背景不夠清晰，獲得的信息較少。以上算法在一定程度上實現(xiàn)了紅外與可見光圖像融合，但是都不可避免地造成了融合圖像對比度與清晰度的降低，細(xì)節(jié)紋理信息損失等問題。

基于變換域的融合算法也有很大進(jìn)展，如非下采樣輪廓波變換NSCT(Non-Subsampled Contourlet Transform)、非下采樣剪切波變換NSST(Non-Subsampled Shearlet Transform)和雙樹復(fù)小波變換DTCWT(Dual-Tree Complex Wavelet Transform)。NSCT變換利用多尺度、多方向和平移不變性能夠捕獲豐富的邊緣和紋理信息，消除振鈴效應(yīng)和抖動現(xiàn)象[13]。2016年，Zhang等人[14]提出了將NSCT與壓縮感知結(jié)合的自適應(yīng)圖像融合算法，得到的融合結(jié)果優(yōu)于NSCT算法的結(jié)果，但是算法復(fù)雜度高，降低了圖像處理效率。正因為NSCT運行效率不高，耗時較長，不適用于對實時性要求高的場合，研究者們提出了NSST，與NSCT相比，NSST的運行時間短，可以將圖像更好地融合。2017年，鄧立暖等人[15]提出基于NSST的紅外與可見光圖像融合算法，能夠有效地提取紅外目標(biāo)信息，保持可見光圖像信息。但是，該算法對于對比度和清晰度較低的源圖像，融合圖像會由于顯著圖定位不準(zhǔn)確造成信息的錯誤判斷而出現(xiàn)暗影，降低了融合圖像質(zhì)量。以上算法雖然能達(dá)到一定的融合效果，但是大多存在融合圖像對比度和清晰度降低，且由于噪聲干擾而導(dǎo)致細(xì)節(jié)紋理信息丟失的問題，不能滿足實際應(yīng)用，因此迫切需要開發(fā)有效的新興融合算法來改善這些問題，加速發(fā)展紅外與可見光圖像融合技術(shù)。

本文針對紅外與可見光圖像融合中融合圖像對比度和清晰度降低以及噪聲干擾問題，提出一種DTCWT域的紅外與可見光圖像融合算法。首先，對源圖像進(jìn)行預(yù)增強處理，目的是調(diào)節(jié)其對比度，提高信息提取率。然后，利用DTCWT正變換得到低頻子帶圖像和高頻子帶圖像，再分別利用低頻融合規(guī)則和高頻融合規(guī)則進(jìn)行融合，最后通過DTCWT逆變換得到融合圖像。實驗結(jié)果表明，本文算法在保證高效率的前提下，能有效提高融合圖像對比度和清晰度，降低噪聲干擾。

2 雙樹復(fù)小波變換

雖然，NSST相比NSCT的運行效率有所提高，但是對于分解尺度j，其冗余度為2j，導(dǎo)致其計算速度還是很慢。而DTCWT的冗余度不會因分解尺度的增大而上升，一直為4，使得算法的實現(xiàn)速度得到提升，并且利用有限冗余度就能夠?qū)崿F(xiàn)平移不變性和方向選擇性。DTCWT不同于一般的復(fù)小波變換之處在于其可以單獨利用2棵實濾波樹分別產(chǎn)生相應(yīng)的小波系數(shù)的實部及虛部，對源圖像對應(yīng)像素A(j,l),通過低通濾波器H0(n)和高通濾波器H1(n)在每層分解都獲得2個低頻子帶圖像A(j+1,1)和A(j+1,2),以及6個高頻子帶圖像D(j+1,t),t=1,2,…,6，如圖1所示。

Figure 1 Two dimensional dual tree complex wavelet transform圖1 二維雙樹復(fù)小波變換

雙樹復(fù)小波濾波器要求第1層2棵樹之間有1個采樣點時延，并從第2層起，1棵樹中的濾波器必須與另1顆樹中的濾波器之間保持相對于各自采樣速率的半個樣值間隔的差距。

3 基于DTCWT的紅外與可見光圖像融合算法

3.1 預(yù)增強處理

圖像融合的目的是同時獲取不同傳感器下的多樣化信息，如果融合前的圖像受到拍攝環(huán)境和不同傳感器特性的影響，對比度偏低，則會降低圖像顯著信息的提取率，造成信息丟失。如紅外圖像的對比度偏低，除了紅外目標(biāo)外，場景信息大多被模糊化，調(diào)節(jié)其對比度可以呈現(xiàn)更好的紋理信息?？梢姽鈭D像在拍攝環(huán)境較差的條件下，對比度會偏低，調(diào)節(jié)其對比度可以提高場景清晰程度。因此，為了調(diào)節(jié)紅外圖像和可見光圖像的對比度，本文采用文獻(xiàn)[16]的T函數(shù)將大于μ的像素放大，小于μ的像素減小，其定義為:

(1)

(2)

其中，S(x,y)為圖像(x,y)處像素灰度值；μ為圖像的平均像素值；T(x,y)為對比度拉伸后的(x,y)處像素灰度值；kt為拐點參數(shù)。

3.2 低頻融合規(guī)則

所以，選用合適的低頻融合規(guī)則十分重要。圖像融合中的圖像信息是由多到一傳遞的一種映射，這種映射存在很強的不確定性關(guān)系，主要體現(xiàn)在圖像灰度值間的傳遞上。源圖像經(jīng)DTCWT分解后映射的不確定性關(guān)系也隨著低頻子帶圖像保留下來，因此需要采用合理的低頻融合規(guī)則來定義映射的不確定性關(guān)系。

直覺模糊集利用隸屬函數(shù)u(x,y)和非隸屬函數(shù)v(x,y)對模糊概念進(jìn)行描述，進(jìn)而引入猶豫度的導(dǎo)出參數(shù)，用以描述圖像信息通過映射所反映的不確定性關(guān)系。其中，隸屬函數(shù)是連接源圖像和融合圖像的灰度分布規(guī)律之間關(guān)系的橋梁，選擇合適的隸屬函數(shù)可以有效提高圖像的融合效率。高斯隸屬函數(shù)能夠很好地描述低頻子帶圖像的信息，所以本文利用雙向決策的直覺模糊集算法融合低頻子帶圖像。首先，根據(jù)文獻(xiàn)[17]定義分別以紅外圖像和可見光圖像為主導(dǎo)圖像的隸屬函數(shù)和非隸屬函數(shù)，如式(3)和式(4)所示:

(3)

(4)

得到猶豫度和隸屬度如式(5)和式(6)所示:

θi(x,y)=1-ui(x,y)-vi(x,y)

(5)

(6)

那么，在以紅外圖像為主導(dǎo)圖像的隸屬決策下低頻系數(shù)矩陣元素為:

(7)

同樣地，在以可見光圖像為主導(dǎo)圖像的隸屬決策下低頻系數(shù)矩陣元素為:

(8)

得到不同隸屬決策下的低頻系數(shù)矩陣C1和C2，再利用區(qū)域能量的融合規(guī)則自適應(yīng)融合。C1和C2的區(qū)域能量可以表示為:

y+n)]2

(9)

y+n)]2

(10)

(11)

其中，b是M×N的區(qū)域窗口遮罩，則權(quán)重因子定義為:

WI2(x,y)=1-WI1(x,y)

(12)

因此，融合后的低頻子帶圖像可以表示為:

WI2(x,y)C2(x,y)

(13)

3.3 高頻融合規(guī)則

(14)

(15)

其中，i∈{1,2};σ是噪聲的標(biāo)準(zhǔn)偏差，可以控制平滑度。

列梯度幅值定義為:

(16)

(17)

則它們之間的相互信息反差定義為:

(18)

得到反差比重為:

(19)

則信息反差對比度定義為:

(20)

所以，高頻子帶圖像融合規(guī)則定義為：

(21)

3.4 基于DTCWT的紅外與可見光圖像融合算法流程

基于DTCWT的紅外與可見光圖像融合步驟如下所示：

(2)對低頻子帶圖像和高頻子帶圖像分別利用相應(yīng)的融合規(guī)則進(jìn)行融合，得到融合后的低頻子帶圖像和高頻子帶圖像。

(3)對融合后的低頻子帶圖像和高頻子帶圖像進(jìn)行DTCWT逆變換，得到最終的融合圖像。算法流程如圖2所示。

Figure 2 Flow chart of infrared and visible images fusion based on DTCWT圖2 基于DTCWT的紅外與可見光圖像融合流程

4 實驗結(jié)果與分析

為了驗證本文算法的有效性，本文選取了5組嚴(yán)格配準(zhǔn)過的紅外圖像和可見光圖像進(jìn)行融合，所有圖像大小均為256×256，如圖3所示。將本文算法與4種現(xiàn)有的融合算法進(jìn)行實驗對比，這4種算法分別是基于CS[10]、RPCA[12]、NSCT[14]和NSST[15]的圖像融合算法。在本文算法中，DTCWT的分解尺度為4，預(yù)增強處理的拐點參數(shù)kt=3，低頻子帶圖像融合的調(diào)節(jié)參數(shù)k0=3,k1=0.8,k2=1.2，實驗操作環(huán)境是Matlab2014a。

Figure 3 Source image fused by infrared and visible light圖3 紅外與可見光融合的源圖像

4.1 主觀視覺評價

如圖4～圖8顯示了各個圖像在不同算法下的融合結(jié)果。子圖a是基于CS的融合算法對應(yīng)的融合結(jié)果；子圖b是基于RPCA的融合算法對應(yīng)的融合結(jié)果；子圖c是基于NSCT的融合算法對應(yīng)的融合結(jié)果；子圖d是基于NSST的融合算法對應(yīng)的融合結(jié)果；子圖e是本文算法對應(yīng)的融合結(jié)果。

由圖4可以看出，基于CS算法的融合圖像清晰度和對比度偏低，樹葉部分的紋理細(xì)節(jié)不夠明顯，右上角的光源部分也很灰暗，并且有噪聲干擾，很難進(jìn)一步觀察到有效信息；基于RPCA算法的融合圖像亮度明顯增強，也凸顯了更多的紋理細(xì)節(jié)，噪聲干擾較低；基于NSCT算法的融合圖像對比度增強，但是圖像的邊緣細(xì)節(jié)比較模糊，含有明顯的噪聲干擾；雖然基于NSST算法的融合圖像的亮度沒有基于NSCT算法的明顯，但是其紋理細(xì)節(jié)很清晰，可以觀察到植物周圍信息；基于本文算法的融合圖像在清晰度和對比度上有很大提升，并且包含更多的紋理細(xì)節(jié)信息，也避免了噪聲干擾。

Figure 4 Experimental results comparison of the first group of infrared and visible images fusion圖4 第1組紅外與可見光圖像融合實驗結(jié)果對比

從圖5可以看出，基于CS算法的融合圖像非?；野?，雖然能看到紅外目標(biāo)，但是廣告牌的信息很模糊；基于RPCA和NSST算法的融合圖像相近，但是后者更加清晰，細(xì)節(jié)更明顯；基于NSCT算法的融合圖像的對比度和清晰度較低，明顯低于本文算法的融合圖像的對比度和清晰度，整體觀察基于本文算法的融合圖像既有清晰的紅外目標(biāo)，又很好地融合了可見光圖像的周圍環(huán)境信息。

Figure 5 Experimental results comparison of the second group of infrared and visible images fusion圖5 第2組紅外與可見光圖像融合實驗結(jié)果對比

由圖6可以觀察到，基于CS算法的融合圖像達(dá)到了一定的融合效果，但是機場的周圍環(huán)境非常模糊，細(xì)節(jié)信息很少；基于RPCA、NSCT和NSST算法的融合圖像的機場環(huán)境很清晰，可以看到人物和車輛，但路面較為灰暗；相比之下，基于本文算法的融合圖像的整體路面很清晰，機場的車輛也可以觀測到。

Figure 6 Experimental results comparison of the third group of infrared and visible images fusion圖6 第3組紅外與可見光圖像融合實驗結(jié)果對比

觀察圖7可以發(fā)現(xiàn)，基于RPCA和NSCT算法的融合圖像天空上方的云痕沒有顯現(xiàn)，細(xì)節(jié)信息丟失；而基于CS和NSST算法的融合圖像有明顯的云痕，但基于CS算法的融合圖像整體灰暗，細(xì)節(jié)信息很少，并且基于NSST算法的融合圖像存在偽影；基于本文算法的融合圖像包含了云痕，輪船細(xì)節(jié)也很明顯。

Figure 7 Experimental results comparison of the fourth group of infrared and visible images fusion圖7 第4組紅外與可見光圖像融合實驗結(jié)果對比

觀察圖8可以發(fā)現(xiàn)，基于CS、RPCA和NSCT算法的融合圖像除了紅外目標(biāo)外，周圍環(huán)境不夠清晰，邊緣信息較少；而基于NSST算法的融合圖像雖然邊緣明顯，但也產(chǎn)生了偽影；基于本文算法的融合圖像不但紅外目標(biāo)清晰，周圍樹木也很明顯，有利于觀察。綜上主觀分析可以得出，本文算法的性能更好，對紅外圖像與可見光圖像的融合效果更好。

Figure 8 Experimental results comparison of the fifth group of infrared and visible images fusion圖8 第5組紅外與可見光圖像融合實驗結(jié)果對比

4.2 客觀性能指標(biāo)評價

以上僅僅是從人眼的視覺感知評價各種不同融合算法的性能，為了進(jìn)一步客觀地驗證本文算法的有效性，利用信息熵IE(Information Entropy)、平均梯度AG(Average Gradient)、空間頻率SF(Spatial Frequency)、標(biāo)準(zhǔn)差SD(Standard Deviation)、互信息MI(Mutual Information)共5個客觀評價指標(biāo)進(jìn)行評價。IE越大，表示融合圖像包含的信息量越大。AG和SF越大，反映了融合圖像越清晰。SD越大，表示融合圖像的有效信息越多。MI越大，反映融合圖像信息越真實。以上5組融合實驗所對應(yīng)的客觀評價指標(biāo)分別如表1～表5所示。

Table 1 Objective evaluation of fusion results in group 1

Table 2 Objective evaluation of fusion results in group 2

Table 3 Objective evaluation of fusion results in group 3

Table 4 Objective evaluation of fusion results in group 4

綜合上述5組實驗客觀評價指標(biāo)的對比結(jié)果，本文算法的5個評價指標(biāo)均最高，而且與以上主觀分析評價結(jié)果相對應(yīng)。其中，信息熵和互信息數(shù)值最大，表明本文算法的融合圖像含有更多的源圖像信息；平均梯度的明顯提升說明本文算法能夠

Table 5 Objective evaluation of fusion results in group 5

改善融合圖像清晰度和對比度；空間頻率和標(biāo)準(zhǔn)差的提高說明本文算法對應(yīng)的融合圖像可以獲得更多的邊緣輪廓信息。所以，本文提出的融合算法能獲得更好的融合圖像，而且算法的運行時間最短，大大減少了不必要的損失，更適合實際應(yīng)用。

5 結(jié)束語

本文提出了一種DTCWT域的紅外與可見光圖像融合算法，依據(jù)紅外圖像和可見光圖像的特性，對源圖像進(jìn)行相應(yīng)的預(yù)增強處理，目的是提高DTCWT正變換的信息提取率；針對低頻子帶圖像融合，采用基于直覺模糊集的低頻融合規(guī)則，準(zhǔn)確描述像素之間的不確定性關(guān)系，達(dá)到精準(zhǔn)融合的目的；針對高頻子帶圖像融合，提出基于信息反差對比度的高頻融合規(guī)則，合理反映顯著信息之間的反差程度，約束噪聲干擾，從而達(dá)到更好的融合效果。結(jié)果表明，在主觀視覺分析和客觀評價指標(biāo)方面，本文算法獲得的融合圖像質(zhì)量更高，具有一定的實用價值和理論意義。