基于視覺特性的紅外與可見光圖像融合

李昌興, 王志強(qiáng)

(1.西安郵電大學(xué) 理學(xué)院， 陜西 西安 710121； 2.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

?

基于視覺特性的紅外與可見光圖像融合

李昌興1, 王志強(qiáng)2

(1.西安郵電大學(xué) 理學(xué)院， 陜西 西安 710121； 2.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

給出一種基于人類視覺特性的紅外可見光圖像融合算法，以增強(qiáng)融合圖像的場景信息和目標(biāo)指示特性。采用無下采樣Contourlet變換對兩幅源圖像進(jìn)行多尺度分解；在低頻分量部分，調(diào)整可見光圖像的全局亮度，以基于局部能量的方法提取并增強(qiáng)紅外目標(biāo)，以局部方差取大方法獲得景物輪廓，余則采用可見光圖像像素值；在高頻分量部分，采用脈沖耦合神經(jīng)網(wǎng)絡(luò)選取高頻分量；通過無下采樣Contourlet變換的逆變換得到融合圖像。改進(jìn)算法可保留可見光圖像的清晰度,紅外目標(biāo)突出,景物比在單一可見光圖像中更易辨別。

紅外圖像；可見光圖像；圖像融合；對比度；無下采樣Contourlet變換

紅外圖像具有較好的目標(biāo)指示效果，但背景比較模糊?？梢姽鈭D像包含豐富的背景信息，具有較好的對比度和清晰度。兩幅圖像優(yōu)勢信息互補(bǔ)，可增加單一圖像的信息量，更便于人眼觀察。

圖像融合根據(jù)融合層次的不同，可分為像素級融合、特征級融合和決策級融合，其中以像素級融合最受關(guān)注，它又可分為空間域融合和變換域融合。空間域融合方法不對融合圖像進(jìn)行分解變換，是早期的圖像融合的一種嘗試。20世紀(jì)80年代中期開始，圖像的多尺度分解被引入到圖像融合中,多尺度分解融合是一種變換域的融合方法，其中影響融合圖像質(zhì)量的因素包括圖像分解算法和融合規(guī)則的制定。

常用的多尺度圖像分解算法中，拉普拉斯金字塔沒有考慮圖像的邊緣和細(xì)節(jié)的方向信息[1]，小波變換可以得到水平、垂直、對角3個(gè)方向的高頻子帶，但在圖像的邊緣及線狀等“沿”邊緣特征受到限制[2]。隨著多尺度理論的發(fā)展和完善，Contourlet變換的提出，實(shí)現(xiàn)了對圖像高頻分量的任意多個(gè)方向的分解，并且可以很好地捕捉圖像的光滑輪廓[3]。Contourlet變換的不足之處在于，分解后的子帶圖像與原圖像尺寸不同，不具有平移不變性，并且融合圖像容易產(chǎn)生偽輪廓[4-5]，為此，Cunha等人借鑒a trous算法的思想提出了具有平移不變性的Contourlet變換[6]51-58。

圖像的多尺度分解能使圖像融合過程更加便于處理，在此基礎(chǔ)上完善融合規(guī)則，可使融合后的圖像在視覺效果和客觀評價(jià)上皆得到明顯改善。本文擬在無下采樣Contourlet變換(Non-Subsampled Contourlet Transform, NSCT)的基礎(chǔ)上，通過正弦函數(shù)處理光照較弱時(shí)的可見光圖像，分析在不同數(shù)值范圍內(nèi)的局部能量和局部方差，對具有不同含義的信息，采用不同的處理規(guī)則，并采用脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network, PCNN)獲取具有更好視覺效果的邊緣輪廓信息。

1 無下采樣Contourlet變換

在多尺度分解和方向分解中,利用雙通道無下采樣濾波器組，通過對濾波器的采樣操作來代替對子帶圖像信號的采樣。濾波后獲取的子帶圖像與原圖像具有相同的尺寸[6]59-63。多尺度分解通過無下采樣金字塔實(shí)現(xiàn)(NSP)，多方向分解通過無下采樣濾波器組實(shí)現(xiàn)(NSDFB)。NSP分解過程中利用采樣矩陣D=2I對前一級的低通和高通濾波器進(jìn)行上采樣，其中I為二階單位矩陣。然后,再對前一級的低頻分量進(jìn)行濾波[7]。NSDFB是通過改進(jìn)扇形方向?yàn)V波器組[8]得到的，其思想與NSP類似，不同之處在于，對濾波器組的上采樣采用梅花形矩陣Q，例如取

利用適當(dāng)?shù)牟蓸泳仃?，可以避免Contourlet變換中的頻譜混疊現(xiàn)象[9]。

NSCT不僅繼承了Contourlet變換的優(yōu)點(diǎn)，還具有平移不變性，可避免頻譜混疊現(xiàn)象，是一種很好的圖像表示方法。

2 基于NSCT的圖像融合算法

2.1 低頻分量融合規(guī)則

紅外圖像通過熱輻射信息很好地指示了目標(biāo)，但缺乏對亮度變化的反映。區(qū)域方差反映了圖像局部區(qū)域的灰度變化情況,在紅外圖像中表達(dá)的是圖像的溫度變化劇烈程度，在可見光圖像中表達(dá)的是圖像亮度變化的劇烈程度，二者的可比性不高。可見光圖像具有較好的對比度和清晰度，故在圖像中景物比較平坦的非輪廓區(qū)域，直接選取可見光圖像的像素值更為合理。

對于低頻部分，通過檢測局部能量和局部方差來判斷像素所在區(qū)域所表達(dá)的信息。定義紅外圖像低頻子帶在以(x,y)為中心的小鄰域的局部能量

它是一個(gè)平均能量。其中,J為尺度分解數(shù)，aIR,J(x,y)表示紅外圖像低頻子帶在(x,y)處的像素值，M×N表示選取的區(qū)域大小，一般取3×3或5×5。

定義以點(diǎn)(x,y)為中心的小鄰域的方差

低頻分量融合規(guī)則可描述如下。

(1) 當(dāng)可見光圖像的全局亮度較低，亮度反差極大時(shí)，通過TAN函數(shù)[10]對圖像的亮度調(diào)整，即

其中，max{aVI,J}為低頻圖像的最大像素值，k和c皆為圖像的亮度修正參數(shù)，0

其中:Ca表示圖像的暗區(qū)域所占比例，即像素值小于等于a的像素點(diǎn)，Cb表示圖像亮區(qū)域所占比例，即像素值大于b的像素點(diǎn)，此處取

a=50,b=200;

θ1和θ2為圖像的明暗區(qū)域統(tǒng)計(jì)特征閾值，此處取

θ1=0.2,θ2=0.8。

通過TAN函數(shù)改善圖像的全局亮度，能使圖像中的景物更加便于識別。

其中,aIR,J(m,n)紅外圖像當(dāng)前像素點(diǎn)，max{aIR,J}為紅外圖像最大像素值，β為一常數(shù)，此處取[11]

β=0.8。

(3) 可見光圖像在清晰度和對比度方面均優(yōu)于紅外圖像，故可設(shè)置方差閾值α，對紅外圖像中方差小于閾值的像素點(diǎn)，采用可見光圖像對應(yīng)像素點(diǎn)的值。

(4) 紅外圖像方差大于閾值的像素點(diǎn)為景物的輪廓區(qū)域，對這些區(qū)域，比較兩幅圖像對應(yīng)位置像素點(diǎn)的區(qū)域方差，選取具有較大方差的像素點(diǎn)作為融合圖像的系數(shù)。

aF,J(m,n)=aIR,J(m,n)+λ;

aF,J(m,n)=aVI,J(m,n);

aF,J(m,n)=aIR,J(m,n)，

而若VIR,J(m,n)

aF,J(m,n)=aVI,J(m,n)。

2.2 高頻分量融合規(guī)則

高頻分量包含著圖像的細(xì)節(jié)信息，PCNN模型能夠很好地模擬人眼視覺神經(jīng)系統(tǒng)的生物特性，具有全局耦合特性和脈沖同步特性，當(dāng)它被用來選取細(xì)節(jié)系數(shù)時(shí)，更符合人眼對圖像信號的反應(yīng)，能更好利用子帶圖像的全局信息。針對高頻部分，可以比較兩幅圖像對應(yīng)子帶的PCNN點(diǎn)火時(shí)間圖，選取先被點(diǎn)火的子帶系數(shù)。PCNN的數(shù)學(xué)表達(dá)式為[3]

其中,Fij為輸入信號，αF為反饋域衰減時(shí)間常數(shù)，αL為耦合連接域衰減時(shí)間常數(shù)，Lij連接輸入信號，YL為耦合連接域，Uij(n)為神經(jīng)元內(nèi)部活動(dòng)項(xiàng)，β為突觸間的連接強(qiáng)度系數(shù)，Yij為神經(jīng)元輸出，θij為動(dòng)態(tài)閾值，αθ為動(dòng)態(tài)門限的衰減時(shí)間常數(shù)。Mijkl為神經(jīng)元(i,j)同神經(jīng)元(k,l)之間的連接權(quán),即

可考慮選取參數(shù)[3]

αF=0.1, αL=1, αθ=0.5,

VF=0.5, VL=1, Vθ=20, β=0.1。

3 實(shí)驗(yàn)結(jié)果及分析

通過Matlab仿真展示所給改進(jìn)算法的效果，并與其他4種融合算法進(jìn)行比較。

實(shí)驗(yàn)運(yùn)行環(huán)境為Matlab 7.0.0.19920 (R14) ，華碩計(jì)算機(jī)配置為Intel(R)Core(TM)i7-5500U CPU 2.4 GHz,4.00 GB內(nèi)存。

參與對比實(shí)驗(yàn)的4種算法：DWT算法采用小波變換進(jìn)行多尺度分解，低頻系數(shù)取平均，高頻系數(shù)絕對值取大的融合規(guī)則；NSCT_simple算法采用NSCT進(jìn)行多尺度分解,采用與DWT算法相同的融合規(guī)則；文獻(xiàn)[6]61-62算法同樣采用NSCT進(jìn)行多尺度分解，低頻部分采用基于局域能量的紅外目標(biāo)提取以及方差取大的方法，高頻部分采用局部方向?qū)Ρ榷热〈蟮娜诤弦?guī)則；MPCNN算法[12]通過水域法求分割閾值，利用改進(jìn)的PCNN算法對圖像進(jìn)行分割，根據(jù)顯著性因子和可見性因子確定融合權(quán)值獲取融合圖像。

分解層數(shù)均為3層，其中NSCT_simple算法與文獻(xiàn)算法每層分解的方向數(shù)分別為4、8和16。NSCT分解所用金字塔濾波器均為“9-7”濾波器，方向?yàn)V波器組采用“dmaxflat7”濾波器。所給改進(jìn)算法分解層數(shù)為2層，每層分解方向數(shù)為8和16。

實(shí)驗(yàn)1所選用的紅外與可見光圖像，以及各算法的融合結(jié)果分別如圖1所示。

(g) 改進(jìn)算法

實(shí)驗(yàn)2所選用的紅外與可見光圖像，以及各算法的融合結(jié)果分別如圖2所示。

視覺效果顯示，所給改進(jìn)算法具有較好的對比度，圖像的全局亮度得到了提高，景物更適合人眼識別，通過對熱目標(biāo)的能量增強(qiáng)，使其更易于引起關(guān)注。DWT算法整體顯示比較模糊，這是由于小波變換對圖像的細(xì)節(jié)表達(dá)能力有限。NSCT_simple算法，文獻(xiàn)[6]算法和MPCNN算法的融合圖像輪廓部分得到了明顯改善，但圖像的對比度和清晰度不如所給改進(jìn)算法，另外，文獻(xiàn)[6]算法和MPCNN算法對于不同背景的圖像，其融合效果具有顯著差異。

(g) 改進(jìn)算法

選取熵、平均梯度和標(biāo)準(zhǔn)差來對融合圖像進(jìn)行客觀評價(jià)。實(shí)驗(yàn)1中各融合圖像的評價(jià)指標(biāo)如表1所示，實(shí)驗(yàn)2中各融合圖像的評價(jià)指標(biāo)如表2所示。

表1 實(shí)驗(yàn)1融合圖像客觀評價(jià)指標(biāo)

表2 實(shí)驗(yàn)2融合圖像客觀評價(jià)指標(biāo)

表1和表2中的數(shù)據(jù)顯示，融合算法經(jīng)改進(jìn)后，標(biāo)準(zhǔn)差均得到了明顯的提高。標(biāo)準(zhǔn)差反映了圖像的整體對比度,故改進(jìn)算法具有更好的對比度，與視覺效果一致。改進(jìn)算法比NSCT算法和MPCNN算法的平均梯度高，但比DWT算法低。平均梯度表征了圖像的清晰程度，小波變換在表達(dá)紋理以及拐角信息方面具有更好的效果[13]。關(guān)于實(shí)驗(yàn)1所列熵值數(shù)據(jù)，改進(jìn)算法高于DWT算法，NSCT_simple算法和MPCNN算法，但低于文獻(xiàn)[6]算法，這是因?yàn)槲墨I(xiàn)[6]中對紅外目標(biāo)以外的區(qū)域均采用了方差取大的融合算法，而紅外圖像中往往包含較多噪聲，其對方差比較敏感，故使圖像中沒有輪廓的區(qū)域產(chǎn)生了一些不必要的輪廓。關(guān)于實(shí)驗(yàn)2所列熵值數(shù)據(jù)，改進(jìn)算法高于其他算法，表明改進(jìn)算法較好地保留了原始圖像的細(xì)節(jié)信息。

4 結(jié)語

在NSCT算法的基礎(chǔ)上，綜合考慮紅外圖像的熱輻射信息，可見光圖像的亮度信息，和兩者的細(xì)節(jié)信息,給出一種紅外可見光圖像融合規(guī)則。所給改進(jìn)算法利用TAN函數(shù)調(diào)整可見光圖像的亮度，使得在光線較暗區(qū)域的景物更加便于識別，并利用方差取大的方法，獲得具有更好視覺效果的景物輪廓部分，融合圖像具有較好的對比度。人眼對灰度變化比較敏感，加之PCNN模型更符合生物神經(jīng)系統(tǒng)對信息的處理，故使由所給改進(jìn)算法得到的融合圖像具有更好的視覺效果。

[1] 周雨薇. 基于多分辨率分析和變分的遙感圖像增強(qiáng)與融合算法研究[D/OL].南京:南京理工大學(xué),2014:15-16[2015-12-06].http://cdmd.cnki.com.cn/Article/CDMD-10288-1014176051.htm.

[2] 李偉林. 基于目標(biāo)提取的紅外與可見光圖像融合算法[J/OL]. 計(jì)算機(jī)仿真, 2014,31(11):358-361[2015-12-05].http://dx.chinadoi.cn/10.3969/j.issn.1006-9348.2014.11.082.

[3] 才溪.多尺度圖像融合理論與方法[M].北京：電子工業(yè)出版社，2014:123-136.

[4] DO M N, VETTERLI M. The Contourlet Transform: An Efficient Directional Multiresolution Image Representation[J/OL]. IEEE Transactions on Image Processing,2005.14(12):2091-2106[2015-12-06〗.http://dx.doi.org/10.1109/TIP.2005.859376.

[5] 吳粉俠,段群. 基于NSCT的PCA與PCNN相結(jié)合的圖像融合算法[J/OL].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(12):72-75[2015-12-06].http://dx.chinadoi.cn/10.3969/j.issn.1673-629X.2015.12.017.

[6] 葉傳奇. 基于多尺度分解的多傳感器圖像融合算法研究[D/OL].西安:西安電子科技大學(xué)，2009:51-64[2015-12-06].http://dx.chinadoi.cn/10.7666/d.y1556871.

[7] BAMBERGER R H, SMITH M J T. A Filter bank for the Directional Decomposition of Images: Theory and Design[J/OL]. IEEE Transactions on Signal Processing,1992,40(4):882-893[2015-12-07].http://dx.doi.org/10.1109/78.127960.

[8] DA CUNHA A L, ZHOU J, DO M N. The nonsubsanpled contourlet transform: Theory, design, and application[J/OL]. IEEE Transactions on Image Processing, 2006,15(10):3089-3101[2015-12-07].http://dx.doi.org/10.1109/TIP.2006.877507.

[9] 周渝人. 紅外與可見光圖像融合算法研究[D/OL].北京:中國科學(xué)院研究生院,2014:47-64[2015-12-06].http://cdmd.cnki.com.cn/Article/CDMD-80139-1014263866.htm.

[10] 呂麗麗,高昆,邵曉光,等. 基于人眼視覺特性的高動(dòng)態(tài)范圍彩色圖像自適應(yīng)增強(qiáng)方法[J/OL].北京理工大學(xué)學(xué)報(bào), 2012,32(4):415-419[2016-02-12].http://dx.chinadoi.cn/10.3969/j.issn.1001-0645.2012.04.015.

[11] NERCESSIAN S C, PANETTA K A, AGAIAN S S. Non-linear direct multi-scale image enhancement based on the luminance and contrast masking characteristics of the human visual system[J/OL]. IEEE Transactions on Image Processing, 2013, 22(9):3549-3559[2016-02-12].http://dx.doi.org/10.1109/TIP.2013.2262287.

[12] 李敏,蔡偉. 基于生物視覺特性的紅外與可見光圖像融合方法[J/OL]. 計(jì)算機(jī)工程與科學(xué),2012,34(9):83-87[2016-08-15].http://dx.chinadoi.cn/10.3969/j.issn.1007-130X.2012.09.015.

[13] 李昌興,王平平,申超. 兩種變換域相結(jié)合的醫(yī)學(xué)圖像融合[J/OL]. 西安郵電大學(xué)學(xué)報(bào),2013,18(4):37-40[2016-02-13].http://dx.chinadoi.cn/10.3969/j.issn.1007-3264.2013.04.010.

[責(zé)任編輯:陳文學(xué)]

Infrared and visible image fusion based on human visual characteristics

LI Changxing1, WANG Zhiqiang2

(1.School of Science, Xi’an University of Posts and Telecommunication, Xi’an 710121, China;2.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

An infrared and visible image fusion algorithm based on human visual characteristics is presented in order to enhance the scene information and the characteristics of the target indication. The two source images are decomposed by the nonsubsampled contourlet transform. In the low frequency component, the global brightness of the visible image is adjusted, the infrared target is extracted and enhanced based on the local energy, and the contour of the scene is obtained by the method of local variance. In the high frequency component, the pulse coupled neural network (PCNN) is used to select the high frequency component. Finally, the fusion image is obtained by inverse NSCT transform. The improved algorithm can preserve the clarity of the visible image, the infrared target is more prominent, and the scene is more easily identified than in the visible image.

infrared image, visible image, image fusion, contrast, nonsubsampled Contourlet transform

10.13682/j.issn.2095-6533.2016.06.019

2016-04-01

李昌興(1962-)，男，教授，從事數(shù)字圖像處理研究。E-mail：shuxueshiyanshi@163.com 王志強(qiáng)(1990-)，男，碩士研究生，研究方向?yàn)閳D像信息處理。E-mail:24303386@qq.com

TP391

A

2095-6533(2016)06-0098-05