基于鄰域統(tǒng)計信息的紅外與可見光圖像融合

孫新德，薄樹奎

(鄭州航空工業(yè)管理學(xué)院計算機科學(xué)與應(yīng)用系，河南鄭州450015)

1 引言

圖像融合就是綜合利用各成像傳感器得到的不同圖像的互補信息和冗余信息，獲得對該場景更為全面、準(zhǔn)確的圖像描述［1］。圖像融合技術(shù)已經(jīng)應(yīng)用在軍事、遙感、醫(yī)學(xué)圖像處理、自動目標(biāo)識別以及計算機視覺等領(lǐng)域。

近年來，有不少學(xué)者提出了各種圖像融合方法，特別是基于多尺度分析的方法被廣泛應(yīng)用［2］。一幅圖像經(jīng)過多尺度分解后可以得到多個子帶。各個子帶反映圖像特征的側(cè)重點不同。通常低頻子帶集中了圖像的大部分能量，決定圖像的輪廓;高頻子帶含有豐富的邊緣和細(xì)節(jié)信息。因此，在基于多尺度分解的圖像融合中，應(yīng)該根據(jù)低頻子帶和高頻子帶的特點采用不同的方法進(jìn)行融合。因此本文在對系數(shù)鄰域統(tǒng)計分析的基礎(chǔ)上，提出了針對不同子帶采用不同融合策略的紅外與可見光圖像融合方法。低頻子帶采用基于目標(biāo)參數(shù)和場景參數(shù)的自適應(yīng)加權(quán)融合規(guī)則;高頻子帶采用受鄰域統(tǒng)計信息調(diào)制的系數(shù)比較取大融合規(guī)則。本文把這種融合規(guī)則用于紅外與可見光圖像融合實驗，得到了具有更好視覺效果和更優(yōu)量化指標(biāo)的融合圖像。

2 圖像融合算法分析

一幅圖像經(jīng)過多尺度分解后可以得到多個子帶。各個子帶反映圖像特征的側(cè)重點不同。通常低頻子帶集中了圖像的大部分能量，決定圖像的輪廓;高頻子帶含有豐富的邊緣和細(xì)節(jié)信息。因此，在基于多尺度分解的圖像融合中，需要根據(jù)低頻子帶和高頻子帶的特點采用不通用的方法進(jìn)行融合。

2.1 低頻子帶系數(shù)融合

圖像的低頻子帶決定了圖像的輪廓，因此低頻子帶系數(shù)的融合必定是基于能量的融合。最常見的方法是加權(quán)平均，見式(1):

式中，C1(m，n)為第一幅圖像的低頻子帶系數(shù);w1為第一幅圖像的低頻子帶的融合權(quán)重系數(shù)，C2(m，n)為第二幅圖像的低頻子帶系數(shù);w2為第二幅圖像的低頻子帶的融合權(quán)重系數(shù)。w1和w2為非負(fù)小數(shù)，且w1+w2=1。

可見光成像傳感器與紅外成像傳感器是根據(jù)不同的機理成像的。前者主要是根據(jù)物體的光譜反射特性成像，而后者主要是根據(jù)物體的熱輻射特性成像。因而，通?？梢姽鈭D像很好地描述了場景信息，而紅外圖像很好地給出了目標(biāo)的存在特性［3］。因此，我們把權(quán)重系數(shù)w1和w2分別與紅外圖像和可見光圖像的物理特征相聯(lián)系，制定了基于圖像物理特征的低頻子帶系數(shù)融合策略。

在紅外圖像應(yīng)用中，目標(biāo)往往是一些高亮度的連續(xù)斑塊，融合時應(yīng)該給以高權(quán)重。這些斑塊通常具有特征:局部區(qū)域均值高于整體均值，并且局部區(qū)域方差小。因此可以定義目標(biāo)特征參數(shù)為:

式中，EL(m，n)為局域均值;E為低頻子帶均值;σL(m，n)為局域方差;α和β為調(diào)節(jié)系數(shù)且0＜α，β≤1;局域取點(m，n)的鄰域。在融合過程中調(diào)整α和β的值可以微調(diào)融合圖像的質(zhì)量。

可見光圖像含有較豐富的場景信息。一幅圖像中，場景信息豐富的區(qū)域方差會比較大，融合時也應(yīng)該給以高權(quán)重。因此可定義場景特征參數(shù):

所以可以把加權(quán)平均融合的權(quán)重系數(shù)w1和w2分別定義為:

顯然，w1和w2是圖像像素位置坐標(biāo)(m，n)的函數(shù)。因此，在根據(jù)公式(1)進(jìn)行紅外與可見光圖像低頻子帶系數(shù)融合過程中，w1和w2隨(m，n)鄰域統(tǒng)計特性變化而變化，即隨像素坐標(biāo)(m，n)變化自適應(yīng)地調(diào)整。

2.2 高頻子帶系數(shù)融合

圖像經(jīng)過多尺度分解后得到的高頻子帶系數(shù)含有豐富的邊緣和細(xì)節(jié)信息。子帶系數(shù)攜帶圖像信息量與系數(shù)大小相關(guān)，一些人在進(jìn)行融合時采用了系數(shù)比較取大策略［4－5］。實際上，圖像信息量除與子帶系數(shù)大小有關(guān)，還與子帶系數(shù)鄰域的系數(shù)空間分布有關(guān)［2］。本文制定了綜合考慮子帶系數(shù)大小和鄰域系數(shù)分布的高頻子帶系數(shù)融合規(guī)則。

高頻子帶中，某系數(shù)鄰域的系數(shù)分布越雜亂，其攜帶圖像信息量就會越大。某系數(shù)的鄰域系數(shù)分布雜亂程度可以用該系數(shù)與其鄰域系數(shù)符號相同的概率來描述。設(shè)P(m，n)為高頻子帶系數(shù)C(m，n)與其鄰域內(nèi)系數(shù)具有相同符號的概率，其定義為:

即P(m，n)等于鄰域內(nèi)與C(m，n)符號相同的系數(shù)個數(shù)除以鄰域內(nèi)總的系數(shù)個數(shù)。顯然，當(dāng)C(m，n)與其鄰域內(nèi)系數(shù)符號均相同時P(m，n)=1;當(dāng)C(m，n)與其鄰域內(nèi)系數(shù)符號均不相同時P(m，n)=0。這兩種極端情況對應(yīng)著鄰域系數(shù)分布雜亂度最低，因此鄰域系數(shù)分布雜亂度高低與P(m，n)×(1－P(m，n))的大小對應(yīng)。所以，定義高頻子帶系數(shù)融合參數(shù)為:

T(m，n)包含了系數(shù)自身大小信息和鄰域系數(shù)分布信息。如果系數(shù)C(m，n)的T較大，則其攜帶信息量就大，那么其對融合的貢獻(xiàn)就應(yīng)該多。于是，受鄰域統(tǒng)計信息調(diào)制的系數(shù)比較取大的圖像融合規(guī)則為:

式中，CF(m，n)為融合圖像高頻系數(shù);Ci(m，n)為紅外圖像高頻系數(shù);Ti(m，n)為紅外圖像高頻子帶系數(shù)融合參數(shù);Cv(m，n)為可見光圖像高頻系數(shù);Tv(m，n)為可見光圖像高頻子帶系數(shù)融合參數(shù)。

3 圖像融合算法流程

根據(jù)上面的分析，可總結(jié)出紅外與可見光圖像融合算法流程如下:

1)分別對已經(jīng)配準(zhǔn)的紅外與可見光圖像多尺度分解。

2)根據(jù)式(4)計算紅外圖像低頻子帶融合權(quán)重系數(shù)w1(m，n)和可見光圖像低頻子帶融合權(quán)重系數(shù)w2(m，n);根據(jù)式(1)進(jìn)行低頻子帶系數(shù)融合。

3)根據(jù)式(6)分別計算紅外圖像和可見光圖像高頻子帶系數(shù)融合參數(shù)Ti(m，n)和Tv(m，n);根據(jù)式(7)進(jìn)行高頻子帶系數(shù)融合。

4)利用融合的低頻和高頻系數(shù)重構(gòu)融合圖像。

4 融合效果仿真實驗與性能評價

為了檢驗本文算法的有效性，以來自www.imagefusion.org的UNcamp和 Trees圖像為例，在Matlab R2006平臺上進(jìn)行了測試。

圖1 UN Camp圖像測試結(jié)果

圖1 和圖2分別為基于為UN Camp和Trees圖像的測試結(jié)果。其中，(a)是待融合的紅外圖像，(b)是待融合的可見光圖像，(c)是低頻簡單平均高頻取大的融合圖像，(d)是低頻簡單平均高頻進(jìn)行鄰域統(tǒng)計的融合圖像，(e)是根據(jù)文獻(xiàn)［6］算法的融合圖像，(f)是根據(jù)本文算法的融合圖像。實驗中，圖像多尺度分解采用的是單層二維離散小波分解，小波為db2;本文算法中的調(diào)節(jié)系數(shù)α和β的取值:α =0.5，β =1(UN Camp)，α =0.5，β =0.9(Trees);像素鄰域大小為4鄰域。從測試結(jié)果可以看出，幾種算法都很好地保留了可見光圖像的背景信息和紅外圖像的目標(biāo)信息。但仔細(xì)比較可以看出，本文方法得到的融合圖像能夠在目標(biāo)和場景細(xì)節(jié)表現(xiàn)上達(dá)到更好的平衡。比如圖2中雖然本文算法融合圖像的目標(biāo)不是最清晰(并不影響識別)，但是像樹林、山霧等場景信息最接近原來的可見光圖像。

圖2 Trees圖像測試結(jié)果

采用了四種客觀評價指標(biāo)對融合圖像的質(zhì)量進(jìn)行客觀評價。四種評價指標(biāo)分別是平均梯度(AG)、信息熵(IE)、平均互信息(MMI)以及平均結(jié)構(gòu)相似度(MSSIM)［7］。平均梯度(AG)可以敏感地反映圖像的微小細(xì)節(jié)，還可以反映圖像的紋理變換特征，常用來評價圖像的清晰度，平均梯度越大表示圖像越清晰。IE反映融合圖像包含信息的豐富程度。MMI則是融合圖像分別與兩幅原始圖像互信息(MI)的平均值，反映從原始圖像繼承信息的多少。MSSIM是融合圖像分別與兩幅原始圖像SSIM的平均值，用來衡量融合圖像的信息保留程度。

表1 融合圖像性能評價

表1是融合圖像客觀評價指標(biāo)的實驗結(jié)果。從表1數(shù)據(jù)可以看出，采用本文方法的融合圖像(圖1(f)和圖2(f))的評價參數(shù)均為最好，得到的融合圖像最清晰，細(xì)節(jié)最豐富，包含的信息量最大。

5 結(jié)論

紅外圖像與可見光圖像融合技術(shù)應(yīng)用非常廣泛。本文在圖像多尺度分解的基礎(chǔ)上，分析了紅外和可見光圖像的成像特點，定義了反映圖像物理特性的目標(biāo)特征參數(shù)和場景特征參數(shù)以及鄰域系數(shù)分布特征參數(shù)，提出了一種基于鄰域統(tǒng)計信息的高低頻子帶規(guī)則不同的圖像融合算法。實驗結(jié)果表明本文所提算法能夠?qū)⒓t外圖像與可見光圖像中的重要信息提取并注入到融合圖像中，而且融合圖像質(zhì)量量化指標(biāo)優(yōu)于其他一些算法。

［1］ Han Chongzhao，Zhu Hongyan，Duan Zhansheng，et al.Multisource information fusion［M］.Beijing:Tsinghua U-niversity Publishing Company，2006.(in Chinese)韓崇昭，朱洪艷，段戰(zhàn)勝，等.多源信息融合［M］.北京:清華大學(xué)出版社，2006.

［2］ Ma Donghui，Xue Qun，Chai Qi，et al.Infrared and visible images fusion method based on image information［J］.Infrared and Laser Engineering，2011，40(6):1168 －1171.(in Chinese)馬東輝，薛群，柴奇，等.基于圖像信息的紅外與可見光圖像融合方法研究［J］.紅外與激光工程，2011，40(6):1168－1171.

［3］ Zhang Qiang，Guo Baolong.Fusing of infrared and visible light images based on nonsubsampled Contourlet transform［J］.Journal of Infrared and Millimeter Waves，2007，26(6):476 －480.(in Chinese)張強，郭寶龍.一種基于非采樣Contourlet變換紅外圖像與可見光圖像融合算法［J］.紅外與毫米波學(xué)報，2007，26(6):476 －480.

［4］ Zou Rong，Li Lingling，Li Cuihua.Multi－ focus image fusion algorithm based on nonsubsampled Contourlet transform［J］.Journal of Xiamen University:Natural Science，2009，48(6):812 －817.(in Chinese)鄒蓉，李玲玲，李翠華.基于非子采樣Contourlet變換的多聚焦圖像融合方法［J］.廈門大學(xué)學(xué)報:自然科學(xué)版，2009，48(6):812 －817.

［5］ Yang Yuetao，Zhu Ming，He Baigen，et al.Fusion algorithm for infrared and visible light images based on region segmentation and NSCT［J］.Laser ＆ Infraed，2010，40(11):1250 －1257.(in Chinese)楊粵濤，朱明，賀柏根，等.基于區(qū)域分割和非采樣Contourlet變換的紅外和可見光圖像融合［J］.激光與紅外，2010，40(11):1250 －1257.

［6］ Zhang Ying，Li Yanjun，Zhang Ke，et al.Fusion of infrared and visible images based on nonsubsampled Contourlet transform［J］.Computer Engineering and Applications，2011，47(3):196 －198.(in Chinese)張瑩，李言俊，張科，等.基于NSCT的紅外與可見光圖像融合［J］.計算機工程與應(yīng)用，2011，47(3):196－198.

［7］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.on Image Processing，2004，13(4):600－612.