一種基于小波變換的可見光與紅外圖像融合算法研究

劉 倩，杜 宏，薛慶增

(中國北方車輛研究所，北京100072)

圖像融合技術(shù)(Image Fusion Technology)是一門綜合了傳感器、圖像處理、信息處理、計(jì)算機(jī)和人工智能等多種學(xué)科的現(xiàn)代高新技術(shù).所謂圖像融合是指對多個(gè)傳感器采集到的關(guān)于同一場景或目標(biāo)的互補(bǔ)信息進(jìn)行適當(dāng)?shù)娜诤咸幚?，以獲取對同一場景的更為準(zhǔn)確、更為全面、更為可靠的圖像描述[1].圖1為不同傳感器在同一場景下所獲的信息構(gòu)成.

圖1 傳感器信息構(gòu)成

基于像素級的融合方法大概可以分為3類[2]:

1)簡單的圖像融合方法.該方法直接對源圖像中各對應(yīng)的像素分別進(jìn)行選擇、平均、加權(quán)等簡單處理，最終合成一幅融合圖像.該方法實(shí)現(xiàn)起來簡單，但是融合效果一般，應(yīng)用范圍有限.

2)基于塔形分解的融合方法.該方法是對源圖像進(jìn)行塔形分解，再對塔形分解的子圖進(jìn)行融合處理，最后通過逆塔形變換得到融合圖像，是一種多尺度、多分辨率圖像融合方法，其融合過程是在不同尺度、不同空間分辨率、不同階層上分別進(jìn)行的.根據(jù)圖像的塔形分解類型，塔形分解的融合方法又分為:(1)基于拉普拉斯塔形分解的圖像融合方法;(2)基于比率塔形分解的圖像融合方法;(3)基于對比度塔形分解的圖像融合方法;(4)基于梯度塔形分解的圖像融合方法.

與簡單的圖像融合方法相比，該方法可以獲得明顯改善的融合效果.但是圖像在進(jìn)行塔形分解后，其數(shù)據(jù)總量比原圖增加了約1/3，不利于圖像的存儲和傳輸.

3)基于小波分解的圖像融合方法.該方法是對各源圖像進(jìn)行小波分解，形成多尺度分解圖像，然后在各個(gè)分階層上分別進(jìn)行融合處理，形成融合后的多尺度小波分解圖像，最后，通過逆小波變換重構(gòu)融合后的圖像.小波變換也是一種多尺度、多分辨率分解，并且具有非冗余性和方向性，這樣既保證了圖像的融合質(zhì)量，又克服了塔形分解中數(shù)據(jù)量增加的問題.

本文是在小波變換的基礎(chǔ)上，提出了一種紅外與可見光圖像融合算法.實(shí)驗(yàn)表明，該算法取得了很好的融合效果.

1 基于小波變換的圖像融合原理

1.1 圖像的小波分解

圖像為二維信號，可以用二元函數(shù)f(x，y)來表示[3]，因此采用二維小波進(jìn)行分解.設(shè)Vj是一個(gè)二維可分離的多分辨率分析，(j∈Z)是L2(R)上的一個(gè)多分辨率分析，其尺度函數(shù)為φ，小波函數(shù)為ψ，那么有相應(yīng)于二維的可分離的尺度函數(shù)φ(x，y)和3個(gè)可分離的方向敏感小波函數(shù)，ψH(x，y)，ψV(x，y)，ψD(x，y)為:

沿著不同的方向小波函數(shù)會有變化，ψH，ψV，ψD，分別對應(yīng)水平、垂直和對角3個(gè)方向.對于每一個(gè)j∈Z，它們的整數(shù)平移系為:

對于任意二維圖像信號f(x，y)∈L2(R×R)，在分辨率2-j下有:

上式表明，在2-j分辨率上將圖像分解為四個(gè)子圖，分別用LL、LH、HL、HH表示，分解的塔形結(jié)構(gòu)[4]見圖2.

圖2 圖像小波分解塔形結(jié)構(gòu)

1.2 基于小波變換的融合算法

小波分解后，圖像的低頻成分所包含的信息大致相同，所以采用加權(quán)平均的算法對其融合;而高頻成分中包含著豐富的圖像邊緣信息，而邊緣代表著信號的突變[5]，包含了圖像的主要信息，所以本算法將重點(diǎn)放在如何將高頻分量中的邊緣信息加以強(qiáng)化，進(jìn)而得到效果更好的融合圖像.

為了便于表述，用A、B分別代表兩幅待融合的源圖像.本文提出的融合算法分為以下步驟:

1)對A、B進(jìn)行小波分解，得到對應(yīng)的低頻和高頻子圖;

2)對小波分解后A、B的頂層低頻近似分量取加權(quán)平均值[6]，作為融合圖像在該尺度上的低頻近似分量;

3)對小波分解后A、B不同尺度下不同方向的高頻分量進(jìn)行邊緣檢測，得到高頻系數(shù)的邊緣圖像A1、B1;

4)將A1、B1中值為1(A1、B1為二值邏輯圖像)的像素點(diǎn)與各個(gè)相應(yīng)高頻子圖的像素點(diǎn)對應(yīng)，并將這些像素點(diǎn)乘以一個(gè)系數(shù)做增強(qiáng)處理，記為A2、B2;

5)將增強(qiáng)后的高頻子圖A2、B2做相加處理，得到融合圖像的高頻子圖;

6)將步驟2)和步驟5)得到的低頻分量和高頻分量進(jìn)行小波逆變換，從而得到融合后的圖像.圖3為基于小波變換的圖像融合原理.

圖3 基于小波變換的圖像融合原理

2 融合實(shí)驗(yàn)

為驗(yàn)證本文提出的算法，本文以MATLAB為開發(fā)平臺，選取Biorthogonal小波系[7]中的bior3.7作為小波基，對紅外成像傳感器和可見光成像傳感器生成的紅外與可見光圖像進(jìn)行了融合實(shí)驗(yàn).

紅外成像傳感器工作的波段為中波3～5 μm，長波8～12 μm，它只敏感于目標(biāo)場景的輻射(主要由目標(biāo)場景的輻射率差及溫差決定)，而對場景的亮度變化不敏感.可見光成像傳感器只敏感于目標(biāo)場景的反射，而與目標(biāo)場景的熱對比度無關(guān).因此由它們輸出的可見光與紅外圖像具有互補(bǔ)性.

圖4(a)為可見光圖像，由于光線很暗，右邊的黑色轎車幾乎看不清，而左邊的白色轎車卻看得很清楚;(b)為3～5 μm的紅外圖像，圖中的兩輛轎車均較清晰，但紋理細(xì)節(jié)卻模糊不清;(c)為融合后的圖像，圖中的兩輛轎車不僅清晰可辨而且其紋理細(xì)節(jié)也清晰可見，達(dá)到了較好的融合效果.

圖5(a)為可見光圖像，圖中的飛機(jī)外表的細(xì)節(jié)及背景樹木的紋理十分清晰，而圖(b)的紅外圖像卻突出了飛機(jī)內(nèi)部的發(fā)動機(jī)和背景樹木的樹干，經(jīng)過融合得到圖(c)，我們可以看到(c)綜合了(a)和(b)的細(xì)節(jié)信息，具有更大的信息量.

圖6(a)為可見光圖像，(b)為紅外圖像，我們可以看到(a)中標(biāo)識牌上的字母和樹干的輪廓清晰可見，而(b)中的太陽光很清楚，經(jīng)過融合后的圖像(c)，既能看清標(biāo)識牌上的字母，又能看清太陽透過樹木的光線，也具有很好的融合效果.

圖4 紅外與可見光圖像融合例1

圖5 紅外與可見光圖像融合例2

圖6 紅外與可見光圖像融合例3

3 結(jié)論

上述實(shí)驗(yàn)結(jié)果表明，該算法對可見光與紅外圖像具有良好的融合效果.這種算法以小波變換為基礎(chǔ)，對不同分辨率下的圖像的低頻和高頻分量進(jìn)行融合，再通過逆小波變換進(jìn)行融合圖像的重構(gòu)，從而得到融合后的圖像.融合圖像包括了可見光與紅外圖像不同的特征信息，信息量增大，提高了圖像的分辨效果和人眼對場景目標(biāo)的發(fā)現(xiàn)和識別概率.同時(shí)，經(jīng)過融合處理，由于圖像信息的有效重組和表述，有利于后續(xù)圖象處理系統(tǒng)對信息的獲取.

[1]夏明革，何 友，唐小明，等.圖像融合的發(fā)展現(xiàn)狀與展望[J/OL].艦船電子工程，2002，(6):2-3.[2010-06-04].http://d.g.wanfangdata.com.cn/Periodican_jcdzgc200106001.aspx

[2]劉桂喜.多傳感器融合方法研究[D].西安:西安電子科技大學(xué)，2001.

[3]Rafael C.Gonzalez，Richard E.Woods. 阮秋琦，阮宇智，等譯.數(shù)字圖像處理[M].2版.北京:電子工業(yè)出版社，2010:39-40.

[4]王國鋒，張 科，李言俊.基于小波多分辨分析的圖像融合方法[J].紅外與激光工程，2003，32(5):3-4.

[5]郭 佳.紅外與可見光圖像融合技術(shù)研究[D].西安:西安工業(yè)大學(xué).2009.

[6]夏明革，何 友，歐陽文，等.基于小波分析的圖像融合評述[J].紅外與激光工程，2003，32(2):5-6. [2010-06-05].http://d.g.wangfangdata.com.cn/Periodical_hwyjggc20030218.aspx.

[7]張德豐.MATLAB小波分析與工程應(yīng)用[M].1版.北京:國防工業(yè)出版社.2008:12-16.