紅外圖像與可見光圖像融合算法研究

蔡鎧利,石振剛

(沈陽理工大學 信息科學與工程學院，沈陽 110159)

?

紅外圖像與可見光圖像融合算法研究

蔡鎧利,石振剛

(沈陽理工大學 信息科學與工程學院，沈陽 110159)

紅外圖像和可見光圖像反映不同拍攝儀器下目標景物的不同特征。首先，通過小波分解得到高頻分量系數(shù)和低頻分量系數(shù)，高頻系數(shù)和低頻系數(shù)分別處理，高頻系數(shù)采用鄰域區(qū)域相關性方差的規(guī)則，低頻系數(shù)采用梯度求和加權的規(guī)則。然后進行逆變換得到融合圖像。最后利用信息熵、平均梯度、互信息方法對圖像的融合效果進行綜合評價。得到實驗結果，融合圖像包含更多的信息量，更有助于人眼的判斷與觀察。

圖像融合;鄰域區(qū)域相關性方差;梯度和加權;互信息

在國外，針對圖像融合提出了貝葉斯優(yōu)化法、雙模態(tài)神經(jīng)網(wǎng)絡法、脈沖耦合神經(jīng)網(wǎng)絡法，研究算法可以保持更多的現(xiàn)場數(shù)據(jù)，提供比其它融合層次細節(jié)豐富、目標空間位置精確、更利于觀察的和更加可靠的圖像信息[1]。在國內(nèi)，研究院所在彩色夜視融合、多光譜圖像融合理論及系統(tǒng)設計方面進行了較全面的研究，提出了基于多層次的傳感器融合、多尺度的圖像融合等算法。整體而言，國內(nèi)在理論研究方面日趨完善[2]，目前也己有不少研究機構與高校從事這一領域的研究與探索。但這些算法普遍的缺點是適應范圍較窄，只對一定類型的圖像融合效果較好，對微光圖像和紅外光圖像的融合效果較差，本文針對性地提出了改進的小波融合算法。

不同傳感器拍攝同一目標具有很大區(qū)別，紅外圖像亮度變化不敏感、對比度低，含有的噪聲較多，但可以顯示人肉眼無法看到的目標?？梢姽鈭D像清晰度高、對比度高、亮度變化敏感，但是在光照較弱的時候，往往不能準確反映目標位置，受光照條件和環(huán)境條件的約束?，F(xiàn)在社會中，紅外圖像和可見光圖像的使用比較廣泛，圖像融合的目的正是結合兩種圖像的共同優(yōu)點，將各圖像數(shù)據(jù)中所含的信息優(yōu)勢或互補性有機地結合起來，產(chǎn)生出信息豐富的圖像，這種新數(shù)據(jù)能夠比較全面地描述被研究對象，同單一的源信息相比，能夠抑制一些不確定性的誤差或環(huán)境解釋中存在的多義性，能夠最大限度地利用各種信息源提供的數(shù)據(jù)。因此廣泛應用于軍事和民用領域。

1　常用的圖像融合方法

目前常用的圖像融合方法有基于空域的方法：圖像像素灰度極值的融合方法，圖像像素灰度值加權融合法，TOET圖像融合方法。基于變換域的方法：多分辨率金字塔融合方法，傅立葉變換的圖像融合方法，小波變換的圖像融合方法。

(1)圖像像素灰度極值的融合方法是只用于對兩幅待配準的圖像取對應像素點灰度值較大或較小者，計算簡單，只適用于對融合效果要求不高的時候。

(2)圖像像素灰度值加權融合法是將兩幅輸入圖像各自乘上一個權系數(shù)，融合而成新的圖像。該算法實現(xiàn)簡單，困難在于如何選擇權重系數(shù)，才能達到最佳的融合效果。

(3)TOET圖像融合方法是首先求出兩幅輸入圖像的共同部分，兩幅原圖像中都扣除共同成分得到兩幅圖像的特征成分[3]。然后，第一幅圖像扣除第二幅圖像的特征成分，第二幅圖像扣除第一幅圖像的特征成分。最后確定兩幅圖像的不同成分，按不同的權重計算融合圖像的灰度值。

(4)基于多分辨率金字塔融合法是原圖像不斷地被濾波，形成塔形結構。在金字塔的每一層都用一種算法對這一層的數(shù)據(jù)進行融合，從而得到一個合成的塔形結構，然后對合成的塔形結構進行重構，最后得到合成的圖像。合成的圖像包含了原圖像的所有重要信息。但這種方法產(chǎn)生的數(shù)據(jù)有冗余，而且不同級的數(shù)據(jù)相關。

(5)基于傅立葉變換的圖像融合方法是通過在時空域和頻率域來回切換圖像，對圖像的信息特征進行提取和分析，簡化了計算工作量。

(6)基于小波變換的圖像融合是把圖像分解成不同頻率特性的子圖像，針對分解得到的系數(shù)采用不同融合策略[4]，其優(yōu)勢在于將圖像分解為不同的頻率域，在不同的頻率域運用不同的策略，得到合成圖像不同頻率域的顯著特性。最后再進行小波逆變換。

2　改進的圖像融合算法

由于紅外成像儀器本身存在缺陷和環(huán)境的影響，造成圖像成像效果不是很理想，噪聲大，視覺效果不好，這些都會影響融合的效果。所以在圖像融合之前先進行圖像的去噪、增強等處理，改善紅外圖像的視覺效果[5]。采用分段函數(shù)對紅外圖像進行增強，提高圖像的動態(tài)范圍，增加圖像的對比度，使圖像更加清晰明顯，以便于進行最后的融合。

在圖像融合的過程中融合規(guī)則往往比較重要，基于像素的融合方法不能反映一定區(qū)域內(nèi)像素之間的關系，而人眼對像素的感知也是區(qū)域性的，基于像素的方法往往具有片面性[6]。通過改進的小波算法把紅外圖像和可見光圖像進行分解，分別得到圖像的低頻系數(shù)部分和高頻系數(shù)部分，低頻部分采用梯度求和加權的融合規(guī)則，高頻部分采用區(qū)域相關性方差的融合規(guī)則，最后再對低頻部分和高頻部分進行小波重構[7]得到最后的融合圖像。改進的算法融合流程如圖1所示。

經(jīng)過小波的4層分解得到分層圖，圖2a為可見光圖像小波分解圖示，圖2b為紅外圖像小波分解圖示，經(jīng)過逐層分解，得到原圖像的不同頻段。

圖1　圖像融合流程圖

圖2　小波分層分解

2.1小波分解的高頻與低頻部分

紅外圖像和可見光圖像分別經(jīng)過4層小波分解得到高頻部分和低頻部分，圖3a是紅外圖像小波分解，圖3b是可見光圖像小波分解。由圖3可知紅外圖像低頻能量集中，最后一層能量較高，可見光圖像高頻細節(jié)豐富[8]，根據(jù)小波分解得到CL的低頻分量和垂直分量CV、對角分量CD、水平分量CH的高頻部分。

圖3　小波分解結果

2.2低頻融合策略

圖像的低頻信息部分，大多數(shù)反應圖像的主要結構，占據(jù)圖像的大部分能量[9]，傳統(tǒng)的像素平均加權降低了融合圖像的對比度，失去了一部分有用的信息，僅僅依靠單獨像素點作為信息的度量是不夠的。由于紅外圖像和可見光圖像物理特性不同，通過對一個低頻系數(shù)一定區(qū)域內(nèi)的梯度求和得到這個低頻系數(shù)對應的值，可以反映圖像中微小細節(jié)的變化，反映圖像的清晰度變化。梯度求和公式如下：

[X(i,j+1)-X(i,j)]2}

(1)

分別求出可見光圖像和紅外光圖像梯度求和對應的值RV(i,j),RR(i,j),然后對紅外低頻系數(shù)和可見光高頻系數(shù)進行求權值。公式如下:

W(i,j)=RV(i,j)/RR(i,j)

(2)

式中：RV，RR分別代表梯度求和對應的值；W(i,j)是兩者相除得到的值，W(i,j)可以反映兩幅圖像一定區(qū)域內(nèi)梯度的大?。粀代表權重；T是閾值，取值0.5。

最后進行加權求和即可得到圖像低頻融合部分，加權公式如下：

F(i,j)=w×XV(i,j)+(1-w)×XR(i,j)

(3)

通過低頻的方法處理使融合圖像更加清晰。圖像的微小細節(jié)部分得到了明顯的改善，綜合了原圖像共同的優(yōu)點，如圖4所示。

圖4　融合后圖像與原圖像對比

2.3高頻融合策略

高頻部分反映了圖像的細節(jié)部分特征，包括圖像的紋理輪廓信息，一般可見光圖像高頻部分包含的細節(jié)較多。傳統(tǒng)絕對值取大的方法是最簡單、直接的融合規(guī)則，但是分解系數(shù)的能量會隨原圖像的平移旋轉(zhuǎn)等規(guī)則變化發(fā)生劇烈的不規(guī)則的變化,導致融合后的圖像缺乏一致性[10]，傳遞和放大了原圖像的死點和噪聲點，忽略了相鄰像素的關系，不能完全提取圖像的細節(jié)信息，通過進行基于方差顯著性的匹配方法，可以最大限度地融合兩幅圖像的細節(jié)部分。降低融合圖像的模糊度。假定圖像分解后的高頻系數(shù)為G(X)，可以求出區(qū)域方差公式如下：

(4)

然后，要求出紅外高頻區(qū)域系數(shù)和可見光高頻區(qū)域系數(shù)的匹配度，區(qū)域匹配度是進行高頻融合的依據(jù)[11]，區(qū)域方差匹配度公式如下：

(5)

通過匹配度Q(p)與選取的閾值比較設計融合策略，Q(p)的取值在0～1之間，取值越大，說明系數(shù)相關性越高。然后進行加權融合，公式如下：

當Q(p)

(6)

(7)

通過高頻方法進行圖像的處理，使圖像的輪廓信息變得更加豐富。通過計算平均梯度，本文融合圖像的梯度為4.1492，明顯大于其他方法融合圖像的平局梯度，說明使用本文方法后融合圖像的信息更加豐富。

3　實驗結果分析

3.1紅外光圖像與可見光圖像融合直方圖分析

對紅外圖像和可見光圖像的像素進行統(tǒng)計，發(fā)現(xiàn)可見光圖像像素大多處于0～50之間，像素集中，說明圖像整體昏暗，不利于人眼的區(qū)分。紅外圖像像素分布分散，說明圖像明暗相對均勻，有利于人眼觀察。通過算法的融合，得到最終的圖像?？芍?，融合后的圖像像素分布的更加均勻，而且圖像直方分布比較平滑，說明融合的圖像更加利于人眼的觀察分辨，融合得到的圖像效果更好。圖像的直方圖如圖5所示。

圖5　直方圖

3.2算法仿真

為驗證算法的融合效果，選取一對紅外光圖像和可見光圖像進行融合實驗，并給出最終融合性能評價，本文仿真軟件是由Matlab實現(xiàn)，Matlab操作界面如圖6所示。

圖6　Matlab操作界面

兩幅圖像都選取大小為629×494的圖像，背景目標相同，紅外儀器與可見光儀器拍攝位置相同，其中圖7a是可見光圖像，景物昏暗，只有少量的燈光較為明顯，在燈光的照射下字體清晰可見，但路人與房屋等無法準確分辨。圖7b是紅外光圖像，圖像明亮，路人房屋的位置容易分辨，但模糊不清，分辨率較低，細節(jié)部分顯示不出。算法的目的是得到一幅即可以看到燈光下字體[12]，又能分辨路人的融合圖像。為驗證融合算法的有效性，與傳統(tǒng)的小波融合算法進行試驗對比。由于圖像的分解層數(shù)增加，提取的細節(jié)信息也相應增加，但各子頻帶的相互干擾也增加[13]，反而影響圖像的融合質(zhì)量，本文的小波分解尺度設定為4。圖8a為傳統(tǒng)小波融合的結果。圖8b為使用高低頻平均法的小波融合的結果。圖8c為PCNN融合的結果。圖8d為本文提出的融合方法的結果。

圖7原圖像

圖8　實驗結果

可以看到，圖8d融合圖像明顯對比度較強，與圖8a比較含有更多的細節(jié)。比單獨使用傳統(tǒng)方法的圖8b含有的信息更豐富，圖像更明亮。PCNN方法針對不同的圖像會有不同的效果，在對比度較低的圖像下，明顯不如本文提出的方法，圖8c圖像融合效果較差。

評價方法采用平均梯度、信息熵、互信息作為評價標準[14]。

(1)平均梯度：反映了圖像中微小細節(jié)的反差和圖像的紋理變化以及圖像的清晰度。值越大表明圖像的變化越明顯。

(2)信息熵：表示圖像信息量的度量，是圖像評價的基礎指標，值越大表明圖像的信息量越多，圖像對比度越大，像素信息排列越混亂。

(3)互信息：用于反映兩幅圖像相似度的度量，融合圖像與理想圖像相似度越大表明圖像的融合質(zhì)量越好，現(xiàn)實中理想圖像很難得到，所以通過求，融合圖像與可見光圖像和融合圖像與紅外光圖像的互信息來進行評價。

表1表示客觀評價的結果，通過表1可以看出，本文提出的方法在平均梯度、值熵、互信息值與主觀的評判結果是一致的[15]，通過本方法圖像對比度增強，圖像信息量增多，和原圖像有更多的相似性，相比較其他方法，在各方面都表現(xiàn)出一些優(yōu)勢。進一步說明了本文提出方法的優(yōu)越性。但是可以發(fā)現(xiàn)，融合圖像在與可見光進行互信息時值較小，通過研究分析，主要原因在于可見光圖像較暗，含有的有用信息較少，通過算法的篩選導致融合圖像含有可見光的信息量減少，但并不影響主要信息的融合。反而有利于紅外光信息的保存與融合，有利于圖像的最終形成。

表1　融合效果綜合評價結果

4　結束語

針對紅外和可見光圖像的成像特點，在低頻部分采用基于融合圖像自身物理特性的區(qū)域梯度求和的方法，高頻部分考慮到高頻分量的變化，引入基于區(qū)域方差的相關系數(shù)匹配度方法[16]。通過改進的小波圖像融合方法，結合低頻梯度，高頻方差能量的融合方法。降低了融合圖像的模糊程度，豐富了圖像的信息，更好地保留了圖像的邊緣和紋理細節(jié)。實驗結果表明，本文方法具有更好的魯棒性，并且能得到更好的視覺效果，結合了紅外圖像與可見光圖像共同的優(yōu)點，主客觀綜合評價本方法具有一定的優(yōu)勢。

[1]鄧承志，饒偉.基于Shearlet變換的紅外與可見光圖像自適應融合[J].激光與紅外，2013,43(4):399-403.

[2]徐亮，吳海濤，孔銀昌.自適應閾值Canny邊緣檢測算法研究[J].軟件導刊，2013,12(8):62-63.

[3]Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection [J].IEEE Transactions on Pattern Analysis and M-chine Intelligence,2012,34(10):1915-1926.

[4]邢素霞,肖洪兵,陳天華,等.基于目標提取與NSCT的圖像融合技術研究[J].光電子·激光，2013,24(3):583-588.

[5]彭海.紅外與可見光圖像融合方法研究[D].杭州；浙江大學,2012:31-41.

[6]王曉文,趙宗貴,湯磊.一種新的紅外與可見圖像融合評價方法[J].系統(tǒng)工程與電子技術， 2012,34(5):871-875.

[7]YE Yinfang,NIE Jianying.Principal Component Fusion of IR/PMMW Image Based on Multiresolution Analysis[J].El-ectronics Optics&Control,2013,20(9):6-9.

[8]葉銀芳,聶建英.基于多分辨分析的紅外/被動毫米波圖像主成分融合[J].電光與控制，2013,20(9):6-9.

[9]WEN Liming,PENG Li.Remote sensing image fusion method based on wavelet packet transform with Sobel operator[J].Computer Engineering and Application,2013,49(3):207-209.

[10]ZHANG Defeng.MATLAB:Wavelet Analysis (2th edition)[M].China Machine PRESS,2012:70.

[11]LI S T,KANG X D,HU J W.Image fusion with guided fitering[J].IEEE Transcations on Image Procession,2013,22(7)：2864-2865.

[12]LUO X Y,ZHANG J,DAI Q H.Saliency-based geometry measurement for image fusion performance[J].Instrumentaion and Measurement,IEEE Transactions,2012,61(4):1130-1132.

[13]M.Hossny,Jack K Holmes,Srini Raghavan.Information measure for performance of image fusion[J].Electronics Letters,2008,44(18):1066-1067.

[14]WEI H,JING Z I.Evaluation of focus measures in multi-focus image fusion [J].Patern Recognition Letters,2007,28(4):493-500.

[15]鄒北驥，胡藝齡，辛國江.基于小波分解和PCNN的圖像融合方法[J].計算機工程與科學，2011,33(2):102-107.

[16]NIE Jianying,LI Xingguo,LOU Guowei.Analysis of Wavelet Packet and Radiation Characteristics for Armored Targets with PMMW[J].Electronics Optics & Control,2011,18(3):72-75.

(責任編輯：馬金發(fā))

Research on Image Fusion Algorithm of Infrared and Visible Image

CAI Kaili，SHI Zhengang

(Shenyang Ligong University,Shenyang 110159,China)

Infrared image and visible image reflect on different shooting instrument,different characteristics of target scene.Firstly,with wavelet decomposition high frequency coefficient and low-frequency coefficients,high frequency and low frequency are obtained respectively.The high frequency coefficients are dealt with by using the rule of neighborhood regional correlation variance,the low frequency coefficients are dealt with by adopting the rule of gradient weighted sum.Then,the fusion image is gotten by inverse transform.Finally,image fusion effect is comprehensively evaluated by information entropy,average gradient and mutual information.Experimental results show that the fusion image contains more information,which is more advantageous to human eye judgment and observation.

image fusion；neighborhood regional correlation variance；gradient weighted sum；mutual information

2015-05-25

國家自然科學基金資助項目(60602040)

蔡鎧利(1992—)，男，碩士研究生；通訊作者：石振剛(1971—)，男，副教授，博士，研究方向：圖像處理與分析技術。

TP751.2

A