采用目標(biāo)提取和NSCT的紅外與可見光圖像融合

桑高麗 ，宣士斌 ，2，趙 波 ，鄭增國

1.廣西民族大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院，南寧 530006

2.廣西混雜計算與集成電路設(shè)計分析重點實驗室，南寧 530006

圖像融合是將兩個或兩個以上的傳感器在同一時間（或不同時間）獲取的關(guān)于某個具體場景的圖像或者圖像序列信息加以綜合和處理，以得到一個關(guān)于此場景質(zhì)量更高的圖像，即通過對多幅圖像信息的提取與綜合，產(chǎn)生對同一場景或目標(biāo)更全面、準(zhǔn)確和可靠的圖像描述[1]。經(jīng)過融合處理得到的圖像可以彌補單一源圖像的信息量不足問題，更符合人眼或機器的視覺特性。

由于紅外圖像和可見光圖像各有自己的優(yōu)、缺點，例如，紅外圖像可在場景內(nèi)定位具有較高溫度的物體，發(fā)現(xiàn)被隱蔽的熱源，但是對于溫差不大的背景信息不太敏感。而可見光圖像則可以提供背景信息，受關(guān)照和遮擋等因素的影響，不能發(fā)現(xiàn)與背景顏色相近或隱藏的目標(biāo)。將二者融合，可以使得紅外圖像和可見光圖像的優(yōu)勢互補，實現(xiàn)在背景中定位熱源目標(biāo)的功能。紅外圖像與可見光圖像融合已成為近年來圖像研究領(lǐng)域的熱點之一，廣泛應(yīng)用于目標(biāo)檢測、目標(biāo)識別和目標(biāo)跟蹤等方面[2-3]，在機器視覺、天文探測、紅外遙感軍事偵察、監(jiān)視和制導(dǎo)等領(lǐng)域也得到廣泛應(yīng)用。

常用的紅外圖像和可見光圖像融合規(guī)則分為基于像素點、窗口以及感興趣區(qū)域3類[4]。其中基于像素點融合是目前應(yīng)用最廣泛、實現(xiàn)也最簡單的融合規(guī)則（如小波系數(shù)取小，小波系數(shù)取大法等），這類方法的缺點是計算數(shù)據(jù)量大，實時性差，加之圖像的特征也不是由單一像素表征，因此基于像素點的融合規(guī)則由于沒有考慮像素點的鄰域信息會導(dǎo)致對圖像特征表征的失真；而基于窗口的融合規(guī)則利用窗口內(nèi)的鄰域特征指導(dǎo)設(shè)計融合規(guī)則，考慮的是局部范圍內(nèi)的鄰域特征（如基于拉普拉斯金字塔變換的圖像融合算法研究[5-6]）；基于區(qū)域或目標(biāo)的融合規(guī)則是將特征級融合和像素級融合結(jié)合在一起，使用分割的方法將感興趣區(qū)域圖像劃分為不同的區(qū)域 ，根據(jù)不同區(qū)域的特點指導(dǎo)像素級融合，與前兩種方法相比，基于區(qū)域或目標(biāo)的融合規(guī)則能獲得最好的融合效果。目前基于區(qū)域方面的圖像融合算法已得到廣泛的研究[7-9]，但由于對圖像信息量考慮不足，現(xiàn)有融合方法在光照不足、目標(biāo)隱藏或目標(biāo)和背景顏色接近時易出現(xiàn)目標(biāo)信息減弱或丟失的現(xiàn)象，不能滿足人們對信息獲取的需求。

本文采用基于目標(biāo)提取和NSCT相結(jié)合的融合方法，首先對紅外圖像做基于區(qū)域生長法的目標(biāo)提取，得到目標(biāo)區(qū)域和非目標(biāo)區(qū)域，然后對紅外圖像和可見光圖像分別做基于NSCT的多尺度分解，分別對位于目標(biāo)區(qū)域和非目標(biāo)區(qū)域的的低頻和高頻系數(shù)采用不同的融合規(guī)則。本文還對融合結(jié)果與現(xiàn)有的融合方法進行對比，實驗表明，本文算法更好地保留了目標(biāo)信息和細節(jié)信息，清晰度高，也具有較高的信息量。

1 融合算法相關(guān)理論介紹

本文通過區(qū)域生長的方法對紅外圖像進行目標(biāo)提取；然后采用NSCT對源圖像分解。

1.1 區(qū)域生長法原理介紹

由于紅外成像是熱輻射成像，而一般目標(biāo)和背景具有較大的溫差，所以根據(jù)紅外成像的特點，目標(biāo)區(qū)域具有較高的溫度可以很容易被捕捉得到，并且同一目標(biāo)的溫差一般都是均勻且穩(wěn)定的，因此，溫度相近的部分通常被認為是同一目標(biāo)或背景。

區(qū)域生長的基本思想是將具有相似性質(zhì)的像素集合起來構(gòu)成區(qū)域[10]。首先對每個需要分割的區(qū)域找出一個種子像素作為生長的起點，然后將種子像素周圍鄰域中與種子有相同或相似性質(zhì)的像素（根據(jù)事先確定的生長或相似準(zhǔn)則來確定）合并到種子像素所在的區(qū)域中。而新的像素繼續(xù)做種子向四周生長，直到再沒有滿足條件的像素可以包括進來，一個區(qū)域就生長而成了。區(qū)域生長法的具體步驟如下：

（1）選擇或確定一組能正確代表所需區(qū)域的種子像素（本文選取最亮的點為種子）。

（2）確定在生長過程中能將相鄰相素包含進來的準(zhǔn)則，常用的生長準(zhǔn)則和方法有三種，即基于區(qū)域灰度差、基于區(qū)域內(nèi)灰度分布統(tǒng)計性質(zhì)、基于區(qū)域形狀?？紤]紅外圖像目標(biāo)與背景相對比較穩(wěn)定的基本特征，本文采用基于區(qū)域灰度差的區(qū)域生長準(zhǔn)則提取目標(biāo)。

（3）確定讓生長過程停止的條件或規(guī)則，生長過程的停止是通過設(shè)定門限來實現(xiàn)的，圖像特征各異，門限的設(shè)定也不能一概而論，通常最佳門限值是經(jīng)過大量反復(fù)的實驗確定的。

圖1是本文提取目標(biāo)的實驗結(jié)果。

圖1 本文實驗結(jié)果

1.2 非降采樣Contourlet變換（NSCT）

NSCT是一種具有平移不變性和良好方向選擇性的分解算法，主要由兩部分組成，非降采樣不可分離雙通道濾波器組和非降采樣方向濾波器，圖2展示了NSCT的基本結(jié)構(gòu)圖，它們在子帶內(nèi)對二維的頻率平面進行了劃分，如圖2所示。

圖2 NSCT分解示意圖

其中，非抽樣方向濾波器組利用L級樹形結(jié)構(gòu)的扇形濾波器組把整個頻域劃分成2L個楔狀區(qū)域。由于NSCT采用了具有各向異性（Anisotropic）的輪廓波基作為圖像的分解基元，因此具有多方向選擇性[7]。

2 采用目標(biāo)提取和NSCT的紅外與可見光圖像融合方法

基于區(qū)域生長的目標(biāo)提取技術(shù)可以把紅外圖像分割為目標(biāo)區(qū)域和背景區(qū)域，然后利用NSCT的多尺度、多方向的分解特性，抽取出目標(biāo)區(qū)域和背景區(qū)域的重要信息，再根據(jù)目標(biāo)區(qū)域和背景區(qū)域特性的不同而采用不同的融合規(guī)則。圖3是算法的流程圖。

圖3 基于目標(biāo)提取和NSCT的圖像融合算法流程圖

圖像融合的目的是為了解決單一圖像信息量不足，使得融合后的圖像更利于人眼和機器識別及后續(xù)處理。信息熵是圖像所含信息量的一個重要測度，信息熵越大，表示圖像包含的信息量越多，圖像效果越好[10]。已有算法的融合結(jié)果存在不同程度的源圖像的信息丟失，使得融合結(jié)果在信息含量上存在不足，所以基于上述考慮，提出基于局部信息熵的最大選擇融合策略。

基于目標(biāo)提取和NSCT的紅外圖像與可見光圖像融合方法分為以下幾個步驟：

（1）設(shè)有兩幅圖像，紅外圖像A和可見光圖像B都已經(jīng)配準(zhǔn)完畢。

（2）對紅外圖像運用區(qū)域生長法進行目標(biāo)提取，得到目標(biāo)區(qū)域和背景區(qū)域。

①目標(biāo)區(qū)域

目標(biāo)區(qū)域具有較高的像素值，所以能量值高于其他區(qū)域，為了保證紅外圖像的熱目標(biāo)信息能夠最大限度加入到融合圖像，所以目標(biāo)區(qū)域直接選取紅外圖像A的分解系數(shù)作為融合系數(shù)。

②背景區(qū)域

因為可見光圖像包含大量的背景信息，而背景信息可以提供目標(biāo)的局部位置信息，又多尺度分解的低頻信息是對源圖像的粗略成像，即可見光圖像B的低頻系數(shù)包含了大量的背景細節(jié)信息，所以選取可見光圖像的低頻系數(shù)作為融合圖像的低頻系數(shù)。

鑒于之前的分析和對信息量的考慮，在高頻子帶的處理中，選擇基于窗口的局部信息熵的融合方法。

其中L為圖像總的灰度級數(shù)，Pi為灰度值為i的分布概率，其取值范圍是[0,1,…,L-1]。如若只對圖像的某一區(qū)域定義熵，則為局部熵，在此定義窗口的大小為3×3，即是在此窗口范圍內(nèi)信息熵的值。由熵的定義可知，圖像的局部熵反映了該局部所含有信息量的大小，描述了圖像的局部性質(zhì)。

（5）通過對上面得到的融合系數(shù)做NSCT反變換，基于目標(biāo)提取和NSCT的融合圖像就最終得到了。

3 實驗結(jié)果與分析

為了驗證本文算法的有效性，本文選擇了三組紅外與可見光圖像做實驗。為了和已有算法效果做對比，在此選擇五種不同的融合方法：小波系數(shù)取小法，對于小波分解得到的各層小波系數(shù)，融合規(guī)則是選取較小的作為融合系數(shù)；小波系數(shù)取大法對于小波分解得到的各層小波系數(shù)，融合規(guī)則是選取較大的作為融合系數(shù)；基于拉普拉斯金字塔變換的圖像融合法[5]（以下簡稱拉普拉斯法），采用基于窗口（窗口大小為3×3）平均梯度的融合規(guī)則；基于NSCT的紅外與可見光圖像融合法[7]（簡稱NSCT法），則是依照區(qū)域匹配度量和顯著性度量規(guī)則進行融合；提升方向波變換法[11]，用提升波對圖像進行多尺度分解，然后選擇具有較強各向異性信息分量的融合規(guī)則。在實驗的過程中，各種方法多尺度分解為相同的層數(shù)：3層。

例1背景相對簡單的單目標(biāo)紅外與可見光圖像（見圖4），此組圖像的背景信息僅為灌木叢和石子，比較簡單，紅外圖像中目標(biāo)清楚且唯一。

第一組實驗對象見圖4（a）和圖4（b），觀察發(fā)現(xiàn)在圖4（a）紅外圖像中，目標(biāo)清晰可見，背景模糊；圖4（b）的可見光圖像中，目標(biāo)被遮擋不可見。圖4（c）～（h）分別為小波系數(shù)取大法，小波系數(shù)取小法，Laplace法，NSCT法，提升方向波變換法和本文算法的融合結(jié)果，觀察結(jié)果發(fā)現(xiàn)，圖4（c）目標(biāo)幾乎完全丟失，使用簡單的小波系數(shù)取大法雖然能看到目標(biāo)和背景，但對比度較差。拉普拉斯金字塔法和提升方向波變換法得到的效果較好，背景和目標(biāo)都比較清晰，但背景和目標(biāo)的亮度都有一定程度的減弱。使用NSCT法目標(biāo)信息和背景信息亮度有明顯加強，但是失真現(xiàn)象嚴(yán)重，不利于人眼觀察。圖4（h）相比前面的幾種方法，很好地保留了紅外圖像的目標(biāo)信息和可見光圖像的背景信息，視覺效果好。

圖4 紅外和可見光圖像融合實驗1

圖5 紅外和可見光圖像融合實驗2

為了更客觀地對上述幾種方法的融合效果進行評價，本文分別計算以上融合結(jié)果的信息熵、標(biāo)準(zhǔn)差、相關(guān)系數(shù)等以比較各種算法。標(biāo)準(zhǔn)差反映了圖像灰度偏離灰度均值的程度，可以用來評價圖像反差的大小，標(biāo)準(zhǔn)差越大，則灰度級分布越分散，圖像包含的信息量越大[12]。相關(guān)系數(shù)衡量的是圖像之間的相關(guān)程度，其值越接近于1，表示融合結(jié)果與源圖像越相近，越少的失真度，融合效果越好。表1是第一組圖像的客觀評價性能。由表1可知，本文算法所得圖像的信息熵和標(biāo)準(zhǔn)差最大、與源圖像有較大的相關(guān)度。說明本算法的綜合融合效果優(yōu)于其他5種融合方法。

表1 融合性能的客觀評價1

例2具有復(fù)雜背景的單目標(biāo)紅外與可見光圖像（見圖5），可見光圖像中背景信息有柵欄，煙囪，平房，山路等，紅外圖像中目標(biāo)清晰且唯一。

圖5是本文算法和其他四種不同的算法的效果圖，很顯然簡單的邏輯方法（灰度取大和取?。┙档土巳诤蠄D像整體的對比度，并且使得融合圖像中存在著嚴(yán)重的信息丟失現(xiàn)象，如圖5（c）中煙囪的部分信息丟失，人的紅外信息全部丟失。圖5（d）中柵欄信息存在缺失。而Laplace金字塔的融合結(jié)果圖5（e）與前面兩種方法相比對比度提高，包含的細節(jié)信息也明顯增多，但是在房檐處存在嚴(yán)重的不連續(xù)性失真現(xiàn)象，目標(biāo)信息有明顯減弱的現(xiàn)象。圖5（f）和（g）分別是NSCT法和提升方向波變換法的融合結(jié)果，得到的圖像對比度較低，目標(biāo)和背景區(qū)域都有不同程度的信息減弱。圖5（h）是本文算法融合結(jié)果，相比于前面幾種算法，既很大程度上提取了紅外圖像中的目標(biāo)信息，又很好地保留了可見光圖像中背景的細節(jié)和輪廓信息，視覺效果最好。

同理，計算上述融合圖像的客觀評價指標(biāo)（見表2），本算法所獲圖像的信息熵較大，標(biāo)準(zhǔn)差最大、與原紅外圖像和可見光圖像的相關(guān)系數(shù)最大，綜合指標(biāo)最優(yōu)，說明本文方法的綜合融合性能優(yōu)于其他傳統(tǒng)的小波變換法等5種融合方法。

表2 融合性能的客觀評價2

例3復(fù)雜背景下大目標(biāo)的紅外與可見光圖像（見圖6），背景信息有欄桿，草叢，樹木等，紅外目標(biāo)較大，且有部分顏色與背景相近。

圖6 紅外和可見光圖像融合實驗3

圖6是本文的第三組實驗，圖6（a）為紅外圖像，可以看到目標(biāo)的衣服和背景極為接近，在可見光圖像圖6（b）中，由于目標(biāo)和背景比較相近而導(dǎo)致目標(biāo)不容易識別，但是目標(biāo)信息仍然是可見的。圖6（c）和源可見光圖像相比，除了對比度有些許降低外，幾乎沒有什么改善。圖6（d）、（e）和（g）雖然都不同程度地保留了紅外和可見光圖像的信息，但是通過對比發(fā)現(xiàn)，都有不同程度的信息缺失。圖6（f）信息量明顯不足。圖6（h）目標(biāo)信息和背景信息最為完整，易與觀察和識別。但是也存在不足之處，由于目標(biāo)信息與背景相近，以致于提取的目標(biāo)信息不完整，所以在此目標(biāo)信息有塊現(xiàn)象存在，針對這類目標(biāo)與背景比較相近，以及多目標(biāo)的情況是今后要繼續(xù)研究的工作。

本組圖像的融合性能評價參數(shù)計算如表3，再次說明了本文算法的有效性。

表3 融合性能的客觀評價3

4 結(jié)論與展望

本文在進行紅外與可見光圖像融合時候，先運用目標(biāo)提取的方法，然后在NSCT的基礎(chǔ)上，提出了基于局部信息熵的融合規(guī)則，較好地解決了融合圖像的信息含量不足的問題。下一步的工作包括本文中出現(xiàn)的目標(biāo)與背景顏色相近的紅外圖像與可見光圖像的融合，以及同一場景中多目標(biāo)紅外與可見光圖像融合的算法研究。

[1]王春華，馬國超，馬苗.基于目標(biāo)提取的紅外與可見光圖像融合算法[J].計算機工程，2010，36（2）：197-200.

[2]付立冬，姜學(xué)軍，譚小波.紅外圖像特征提取方法研究[J].科技信息，2009（15）.

[3]劉寶源.紅外與可見光圖像融合技術(shù)研究[D].武漢：華中科技大學(xué)，2009.

[4]劉坤，郭雷，陳敬松.基于區(qū)域分割的序列紅外圖像融合算法[J].紅外與激光工程，2008，38（3）：553-557.

[5]陳浩，王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究[J].激光與紅外，2009，39（4）：339-442.

[6]李振華，敬忠良，孫韶媛，等.基于方向金字塔框架變換的遙感圖像融合算法[J].光學(xué)學(xué)報，2005，25（5）：598-602.

[7]劉剛，許林峰.基于非降采樣Contourlet變換的紅外與可見光圖像融合及穩(wěn)健性分析[J].控制與決策，2010，25（4）：623-626.

[8]何國棟，梁棟，姚紅，等.基于非抽樣Contourlet變換的紅外圖像和可見光圖像融合算法[J].微電子學(xué)與計算機，2009，26（2）：8-11.

[9]Liu Kuna，Guo Lei’a，Li Huihuia，et al.Fusion of infrared and visible light images based on region segmentation[J].Chinese Journal of Aeronautics，2009，22：75-80.

[10]陳方昕.基于區(qū)域生長法的圖像分割技術(shù)科技信息[J].科技信息，2008（15）：58-59.

[11]劉啟海，林玉池，馮偉昌，等.采用提升方向波變換的異源圖像融合新算法[J].紅外與激光工程，2010，39（2）：358-362.

[12]柴奇，楊偉，管怡，等.一種改進的可見光與紅外圖像融合算法[J].紅外技術(shù)，2008，30（2）：87-90.