基于NSCT紅外與可見光圖像融合算法優(yōu)化研究

肖中杰

?

基于NSCT紅外與可見光圖像融合算法優(yōu)化研究

肖中杰

（青海民族大學(xué) 網(wǎng)絡(luò)管理中心，青海 西寧 810007）

為了在一定程度上為后續(xù)圖像處理提供更為有效的信息，針對紅外與可見光圖像融合，提出了一種改進(jìn)的算法。NSCT用于分解紅外圖像和可見光圖像，采用像素特征能量加權(quán)融合規(guī)則和鄰域方差特征信息融合規(guī)則得到其低頻和高頻系數(shù)，最后通過逆NSCT進(jìn)行圖像重構(gòu)得到融合圖像。優(yōu)化后的算法在融合圖像清晰度上比Contourlet算法提高了2.22%，在圖像信息豐富程度上提高近3.1%。實(shí)驗(yàn)結(jié)果表明，該算法可以有效地提高圖像融合質(zhì)量。

圖像融合；NSCT變換；紅外圖像；可見光圖像

0 引言

通常情況下，從不同傳感器得到的圖像信息往往具有一定的互補(bǔ)性和冗余性，通過提取信息互補(bǔ)的部分，舍去冗余的部分，可以得到對信息或場景的更為完整的描述。圖像融合則是將兩個(gè)或多個(gè)傳感器在同一時(shí)間或不同時(shí)間拍攝的同一場景的圖像或圖像序列組合成單一圖像的過程。紅外傳感器捕獲的紅外圖像聚焦于場景中的目標(biāo)，所含邊緣等細(xì)節(jié)偏少，可見光又容易受外部環(huán)境干擾，其圖像則可以更好地描述背景信息。將紅外圖像與可見光圖像融合在一起，可以得到全景描述，而且所生成的圖像將比任何一個(gè)輸入圖像的信息更豐富[1]，融合圖像符合人或機(jī)器的視覺特性，為圖像進(jìn)一步分析、識別等提供基礎(chǔ)[1]。

基于像素級層次圖像融合具有較好的效果，常用的有基于空間域的算法和基于變換域的算法?；诙喑叨茸儞Q的圖像融合的多尺度幾何分析，是一種具有方向性和各向異性的多分辨率圖像分析方法，在圖像融合中能取得較好的效果，是一種基于變換域的算法。在多尺度分析方法中，小波變換由于其局部化特性而廣泛用于圖像融合[2]，但是小波變換不能識別自然圖像中固有的線奇異性和表面奇異性，并且其捕獲的方向性信息受到限制，只能將源圖像在水平、垂直和對角3個(gè)方向進(jìn)行分解[3]，導(dǎo)致融合圖像通常產(chǎn)生細(xì)節(jié)模糊。

NSCT不僅有效地捕捉圖像中的幾何特征[4]，而且具有多尺度和時(shí)頻定位特性，還具有多方向的特性，圖像能量在稀疏表示之后更集中。在NSCT分解之后，每個(gè)子帶圖像具有相同的大小，方便了融合計(jì)算。在離散域中，NSCT采用濾波器組來實(shí)現(xiàn)圖像多尺度和多方向分解，提高了融合圖像效果和計(jì)算速度。

1 算法理論分析

1.1 Contourlet變換

Contourlet變換是一種二維圖像表示模式，它將多尺度分解與方向分解相結(jié)合。對于輸入圖像信息，首先用拉普拉斯金字塔[5-6]（LP）分解產(chǎn)生低頻分量和高頻分量，其次對各尺度的高頻分量應(yīng)用方向?yàn)V波器組（DFB）分解，高頻分量被分解為若干方向子帶，對于低頻子帶，再重復(fù)上述過程以進(jìn)行多分辨率和多向分解。Contourlet變換在LP分解過程中，對圖像使用隔行掃描，這個(gè)過程在很大程度上減少了變換的冗余，同時(shí)它導(dǎo)致Contourlet變換不具有平移不變性特征的結(jié)果，致使在奇異性方面導(dǎo)致pseudo-Gibbs現(xiàn)象，限制了其應(yīng)用范圍。為此，Cunha等人提出了非下采樣Contourlet變換（NSCT），以改變這種情況。

1.2 NSCT變換

圖1 NSCT變換示意圖

根據(jù)NSCT變換不變特征和對圖像幾何特征，尤其是其邊緣方向信息完美的描述能力，本文提出了一種改進(jìn)的紅外圖像與可見光圖像融合算法。對低頻子頻帶系數(shù)它采用了像素特征能量加權(quán)融合規(guī)則，對高頻子帶系數(shù)它采用鄰域方差特征信息融合規(guī)則。

該融合算法包括4個(gè)步驟[8]：首先，對原始圖像A和B進(jìn)行多級NSCT變換，得到不同尺度的NSCT系數(shù)，即低頻系數(shù)和高頻系數(shù)；其次，通過像素特征能量加權(quán)融合規(guī)則融合低頻效率，得到低頻系數(shù)；再次，通過鄰域方差特征信息融合規(guī)則融合高頻效率，得到高頻系數(shù)；最后，重建每個(gè)尺度的低頻和高頻系數(shù)，通過逆NSCT重建圖像，得到融合圖像。

2 改進(jìn)的圖像融合算法

2.1 低頻子帶系數(shù)融合

低頻子帶包含圖像大部分能量，代表圖像輪廓。紅外和可見光圖像融合的主要目的是抽象的目標(biāo)，目標(biāo)有很大的能量。因此，低頻系數(shù)融合規(guī)則的選擇對于紅外和可見圖像融合是至關(guān)重要的，本文采用像素特征能量加權(quán)融合規(guī)則。

這里，方差表示圖像的詳細(xì)信息，像素平均值表示像素的平均亮度，窗口平均值表示特定區(qū)域中的像素的亮度。圖像方差、像素平均值和窗口平均值的計(jì)算公式如下：

式中：()、()和R()分別表示以點(diǎn)(,)為中心的局部方差、像素平均值和窗口平均值；和表示窗口大??；和在和之間。由于紅外圖像和可見光圖像之間的相應(yīng)像素的物理意義是不同的，如果僅僅計(jì)算像素窗口能量而不考慮區(qū)域特性，則將失去目標(biāo)輪廓和背景輪廓之間的差異。因此，有必要考慮圖像像素能量和定位區(qū)域特征之間的相關(guān)性。在此基礎(chǔ)上，定義出如下基于異常區(qū)域特征的像素能量：

式中：

和分別表示紅外和可見光圖像；2()表示主像素能量。

則有如下融合后的低頻子帶系數(shù)：

C,0F(,)＝1C,0I＋2C,0V(6)

式中：自適應(yīng)調(diào)整系數(shù)1、2為：

2.2 高頻系數(shù)融合

由NSCT分解得到的高頻表示圖像的細(xì)節(jié)。區(qū)域方差越大，原始圖像的對應(yīng)區(qū)域?qū)⒆兊迷角逦?。因此，高頻系數(shù)的選擇可以依據(jù)鄰域方差特征信息得到。某系數(shù)的鄰域方差可以定義如下：

選擇具有較大的鄰域高頻系數(shù)方差的原始圖像作為融合圖像的高頻系數(shù)：

式中：F(,,)是層分解點(diǎn)(,)中的圖像的高頻系數(shù)。

2.3 圖像融合

每個(gè)尺度中的每個(gè)方向子圖可以通過上述方法處理以完成圖像融合。然后，對融合子帶系數(shù)使用逆NSCT以獲得重建的融合圖像。

F,j,k×C,0F＝(10)

3 實(shí)驗(yàn)結(jié)果和分析

紅外圖像、可見光圖像和通過不同算法融合的結(jié)果圖像如圖2所示。其中，圖2(a)和圖2(b)分別是紅外圖像和可見光圖像；圖2(c)～圖2(f)分別是通過拉普拉斯金字塔法（LP）、小波法（WT）、Contourlet方法和本文方法融合的結(jié)果圖像。在LP方法中，金字塔分解層的數(shù)量為2，融合規(guī)則是通過平均法融合頂層上的子圖像，并且通過選擇較大的像素值的方法來融合其他層上的子圖像；在WT方法中，在高頻層中取最大值，并且在低頻層中取平均值；Contourlet方法和該算法的每一層中的分解方向是1、2、2。

圖2 紅外圖像，可見光圖像，不同算法融合圖像對照

從主觀的觀點(diǎn)來看，圖2(a)目標(biāo)較清晰，但其他場景模糊；圖2(b)在低光環(huán)境，所以目標(biāo)是模糊的，但是背景較清楚；雖然通過LP方法和WT方法獲得的融合圖像保留了主要場景，但是邊緣是模糊的；Contourlet方法獲得的融合圖像具有比LP和WT方法更清晰的邊緣，但是其背景不如通過該算法獲得的融合圖像那樣清楚。從視覺效果來看，通過該算法獲得的融合圖像更好地獲得可見圖像中的場景特征信息，以及紅外圖像中的目標(biāo)信息和邊緣細(xì)節(jié)，得到的融合圖像中的目標(biāo)比其他三個(gè)融合圖像中的目標(biāo)清晰。

從目標(biāo)的角度評價(jià)，熵、互信息和平均梯度被用作圖像融合效果的評估因素。熵是圖像信息豐富程度的一個(gè)重要因素；互信息用于計(jì)算有多少信息傳遞到融合結(jié)果；平均梯度用于描述圖像的清晰度。3個(gè)值越大，融合結(jié)果越好。表1顯示，本文方法融合圖像熵、互信息和平均梯度都高于其他3種方法。因此本文中的方法優(yōu)于其他3種方法。

表1 各種算法融合圖像參數(shù)對照

4 結(jié)論

由紅外和可見光圖像提供的互補(bǔ)或冗余信息可以有效地提高信噪比并獲得可靠的圖像信息。本文提出的改進(jìn)的NSCT融合方法，優(yōu)化了高頻系數(shù)和低頻系數(shù)融合規(guī)則，融合實(shí)驗(yàn)結(jié)果表明該算法具有良好的魯棒性，它可以有效地提取邊緣和紋理信息，融合圖像具有豐富的場景信息和清晰的目標(biāo)。因此該算法是一種有效的紅外和可見圖像融合方法。

[1] 周鋒飛, 陳衛(wèi)東. 一種基于區(qū)域生長的紅外與可見光的圖像融合方法[J]. 應(yīng)用光學(xué)學(xué)報(bào), 28(6): 737-741.

ZHOU Fengfei,CHEN Weidong. An image fusion method of infrared and visible light based on regional growth[J]., 2007, 28(6): 737-741.

[2] 王紅梅, 張科. 基于小波變換的圖像融合算法[J].紅外與激光工程, 34(3): 328-332.

WANG Hongmei, ZHANG Ke. Image fusion algorithm based on wavelet transform[J]., 2005, 34(3): 328-332.

[3] 程英蕾, 趙榮椿. 一種基于小波變換的多傳感器圖像融合優(yōu)化方法[C]//第七屆國際信號處理會議論文集, 北京: 電子工業(yè)出版社, 2004.

CHENG Yinglei, ZHAO Rongchun. A multi-sensor image fusion optimization method based on wavelet transform[C]//, Beijing: Electronic Industry Press, 2004.

[4] Da Cunha A L, ZHOU J P, DO M N. The nonsubsamp-led contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[5] Do M N, Vetterli M. Framing pyramids[J].., 2003, 51(9): 2329-2342.

[6] Bamberger R H, Smith M J T. A filter bank for the directional decomposition of images: Theory and design[J].., 1992, 40(4): 882-893.

[7] HUANG Qingqing, JI Yuan, YANG Jian. Improved fusion method for infrared and visible remote sensing imagery using NSCT[C]// 6t(), 2011: 1012-1015.

[8] YIN Songfeng, CAO Liangeai, TAN Qiaofeng, et al. Infrared and visible image fusion based on NSCT and fuzzy logic[C]//2010(), 2010: 671-675.

Improved Infrared and Visible Light Image Fusion Algorithm Based on NSCT

XIAO Zhongjie

(,810007,)

In order to provide more efficient information for subsequent image processing, an improved algorithm has been proposed for infrared and visible image fusion. Non-subsampled contourlet transform(NSCT) was used to decompose an infrared image and a visible light image. The pixel feature energy weighted fusion rule and the neighborhood variance feature information fusion rule were used to obtain the low-frequency and high-frequency coefficients. Finally, the inverse NSCT was used to reconstruct the image to obtain a fused image. The fused image resolution of the optimized algorithm is 2.22% higher than that of the Contourlet algorithm, and nearly 3.1% better in terms of image information richness. The experimental results demonstrate that this algorithm could effectively improve image fusion quality.

image fusion，NSCT，infrared image，visible light image

TP391.41

A

1001-8891(2017)12-1127-04

2017-03-08；

2017-03-28.

肖中杰（1967-），男，副教授，研究生，研究方向：計(jì)算機(jī)應(yīng)用。

青海省創(chuàng)新基金（2016-ZJ-Y04）。