結(jié)合稀疏表示與FFST-PCNN的紅外/可見光圖像融合

談 玲， 于 欣

(南京信息工程大學(xué) 計算機(jī)與軟件學(xué)院， 南京 210044)

0 引 言

紅外與可見光圖像的融合有利于獲取目標(biāo)信息和場景信息，并已廣泛應(yīng)用于計算機(jī)視覺、目標(biāo)探測與識別、軍事、視頻監(jiān)控等領(lǐng)域[1-2]。文獻(xiàn)[3]中提出的多尺度分解工具與SR結(jié)合的融合算法，能夠?qū)⒛芰繌脑磮D像轉(zhuǎn)到融合圖像，提高融合結(jié)果的對比度。

近年來，基于FFST、SR和PCNN模型的圖像融合算法受到越來越多的關(guān)注。文獻(xiàn)[4]中提出的基于改進(jìn)NSCT的可見光與紅外圖像的融合方法，具有良好的方向各異性以及方向選擇性，但是仍然無法高效地描述圖像內(nèi)部的幾何特征，不能完全具備平移不變性。本文提出了一種基于SR與FFST-PCNN的紅外與可見光圖像融合算法FFST-SR-PCNN。該方法相關(guān)研究已經(jīng)在醫(yī)學(xué)圖像融合中開展，效果很好，在主觀視覺效果與客觀評價指標(biāo)方面都得到了較好的結(jié)果。

1 相關(guān)理論

1.1 稀疏表示

稀疏表示的模型[5-6]可以通過下式得到：

(1)

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN[8]簡化模型的數(shù)學(xué)表達(dá)式為：

(2)

式中：n為迭代次數(shù)；Iij為刺激信號；Yij、Uij分別為外部輸入和內(nèi)部狀態(tài)；Fij為反饋輸入；Lij為鏈接輸入；Wijkl為神經(jīng)元之間的連接權(quán)系數(shù)；β、θij、αθ分別為鏈接強(qiáng)度、可變閾值的輸入及可變閾值的衰減時間常數(shù)；VL、Vθ分別是鏈接輸入的放大系數(shù)與閾值的放大系數(shù)。

2 圖像融合算法

針對目前小波變換會導(dǎo)致細(xì)節(jié)的信息丟失，并且當(dāng)紅外與可見光圖像融合時信息會相互干擾，導(dǎo)致綜合性能不佳的問題[9]，本文提出了一種基于SR與FFST-PCNN的紅外與可見光圖像融合算法FFST-SR-PCNN。該方法在快速有限剪切波變換的基礎(chǔ)上，在脈沖耦合神經(jīng)網(wǎng)絡(luò)方面進(jìn)行了改進(jìn)，以期獲得具有更豐富細(xì)節(jié)特征的紅外與可見光融合圖像。

2.1 FFST變換

剪切波變換作為多尺度幾何的分析工具，克服了小波變換的缺點，它具有比輪廓波變換更好的方向敏感性[10-11]。本文所提出的FFST-SR-PCNN算法結(jié)合了稀疏表示與FFST-PCNN，能夠提取圖像的細(xì)節(jié)信息，從而獲得更豐富的信息。

離散剪切波：

(3)

其頻域表達(dá)式為：

exp(-2πi〈ω,tm〉/N)

(4)

式中：

[N/2]-1,i=1,2}

(5)

由此離散剪切波可表示為：

(6)

式中：j=0,1，…,j0-1,-2j+1≤2j-1,m∈?。

由于FFST不存在下采樣過程，因此具備了平移不變性。FFST還具有非常好的局部化特性和方向敏感性。

2.2 低頻系數(shù)融合規(guī)則

首先，用K-SVD算法訓(xùn)練樣本集從而得到過完備字典D；然后利用OMP優(yōu)化算法估計稀疏系數(shù)；最后根據(jù)圖像的特征自適應(yīng)融合稀疏系數(shù)。具體的實現(xiàn)步驟如下：

(1) 利用FFST分解尺寸為M×N的源圖像A和B，得到低頻系數(shù)與高頻系數(shù)。

(2) 使用步長為S和大小為n×n的滑動窗口來進(jìn)行低頻系數(shù)LA、LB的分塊處理，獲得(N+n-1)×(M+n-1)個圖像子塊，然后把圖像子塊轉(zhuǎn)化為列向量獲得樣本的訓(xùn)練矩陣VA和VB。

(3) 采用K-SVD算法迭代樣本矩陣，獲得低頻系數(shù)的過完備字典D。

(4) 利用OMP算法估計VA和VB的稀疏系數(shù)，得到稀疏系數(shù)的矩陣αA和αB。第i列稀疏系數(shù)的矩陣根據(jù)下式進(jìn)行融合

(7)

(5) 用融合后稀疏系數(shù)的矩陣αF乘過完備字典D，融合樣本的訓(xùn)練矩陣

VF=DαF

(8)

(6) 將VF的列轉(zhuǎn)化為數(shù)據(jù)子塊，并且重建數(shù)據(jù)子塊來得到低頻融合系數(shù)。

基于SR的低頻系數(shù)融合過程如圖1所示。圖中:LA、LB為低頻系數(shù)；n×n為滑動窗口的大小。

圖1 基于稀疏表示的低頻系數(shù)的融合過程

2.3 高頻系數(shù)融合規(guī)則

在PCNN模型中，β的值決定神經(jīng)元耦合關(guān)系的強(qiáng)度，SF為：

(9)

式中：窗口大小為3×3；

(10)

(11)

基于PCNN簡化模型的高頻系數(shù)融合規(guī)則采用像素本身作為神經(jīng)元的反饋輸入激勵每個神經(jīng)元，并選擇SF作為神經(jīng)元的鏈接強(qiáng)度值,并根據(jù)點火次數(shù)選擇高頻融合系數(shù)，具體實現(xiàn)步驟如下：

(1) 根據(jù)式(9)計算高頻系數(shù)HA、HB的鄰域空間的頻率SFA、SFB，并將空間頻率作為神經(jīng)元的鏈接強(qiáng)度值。

(2) 初始化設(shè)置。Lij(0)=Uij(0)=θij(0)=0，此時，神經(jīng)元處于熄火狀態(tài)，即Yij(0)=0，產(chǎn)生的脈沖數(shù)為Oij(0)=0。

(3) 根據(jù)式(2)計算Lij[n]、Uij[n]、θij[n]和Yij[n]。

(4) 比較圖像素處點火時間的輸出閾值(點火的頻數(shù))OA、OB，高頻的融合系數(shù),

(12)

3 實驗結(jié)果與分析

為了驗證FFST-SR-PCNN算法的性能，選擇4種比較典型的算法作為對比。采用空間頻率SF、平均梯度AG、互信息MI、信息熵EN及邊緣信息傳遞因子QAB/F(高權(quán)重評價指標(biāo))[12]5個指標(biāo)進(jìn)行客觀評價。對比算法1為基于離散小波的變換[13]；算法2為基于NSCT和PCNN的算法[14]；算法3為基于引導(dǎo)濾波的方法[15]；算法4為基于雙邊和高斯混合濾波的方法[16]。

圖像融合的實驗選擇3組大小為256×256的紅外與可見光圖像為待融合圖像，各算法融合圖像結(jié)果如圖2～4所示。

(a) 紅外

(b) 可見光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

圖2 第1組融合結(jié)果

(a) 紅外

(b) 可見光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

圖3 第2組融合結(jié)果

(a) 紅外

(b) 可見光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

圖4 第3組融合結(jié)果

從圖2～4的人眼視覺效果來看。第1組融合結(jié)果中，圖2(c)對比度較低，廣告牌、行人等細(xì)節(jié)信息相對模糊，且存在塊效應(yīng)。圖2(d)、(e)對比度較高，圖像更清晰，但廣告牌等細(xì)節(jié)部分的融合效果相對較差，圖2(f)對比度較低，融合效果不理想。第2組融合結(jié)果中，圖3(c)對于目標(biāo)輪廓的表達(dá)模糊不清，對比度較低，且融合結(jié)果存在塊效應(yīng)，圖3(d)、(e)出現(xiàn)了空間不連續(xù)的問題，影響了整體的融合效果，圖3(f)對于目標(biāo)以及灌木等場景的細(xì)節(jié)信息保留比較好，相對來說，F(xiàn)FST-SR-PCNN算法獲得的融合結(jié)果的目標(biāo)更加清晰可辨。第3組融合結(jié)果中，圖4(c)對比度較低，清晰度不足，圖4(f)對比度較低，視覺效果較差，圖4(d)、(e)相對來說更加清晰，圖像的對比度更高，相比之下，F(xiàn)FST-SR-PCNN算法獲得的信息更加完整和準(zhǔn)確。各組融合結(jié)果的圖2(g)、圖3(g)和圖4(g)完整地表達(dá)了紅外圖像目標(biāo)的亮度特征和可見光圖像背景的紋理、輪廓以及邊緣特征，符合人類的視覺效果。

各算法客觀質(zhì)量的評價指標(biāo)如表1～3所示，從表1～3的客觀質(zhì)量評價指標(biāo)來看，雖然在第1組的融合結(jié)果中，F(xiàn)FST-SR-PCNN算法的EN指標(biāo)略低于算法2，在第2組融合的結(jié)果中，F(xiàn)FST-SR-PCNN算法的EN指標(biāo)略低于算法4，但3組中除了這兩個指標(biāo)外，其它的指標(biāo)明顯比對比算法的指標(biāo)要高。

表1 第1組客觀質(zhì)量評價指標(biāo)

表2 第2組客觀質(zhì)量評價指標(biāo)

表3 第3組客觀質(zhì)量評價指標(biāo)

4 結(jié) 語

FFST-SR-PCNN算法能夠避免圖像能量以及方向信息的丟失，融入了多尺度、對比度及人眼視覺等信息，來提高融合結(jié)果的總體性能。在與其他4種比較算法的對比實驗中，F(xiàn)FST-SR-PCNN算法的單項評價指標(biāo)基本都排名在第1位；從綜合評價指標(biāo)來看，F(xiàn)FST-SR-PCNN算法效果最好?？偟膩碚f，F(xiàn)FST-SR-PCNN能夠較好地提取出紅外圖像的目標(biāo)信息，也可以較好地保留住可見光圖像的場景信息，融合的結(jié)果與人類的視覺特征符合，具有良好的視覺效果。

FFST-SR-PCNN還可以在低頻系數(shù)融合方面進(jìn)行改進(jìn)，如過完備字典可以采用在線學(xué)習(xí)的方式，這將是下一步的研究方向。