結(jié)合鄰域特征與IDCSCM的紅外與可見光圖像融合

鞏稼民,劉愛萍,馬豆豆,楊紅蕊,張凱澤,趙夢凱

(西安郵電大學(xué)通信與信息工程學(xué)院,陜西 西安 710121)

1 引 言

圖像融合是一種增強技術(shù),旨將單一或多種類型的傳感器在同一時刻捕捉到的同一應(yīng)用場景中的圖像,經(jīng)過一系列數(shù)學(xué)運算,生成穩(wěn)健或信息豐富的圖像,以便于后續(xù)處理或幫助決策[1]。可見光圖像通常具有較高的空間分辨率和豐富的細節(jié)信息以及較強的明暗對比,因此,可見光圖像符合人類的視覺感知。然而,這些圖像很容易受到外界條件的影響,例如不良的照明,霧和惡劣天氣的其他影響。與此同時,紅外圖像是根據(jù)物體表面的熱輻射進行成像,可以抵抗這些外界環(huán)境變化的干擾,但通常具有低分辨率和差的背景紋理信息。因此,將紅外圖像與可見光圖像進行融合,既可以抵抗外界環(huán)境變化的干擾,又具有較強的目標識別能力和豐富的場景細節(jié)信息。近幾年,可見光和紅外圖像的融合技術(shù)已經(jīng)廣泛應(yīng)用于物體識別,檢測,圖像增強,監(jiān)視和遙感等領(lǐng)域[2]。

近年來,基于多尺度分解的紅外和可見光圖像融合算法引起了人們極大的關(guān)注,許多學(xué)者并獲得了大量的研究成果。常用的多尺度分解有金字塔變換[3]、小波變換、輪廓波變換(Contourlet)[4]、非下采樣輪廓波變換(Non-subsampled Coutourlet Transform,NSCT)[5]以及非下采樣剪切波變換(Non-subsampled Shearlet Transform,NSST)[6]。近年來,NSST被廣泛使用,不僅具有前幾個變換的優(yōu)點,也克服了前幾種算法的缺點,同時由于有梯形的支撐區(qū)間,對信號可以進行最優(yōu)的稀疏逼近,其計算時長也大大縮短。

基于脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(Pluse Couple Neural Network,PCNN),因為符合人眼視覺的機理與特性,進而被廣泛使用于融合策略[7]。Zhan等人[8]提出了一種改進的神經(jīng)網(wǎng)絡(luò)模型被命名為脈沖皮層模型(Spiking Cortical Model,SCM),其繼承了PCNN模型的優(yōu)點,并且含有較少的參數(shù),計算復(fù)雜度較低。Zhao等人[9]將SCM模型與NSST結(jié)合用于多聚焦圖像融合,有效地防止了變換中圖像的像素失真域。但是SCM對于圖像較暗區(qū)域的信息捕捉能力較弱,針對此缺點,江澤濤等人[10]提出了DCSCM模型,并應(yīng)用于紅外與可見光圖像融合,增強了對于較暗區(qū)域的信息捕捉能力。本文采用NSST將源圖像分解為低頻子帶和高頻子帶圖像,根據(jù)相應(yīng)的鄰域特征選擇DCSCM的激勵,同時對DCSCM進行改進,彌補缺陷,更適用于圖像融合。實驗證明,本文提出的方法與其他方法相比,有較明顯的優(yōu)勢。

2 NSST原理

針對小波變換的缺點,K.Guo等人[11]提出了剪切波變換,但是由于變換過程中也需要對圖像進行下采樣,因此該變換并不具有平移不變性。2007年,Easley等人對剪切波變換進行改進,在處理圖像時避免了下采樣,從而提出了NSST。

在二維狀態(tài)下,合成膨脹系數(shù)的仿射系統(tǒng)定義如下集合形式:

MAB(x)={Ψl.m.n(x)=|detA|j/2(BmAlx-n):l,m∈Z,n∈Z2}

(1)

式中,ψ∈L2(R2);矩陣A和B是2×2的可逆矩陣,且矩陣B行列式的值為1。l為分解尺度,m為方向數(shù)目,n為空間位置。對于?f∈L2(n),滿足:

(2)

圖1 NSST分解框架圖

如圖1所示,首先,源圖像經(jīng)過非下采樣拉普拉斯金字塔濾波器(NLP)分解成包含源圖像的大部分信息和能量的低頻子帶圖像和一系列包含源圖像的邊緣細節(jié)信息的高頻子帶圖像。然后,對高頻子帶圖像構(gòu)造相應(yīng)的剪切波濾波器組(SF),并與之進行卷積運算,得到各個方向的邊緣信息。

3 SCM原理與改進DCSCM模型

3.1 SCM原理

PCNN模型是由德國科學(xué)家R.Eckhorn[12]提出的,該模型根據(jù)貓科動物的視覺神經(jīng)機理簡化而來形成的一個神經(jīng)網(wǎng)絡(luò)模型。SCM是由中國學(xué)者Zhan K.[13]對于PCNN模型簡化而來的一種改進模型,并應(yīng)用于圖像融合。SCM具有全局耦合,脈沖同步,參數(shù)設(shè)置較少,低計算復(fù)雜性等優(yōu)勢。SCM的數(shù)學(xué)模型如式(3)～(7),分為接收域、調(diào)制域、脈沖產(chǎn)生域三個部分。

接收域表達式如下:

(3)

Fij(n)=Sij(n)

(4)

其中,(i,j)表示對應(yīng)像素點位置;pq為相鄰像素位置;Sij(n)為外部激勵;W為權(quán)重;Ypq為鄰域神經(jīng)元的輸出。

調(diào)制域表達式如下:

Uij(n)=f*Uij(n-1)+Sij*(Lij(n)+1)

(5)

調(diào)制域是對接收域產(chǎn)生的輸入信號進行調(diào)制,從而形成神經(jīng)元的內(nèi)部活動Uij(n),f是調(diào)節(jié)活動的衰減項。

脈沖產(chǎn)生域表達式如下:

Eij(n)=g*Eij(n-1)+h*Yij(n-1)

(6)

(7)

式中,Eij(n)為控制神經(jīng)元點火的閾值函數(shù)；g,h分別為閾值衰減和放大系數(shù),對下一次的脈沖輸出進行調(diào)控；Yij(n)表示第n次的脈沖輸出狀態(tài)。Yij(n)=1時,則完成一次點火狀態(tài)。

3.2 DCSCM原理

SCM是PCNN的改進模型,不僅具有全局耦合、脈沖同步、參數(shù)設(shè)置較少、低計算復(fù)雜性等優(yōu)勢,同時SCM模型還具有很強的表達圖像細節(jié)信息的能力,但是該模型存在對圖像較暗區(qū)域信息的捕捉不夠敏感的。因此,針對此缺點,提出雙通道脈沖皮層模型(DCSCM)。DCSCM原理框圖如圖2所示。

圖2 DCSCM原理框圖

如圖2所示,DCSCM同樣可分為三部分:輸入域、調(diào)制域、脈沖產(chǎn)生域。從SCM數(shù)學(xué)模型式(5)可得Uij(n-1)對Uij(n)的影響很小,因此可以忽略此項,同時將外部激勵變成雙通道輸入,數(shù)學(xué)模型如下:

(8)

(9)

(10)

(11)

為了降低修改參數(shù)對整個模型性能的影響,將動態(tài)門限改為:

Eij(n)=Eij(n-1)-Δ+h*Yij(n-1)

(12)

其中,Δ為常數(shù),在本文中Δ值為0.1。

(13)

3.3 IDCSCM

(1)為了使DCSCM模型更適用于圖像融合,迭代次數(shù)的選擇非常重要,迭代次數(shù)過大或者過小都會影響整個算法的性能。為此,選擇在DCSCM輸出端添加一個賦時矩陣[14],用于記錄神經(jīng)元脈沖第一次完成點火時對應(yīng)的n值。因此,DCSCM的最終輸出為賦時矩陣的輸出。賦時矩陣的添加解決了參數(shù)n設(shè)定的問題。數(shù)學(xué)定義式如下:

(2)從式(10)～(13)可以看出,當(dāng)輸入激勵為0時,DCSCM無法產(chǎn)生脈沖,即無法進入點火狀態(tài),會導(dǎo)致賦時矩陣進入無限循壞狀態(tài)。為了避免此類情況,在DCSCM的輸入部分添加一個判斷條件,先判斷外部是否有激勵,如果為0,則使得賦時矩陣輸出無窮大,直接終止循環(huán)。數(shù)學(xué)定義式如下:

(15)

4 融合算法

本文具體的融合框架如圖3所示。步驟:①紅外與可見光源圖像分別過NSST分解為高頻和低頻子帶圖像；②選取低頻和高頻子帶圖像相應(yīng)的鄰域特征作為改進DCSCM的外部激勵,并通過數(shù)學(xué)模型比較選取相應(yīng)的子帶系數(shù)進行融合；③將融合得到的低頻和高頻子帶圖像經(jīng)過逆變換進行重建得到新的圖像。

圖3 融合算法框圖

4.1 低頻融合

低頻子帶圖像近似于源圖像,包含源圖像中的大部分信息,反映了圖像中目標的亮度和位置分布。但是低頻分量中也包含了源圖像的少量邊緣信息,因此只考慮所在鄰域均值大小這一點,忽略了這種情況。為了解決這一問題,本文將低頻分量的鄰域均值與能保留邊緣信息的區(qū)域方差取大結(jié)合起來,作為改進DCSCM的輸入激勵。具體數(shù)學(xué)表達式如下:

(16)

AVE(x,y)是低頻分量中以(x,y)為中心的3×3區(qū)域的均值。

(17)

SL(x,y)=

(18)

4.2 高頻融合

對于人眼視覺來說,一幅圖像的關(guān)注點在于其對比度,而圖像的局部對比度就是目標邊緣信息相對于背景信息的突出程度,而低頻分量主要包含目標背景信息,高頻分量主要包含邊緣細節(jié)信息。因此,將高頻子帶系數(shù)的絕對值與低頻分量的鄰域均值之比表示局部對比度,并作為改進DCSCM的激勵。具體表達式如下:

(19)

其中,Hpq(x,y)為高頻子帶系數(shù)；pq為分解層數(shù)和方向數(shù)。

4.3 融合步驟

Step 1:根據(jù)式(8)～(15)分別代入低頻和高頻子帶圖像計算相應(yīng)改進DCSCM的外部激勵。

Step 2:程序初始化。令Lij(n)=0,Uij(n)=0,Yij(n)=0。并將激勵代入式(14)計算第一次點火的時間。

Step 3:通過比較選擇低頻與高頻子帶的融合系數(shù)。

5 實驗與分析

為了更能體現(xiàn)本文算法的性能,分別選取兩組圖像進行比較實驗,同時在相同參數(shù)設(shè)定下與其他3種方法進行比較,分別為NSCT-PCNN[15]、NSCT-SF-PCNN[16]、雙通道PCNN[17],對于文獻[17]中的方法在本文中暫命名為ADUPCNN。對于所有方法,分解尺度的參數(shù)為nlevel=[2,2,4,4],PCNN的參數(shù)均和原文一樣,DCSCM的參數(shù)取值為:

h=20。

實驗結(jié)果如圖4和圖5所示。在第一組圖中,圖(c)目標人物中心亮度不高,且人物邊緣細節(jié)出現(xiàn)模糊現(xiàn)象,背景中山丘以及右下角樹木的輪廓以及細節(jié)不清楚。圖(d)中,目標人物亮度符合,但是背景信息基本模糊,邊緣細節(jié)完全看不清楚,且建筑物附近還出現(xiàn)了陰影,視覺效果太差。圖(e)背景中山丘、樹林等太過平坦,且左下角樹木細節(jié)紋理喪失。與其他方法相比,本文中所提到的算法,不僅能很好地保留紅外目標,而且也同樣很好地保存了背景信息,如圖中的山丘、樹木、建筑物等。

圖4 第一組圖像融合結(jié)果

圖5 第二組圖像融合結(jié)果

從第二組圖中可以看出,圖(c)與圖(d)、圖(e)的融合圖像產(chǎn)生了偽影,而且圖(c)與圖(e)中背景紋理模糊。為了更加清晰地進行比較,將目標人物區(qū)域局部放大,如圖6所示,可以看出,圖(c)中心人物亮度較暗,目標人物有輕微偽影。圖(d)人物外部輪廓周圍有一圈陰影,背景紋理信息喪失,圖(e)雖然目標人物亮度清晰但背景信息丟失。相比其他方法,本文提出的方法無論是在目標人物還是背景細節(jié)方面都有較好的性能,且對較暗區(qū)域的信息處理較好。

圖6 對圖5中目標人物區(qū)域的放大

除了主觀評價,本文還選用了平均梯度(AG)、標準差(STD)、信息熵(IE)、互信息(MI)、結(jié)構(gòu)相似度(SSIM)等客觀評價方法?？陀^評價結(jié)果如表1所示。從實驗結(jié)果表中可以看出,第一組圖中,本文提出的方法與其他方法相比,在客觀評價上是最優(yōu)的；第二組圖中可以看出,本文提出的方法,雖然在AG與SSIM方面不是最優(yōu),但在其他三種客觀評價準則方面是最優(yōu)的。

表1 客觀評價結(jié)果

綜合主觀評價與客觀評價,本文提出的算法與其他三種算法相比,不僅改善了傳統(tǒng)算法對于圖像暗區(qū)域信息捕捉能力,而且在性能上也有很大的提升。

6 總 結(jié)

本文提出了一種鄰域特征與IDCSCM相結(jié)合的紅外與可見光圖像融合算法。源圖像經(jīng)過NSST被分解為低頻和一系列高頻子帶圖像,對高頻子帶圖像構(gòu)造相應(yīng)的SF,并進行卷積,得到高頻子帶圖像的各個方向的信息。低頻子帶圖像包含源圖像的大部分信息,但也含有少量邊緣細節(jié)信息,因此選取其鄰域均值與鄰域方差作為IDCSCM的激勵,并進行融合；高頻子帶圖像含有豐富的邊緣細節(jié)信息,選擇高頻子帶系數(shù)的絕對值與低頻子帶系數(shù)的鄰域均值之比,作為IDCSCM的輸入激勵,并進行融合。最后將融合得到的各子帶分量經(jīng)過逆NSST變換對圖像重建得到最終新的融合圖像。實驗證明,本文提出的方法從主觀和客觀評價方面均有優(yōu)勢,證明了本算法的可行性。但本算法也有一些局限性,如AG與SSIM不是最優(yōu),這也是以后需要研究的一個重要方向。