基于優(yōu)化PCNN與區(qū)域特征引導(dǎo)法則的圖像融合

李 文,葉坤濤,李 晟

(江西理工大學(xué)理學(xué)院,江西 贛州 341000)

1 引 言

圖像融合技術(shù)表示為獲取同一場景下的多幅傳感器圖像后,在圖像配準(zhǔn)基礎(chǔ)上采取某種方法融合成一幅對場景信息描述更為清晰、準(zhǔn)確的圖像[1]。圖像融合技術(shù)中應(yīng)用較廣的一類為紅外與可見光圖像融合,紅外圖像的細(xì)節(jié)信息丟失較嚴(yán)重,對比度和空間分辨率低,但成像時(shí)不受反射光的影響；而可見光圖像能夠捕獲場景中的豐富細(xì)節(jié)信息,對比度和空間分辨率高,但成像時(shí)易受外界環(huán)境的干擾。紅外與可見光圖像融合所形成的融合圖像可將二者的優(yōu)勢信息進(jìn)行互補(bǔ),獲取更全面的場景信息,在目標(biāo)跟蹤、軍事、醫(yī)學(xué)和航空等領(lǐng)域均有著重要應(yīng)用[2]。

當(dāng)前,圖像融合方法一般分為三類,即基于空間域、基于變換域和基于神經(jīng)網(wǎng)絡(luò)等其他相關(guān)方法。雖然后兩類融合方法均屬于研究的熱點(diǎn),但第三類方法的參數(shù)較多且相關(guān)配置較復(fù)雜,融合效果也十分依賴相關(guān)參數(shù)的選取,因此,基于多尺度多方向的變換域方法一直深受研究學(xué)者們青睞。從早期的金字塔變換[3]起,一系列的多尺度分析方法相繼被研究學(xué)者們所提出,如離散小波變換、脊波變換、曲波變換、輪廓波變換、非下采樣輪廓波變換(non-subsampled contourlet transform,NSCT)及剪切波變換等[4]。早期的金字塔變換缺乏方向性、融合后的圖像冗余度較高,且與離散小波變換、脊波變換、曲波變換、輪廓波變換及剪切波變換均易在圖像邊緣處產(chǎn)生偽吉布斯現(xiàn)象,從而丟失融合圖像的部分邊緣信息。NSCT屬于輪廓波的改進(jìn),雖然能夠克服偽吉布斯現(xiàn)象外,具有平移不變性,但計(jì)算的復(fù)雜度偏高且分解的方向數(shù)有限,無法實(shí)現(xiàn)對圖像的實(shí)時(shí)處理。

近期由剪切波變換改進(jìn)而來的非下采樣剪切波變換[5](non-subsampled shearlet transform,NSST)得到廣泛應(yīng)用,NSST不僅能夠克服圖像邊緣處的偽吉布斯現(xiàn)象,而且具有平移不變性與各向異性,還具有良好的稀疏表示性能與低計(jì)算成本的特點(diǎn)[6],成為應(yīng)用在于圖像融合當(dāng)中的一種更為理想的多尺度分析方法。研究表明NSST能在紅外與可見光圖像融合時(shí)獲取更多的源圖像細(xì)節(jié)信息,但仍存在著融合圖像的紋理細(xì)節(jié)與邊緣信息缺失、目標(biāo)特征不夠突出的現(xiàn)象[7-8]。

為了解決上述可見光圖像紋理細(xì)節(jié)與邊緣信息缺失、紅外目標(biāo)不夠突出問題,同時(shí)改善融合圖像視覺信息保真度,綜合更多的紅外與可見光圖像優(yōu)勢信息,本文提出一種基于優(yōu)化脈沖耦合神經(jīng)網(wǎng)絡(luò)(pluse coupled neural network,PCNN)與區(qū)域特征引導(dǎo)法則的紅外與可見光圖像融合算法。通過NSST將紅外與可見光圖像分解為低高頻分量,利用圖像低高頻成分不同的特點(diǎn),提出優(yōu)化PCNN模型和區(qū)域特征引導(dǎo)法則分別對圖像低高頻分量進(jìn)行融合。最后,對融合后的低高頻分量進(jìn)行NSST逆變換獲取融合圖像。實(shí)驗(yàn)對比其他7種傳統(tǒng)及流行融合算法,表明了本文算法的優(yōu)越性與可行性。

2 基本原理

2.1 NSST分解

2007年Guo等[9]在傳統(tǒng)的仿射系統(tǒng)基礎(chǔ)上結(jié)合幾何與多尺度變換,構(gòu)造了剪切波變換。具有合成膨脹的仿射系統(tǒng)MAB(ψ)在空間維數(shù)n=2,滿足如下條件:

(1)

式(1)中,ψ∈L2(2),L2(2)表示可積空間,通過對基函數(shù)ψj,l,k(x)進(jìn)行旋轉(zhuǎn)、剪切和平移變換來構(gòu)造仿射系統(tǒng),A與B為2×2的可逆矩陣,且|detB|=1,A為各向異性膨脹矩陣,B為剪切矩陣,j為分解尺度,l為方向參數(shù),k為平移參數(shù),為整數(shù)域。

圖1為2級NSST分解的示意圖。

圖1 2級NSST分解示意圖Fig.1 Schematic two level decomposition of NSST

由圖1可知NSST分解主要由非下采樣金字塔(non-subsampled pyramid,NSP)分解和方向局部化組成[11]。NSP分解是采用非下采樣金字塔濾波器組對源圖像進(jìn)行k級多尺度分解,產(chǎn)生1個(gè)低頻子帶和k個(gè)高頻子帶,k+1個(gè)子帶圖像的尺寸與源圖像相同。方向局部化是通過剪切濾波器(shearlet filter,SF)對高頻子帶進(jìn)行l(wèi)級多方向分解,每個(gè)高頻子帶的SF分解都將產(chǎn)生2l個(gè)不同方向的子帶圖像,其尺寸與源圖像相同。

2.2 優(yōu)化PCNN

PCNN稱為第三代人工神經(jīng)網(wǎng)絡(luò),是由若干個(gè)神經(jīng)元相互鏈接形成的二維反饋型神經(jīng)網(wǎng)絡(luò),每個(gè)神經(jīng)元由接收域、調(diào)制域和脈沖發(fā)生器共三部分組成。目前,PCNN已被廣泛運(yùn)用在圖像分割、圖像融合及圖像細(xì)化等方面[12],尤其在與多尺度分析方法相結(jié)合進(jìn)行圖像融合時(shí)取得突出效果。

PCNN中的每個(gè)神經(jīng)元對應(yīng)源圖像中的每個(gè)像素,本文在傳統(tǒng)PCNN模型基礎(chǔ)上簡化,同時(shí)對PCNN中的閾值函數(shù)進(jìn)行改進(jìn),使圖像中較亮像素與較低像素之間的部分處理更為平滑,提出優(yōu)化PCNN模型,其示意圖如圖2所示。

圖2 優(yōu)化PCNN模型Fig.2 Optimized PCNN model

優(yōu)化PCNN模型對應(yīng)的數(shù)學(xué)表達(dá)式如下:

Fij[n]=Dij

(2)

(3)

Uij[n]=Fij[n](1+βijLij[n])

(4)

(5)

Tij[n]=Tij[n-1]-Δ+VTYij[n]

(6)

式(2)～(6)中,(i,j)為神經(jīng)元位置;Fij、Dij、Lij、Uij、Tij分別為神經(jīng)元的反饋輸入、外部輸入激勵(lì)、鏈接項(xiàng)輸入、內(nèi)部活動(dòng)項(xiàng)和動(dòng)態(tài)閾值;βij為鏈接強(qiáng)度;n為迭代次數(shù);(k,l)為神經(jīng)元的周圍連接;αL為鏈接衰減常數(shù);Δ為閾值衰減因子,用于控制閾值的衰減程度;VL為鏈接放大系數(shù);VT為閾值放大系數(shù)；Wijkl為神經(jīng)元之間的突觸鏈接權(quán)值;Yij為神經(jīng)元的脈沖輸出,其值1或0表示神經(jīng)元成功點(diǎn)火與否。

Yij為1時(shí),表示神經(jīng)元成功點(diǎn)火一次。在n次迭代中,計(jì)算PCNN輸出的點(diǎn)火總次數(shù),作為低頻融合系數(shù)選取的依據(jù),n次迭代中點(diǎn)火總次數(shù)Zij[n]為:

Zij[n]=Zij[n-1]+Yij[n]

(7)

3 本文融合算法設(shè)計(jì)

本文算法首先對已配準(zhǔn)的紅外圖像A和可見光圖像B進(jìn)行NSST分解,獲取相應(yīng)的低頻分量和高頻分量。其次,對源圖像A和B分解后所獲取的低頻分量采用優(yōu)化PCNN模型進(jìn)行融合,對于高頻分量采用區(qū)域特征引導(dǎo)法則進(jìn)行融合。最后,對融合后的低頻高頻分量進(jìn)行NSST逆變換,獲取融合圖像F。圖3顯示了本文算法的融合過程。

圖3 本文算法的融合過程Fig.3 The fusion process of this algorithm

3.1 低頻分量的融合規(guī)則

NSST分解后的低頻分量為源圖像的近似成分,包含著圖像的主要信息和大部分能量。傳統(tǒng)的融合算法為簡單加權(quán)或取平均的融合規(guī)則,這類方法融合后將丟失圖像的細(xì)節(jié)信息,還降低圖像的整體亮度,而PCNN能夠突出圖像的細(xì)節(jié)部分,同時(shí)保留圖像的輪廓部分,適用于低頻分量融合,因此,本文提出一種基于優(yōu)化PCNN模型的融合規(guī)則進(jìn)行低頻分量融合。

(8)

(9)

(10)

(11)

式(11)中,β0為初始鏈接強(qiáng)度,本文使用以往文獻(xiàn)的經(jīng)驗(yàn)取值,取β0=3.0。

基于優(yōu)化PCNN模型的融合規(guī)則,包括以下4步:

Step2:對優(yōu)化PCNN模型的參數(shù)進(jìn)行初始化設(shè)置,Lij[0]=Uij[0]=Tij[0]=Yij[0]=0,Zij[0]=0,設(shè)模型最大迭代次數(shù)為Nmax;

(12)

3.2 高頻分量的融合規(guī)則

圖像的高頻分量存儲(chǔ)著圖像絕大部分紋理細(xì)節(jié)與邊緣信息,反映著圖像的突變特性,高頻分量融合效果直接關(guān)系著融合圖像的清晰程度和視覺感官。為了更好地融合高頻分量,本文提出利用圖像的區(qū)域能量、改進(jìn)空間頻率和區(qū)域方差匹配度等特征,對圖像間的關(guān)聯(lián)性進(jìn)行分析,提出自適應(yīng)的區(qū)域方差匹配度閾值和調(diào)節(jié)因子,并將分析結(jié)果作為選擇不同融合規(guī)則的引導(dǎo)信息,由此構(gòu)造區(qū)域特征引導(dǎo)法則對高頻分量進(jìn)行融合。

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

式(20)中,λ1為紅外調(diào)節(jié)因子;λ2為可見光調(diào)節(jié)因子,二者滿足條件λ1+λ2=1。由于可見光圖像相比于紅外圖像有更豐富的細(xì)節(jié)信息,而圖像的高頻部分主要為細(xì)節(jié)信息,設(shè)定可見光調(diào)節(jié)因子λ2大于紅外調(diào)節(jié)因子λ1,即λ2>0.5,保證融合圖像有較多細(xì)節(jié)信息。

(21)

(22)

(23)

式(22)～(23)可確保λ2總是大于λ1,保證融合圖像有較多細(xì)節(jié)信息。

確定λ2后,根據(jù)λ1+λ2=1獲得相應(yīng)的λ1。本文提出的紅外調(diào)節(jié)因子λ1與可見光調(diào)節(jié)因子λ2,可以保證融合圖像有較多細(xì)節(jié)信息。

(24)

(25)

通過上述區(qū)域特征引導(dǎo)法則,完成高頻分量的融合。最后,對融合后的低高頻分量進(jìn)行NSST逆變換,獲取融合圖像F。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的優(yōu)勢與有效性,對多組已配準(zhǔn)的紅外與可見光圖像進(jìn)行融合實(shí)驗(yàn),實(shí)驗(yàn)環(huán)境為:Intel Core i5-9750H,CPU主頻為2.60GHz,內(nèi)存16GB,Windows10操作系統(tǒng),Matlab2019a仿真平臺(tái)。

實(shí)驗(yàn)中,本文算法與LP[3]、CVT[14]、DTCWT[15]、NSCT[16]、NSCT-PCNN[17]、NSST-PCNN[2]、NSST-EOGPCNN[18]共7種融合算法進(jìn)行了比較,由于篇幅所限,現(xiàn)給出其中3組經(jīng)典的紅外與可見光圖像融合結(jié)果為例,對8種算法的融合性能進(jìn)行分析。

圖4、圖5和圖6為上述7種融合算法及本文算法分別對三組紅外與可見光圖像進(jìn)行融合所獲取的

圖4 Camp圖像的8種算法融合結(jié)果Fig.4 Fusion results of eight algorithms of Camp images

圖5 Dune圖像的8種算法融合結(jié)果Fig.5 Fusion results of eight algorithms of Dune images

融合圖像。實(shí)驗(yàn)中,本文算法的參數(shù)設(shè)置為:NSST分解中,選用maxflat為NSST分解濾波器,分解層數(shù)為4層,分解方向數(shù)為{4,4,8,8}；優(yōu)化PCNN模型參數(shù)設(shè)置為:Wijkl=[0.707 1 0.707；1 0 1；0.707 1 0.707]、Nmax=200、αL=1.0、Δ=0.01、VL=1.0、VT=20,β自適應(yīng)選取。

從主觀視覺效果比較圖4、圖5和圖6,發(fā)現(xiàn)基于LP算法、CVT算法、DTCWT算法和NSCT算法所獲取的融合圖像整體偏暗,對比度較低,存在著紋理細(xì)節(jié)與邊緣信息的丟失,同時(shí)基于CVT算法、DTCWT算法和NSCT算法的融合圖像在人物目標(biāo)周圍有較明顯的偽影現(xiàn)象；基于NSCT-PCNN算法和NSST-PCNN算法融合效果較好,能夠大體保留圖像的人物目標(biāo)特征和顯著信息,但圍欄、樹木、山路等背景細(xì)節(jié)信息有部分丟失,山坡輪廓不夠清晰；基于NSST-EOGPCNN算法的融合圖像整體亮度過高且人物目標(biāo)較模糊；本文算法的融合圖像具有較高的對比度,亮度適中,綜合了紅外圖像與可見光圖像各自的有效信息,捕獲了更多的紋理細(xì)節(jié)與邊緣信息,人物目標(biāo)更清晰突出,同時(shí)圍欄、樹木、山坡及山路等背景細(xì)節(jié)信息保留更完整。由此表明本文算法在主觀視覺上優(yōu)于其他7種融合算法。

圖6 Sandpath圖像的8種算法融合結(jié)果Fig.6 Fusion results of eight algorithms of Sandpath images

同時(shí),本文選取平均梯度AG、空間頻率SF、信息熵EN、標(biāo)準(zhǔn)差SD、總體交叉熵RCE和視覺信息保真度VIFF共6項(xiàng)客觀指標(biāo)對7種算法及本文算法的性能進(jìn)行客觀評價(jià)。表1、表2和表3為3組經(jīng)典紅外與可見光圖像融合時(shí)的客觀指標(biāo)結(jié)果。由表1～3中的6項(xiàng)客觀指標(biāo)對比分析,發(fā)現(xiàn)本文算法僅在RCE上略高于NSCT-PCNN、NSST-PCNN或LP算法,其余5項(xiàng)客觀指標(biāo)均明顯優(yōu)于另外7種傳統(tǒng)及流行算法,說明本文算法在6項(xiàng)指標(biāo)上表現(xiàn)更好,表明了本文算法具有較強(qiáng)的優(yōu)越性。綜合主觀視覺和客觀指標(biāo)對比分析而言,本文算法具有明顯優(yōu)于另外7種算法的融合效果,有效地提取融合圖像的紅外目標(biāo)特征、同時(shí)保留可見光邊緣細(xì)節(jié)信息。

表1 Camp圖像融合的客觀指標(biāo)結(jié)果Tab.1 Objective index results of Camp image fusion

表2 Dune圖像融合的客觀指標(biāo)結(jié)果Tab.2 Objective index results of Dune image fusion

表3 Sandpath圖像融合的客觀指標(biāo)結(jié)果Tab.3 Objective index results of Sandpath image fusion

5 結(jié) 論

本文提出一種基于優(yōu)化PCNN與區(qū)域特征引導(dǎo)法則的紅外與可見光圖像融合算法,充分利用了NSST的多分辨率特性及各向異性,將圖像分解為低高頻分量,針對低高頻成分各自的特點(diǎn),提出優(yōu)化PCNN模型和區(qū)域特征引導(dǎo)法則分別對圖像低高頻分量進(jìn)行融合。采用3組經(jīng)典紅外與可見光圖像對本文算法、7種傳統(tǒng)及流行算法進(jìn)行融合性能對比實(shí)驗(yàn)為例,實(shí)驗(yàn)結(jié)果表明本文算法有效綜合了紅外與可見光圖像各自的優(yōu)勢信息,解決紅外與可見光圖像融合所存在的邊緣信息缺失、目標(biāo)特征不夠突出問題,并在主觀視覺和客觀指標(biāo)上均具有明顯的優(yōu)勢。