基于稀疏表示和NSCT-PCNN的紅外與可見(jiàn)光圖像融合

夏景明, 陳軼鳴, 陳軼才, 何 愷

(1.南京信息工程大學(xué)電子與信息工程學(xué)院，南京 210044; 2.華北電力大學(xué)機(jī)械工程學(xué)院，河北 保定 071000)

0 引言

紅外成像傳感器是通過(guò)目標(biāo)場(chǎng)景的熱輻射成像，具有較強(qiáng)的識(shí)別偽裝能力，但是成像清晰度較低?？梢?jiàn)光成像傳感器是通過(guò)目標(biāo)場(chǎng)景的反射成像，具有較高的空間分辨率和清晰度，但是易受到惡劣環(huán)境因素的影響[1]。因此，將紅外與可見(jiàn)光圖像進(jìn)行融合，充分利用其信息的互補(bǔ)性，在軍事作戰(zhàn)、資源探測(cè)、安全監(jiān)控等多領(lǐng)域有廣泛的應(yīng)用價(jià)值[2]。

非下采樣輪廓波變換(Non-Subsampled Contourlet Transform,NSCT)具有多尺度、多方向、各向異性以及平移不變性等優(yōu)點(diǎn)[3]，但是經(jīng)過(guò) NSCT分解獲得的低頻子帶系數(shù)不稀疏，稀疏表示(SR)可以捕捉低稀疏度低頻子帶更深層面的幾何結(jié)構(gòu)特征，采用字典中較少原子項(xiàng)的線(xiàn)性組合來(lái)最優(yōu)表示信號(hào)[4]。脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)模擬動(dòng)物的視覺(jué)系統(tǒng)，具備了動(dòng)態(tài)、捕獲以及時(shí)間序列等特性，可以將輸入的高頻子帶融入人眼的視覺(jué)特性，從而提取更多的特征信息[5]。

因此，NSCT變換、稀疏表示以及PCNN模型的圖像融合方法得到越來(lái)越多的關(guān)注。文獻(xiàn)[6]在NSCT變換的基礎(chǔ)上提出了一種紅外與可見(jiàn)光圖像融合算法，該算法能夠得到較為理想的融合圖像，但其對(duì)低頻子帶系數(shù)融合選擇了“加權(quán)平均”方案，不能夠充分表達(dá)源圖像的整體結(jié)構(gòu)信息。文獻(xiàn)[7]在改進(jìn)NSCT變換的基礎(chǔ)上，提出了關(guān)于PCNN模型的圖像融合方法，該方法能夠較好地保持圖像結(jié)構(gòu)，使融合圖像更符合人類(lèi)的視覺(jué)神經(jīng)系統(tǒng)，但融合圖像的互信息相對(duì)較小。文獻(xiàn)[8]提出了一種基于稀疏表示的可見(jiàn)光與紅外圖像融合方法，該算法選用“最大元素絕對(duì)值”融合規(guī)則完成了稀疏編碼的融合，且融合結(jié)果優(yōu)于經(jīng)典算法，但其沒(méi)有考慮到圖像更深層次的結(jié)構(gòu)特征。針對(duì)上述討論提到的問(wèn)題，同時(shí)考慮到PCNN神經(jīng)元具備的基本特性，本文提出了一種基于稀疏表示和NSCT-PCNN的紅外與可見(jiàn)光圖像融合算法，即NSCT-SR-PCNN算法。

1 基本理論

1.1 NSCT變換

NSCT變換包括非下采樣金字塔(NSP)分解和非下采樣方向?yàn)V波器組(NSDFB)分解兩個(gè)步驟，NSP分解是通過(guò)非下采樣塔式濾波器組將源圖像迭代分解為低、高頻子帶，保證NSCT變換多尺度特性的過(guò)程。NSDFB是一個(gè)雙通道非下采樣濾波器組，將NSP分解得到的高頻子帶圖像進(jìn)行l(wèi)級(jí)NSDFB方向分解，可以得到2l個(gè)方向各異的子帶圖像。

1.2 稀疏表示

稀疏表示是指假設(shè)自然信號(hào)可以由過(guò)完備字典D∈Rn×k中的少量原子的線(xiàn)性組合表示或逼近，那么信號(hào)x的稀疏系數(shù)的算式為

(1)

式中：D為過(guò)完備字典；A為信號(hào)x的稀疏系數(shù)，‖A‖0為A的L0范數(shù)；ε為逼近誤差容限。NSCT-SR-PCNN算法通過(guò)K奇異值分解(K-SVD)算法學(xué)習(xí)樣本集得到冗余字典，采用批量正交匹配追蹤(Batch-OMP)優(yōu)化算法估計(jì)稀疏系數(shù)A[9]。

1.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN是具有全局耦合性和同步脈沖性的反饋性神經(jīng)網(wǎng)絡(luò)模型[10]，其簡(jiǎn)化模型的數(shù)學(xué)表達(dá)式為

(2)

式中：n為迭代次數(shù)；Iij為刺激信號(hào)；Wijkl為神經(jīng)元之間的突觸連接權(quán)系數(shù)；Yij為外部輸入信號(hào)；Uij為內(nèi)部狀態(tài)信號(hào)；β為鏈接強(qiáng)度；θij為神經(jīng)元閾值；Fij和Lij分別為反饋輸入和鏈接輸入；αL和αθ均為時(shí)間常數(shù)；VL和Vθ均為放大系數(shù)。

2 基于NSCT-SR-PCNN算法的紅外與可見(jiàn)光圖像融合算法

NSCT-SR-PCNN算法首先采用NSCT變換分別對(duì)配準(zhǔn)后的源圖像進(jìn)行分解，得到源圖像的低頻、高頻子帶，然后在低頻系數(shù)部分采用稀疏表示的規(guī)則進(jìn)行融合，在高頻系數(shù)部分采用PCNN神經(jīng)元模型的規(guī)則進(jìn)行融合，最后采用NSCT逆變換對(duì)融合后的子帶系數(shù)進(jìn)行重構(gòu)，獲得紅外與可見(jiàn)光融合圖像。

2.1 低頻子帶系數(shù)融合規(guī)則

低頻子帶系數(shù)融合是采用稀疏表示融合實(shí)現(xiàn)的，首先從待融合圖像中取塊構(gòu)成訓(xùn)練樣本集，利用K-SVD算法訓(xùn)練過(guò)完備字典，其次采用文獻(xiàn)[11]提出的Batch-OMP算法求解稀疏系數(shù)，最后根據(jù)圖像豐富度將稀疏系數(shù)進(jìn)行融合，主要步驟如下。

1) 將尺寸為M×N的源圖像A和B通過(guò)NSCT變換分解為低頻子帶和高頻子帶。

2) 選用尺寸為n×n的窗口，按照步長(zhǎng)為S個(gè)像素的要求，將低頻子帶LA和低頻子帶LB進(jìn)行滑窗處理得到(N+n-1)×(M+n-1)個(gè)低頻子帶子塊；另外，將低頻子帶子塊排成列向量，得到樣本集矩陣VA和VB。

4) 利用K-SVD算法對(duì)樣本矩陣進(jìn)行迭代運(yùn)算，獲取低頻子帶系數(shù)過(guò)完備字典D。

(3)

6) 融合均值矩陣的選擇算式為

(4)

(5)

8) 將融合樣本集矩陣VF的列排成低頻子帶子塊，將低頻子帶子塊重構(gòu)得到低頻子帶的融合系數(shù)。

采用稀疏表示實(shí)現(xiàn)低頻子帶系數(shù)融合的具體流程如圖1所示。

圖1 低頻子帶SR融合流程Fig.1 SR fusion process of low-frequency subband coefficients

2.2 高頻子帶系數(shù)融合規(guī)則

根據(jù)人類(lèi)視覺(jué)系統(tǒng)特性可知，空間頻率(SF)反映了圖像局部區(qū)域特性和細(xì)節(jié)的信息量，因此對(duì)于高頻子帶系數(shù)的融合可以采用SF來(lái)刺激PCNN神經(jīng)元模型，即

(6)

其中，窗口大小為3×3，Rij和Cij算式分別為

(7)

(8)

在PCNN 模型中，β的取值決定了神經(jīng)元耦合關(guān)系的強(qiáng)弱，高頻子帶系數(shù)融合選擇能夠衡量鄰域特征信息的拉普拉斯能量(EOL)和標(biāo)準(zhǔn)差(SD)分別作為PCNN 對(duì)應(yīng)神經(jīng)元的鏈接強(qiáng)度值，EOL和SD算式為

(9)

(10)

式中：f(u,v)為(u,v)的像素值；w是大小為l×l的窗口。

基于PCNN簡(jiǎn)化模型的融合選用SF作為神經(jīng)元反饋輸入來(lái)激勵(lì)每個(gè)神經(jīng)元，同時(shí)選用EOL和SD作為對(duì)應(yīng)神經(jīng)元的鏈接強(qiáng)度值。根據(jù)PCNN神經(jīng)元模型的捕獲特性可以得到對(duì)應(yīng)的點(diǎn)火圖，將點(diǎn)火圖進(jìn)行加權(quán)可以得到新點(diǎn)火圖。最后，將新點(diǎn)火圖作為標(biāo)準(zhǔn)，選擇合適的高頻融合系數(shù)。具體實(shí)現(xiàn)步驟如下。

2) 根據(jù)式(9)和式(10)計(jì)算高頻子帶系數(shù)HA和HB的EOL和SD(記為βAE，βAS，βBE和βBS)，并將其分別作為相應(yīng)神經(jīng)元的鏈接強(qiáng)度值。

3) 初始化設(shè)置：Lij(0)=Uij(0)=0，θij(0)=1，此時(shí)神經(jīng)元處于熄火狀態(tài)，即Yij(0)=0，產(chǎn)生的脈沖數(shù)為Oij(0)=0。

4) 根據(jù)式(2)計(jì)算Li j[n]，Ui j[n]，θi j[n]和Yij[n]。

5) 累計(jì)PCNN簡(jiǎn)化模型迭代運(yùn)行的輸出：OAE，OAS，OBE和OBS，采用加權(quán)函數(shù)獲得高頻子帶系數(shù)HA和HB對(duì)應(yīng)的新點(diǎn)火映射圖OA和OB：OA=w1OAE+w2OAS，OB=w3OBE+w4OBS，wi(i=1,2,3,4)的算式為

(11)

6) 比較新點(diǎn)火映射圖像素處的點(diǎn)火時(shí)間輸出閾值(點(diǎn)火頻數(shù))，高頻子帶融合系數(shù)HF(i,j)的算式為

(12)

采用PCNN神經(jīng)元模型實(shí)現(xiàn)高頻子帶系數(shù)融合的具體流程，如圖2所示。

圖2 高頻子帶PCNN神經(jīng)元模型融合流程Fig.2 PCNN fusion process of high-frequency subband coefficients

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，選取了3種對(duì)比算法進(jìn)行紅外與可見(jiàn)光圖像融合實(shí)驗(yàn)，并且選用了相關(guān)系數(shù)(CC)、邊緣信息傳遞因子(QAB/F)[12-14]、視覺(jué)信息保真度(VIFF)、結(jié)構(gòu)相似模型(SSIM)[15]和以“秒”計(jì)的運(yùn)行時(shí)間(RT)5個(gè)指標(biāo)對(duì)融合結(jié)果進(jìn)行客觀的質(zhì)量評(píng)價(jià)。其中，將文獻(xiàn)[16]、文獻(xiàn)[17]以及文獻(xiàn)[18]提出的圖像融合方法分別簡(jiǎn)稱(chēng)為NSCT算法、PCNN算法以及NSCT-PCNN算法。

各種算法的融合結(jié)果如圖3～圖5所示，各種算法的客觀質(zhì)量評(píng)價(jià)指標(biāo)如表1～表3所示。

圖3 第1組紅外與可見(jiàn)光圖像融合結(jié)果Fig.3 Fusion results of the 1st set of infrared and visible images

圖4 第2組紅外與可見(jiàn)光圖像融合結(jié)果Fig.4 Fusion results of the 2nd set of infrared and visible images

圖5 第3組紅外與可見(jiàn)光圖像融合結(jié)果Fig.5 Fusion results of the 3rd set of infrared and visible images

表1 第1組紅外與可見(jiàn)光圖像融合的質(zhì)量評(píng)價(jià)Table 1 Fusion quality evaluation of the 1st group of infrared and visible images

表2 第2組紅外與可見(jiàn)光圖像融合的質(zhì)量評(píng)價(jià)Table 2 Fusion quality evaluation of the 2nd group of infrared and visible images

表3 第3組紅外與可見(jiàn)光圖像融合的質(zhì)量評(píng)價(jià)Table 3 Fusion quality evaluation of the 3rd group of infrared and visible images

從圖3～圖5的人眼視覺(jué)效果上看，4種算法都能夠?qū)⒓t外目標(biāo)信息和可見(jiàn)光背景信息進(jìn)行融合，但是各融合圖像對(duì)源圖像整體和細(xì)節(jié)信息的表達(dá)各不相同。第1組融合結(jié)果中，圖1c和圖1e對(duì)于左下角的樹(shù)木表達(dá)出現(xiàn)了虛假邊緣現(xiàn)象，圖1d的整體表達(dá)引入了方塊現(xiàn)象。第2組融合結(jié)果中，圖2c對(duì)于目標(biāo)輪廓的表達(dá)模糊不清，圖2d的左上角出現(xiàn)橫縱交錯(cuò)的多數(shù)帶條，圖2e在目標(biāo)的上方引入了灰度帶。第3組融合結(jié)果中，圖3c背景信息高度模糊，圖3d目標(biāo)信息輪廓不清，背景信息引入了帶條，圖3e背景信息紋理不清，出現(xiàn)多數(shù)光斑現(xiàn)象。各組融合結(jié)果的圖1f、圖2f和圖3f完整地表達(dá)了紅外圖像目標(biāo)的亮度特征和可見(jiàn)光圖像背景的紋理、輪廓以及邊緣特征，符合人類(lèi)的視覺(jué)效果。

從表1～表3的評(píng)價(jià)指標(biāo)來(lái)看，雖然在第2組融合結(jié)果中，NSCT-SR-PCNN算法的VIFF指標(biāo)略低于NSCT-PCNN算法，在第3組融合結(jié)果中，NSCT-SR-PCNN算法的CC指標(biāo)略低于NSCT算法，但3組中除RT外，其余評(píng)價(jià)指標(biāo)均明顯優(yōu)于對(duì)比算法的評(píng)價(jià)指標(biāo)。從表1～表3的RT評(píng)價(jià)指標(biāo)來(lái)看，PCNN算法的運(yùn)行時(shí)間最短，NSCT算法、NSCT-PCNN算法和NSCT-SR-PCNN算法運(yùn)行時(shí)間較長(zhǎng)，圖像經(jīng)NSCT分解再處理消耗大量時(shí)間，融合效率降低。因此，本文提出的NSCT-SR-PCNN算法從人類(lèi)的視覺(jué)效果和綜合客觀評(píng)價(jià)指標(biāo)上來(lái)看，其融合效果更優(yōu)，融合性能更高，但融合效率有待提高。

4 結(jié)束語(yǔ)

NSCT-SR-PCNN算法將NSCT分解、SR模型以及PCNN模型相結(jié)合，解決了稀疏表示容易產(chǎn)生“斑塊”現(xiàn)象的問(wèn)題，同時(shí)避免了圖像能量和方向信息的丟失，融入了多尺度信息、對(duì)比度信息以及人眼視覺(jué)信息，提高了刻畫(huà)圖像特征信息的能力。從實(shí)驗(yàn)結(jié)果與分析中可以看出：NSCT-SR-PCNN算法雖然并不是各項(xiàng)質(zhì)量評(píng)價(jià)指標(biāo)均為最優(yōu)值，但是綜合各項(xiàng)質(zhì)量評(píng)價(jià)指標(biāo)則居于第一位，該算法可以較好地提取紅外圖像的目標(biāo)信息，也可以較好地保留可見(jiàn)光圖像的場(chǎng)景信息，融合結(jié)果高度符合人眼的視覺(jué)特性。

當(dāng)然，NSCT-SR-PCNN算法也存在需要改進(jìn)的地方，比如，可以通過(guò)在線(xiàn)字典學(xué)習(xí)訓(xùn)練的方法獲取過(guò)完備字典D，這將是需要繼續(xù)研究的方向。

參考文獻(xiàn)

[1] 張瑩,李言俊,張科,等.基于NSCT的紅外與可見(jiàn)光圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(3):196-198.

[2] 趙飛翔,陶忠祥.基于NSCT的紅外與可見(jiàn)光圖像融合[J].電光與控制,2013,20(9):29-33.

[3] 陳木生,蔡植善.基于 NSCT 的紅外與可見(jiàn)光圖像融合方法研究[J].激光與光電子學(xué)進(jìn)展,2015,52:061002-1-061002-6.

[4] 首照宇,胡蓉,歐陽(yáng)寧,等.基于多尺度稀疏表示的圖像融合方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(1):232-235.

[5] 劉雯敏,陳秀宏.基于PCNN和非線(xiàn)性濾波萬(wàn)有引力的醫(yī)學(xué)圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(24):191-198.

[6] 張強(qiáng),郭寶龍.一種基于非下采樣Contourlet變換紅外圖像與可見(jiàn)光圖像融合算法[J].紅外與毫米波學(xué)報(bào),2007,26(6):476-480.

[7] GONG J M,WANG B B,QIAO L.Image fusion method based on improved NSCT transform and PCNN model[C]//IEEE Conference Publications on ISCID,2016:28-31.

[8] 張生偉,李偉,趙雪景.一種基于稀疏表示的可見(jiàn)光與紅外圖像融合方法[J].電光與控制,2017,24(6):47-52.

[9] 歐陽(yáng)寧,鄭雪英,袁華.基于NSCT和稀疏表示的多聚焦圖像融合[J].計(jì)算機(jī)工程與設(shè)計(jì),2017,38(1):177-182.

[10] 趙景朝,曲仕茹.基于Curvelet 變換與自適應(yīng)PCNN的紅外與可見(jiàn)光圖像融合[J].西北工業(yè)大學(xué)學(xué)報(bào),2011,29(6):849-853.

[11] 趙海峰,魯毓苗,陸明,等.基于快速稀疏表示的醫(yī)學(xué)圖像壓縮[J].計(jì)算機(jī)工程,2014,40(4):233-236.

[12] QU G H,ZHANG D L,YAN P F.Information measure for performance of image fusion[J].IET Journals and Magazines on Electronics Letters,2002,38(7):313-315.

[13] PIELLA G,HEIJMANS H.A new quality metric for ima-ge fusion[C]//IEEE Conference Publications on Image Processing,2003:173-176.

[14] LIU Z,BLASCH E,XUE Z Y.Objective assessment of multi-resolution image fusion algorithms for context enhancement in night vision:a comparative study[J].IEEE Transactions on PAMI,2012,34(1):94-109.

[15] 張小利,李雄飛,李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J].自動(dòng)化學(xué)報(bào),2014,40(2):306-315.

[16] 郭明,符拯,奚曉梁.基于局部能量的NSCT 域紅外與可見(jiàn)光圖像融合算法[J].紅外與激光工程,2012,41(8):2229-2235.

[17] 陳浩,朱娟,劉艷瀅,等.利用脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合[J].光學(xué)精密工程,2010,18(4):995-1001.

[18] 郝文超,賈年.NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見(jiàn)光圖像融合方法[J].西華大學(xué)學(xué)報(bào)：自然科學(xué)版,2014,33(3):11-14.

[19] LI S,YANG B,HU J.Performance comparison of diffe-rent multi-resolution transforms for image fusion[J].Information Fusion,2011,12(2):74-84.

[20] SHABANZADE F,GHASSEMIAN H.Multimodal image fusion via sparse representation and clustering-based dictionary learning algorithm in nonsubsampled contourlet domain[C]//IEEE Conference Publications on IST, 2016:472-477.