基于NSCT-PCNN的多聚焦紅外圖像融合

岳靜靜1，李茂忠，陳 驥，羅永芳，胡志宇1

?

基于NSCT-PCNN的多聚焦紅外圖像融合

岳靜靜1,2,3，李茂忠4，陳 驥4，羅永芳4，胡志宇1,2,3

（1.上海交通大學(xué)微米/納米加工技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，上海 200240；2.上海交通大學(xué)納微能源研究所，上海 200240；3.上海交通大學(xué)微納電子學(xué)系，上海 200240；4.云南北方馳宏光電有限公司，云南 昆明 650217）

由于紅外鏡頭景深的限制，為獲得場(chǎng)景中所有區(qū)域都聚焦清晰的圖像，提出一種在非下采樣輪廓波變換（NSCT）域結(jié)合改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）的多聚焦紅外圖像的融合算法。首先通過(guò)NSCT將圖像分解為不同尺度和方向的子帶；低頻子帶圖像利用基于一致性驗(yàn)證的特征選擇規(guī)則進(jìn)行融合；對(duì)于高頻子帶，采用改進(jìn)的空域頻率激勵(lì)PCNN模型，選擇點(diǎn)火時(shí)間最大的系數(shù)進(jìn)行融合；最后通過(guò)NSCT反變換得到融合圖像。通過(guò)多組同一場(chǎng)景不同聚焦位置下的紅外圖像融合實(shí)驗(yàn)，結(jié)果分析表明該算法能從源圖像中獲得更多的信息，更好地保留源圖像的邊緣信息，融合效果優(yōu)于相關(guān)算法。

紅外圖像；多聚焦圖像融合；脈沖耦合神經(jīng)網(wǎng)絡(luò)；非下采樣輪廓波變換

0 引言

圖像融合技術(shù)是將兩幅或多幅圖像中的信息提取出來(lái)，得到一幅信息更豐富的更適于視覺(jué)感知和計(jì)算機(jī)處理的圖像的技術(shù)[1]，多聚焦融合是圖像融合的一種。由于光學(xué)系統(tǒng)景深的限制，物體在聚焦范圍內(nèi)的圖像是清晰的，其他區(qū)域是模糊的。為了獲得場(chǎng)景中所有區(qū)域都聚焦清晰的圖像，需要將同視點(diǎn)不同焦距下采集的圖像進(jìn)行融合，以便于肉眼觀看和機(jī)器處理。

多分辨分析方法比簡(jiǎn)單加權(quán)平均法等空域算法的融合效果好，已經(jīng)廣泛應(yīng)用于圖像融合中，其中包括小波，拉普拉斯金字塔，輪廓波等[2]。傳統(tǒng)的小波變換可以捕獲有限的方向信息，但不能捕獲輪廓信息，輪廓波變換可以彌補(bǔ)小波變換在方向上的不足，但由于采用了上下采樣，也會(huì)引起奇異點(diǎn)周?chē)膫蜧ibbs現(xiàn)象。而Da Cunha等人提出的非下采樣輪廓波變換（Nonsubsampled Contourlet Transform，NSCT）具有平移不變性、各向異性和豐富的方向性[3]，能夠很好的解決這些問(wèn)題。

脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Networks，PCNN）是Eckhorn等人基于對(duì)貓和猴子視覺(jué)皮質(zhì)中同步脈沖突發(fā)實(shí)驗(yàn)觀察而提出的一種生物神經(jīng)網(wǎng)絡(luò)[4]，具有全局耦合和脈沖同步性特征。它已經(jīng)被廣泛應(yīng)用于圖像處理中，如圖像分割，邊緣提取，目標(biāo)識(shí)別，圖像融合[5]等領(lǐng)域。

紅外熱成像系統(tǒng)把物體表面的紅外輻射轉(zhuǎn)換成圖像，通過(guò)圖像灰度值反映溫度信息。圖像清晰度會(huì)影響溫度測(cè)量精度，當(dāng)場(chǎng)景中物體起伏超過(guò)景深時(shí)，聚焦模糊部分造成的溫度誤差對(duì)紅外熱成像系統(tǒng)在生物特征識(shí)別、熱絕緣分析等的應(yīng)用中影響顯著[6]，多聚焦圖像融合就十分重要。目前關(guān)于多聚焦紅外圖像融合的研究較少，本文借鑒可見(jiàn)光圖像多聚焦融合相關(guān)研究思路，結(jié)合NSCT和PCNN的特點(diǎn)，提出一種多聚焦紅外圖像融合的方法。首先對(duì)紅外熱成像系統(tǒng)采集的源圖像進(jìn)行NSCT分解，針對(duì)分解后高低頻子帶的特點(diǎn)，采用不同的融合規(guī)則進(jìn)行融合。低頻子帶融合采用基于一致性驗(yàn)證的特征選擇規(guī)則，高頻子帶利用改進(jìn)的空間頻率激勵(lì)的PCNN模型，根據(jù)點(diǎn)火時(shí)間映射選擇系數(shù)融合，最后通過(guò)NSCT反變換對(duì)融合后的高低子帶進(jìn)行重構(gòu)得到融合圖像。

1 NSCT

圖1 NSCT示意圖

2 PCNN

PCNN是一種反饋神經(jīng)網(wǎng)絡(luò)模型，它無(wú)須訓(xùn)練即可實(shí)現(xiàn)模式識(shí)別和目標(biāo)分類(lèi)，因此適用于圖像融合[7]。PCNN由許多神經(jīng)元構(gòu)成，每個(gè)神經(jīng)元包括3個(gè)部分：接受域、調(diào)制域和脈沖產(chǎn)生器。在圖像處理中，PCNN是一個(gè)二維單層脈沖耦合神經(jīng)元陣列，空域或MSD域中的像素被輸入到PCNN，神經(jīng)元與輸入圖像的像素點(diǎn)一一對(duì)應(yīng)。每個(gè)神經(jīng)元的輸出有兩種狀態(tài)，點(diǎn)火和非點(diǎn)火。神經(jīng)元總點(diǎn)火時(shí)間會(huì)產(chǎn)生一個(gè)與空域或MSD域圖像大小相同的點(diǎn)火映射，映射中每個(gè)像素值等于神經(jīng)元點(diǎn)火時(shí)間。由于其基本模型較為復(fù)雜，為了降低時(shí)間復(fù)雜度，這里采用如圖2所示簡(jiǎn)化的PCNN模型[8]。

3 基于NSCT-CV-MSF-PCNN的融合算法

本文采用NSCT對(duì)源圖像進(jìn)行分解，得到相應(yīng)的高頻子帶和低頻子帶。對(duì)分解得到的高頻子帶和低頻子帶分別采用不同的規(guī)則進(jìn)行融合：低頻子帶系數(shù)融合采用H. Li[9]等提出的基于一致性驗(yàn)證（Consistency Verification，CV）的特征選擇規(guī)則；高頻子帶利用PCNN模型，采用改進(jìn)的空域頻率（Modified Spatial Frequency，MSF）作為PCNN的外部激勵(lì)，根據(jù)點(diǎn)火時(shí)間映射選擇系數(shù)進(jìn)行融合；最后將融合的高頻和低頻子帶經(jīng)過(guò)反NSCT變換得到融合圖像。我們稱(chēng)本文的算法為NSCT-CV-MSF-PCNN算法。文中記、為源圖像，表示融合圖像，＝(,)，、表示第級(jí)NSCT分解第個(gè)子帶，L,q表示圖像的低頻子帶系數(shù)，D,q表示圖像的高頻子帶系數(shù)，(,)表示每個(gè)系數(shù)的空間位置。

圖2 簡(jiǎn)化PCNN模型

Fig.2 Simplified PCNN model

3.1 低頻子帶融合規(guī)則

低頻子帶包含了源圖像絕大部分的能量，反映了圖像的近似特征。對(duì)分解得到的低頻子帶，系數(shù)選擇采用基于絕對(duì)值最大的原則，并對(duì)選擇結(jié)果進(jìn)行一致性驗(yàn)證。對(duì)低頻系數(shù)L,q，定義其最大絕對(duì)值為特征變量：

式中：為以(,)為中心的小區(qū)域，選擇絕對(duì)值較大的系數(shù)作為相應(yīng)位置的系數(shù)。在融合時(shí)，定義如下決策表對(duì)小區(qū)域內(nèi)進(jìn)行系數(shù)選擇：

3.2 高頻子帶融合規(guī)則

高頻子帶表示圖像相應(yīng)的細(xì)節(jié)，如輪廓和邊緣細(xì)節(jié)等，采用改進(jìn)的MSF激勵(lì)的PCNN模型進(jìn)行融合?？沼蝾l率（Spatial Frequency，SF）是由Eskicioglu[10]等提出的，通過(guò)行頻率（RF）和列頻率（CF）來(lái)計(jì)算，反映圖像的活動(dòng)能級(jí)。本文采用的MSF是對(duì)SF的改進(jìn)，MSF包括行頻率，列頻率和對(duì)角方向頻率（DF）。原始的SF缺少圖像中存在的方向信息，會(huì)導(dǎo)致圖像重要細(xì)節(jié)的缺失。MSF包括方向信息，能夠捕捉圖像細(xì)節(jié)，可以作為圖像清晰度或活動(dòng)能級(jí)的度量[11]。對(duì)于×的圖像塊，MSF定義為：

式中：

為了降低計(jì)算復(fù)雜度，本文采用了簡(jiǎn)化的PCNN模型：

3.3 算法流程

圖像融合流程如圖3所示，具體步驟如下：

第一步：將源圖像和分別通過(guò)NSCT分解，分別得到相應(yīng)的低頻子帶和高頻子帶；

第二步：低頻子帶融合采用基于一致性驗(yàn)證的特征選擇規(guī)則；

第三步：按照公式(4)～(7)，利用滑動(dòng)窗口計(jì)算高頻子帶系數(shù)的MSF；

第四步：將每個(gè)高頻子帶的MSF作為外部激勵(lì)輸入到PCNN，按照公式(8)～(13)，產(chǎn)生神經(jīng)元脈沖。利用公式(10)計(jì)算點(diǎn)火時(shí)間；

第五步：當(dāng)＝時(shí)迭代停止，對(duì)得到的點(diǎn)火時(shí)間映射，利用公式(14)選擇擁有最大點(diǎn)火時(shí)間的系數(shù)，作為高頻融合圖像的系數(shù)；

第六步：將融合的高頻和低頻子帶系數(shù)分別通過(guò)NSCT反變換重建，得到融合圖像。

4 仿真實(shí)驗(yàn)及結(jié)果分析

4.1 仿真實(shí)驗(yàn)

為驗(yàn)證本文算法的有效性，選用6組同視場(chǎng)不同聚焦位置下工作中的芯片紅外圖像進(jìn)行融合實(shí)驗(yàn)[12]，如圖4所示。1(a)、2(a)為第一組圖像，1(b)、1(c)、1(d)、1(e)、1(f)分別為1(a)聚焦位置下移0.1mm、0.2mm、0.3mm、0.4mm、0.5mm的圖像；2(b)、2(c)、2(d)、2(e)、2(f)分別為2(a)聚焦位置上移0.1mm、0.2mm、0.3mm、0.4mm、0.5mm的圖像。

圖3 融合算法流程圖

4.2 結(jié)果分析

6組圖像仿真實(shí)驗(yàn)結(jié)果分別如圖5～圖10所示。

由圖5～圖8所示，實(shí)驗(yàn)所得的融合圖像中，DWT算法融合后的芯片圖像對(duì)比度降低，引腳輪廓明顯模糊；NSCT算法所得圖像整體相對(duì)清晰，但邊緣仍較模糊；PCNN算法融合圖像無(wú)法顯示芯片全貌，且輪廓不明顯，與原圖相比對(duì)比度也較低；NSCT-SFPCNN算法有效地提高了融合圖像清晰度，但仔細(xì)觀察可發(fā)現(xiàn)芯片圖像引腳部分較模糊有明顯虛影存在，這可能是因?yàn)镾F缺少圖像的方向信息導(dǎo)致細(xì)節(jié)丟失造成的；與以上幾種算法相比，本文所提的融合算法能夠很好地提取源圖像中聚焦清楚的部分，所得圖像更清晰，對(duì)比度高，輪廓細(xì)節(jié)表現(xiàn)也最好。由于第5組和第6組源圖像聚焦清晰部分不明顯，圖9～圖10中各算法視覺(jué)效果差別不明顯，整體看NSCT-SFPCNN和本文提出的算法相對(duì)較為清晰。因此從主觀視覺(jué)分析來(lái)看，本文的融合算法得到的圖像邊緣更清晰、細(xì)節(jié)保留更豐富，融合效果最好。

圖4 6組不同聚焦位置下工作中的芯片紅外圖像

圖5 第1組圖像仿真結(jié)果

圖6 第2組圖像仿真結(jié)果

圖7 第3組圖像仿真結(jié)果

圖8 第4組圖像仿真結(jié)果

圖9 第5組圖像仿真結(jié)果

圖10 第6組圖像仿真結(jié)果

為了量化評(píng)價(jià)融合算法效果，本文主要采用互信息（Mutual Information，MI）[14]、邊緣相似性度量（AB/F）[15]、平均梯度和邊緣強(qiáng)度作為客觀評(píng)價(jià)標(biāo)準(zhǔn)。MI值越大，表示從源圖像中獲得的信息就越多。AB/F表示從源圖像傳送到融合圖像邊緣信息的相似性，其值越大，表示從源圖像保留的邊緣信息越豐富。平均梯度是圖像邊界附近灰度的變化率大小，用來(lái)表征圖像的相對(duì)清晰度，其值越大，表明圖像越清晰。邊緣強(qiáng)度值越大，表示圖像邊緣越清晰。

表1為6組仿真實(shí)驗(yàn)4個(gè)客觀評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果，加粗標(biāo)識(shí)的數(shù)據(jù)表示此項(xiàng)指標(biāo)的最大值。由表1的數(shù)據(jù)可知，PCNN算法和本文提出的算法MI值最大，但由于PCNN算法所得圖像整體模糊，且與源圖像的對(duì)比度相差大，所以可以排除，則MI表現(xiàn)最好的為本文所提算法，其從源圖像提取信息的能力較佳；前五組數(shù)據(jù)本文算法的QAB/F值最大，最后一組數(shù)據(jù)NSCT算法QAB/F最大，本文所提算法其次，說(shuō)明本文算法能從源圖像中獲得更豐富的邊緣信息；6組數(shù)據(jù)中本文所提算法的平均梯度和邊緣強(qiáng)度都是最大的，表明本文融合算法所得圖像的整體清晰度和邊緣清晰度都是最高的。因此分析可得，本文提出的算法各項(xiàng)指標(biāo)綜合最優(yōu)。

通過(guò)對(duì)多組實(shí)驗(yàn)仿真圖像的主觀分析和客觀評(píng)價(jià)表明：本文算法利用了NSCT平移不變性、多尺度性、高度的方向性等特質(zhì)，結(jié)合改進(jìn)的空間頻率激勵(lì)的PCNN模型，并對(duì)不同子帶采用不同的融合規(guī)則，能夠有效地捕獲紅外圖像的細(xì)節(jié)，能從源圖像中提取更多有用信息，更好地保持源圖像邊緣和方向信息，且圖像清晰度高、對(duì)比度高，在多組不同聚焦位置下的紅外圖像融合中綜合性能都較佳。但本文算法中的PCNN模型有大量參數(shù)要設(shè)置，這些參數(shù)需根據(jù)實(shí)驗(yàn)和經(jīng)驗(yàn)調(diào)整確定，對(duì)融合效果影響較大；且算法融合過(guò)程計(jì)算量大，運(yùn)行時(shí)間較長(zhǎng)，在實(shí)際應(yīng)用中受限。因此下一步的工作將圍繞這些問(wèn)題展開(kāi)，研究如何得到根據(jù)圖像特性自適應(yīng)參數(shù)調(diào)整的PCNN模型，以及如何簡(jiǎn)化PCNN網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提高算法的運(yùn)算效率。

5 結(jié)論

本文提出了一種結(jié)合NSCT和PCNN的多聚焦紅外圖像融合的方法，該方法使用簡(jiǎn)化的PCNN模型，并采用MSF作為外部激勵(lì)，低頻子帶和高頻子帶分別用不同的規(guī)則進(jìn)行融合。對(duì)多組不同焦距下工作中的芯片紅外圖像進(jìn)行融合實(shí)驗(yàn)，并與小波、NSCT和PCNN等圖像融合方法進(jìn)行主觀和客觀對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，本文提出的算法能有效實(shí)現(xiàn)多聚焦紅外圖像融合，融合效果優(yōu)于相關(guān)算法，為進(jìn)一步研究多聚焦紅外圖像融合提供了參考，在紅外熱成像系統(tǒng)景深擴(kuò)展中有很好的應(yīng)用前景，進(jìn)而更好地實(shí)現(xiàn)其在溫度測(cè)量、醫(yī)學(xué)分析、故障分析檢測(cè)中的應(yīng)用。

表1 各融合算法效果評(píng)價(jià)指標(biāo)對(duì)比

[1] Goshtasby A A, Nikolov S. Image fusion: Advances in the state of the art[J]., 2007, 8(2):114-118.

[2] Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106.

[3] Da Cunha A L, Zhou J, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[4] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: simulations of results from cat visual cortex[J]., 1990, 2(3): 293-307.

[5] Wang Z, Wang S, Zhu Y, et al. Review of image fusion based on pulse-coupled neural network[J]., 2016, 23(4): 659-671.

[6] Benes R, Faundez-Zanuy M, Faundez-Zanuy M, et al. Multi-focus thermal image fusion[J]., 2013, 34(5):536-544.

[7] Eckhorn R. Neural mechanisms of scene segmentation: recordings from the visual cortex suggest basic circuits for linking field models[J]., 1999, 10(3): 464-479.

[8] Johnson J L, Padgett M L. PCNN models and applications[J]., 1999, 10(3): 480-498.

[9] Li H, Manjunath B S, Mitra S K. Multi-sensor image fusion using the wavelet transform[C]//,.-94.,, 1994, 1: 51-55.

[10] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]., 1995, 43(12): 2959-2965.

[11] Zheng Y, Essock E A, Hansen B C, et al. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]., 2007, 8(2): 177-192.

[12] 劉中意, 張春, 胡志宇. 基于多聚焦紅外圖像的溫度測(cè)量及三維重構(gòu)[J]. 紅外技術(shù), 2015, 37(6):449-456.

LIU Zhongyi, ZHANG Chun, HU Zhiyu. Temperature Measurement and 3D Reconstruction Based on Multifocus Thermal Images[J]., 2015, 37(6):449-456.

[13] XiaoBo Q, JingWen Y, HongZhi X, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[14] Qu G, Zhang D, Yan P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

[15] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Multi-focus Infrared Image Fusion Based on Pulse Coupled Neural Networks in a Nonsubsampled Contourlet Transform Domain

YUE Jingjing1,2,3，LI Maozhong4，CHEN Ji4，LUO Yongfang4，HU Zhiyu1,2,3

(1.,,200240,; 2.,,200240,; 3.200240,; 4.,650217,)

Because of the limitations in the depth of field of a thermal camera, in order to obtain a focused image of all regions in a scene, a novel multi-focus infrared image fusion method based on improved pulse-coupled neural network (PCNN) in a nonsubsampled contourlet transform (NSCT) domain is presented. First, the source images are decomposed into subbands of different scales and directions by NSCT. The low-frequency subbands are fused using the feature selection rule based on consistency verification. In order to fuse the high frequency subbands, modified spatial frequency is used to motivate the PCNN model. Coefficients with large firing times are then selected. Finally, the fusion image is obtained by inverse NSCT. Experiments are conducted to fuse multi-group infrared images with different focus positions in the same scene. The results show that the proposed algorithm can obtain more information from the source image while retaining the edge information of the source image more effectively. In general, the proposed algorithm is more effective than the correlation algorithm.

infrared image，multi-focus image fusion，PCNN，NSCT

TP391

A

1001-8891(2017)09-0798-09

2017-04-25；

2017-08-23.

岳靜靜（1993-），女，碩士研究生，主要研究方向?yàn)閳D像處理和模式識(shí)別。

胡志宇（1965-），男，博士，教授，主要研究方向是納米量級(jí)高效低污染能量轉(zhuǎn)換元器件及其應(yīng)用、薄膜納米結(jié)構(gòu)功能材料等。

云南省科技廳省院省?？萍己献鲗?zhuān)項(xiàng)（2014IB007）。