NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見光圖像融合方法

郝文超，賈 年

(西華大學(xué)無線電管理技術(shù)研究中心，四川 成都 610039)

圖像融合是用特定的算法對多個不同模式的圖像傳感器在同一時刻或同一傳感器在不同時刻獲得的同一場景的多幅圖像或圖像序列加以處理，綜合生成滿足某種應(yīng)用需要、具有更多信息的場景解釋的過程。它在地球遙感、安全監(jiān)控、智能交通、醫(yī)學(xué)圖像處理和軍事偵查等領(lǐng)域有著廣泛應(yīng)用。

根據(jù)對信息抽象程度的不同，圖像融合可分為像素級融合、特征級融合和決策級融合3個層次。像素級圖像融合是高層次圖像融合的基礎(chǔ)。該層次的融合方法大致分為基于空間域的圖像融合和基于變換域的圖像融合2大類?；谧儞Q域的圖像融合算法是目前研究的熱點,這些算法大部分是基于多尺度分解的。按采用的多尺度分解方法不同可分為傳統(tǒng)的基于金字塔變換的圖像融合算法和目前研究比較多的基于小波變換的圖像融合算法，然而由一維小波張成的二維可分離小波只具有有限的方向，即水平、垂直、對角，不能很好地表達二維圖像的邊緣及線狀特征等的線、面奇異性。Contourlet變換[1]是一種離散圖像的多方向、多尺度計算框架。它不僅具有小波變換的多分辨率和時頻局部性特點，還具有高度的方向性和各向異性；但由于變換過程中需要對圖像進行下采樣操作，因此不具備平移不變性，在圖像處理中會產(chǎn)生偽Gibbs現(xiàn)象，導(dǎo)致圖像失真。為此，A. L. Da Cunha等[2]基于Contourlet變換和非下采樣的思想，提出一種具有平移不變性的Contourlet變換——非下采樣Contourlet變換(nonsubsampled contourlet transform，NSCT)。

脈沖耦合神經(jīng)網(wǎng)絡(luò)[3](pulse coupled neural networks，PCNN)是R. Eckhorn等在研究貓的大腦皮層的視覺區(qū)神經(jīng)元信號傳導(dǎo)特性時，提出的展示神經(jīng)元同步脈沖發(fā)放現(xiàn)象的神經(jīng)網(wǎng)絡(luò)模型。與BP神經(jīng)網(wǎng)絡(luò)和Kohonen神經(jīng)網(wǎng)絡(luò)不同，PCNN為單層模型神經(jīng)網(wǎng)絡(luò)，不需要學(xué)習(xí)或者訓(xùn)練，就可實現(xiàn)圖像分割、模式識別和目標(biāo)分類等，因此非常適用于實時圖像處理環(huán)境。文獻[4]借助該網(wǎng)絡(luò)實現(xiàn)圖像融合以提高目標(biāo)的識別率，并論證了PCNN神經(jīng)元的點火頻率與圖像灰度的關(guān)系，證實了PCNN用于圖像融合的可行性。

本文提出一種在圖像NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見光圖像融合方法。首先，采用NSCT將嚴(yán)格配準(zhǔn)的源圖像分解到不同尺度、不同方向子帶范圍內(nèi)；然后，使用各子帶系數(shù)的空間頻率(spatial frequency，SF)作為PCNN神經(jīng)元的自適應(yīng)連接強度系數(shù)，使用各子帶系數(shù)的改進的拉普拉斯能量和(sum-modified-Laplacian，SML)作為PCNN的外部激勵，計算點火映射圖，以此確定融合圖像的各子帶系數(shù)；最后，經(jīng)過NSCT逆變換得到融合圖像。實驗結(jié)果表明，本文方法優(yōu)于基于小波變換、NSCT和傳統(tǒng)NSCT與PCNN結(jié)合的圖像融合方法。

1 圖像的非下采樣Contourlet變換

(a)構(gòu)建NSCT所采用的NSDFB結(jié)構(gòu) (b)由(a)得到的理想頻域劃分

2 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型

PCNN是一種基于貓的視覺原理構(gòu)建的簡化神經(jīng)網(wǎng)絡(luò)模型。每個PCNN神經(jīng)元由接收域、調(diào)制域和脈沖發(fā)生器3部分組成[5]。構(gòu)成PCNN的神經(jīng)元系統(tǒng)是一個復(fù)雜的非線性動態(tài)系統(tǒng)，如圖2所示。

圖2 PCNN神經(jīng)元模型框圖

PCNN的數(shù)字圖像處理模型由脈沖耦合神經(jīng)元構(gòu)成的二維單層神經(jīng)元陣列組成，網(wǎng)絡(luò)中神經(jīng)元數(shù)目與輸入圖像像素數(shù)目一致，神經(jīng)元與像素點一一對應(yīng)[6]。由于基本模型實現(xiàn)相對復(fù)雜，在實際應(yīng)用中常使用改進型的PCNN，其數(shù)學(xué)模型為：

(1)

Tij(n)=Tij(n-1)+Yij(n)

(2)

式中：(i,j)為PCNN中神經(jīng)元的標(biāo)號；F為神經(jīng)元的反饋輸入；S為神經(jīng)元強制激發(fā)的外部激勵(在圖像處理中通常為圖像像素灰度值)；L為神經(jīng)元的連接輸入，VL和αL分別為其放大系數(shù)和衰減時間系數(shù)；權(quán)值矩陣W為連接輸入的連接矩陣；k、l表示與周圍神經(jīng)元連接的范圍；U為神經(jīng)元的內(nèi)部活動項；β為連接強度系數(shù)；θ為變閾值函數(shù)輸出，Vθ和αθ分別為其放大系數(shù)和衰減時間系數(shù)；Y為神經(jīng)元的輸出，當(dāng)Uij≥θij時，神經(jīng)元產(chǎn)生1個脈沖，稱為1次點火。實際應(yīng)用中，常用式(1)和(2)計算的n次迭代后神經(jīng)元的點火次數(shù)Tij構(gòu)成的點火映射圖作為PCNN的輸出。

3 NSCT域內(nèi)基于自適應(yīng)PCNN的圖像融合算法

3.1 自適應(yīng)PCNN中連接強度系數(shù)β和外部激勵S的確定

在傳統(tǒng)基于PCNN的圖像融合中，神經(jīng)元的連接強度系數(shù)β通常是根據(jù)具體應(yīng)用環(huán)境通過多次試驗的方法確定的，且所有神經(jīng)元的β都為相同數(shù)值，但在人眼的視覺系統(tǒng)中，每個神經(jīng)元有其自己的連接強度系數(shù)；因此，在PCNN中β隨著圖像特征變化根據(jù)輸入外部激勵S的不同自適應(yīng)的調(diào)整是合理的。文獻[7]給出了圖像空間域內(nèi)多種典型的清晰度評價方法，例如圖像梯度能量(energy of gradient，EOG)、拉普拉斯能量(energy of Laplacian，EOL)、改進的拉普拉斯能量和(SML)和空間頻率(SF),它們都是通過測量像素的變化程度來表征的。文獻[8]使用圖像的SML作為PCNN對應(yīng)神經(jīng)元的連接強度系數(shù)，進行醫(yī)學(xué)圖像的融合，取得了較好的融合效果。由于圖像在NSCT變換域內(nèi)的子帶也可看作圖像,并且存在幅值的變化，因此利用EOG、SML等清晰度指標(biāo)來選擇融合圖像的NSCT變換域系數(shù)是合理的。文獻[9]使用圖像的SF作為PCNN的外部激勵，結(jié)合NSCT，對多聚焦圖像、可見光與紅外圖像進行融合實驗，取得了較好的融合效果。

本文提出一種在圖像NSCT變換域內(nèi)使用SF作為神經(jīng)元自適應(yīng)連接強度系數(shù)、SML作為外部激勵的自適應(yīng)PCNN圖像融合新方法。與文獻[7]的清晰度定義不同，本文在NSCT域定義子帶系數(shù)的清晰度,用Ii,j表示子帶內(nèi)位置為(i,j)的系數(shù)。(i,j)位置上對應(yīng)的空間頻率(SF)和改進的拉普拉斯能量和(SML)定義如下。

1)空間頻率(SF)定義為

(3)

其中，(2P+1)×(2Q+1)為子帶系數(shù)內(nèi)滑動窗口的大小，本文選取3×3的窗口。在計算過程中，需要對子帶系數(shù)矩陣進行擴充處理。

2)改進的拉普拉斯(ML)及改進的拉普拉斯能量和(SML)定義為：

MLij=|2Ii,j-Ii-step,j-Ii+step,j|+|2Ii,j-

Ii,j-step-Ii,j+step|

(4)

(5)

其中：step為像素點間的可變間距，本文總是為1；(2P+1)×(2Q+1)為子帶系數(shù)內(nèi)滑動窗口的大小，本文選取3×3的窗口。在計算過程中，需要對子帶系數(shù)矩陣進行擴充處理。

3.2 融合過程及算法步驟描述

參與融合的源圖像首先經(jīng)過NSCT多分辨率多方向分解，得到低頻子帶和高頻方向子帶；然后使用各子帶系數(shù)的空間頻率SF作為PCNN對應(yīng)神經(jīng)元的自適應(yīng)連接強度系數(shù)，同時利用各子帶系數(shù)的SML激勵每個神經(jīng)元，經(jīng)過PCNN點火過程獲得各子帶對應(yīng)的點火映射圖，通過判決選擇算子確定融合圖像各子帶的系數(shù)來源；最后經(jīng)過NSCT逆變換重構(gòu)得到融合圖像。2幅圖像的融合過程如圖3所示。

圖3 融合算法流程示意圖

假定參與融合的2幅源圖像是經(jīng)過嚴(yán)格配準(zhǔn)的，具體融合算法步驟如下。

step1對源圖像A和B進行NSCT分解，分別得到各自分解后的低頻子帶系數(shù)和高頻方向子帶系數(shù)。

step2利用式(3)計算子帶系數(shù)的SF，并進行歸一化，作為PCNN神經(jīng)元的自適應(yīng)連接強度系數(shù)，即式(1)中Sij=SFij；利用式(5)計算子帶系數(shù)的SML，作為外部激勵輸入PCNN網(wǎng)絡(luò)，即式(1)中β=SMLij。

step3初始化式(1)中的Lij(0)、Uij(0)、θij(0)、Yij(0)和式(2)中的Tij(0)為零矩陣，利用式(1)和式(2)計算n次迭代后PCNN中神經(jīng)元的點火次數(shù)Tij(n)，作為點火映射圖輸出。

step4經(jīng)過step 2和step 3的PCNN處理后，每個子帶系數(shù)得到對應(yīng)的點火映射圖，利用式(6)計算每個子帶系數(shù)對應(yīng)的決策圖。在決策圖DF,ij中，利用一致性檢驗方法[10]，如果中心元素為1，而鄰域內(nèi)大多數(shù)元素為0，則將中心元素修改為0。使用一致性檢驗后的決策圖，利用式(7)選取子帶系數(shù)。

(6)

(7)

其中，DF,ij代表融合圖像F各子帶系數(shù)對應(yīng)的決策圖，TA,ij(n)和TB,ij(n)分別對應(yīng)源圖像A和B的子帶系數(shù)對應(yīng)的點火映射圖，xF,ij、xA,ij和xB,ij分別代表融合圖像F、源圖像A和B的子帶系數(shù)。

step5使用式(7)選出的低頻子帶系數(shù)和高頻方向子帶系數(shù)做NSCT逆變換，重構(gòu)輸出融合圖像F。

4 仿真實驗與結(jié)果分析

實驗中紅外與可見光圖像以及各融合算法的融合結(jié)果如圖4所示。源圖像是一片樹林。由于樹葉的遮擋，目標(biāo)人在可見光圖像中完全不可見，但人可以產(chǎn)生熱輻射，從而在紅外圖像中被完整的保留。從圖4(c)—(f)可以看出，幾種融合方法都很好地保留了可見光圖像中的背景信息和紅外圖像中的目標(biāo)信息；但仔細觀察圖4(c)—(f)中左下角與右下角部分，可以發(fā)現(xiàn)圖4(f)中樹葉區(qū)域的像素灰度和邊緣輪廓與可見光圖像更為接近，說明本文算法能更好地保留可見光圖像中的背景信息，更符合人眼的視覺系統(tǒng)。

在無標(biāo)準(zhǔn)參考圖像的情況下，本文選取信息熵(IE)和互信息(MI)2個常用融合定量評價指標(biāo)，對上述4種融合方法進行比較。圖像信息熵是圖像的平均信息量，融合圖像的信息熵越大，說明包含的信息越多；互信息是衡量融合圖像從源圖像中繼承信息的多少，互信息越大，說明融合圖像從源圖像中繼承的信息越多。從表1可以看出，使用本文算法，其融合結(jié)果的2項評價指標(biāo)均為最大，說明本文算法優(yōu)于其他3種方法。

(a)可見光圖像

(b)紅外圖像

(c)DWT融合結(jié)果

(d)NSCT融合結(jié)果

(e)NSCT-PCNN融合結(jié)果

(f)本文方法融合結(jié)果

方法 評價指標(biāo)IE MIDWT6.575 0491.388 607NSCT6.535 0311.487 682NSCT-PCNN6.964 3842.163 878本文算法7.072 2462.736 526

5 結(jié)論

本文根據(jù)NSCT和PCNN的特點，提出一種在圖像NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見光圖像融合新方法。該方法的最大特點是在源圖像NSCT變換域上，使用各子帶系數(shù)的空間頻率SF作為神經(jīng)元的自適應(yīng)連接強度系數(shù)，使用改進的拉普拉斯能量和SML激勵PCNN中的每個神經(jīng)元。實驗結(jié)果表明，本文方法能更好地保留可見光圖像的背景信息和紅外圖像的目標(biāo)信息，在視覺效果方面更符合人眼的視覺系統(tǒng)。雖然PCNN的簡化模型易于并行實現(xiàn)，但NSCT的計算復(fù)雜度較高，融合過程耗時；因此如何提高運算速度有待于進一步研究。

[1]Do M N，Martin V. The Contourlet Transform: an Efficient Directional Multiresolution Image Representation [J]. IEEE Transactions on Image Processing，2005，14(12)：2091-2106.

[2]Da Cunha A L，Zhou J，Do M N. The Nonsubsampled Contourlet Transform: Theory, Design, and Applications [J]. IEEE Transactions on Image Processing，2006，15(10)：3089-3101.

[3]Eckhorn R，Reitboeck H J，Arndt M，et al. Feature Iinking Via Synchronization Among Distributed Assemblies: Simulations of Results from Cat Visual Cortex [J]. Neural Computation，1990，2(3)：293-307.

[4]張軍英，梁軍利. 基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合[J]. 計算機仿真，2004，21(4)：102-104.

[5]Wang Z B，Ma Y D，Cheng F Y, et al. Review of Pulse-coupled Neural Networks [J]. Image and Vision Computing, 2010，28：5-13.

[6]房華. 脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用研究[D]. 西安：西安石油大學(xué)，2010.

[7]Huang W，Jing Z L. Evaluation of Focus Measures in Multi-focus Image Fusion [J]. Pattern Recognition Letters，2007，28：493-500.

[8]夏加星，段先華，魏世超. 利用鄰域激勵的自適應(yīng)PCNN 進行醫(yī)學(xué)圖像融合[J]. 計算機應(yīng)用研究, 2011, 28(10)：3929-3933.

[9]Qu X B，Yan J W，Xiao H Z，et al. Image Fusion Algorithm Based on Spatial Frequency-Motivated Pulse Coupled Neural Networks in Nonsubsampled Contourlet Transform Domain[J]. Acta Automatica Sinica，2008，34(12)：1508-1514.

[10] 任國超，師黎. 基于2v-SVM和一致性檢驗的醫(yī)學(xué)圖像融合算法[J]. 計算機工程與應(yīng)用，2010，46(13)：199-201.

[11] Xu L，Du J P，Li Q P. Image Fusion Based on Nonsubsampled Contourlet Transform and Saliency-Motivated Pulse Coupled Neural Networks [J]. Mathematical Problems in Engineering， vol2013，Article ID 135182，10 pages，2013.

[12] 李美麗，李言俊，王紅梅，等. 基于NSCT 和PCNN 的紅外與可見光圖像融合方法[J]. 光電工程，2010，37(6)：90-95.

[13] 趙飛翔，陶忠祥. 基于NSCT的紅外與可見光圖像融合[J]. 電光與控制，2013,20(9)：29-33.

[14] 馬義德，李廉，綻琨，等. 脈沖耦合神經(jīng)網(wǎng)絡(luò)與數(shù)字圖像處理[M]. 北京：科學(xué)出版社，2008：1-17.

[15] 敬忠良，肖剛，李振華. 圖像融合：理論與應(yīng)用[M]. 北京：高等教育出版社，2007：73-83.