NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合

閆 利，向天燭，2

（1.武漢大學(xué)測繪學(xué)院，湖北武漢430079；2.武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北武漢430079）

NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合

閆 利1，向天燭1，2

（1.武漢大學(xué)測繪學(xué)院，湖北武漢430079；2.武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北武漢430079）

針對傳統(tǒng)的基于多尺度變換的紅外與可見光圖像融合，對比度不高，邊緣等細(xì)節(jié)信息保留不充分等問題，結(jié)合NSCT變換的多分辨率、多方向特性和PCNN全局耦合、脈沖同步激發(fā)等優(yōu)點，提出一種基于NSCT變換結(jié)合邊緣特征和自適應(yīng)PCNN紅外與可見光圖像融合算法.對于低頻子帶，采用一種基于邊緣的融合方法；對于高頻方向子帶，采用方向信息自適應(yīng)調(diào)節(jié)PCNN的鏈接強(qiáng)度，使用改進(jìn)的空間頻率特征作為PCNN的外部激勵，根據(jù)脈沖點火幅度融合子帶系數(shù).實驗結(jié)果驗證了該算法的有效性.

圖像融合；非下采樣Contourlet變換；脈沖耦合神經(jīng)網(wǎng)絡(luò)；邊緣特征；空間頻率；紅外圖像

1 引言

紅外圖像是根據(jù)地物的熱輻射特性成像，目標(biāo)信息突出，能夠捕獲到隱藏在低光照條件下或者偽裝的目標(biāo)，但它對亮度變化不敏感，缺乏場景細(xì)節(jié)信息；而可見光圖像是根據(jù)物體的反射特性成像，分辨率較高，而且包含豐富的場景細(xì)節(jié)信息［1］.因此，將紅外與可見光圖像進(jìn)行融合，有利于綜合紅外圖像較好的目標(biāo)識別特性和可見光圖像較高的空間分辨率和豐富的背景細(xì)節(jié)信息，從而提高在復(fù)雜環(huán)境中正確檢測識別目標(biāo)的概率以及目標(biāo)定位的能力.

目前，由于離散小波變換（Discrete Wavelet Transform，DWT）等多尺度分析工具優(yōu)秀的多分辨率特性和時頻局部特性，基于多尺度幾何分析的圖像融合算法成為當(dāng)前的研究熱點.但是傳統(tǒng)的小波變換各向同性，只具有有限個方向，且存在采樣操作，缺乏平移不變性，不能很好地表示圖像中的邊緣方向等信息，在源圖像之間存在配準(zhǔn)誤差的情況下，將對融合結(jié)果帶來不利影響.為此，很多學(xué)者提出了多種新的多尺度幾何分析工具，如Bandelet變換、Curvelet變換、Contourlet變換、非下采樣Contourlet變換等.其中，非下采樣Contourlet變換［2］（Nonsubsampled Contourlet Transform，NSCT）是對Contourlet變換的改進(jìn)，不僅具有小波變換的多分辨率和時頻局部特性，還具有各向異性和多方向特性，并且具有平移不變特性，克服了小波、Contourlet等存在的偽吉布斯效應(yīng)，是一種真正的圖像多尺度、多方向的表示，非常有利于圖像融合.NSCT應(yīng)用到圖像融合，可以有效地提取圖像特征，為融合圖像提供更豐富的信息，從而提升融合的效果.

目前常用的融合規(guī)則沒有充分考慮圖像的邊緣等特征，導(dǎo)致融合圖像細(xì)節(jié)信息保留不夠，為此學(xué)者們提出了許多顧及圖像邊緣信息的融合方法.Nikolov S G等［3］首次提出將小波多尺度邊緣用于圖像融合，利用圖像的多尺度邊緣信息來融合圖像，以更好地保留原圖像邊緣等特征；晁銳等［4］提出一種基于邊緣的小波融合方法，采用方向濾波算子進(jìn)行邊緣檢測，選擇最有可能是邊緣的點加以保留；連靜等［5］在此基礎(chǔ)上改進(jìn)了高頻系數(shù)融合規(guī)則，采用局部模極大和局部強(qiáng)度比規(guī)則來融合高頻系數(shù)；Zou J等［6］在圖像多尺度邊緣檢測的基礎(chǔ)上，利用邊緣相關(guān)性最大的規(guī)則進(jìn)行融合，最大程度上保留了原圖像邊緣信息；童濤等［7］對圖像進(jìn)行小波分解，對每層低頻子帶進(jìn)行 Canny邊緣提取，用于指導(dǎo)高頻子帶系數(shù)的融合；Liu K等［8］將圖像分割與邊緣檢測相結(jié)合，在基于區(qū)域特征分割的基礎(chǔ)上，對待融合圖像進(jìn)行Sobel邊緣檢測，保留圖像邊緣點；鑒于小波變換的一些局限性，李美麗等［9］將NSCT變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）結(jié)合起來，提出了在NSCT域低頻子帶基于邊緣，高頻子帶基于PCNN的融合方法，PCNN規(guī)則顧及了圖像的全局特征，以及每個像素的特性，能夠有效地提取和保留圖像的細(xì)節(jié)信息.但是文獻(xiàn)［9］僅采用單個像素的灰度值作為PCNN的輸入，忽略了人眼對邊緣、方向等信息敏感的特性，同時PCNN參數(shù)多，設(shè)置復(fù)雜，該方法缺乏自適應(yīng)性，需要大量的迭代，在一定程度上影響了融合效果.

為此，充分利用圖像的邊緣特征，及PCNN全局耦合和脈沖同步激發(fā)的優(yōu)良特性，提出一種NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合方法.首先對原圖像進(jìn)行NSCT分解；對于低頻子帶，采用基于邊緣的方法進(jìn)行融合；對于高頻方向子帶，分別計算各子帶系數(shù)的空間頻率，作為PCNN的外部激勵，采用各子帶圖像的方向信息來自適應(yīng)的調(diào)節(jié)鏈接強(qiáng)度，在一定程度上實現(xiàn)了PCNN模型的自適應(yīng)，然后采用基于PCNN點火幅度的融合規(guī)則，相比傳統(tǒng)的基于PCNN脈沖點火次數(shù)的融合規(guī)則，該規(guī)則大大減少了模型的迭代次數(shù)，而且可以更好地反映同步脈沖激發(fā)的幅度，以提升融合圖像的整體效果.最后，通過 NSCT逆變換對融合系數(shù)進(jìn)行重構(gòu)得到融合圖像.該方法充分結(jié)合了NSCT變換多尺度、多方向、各向異性的特點和PCNN全局耦合和脈沖同步激發(fā)特性，以及圖像的邊緣特征，既保證了圖像融合的視覺效果，又較好地保留了源圖像的邊緣、紋理等細(xì)節(jié)信息.

2 PCNN模型

PCNN是Eckhorn提出的一種模擬貓、猴等動物的大腦視覺皮層細(xì)胞對視覺信號的處理機(jī)制而產(chǎn)生的一類新型神經(jīng)網(wǎng)絡(luò)模型［10］.由于經(jīng)典PCNN模型存在大量非線性調(diào)制機(jī)制和多個漏電積分器，參數(shù)設(shè)定復(fù)雜，不便于實際應(yīng)用.因此，本文使用一種簡化的PCNN模型，其數(shù)學(xué)方程描述如下所示：其中：Sij是外部輸入激勵；下標(biāo)（i，j）表示像素的坐標(biāo)或者神經(jīng)元坐標(biāo)；Fij是神經(jīng)元的反饋輸入；Lij是神經(jīng)元的鏈接輸入；Uij是內(nèi)部活動項；θij為動態(tài)閾值；Yij表示PCNN的脈沖輸出；n表示迭代次數(shù).Wijkl為神經(jīng)元之間的連接權(quán)系數(shù)矩陣，k，l表示神經(jīng)元與周圍鏈接的范圍；αL，αθ為鏈接輸入和變閾值函數(shù)的時間常數(shù)；VL，Vθ為鏈接輸入和變閾值函數(shù)的幅度系數(shù)；β為鏈接強(qiáng)度系數(shù).如果Uij（n）≥θij（n），則神經(jīng)元產(chǎn)生一個脈沖，稱為一次點火.

基于PCNN的圖像融合一般都是根據(jù)n次迭代之后神經(jīng)元的點火次數(shù)來選擇融合系數(shù).迭代次數(shù)一般是根據(jù)實驗或者經(jīng)驗來確定，在文獻(xiàn)［11］中，作者將迭代次數(shù)設(shè)置為200次，這樣將會非常耗時，但是如果n太小，PCNN的同步脈沖特性不能充分體現(xiàn).同時，由于模型采用的是硬限幅函數(shù)，每次點火輸出為1或者0，不能反映出點火的幅度差異.為此，廖勇［12］等提出將脈沖點火幅度用于圖像融合，大大減少了迭代次數(shù).在PCNN的輸出階段，采用一個軟限幅函數(shù)——Sigmoid函數(shù)來計算每個迭代過程中子帶系數(shù)的點火輸出幅度，根據(jù)輸出的點火幅度之和來選擇子帶融合系數(shù). Sigmoid函數(shù)曲線類似于“S”形，是一個典型的神經(jīng)元非線性轉(zhuǎn)換函數(shù)，可以更好地刻畫同步脈沖激發(fā)時在點火幅度上的差異.PCNN的輸出定義如下：

其中，Eij（n）是位于（i，j）處的系數(shù)輸出的脈沖點火幅度，取值范圍為［0，1］.設(shè) Mij（n）表示第n次迭代時（i，j）處系數(shù)輸出的脈沖點火幅度總和，則其公式為：

然后根據(jù)脈沖點火幅度之和Mij（N）來選擇融合系數(shù)，N表示總的迭代次數(shù).具體融合規(guī)則如下：

3 本文融合規(guī)則

圖像經(jīng)NSCT分解后得到低頻子帶和高頻子帶.其中低頻子帶代表圖像的近似分量，反映了圖像的輪廓；高頻部分代表圖像的細(xì)節(jié)分量，包括邊緣、紋理等細(xì)節(jié)信息，是人眼識別和機(jī)器視覺最敏感的部分.因此，原圖像經(jīng)分解后融合規(guī)則的選擇對于融合質(zhì)量至關(guān)重要.

3.1低頻子帶融合規(guī)則

由于多尺度分解的不完全性，低頻部分仍保留有部分細(xì)節(jié)信息，這種現(xiàn)象在分解層次較少的情況下尤為突出.目前對于低頻子帶常采用加權(quán)平均法，沒有考慮圖像的邊緣等特征，將會損失一部分可見光圖像的光譜細(xì)節(jié)信息，降低融合圖像的對比度.因此，本文對低頻子帶系數(shù)采用基于邊緣的選擇方案，盡可能多的保留原圖像中最有可能是邊緣的點，更充分地融合圖像中的邊緣細(xì)節(jié)信息.對原紅外圖像和可見光圖像的低頻子帶系數(shù)定義一個邊緣測度指標(biāo)E，計算公式為：

其中a表示紅外或者可見光圖像的低頻子帶系數(shù)，（i，j）表示子帶系數(shù)坐標(biāo)

E在一定程度上反映了低頻子帶在水平、垂直和對角線方向的邊緣信息.為了較好的保留源圖像的細(xì)節(jié)，對紅外和可見光圖像的低頻子帶系數(shù)分別計算EI和EV，并選擇兩者較大的低頻系數(shù)作為融合圖像的低頻子帶系數(shù)，這樣就能在融合圖像中最大程度的保留原圖像的邊緣等細(xì)節(jié)信息，使得融合圖像細(xì)節(jié)更為豐富.

低頻融合系數(shù)選取方法如下：

其中，aF（i，j）表示低頻子帶（i，j）處的融合系數(shù).

為了保證融合后圖像數(shù)據(jù)的一致性，對低頻子帶融合后的系數(shù)進(jìn)行一致性驗證，即在低頻子帶融合系數(shù)中，若某一系數(shù)來自于紅外圖像I的低頻子帶，而它的鄰域中大多數(shù)系數(shù)卻來自于可見光圖像V的低頻子帶，那么該點的系數(shù)改成可見光圖像V低頻子帶對應(yīng)的系數(shù)，反之不變.

3.2高頻子帶融合規(guī)則

高頻系數(shù)融合一般是采用取絕對值最大或者基于區(qū)域能量、方差、梯度等特征的規(guī)則進(jìn)行選擇，這些規(guī)則只考慮了單個像素或者窗口內(nèi)像素，對圖像細(xì)節(jié)信息提取不夠.為了更好地融合原圖像的特征信息，對高頻系數(shù)采用基于PCNN的融合方法.在許多基于PCNN的圖像融合中，一般將單個像素的灰度值直接作為輸入項Fij，然而人眼視覺系統(tǒng)對單個像素并不敏感，而對圖像的邊緣、方向和紋理等信息比較敏感.圖像的空間頻率特征能夠很好地表示圖像邊緣細(xì)節(jié)信息，因此選擇局部空間頻率［13］特征作為PCNN的外部輸入.

空間頻率一般只對水平和垂直方向進(jìn)行梯度能量計算，這里對其進(jìn)行了改進(jìn)，增加了兩個對角方向的梯度計算，更好更全面地提取圖像信息.對于一幅M×N的高頻方向子圖像C，C（i，j）表示圖像（i，j）上的灰度值或子帶系數(shù)值，那么改進(jìn)的空間頻率（Modified Spatial Frequency，MSF）數(shù)學(xué)表達(dá)式如下：

其中，RF，CF，MDF和SDF分別表示為行頻率、列頻率、主對角頻率和副對角頻率，其公式如下：

3.3鏈接強(qiáng)度β的確定

鏈接強(qiáng)度β反映了子帶系數(shù)間的變化，在融合過程中起著關(guān)鍵作用.在傳統(tǒng)的基于PCNN的圖像融合中，鏈接強(qiáng)度系數(shù)β一般都是根據(jù)實驗或經(jīng)驗來確定，且所有神經(jīng)元都是取相同的值.根據(jù)文獻(xiàn)［14］，每個神經(jīng)元的鏈接強(qiáng)度不可能都相同，而與圖像在該處的特征信息有一定的關(guān)聯(lián)，當(dāng)神經(jīng)元輸入較大時，其鏈接強(qiáng)度也應(yīng)該相應(yīng)的增大.因此，可以根據(jù)圖像的局部特征來設(shè)置β值.大量學(xué)者對此進(jìn)行了研究，提出了不同的鏈接強(qiáng)度自適應(yīng)方法，比如采用標(biāo)準(zhǔn)差，平均梯度、空間頻率、EOL（Energy of Laplacian）等［15］來確定鏈接強(qiáng)度，都取得很好地效果.

圖像的方向信息［16］（Orientation Information，OI）是一種有效的用于表示圖像邊緣、紋理特征的算子，非常適合用來自適應(yīng)調(diào)整PCNN的鏈接強(qiáng)度.因此文中采用鄰域內(nèi)的方向信息作為神經(jīng)元鏈接強(qiáng)度系數(shù).對于一幅給定的圖像I，I（i，j）表示圖像（i，j）處的像素值，在以（i，j）為中心的窗口內(nèi)計算該像素點的方向信息，計算公式為：

其中

式中AL和AR分別表示窗口中的左右區(qū)域，如圖1所示.窗口大小為（2wx+1）×（2wy+1），圖中l(wèi)θ表示經(jīng)過（i，j）點的線，這條線將窗口分為左右兩個區(qū)域.文中使用一個5×5的滑動窗口逐像素的計算每個點的方向信息.如果圖像中存在尖銳的邊緣，那么方向信息值就會大，而紋理區(qū)域方向信息值一般相對較小.如果一幅圖像中某個窗口內(nèi)是平滑的，沒有明顯的邊緣以及豐富的紋理，那么方向信息值就很小.由此可見，方向信息可以作為鏈接強(qiáng)度系數(shù)β.

一般β的取值位于［0，1］之間，用于調(diào)節(jié)中心神經(jīng)元的點火周期和鄰域神經(jīng)元的影響程度，其的數(shù)學(xué)表達(dá)為：

其中，η＞0是一個常數(shù)，用于調(diào)節(jié)β的取值，一般取0.01.如果OI（i，j）越大，那么它相應(yīng)神經(jīng)元的β（i，j）值也就越大，從而神經(jīng)元越早被捕獲發(fā)生點火；反之亦然.

4 實驗結(jié)果與分析

選取兩組紅外與可見光圖像作為實驗圖像進(jìn)行融合實驗，并將該算法與目前常用的小波（DWT）融合方法、NSCT融合方法以及傳統(tǒng)的NSCT和PCNN相結(jié)合［17］（NSCT-PCNN）的融合方法進(jìn)行對比.前兩種方法融合規(guī)則為低頻系數(shù)取平均，高頻系數(shù)取絕對值最大值，第三種方法β=0.2，子帶系數(shù)作為 PCNN的輸入項.其中DWT采用3層“db2”小波；NSCT變換采用“9 -7”濾波器和“pkva”濾波器，方向級數(shù)從“細(xì)”到“粗”依次為［0，2，3，4］.文中方法PCNN的其他參數(shù)為：迭代次數(shù)為10次，遠(yuǎn)小于其他方法中常用的200次，αL= 0.06931，αθ=0.2，VL=1，Vθ=20，鏈接權(quán)重W= ［0.707，1，0.707；1，0，1；0.707，1，0.707］.

第一組選取“UN Camp”拍攝的紅外和可見光圖像進(jìn)行融合實驗，實驗結(jié)果如圖2所示.其中圖2（a）和2 （b）分別為紅外和可見光原圖像.從圖中可以看出紅外圖像能較好地識別目標(biāo)，行人清楚可見，但人所在場景比較模糊，背景細(xì)節(jié)信息較少，而且圖像分辨率低；可見光圖像中，由于光線較暗以及樹葉遮擋，很難辨識出行人，但是道路、灌木等場景清晰，背景信息豐富.圖2（c）～（f）分別為紅外與可見光圖像采用 DWT方法、NSCT方法，NSCT-PCNN方法和文中方法的融合結(jié)果.由圖2 （c）～（f）可知，四種方法都成功地融合了紅外圖像和可見光圖像的信息，既突出了目標(biāo)信息又包含有背景信息，達(dá)到了較好地融合效果.但是仔細(xì)觀察可以發(fā)現(xiàn)，DWT方法由于缺乏平移不變性，產(chǎn)生了偽吉布斯現(xiàn)象，存在一些虛影模糊，融合效果差；而基于NSCT的融合結(jié)果更平滑，目標(biāo)信息突出，對比度高，其中本文方法對比度最高.觀察圖2（c）～（f）左下角和右下角部分，可以發(fā)現(xiàn)，圖2（f）的灌木細(xì)節(jié)信息更豐富，像素灰度和邊緣輪廓更接近可見光圖像，可見文中方法能更好的保留可見光圖像的背景信息，邊緣細(xì)節(jié)更突出，便于人眼觀察，整體視覺效果更好.

第二組實驗圖像為“OCTEC”拍攝的紅外與可見光圖像，實驗結(jié)果如圖3所示.其中圖3（a）和3（b）分別為紅外和可見光原圖像，圖3（c）～（f）分別為采用DWT方法、NSCT方法，NSCT-PCNN方法和文中方法的融合結(jié)果.由3（a）和（b）可以看出可見光圖像房屋、樹木等信息豐富，但是由于煙霧的遮擋，看不見煙霧中奔跑的人和火源，而紅外圖像中可以看到跑動的人和火源等目標(biāo).圖3（c）～（f）可以看出，幾種融合方法都很好地保留了可見光圖像中的背景信息和紅外圖像中的目標(biāo)信息.但是前三種方法整體對比度低，房屋、樹木等輪廓邊緣模糊，圖3（f）更多地保留了可見光圖像中的樹木、房屋等的邊緣細(xì)節(jié)信息，背景更清晰，而且還可以發(fā)現(xiàn)，對于天空中的云，圖3（f）融合了更多的紅外圖像特征信息.

紅外與可見光圖像融合主要是為了利用兩者信息互補(bǔ)性，彌補(bǔ)單一源圖像信息的不足，同時提高紅外影像的分辨率，盡可能多的保留紅外的目標(biāo)特性和可見光圖像的光譜特性，因此在客觀評價指標(biāo)上，本文主要采用了信息熵（Information Entropy，IE）、交叉熵（Cross Entropy，CE）、聯(lián)合熵（Union Entropy，UE）、標(biāo)準(zhǔn)差（Standard Difference，SD）和偏差指數(shù)（Difference Coefficient，DC）等［18］指標(biāo)進(jìn)行評價，其結(jié)果如表1、表2所示.

由表1、表2可以看出，文中算法信息熵最大，表明該算法融合結(jié)果所包含的信息量最豐富；聯(lián)合熵最大，交叉熵最小，表明該算法融合的信息最多，對原圖像信息保留程度更好，與原圖像灰度分布間的信息差異最??；標(biāo)準(zhǔn)差最大，則融合圖像灰度分布離散程度最大，對比度更高，目視效果更好；偏差指數(shù)最小，反映了融合圖像與原圖像間在光譜信息上相對差異最小，說明融合圖像對原始圖像的光譜信息保留越好.客觀評價與主觀評價基本一致.

表1　不同融合算法性能比較（第一組實驗）

表2　不同融合算法性能比較（第二組實驗）

由以上分析可得，本文提出的方法融合圖像對比度高，目標(biāo)信息突出，邊緣紋理等細(xì)節(jié)信息更豐富，從主客觀評價看，具有更好的融合性能.

5 結(jié)論

針對紅外與可見光圖像融合，提出一種結(jié)合邊緣特征和PCNN的NSCT域內(nèi)紅外與可見光圖像融合方法，充分利用了NSCT靈活的多分辨率、多方向特性和PCNN全局耦合和脈沖同步激發(fā)的特性.對低頻子帶，采用基于邊緣的融合方法，充分利用圖像的邊緣特征，盡可能保留圖像中的邊緣細(xì)節(jié)信息；對于高頻子帶，提出一種基于特征激勵的自適應(yīng)PCNN融合方法，采用方向信息設(shè)置鏈接強(qiáng)度，使用一種改進(jìn)的空間頻率特征激勵PCNN，最后根據(jù)脈沖點火幅度來選擇高頻方向子帶系數(shù)，更加符合人眼視覺系統(tǒng)，而且迭代次數(shù)大大減少，取得了很好效果.通過兩組紅外與可見光圖像融合實驗表明，該方法較好地保留了可見光圖像中豐富的場景信息，又很好地融入了紅外圖像的目標(biāo)信息，融合對比度高，光譜細(xì)節(jié)信息豐富.

［1］Xiang T，Yan L，Gao R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain［J］.Infrared Physics&Technology，2015，69：53-61.

［2］Da Cunha A L，Zhou Jian-ping，Do M N.The nonsubsampled contourlet transform：theory，design，and applications［J］.IEEE Transactions on Image Processing，2006，15 （10）：3089-3101.

［3］Nikolov S G，Bull D R，Canagarajah C N，et al.Fusion of 2-D images using their multi-scale edges［A］.Proceedings of 15th International Conference on Pattern Recognition ［C］.Barcelona：IEEE，2000.41-44.

［4］晁銳，張科，李言俊.一種基于小波變換的圖像融合算法［J］.電子學(xué)報，2004，32（5）：750-753. Chao Rui，Zhang Ke，Li Yan-jun.An image fusion algorithm using wavelet transforms［J］.Acta Electronica Sinica，2004，32（5）：750-753.（in Chinese）

［5］連靜，王珂，李光鑫.基于邊緣的小波圖像融合算法［J］.通信學(xué)報，2007，28（4）：18-23. Lian Jing，Wang Ke，Li Guang-xin.Edge-based image fusion algorithm with wavelet transform［J］.Journal on Communications，2007，28（4）：18-23.（in Chinese）

［6］Zou J，Zhao W.An image fusion algorithm based on compact image coding from multi-scale edges［A］.The 9th International Conference on Signal Processing［C］.Beijing，China：IEEE，2008.1079-1082.

［7］童濤，楊桄，孟強(qiáng)強(qiáng)，等.基于邊緣特征的多傳感器圖像融合算法［J］.紅外與激光工程，2014，43（1）：311-317. Tong Tao，Yang Guang，Meng Qiangqiang，et al.Multi-sensor image fusion algorithm based on edge feature［J］.Infrared and Laser Engineering，2014，43（1）：311-317.（in Chinese）

［8］Liu K，Guo L，Li H，et al.Fusion of infrared and visible light images based on region segmentation［J］.Chinese Journal of Aeronautics，2009，22（1）：75-80.

［9］李美麗，李言俊，王紅梅，等.基于NSCT和PCNN的紅外與可見光圖像融合方法［J］.光電工程，2010，37（6）：90 -95. Li Mei-li，Li Yan-jun，Wang Hong-mei，et al.Fusion algorithm of infrared and visible images based on NSCT and PCNN［J］.Opto-Electronic Engineering，2010，37（6）：90 -95.（in Chinese）

［10］Monica Subashini M，Sahoo S K.Pulse coupled neural networks and its applications［J］.Expert Systems with Applications，2014，41（8）：3965-3974.

［11］Ikuta C，Zhang S，Uwate Y，et al.A novel fusion algorithm for visible and infrared image using non-subsampled contourlet transform and pulse-coupled neural network［A］. The 9th International Conference on Computer Vision Theory and Applications［C］.Lisbon，Portugal：ACM，2014.160-164.

［12］廖勇，黃文龍，尚琳，等.Shearlet與改進(jìn)PCNN相結(jié)合的圖像融合［J］.計算機(jī)工程與應(yīng)用，2014，50（2）：142-146. Liao Yong，Huang Wen-long，Shang Lin，et al.Image fusion based on Shearlet and improved PCNN［J］.Computer Engineering and Applications，2014，50（2）：142-146.（in Chinese）

［13］Das S，Kundu M K.NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency［J］.Medical&Biological Engineering&Computing，2012，50（10）：1105-1114.

［14］Chai Y，Li H F，Guo M Y.Multifocus image fusion scheme based on features of multiscale products and PCNN in lifting stationary wavelet domain［J］.Optics Communications，2011，284（5）：1146-1158.

［15］李奕，吳小俊.粒子群進(jìn)化學(xué)習(xí)自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像融合方法研究［J］.電子學(xué)報，2014，42 （2）：217-222. Li Yi，Wu Xiao-jun.A novel image fusion method using self-adaptive dual-channel pulse coupled neural networks based on PSO evolutionary learning［J］.Acta Electronica Sinica，2014，42（2）：217-222.（in Chinese）

［16］Y C，Li H F，Qu J F.Image fusion scheme using a novel dual-channel PCNN in lifting stationary wavelet domain ［J］.Optics Communications，2010，283（19）：3591-3602.

［17］劉盛鵬，方勇.基于Contourlet變換和IPCNN的融合算法及其在可見光與紅外線圖像融合中的應(yīng)用［J］.紅外與毫米波學(xué)報，2007，26（03）：217-221. Liu Sheng-peng，F(xiàn)ang Yong.Infrared image fusion algorithm based on contourlet transform and improved pulse coupled neural network［J］.Journal of Infrared and Millimeter Waves，2007，26（03）：217-221.（in Chinese）

［18］Xu H，Jiang T.Multi-source remote sensing image fusion algorithm based on combined wavelet transform and HIS transform［J］.Journal of Convergence Information Technology，2012，7（18）：392-400.

閆 利 男，1966年8月出生于山西山陰，1999年在武漢大學(xué)獲得大地測量與測量工程博士，現(xiàn)為武漢大學(xué)教授、博士生導(dǎo)師，主要從事攝影測量與遙感、地面三維激光掃描的研究.

E-mail：lyan@sgg.whu.edu.cn

向天燭 男，1988年12月出生于湖北宜昌，現(xiàn)為武漢大學(xué)攝影測量與遙感專業(yè)博士生，主要從事攝影測量、遙感圖像處理的研究.

Email：skylabs@whu.edu.cn

Fusion of Infrared and Visible Images Based on Edge Feature and Adaptive PCNN in NSCT Domain

YAN Li1，XIANG Tian-zhu1，2

（1.School of Geodesy and Geomatics，Wuhan University，Wuhan，Hubei 430079，China；2.State key Laboratory of Information Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan，Hubei 430079，China）

To improve the contrast and preserve more image details in the fusion of infrared and visible images，a fusion method for infrared and visible images based on nonsubsampled contourlet transform（NSCT）combined with image edge feature and adaptive pulse coupled neural network（PCNN）is proposed.For the low frequency subband，the fusion is based on edges of images.For the high frequency subbands，the orientation information of each pixel in images is utilized as the linking strength，and a modified spatial frequency is adopted as the input to motivate the adaptive PCNN，and the fire amplitude is employed to determine the coefficients selection.Experimental results indicate the effectiveness of the proposed algorithm.

image fusion；nonsubsampled contourlet transform；pulse coupled neural network；edge feature；spatial frequency；infrared image

TP391.41

A

0372-2112（2016）04-0761-06

電子學(xué)報URL：http：//www.ejournal.org.cn 10.3969/j.issn.0372-2112.2016.04.002

2014-09-25；

2015-04-30；責(zé)任編輯：李勇鋒

國家自然科學(xué)基金（No.41271456）