一種基于NSCT和PCNN的圖像融合算法

石瀚洋，楊 靜，趙 焱

(太原理工大學(xué)信息工程學(xué)院，山西太原 030024)

圖像融合是信息融合的重要組成部分，它幫助研究人員得到更清晰、可靠、高理解度的高質(zhì)量圖片，是圖像處理的基礎(chǔ)。隨著電子技術(shù)和傳感器技術(shù)的快速發(fā)展，圖像融合技術(shù)在醫(yī)療、生物、工程檢測(cè)、軍事、等方面都發(fā)揮了重要的作用。近年來(lái)，在目標(biāo)識(shí)別、人臉識(shí)別、目標(biāo)檢測(cè)、目標(biāo)跟蹤、醫(yī)療成像、對(duì)地觀測(cè)和計(jì)算機(jī)視覺(jué)等領(lǐng)域更是如此。圖像融合是將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)場(chǎng)景解釋的信息處理過(guò)程［1］。圖像融合通常在像素級(jí)、特征級(jí)和決策級(jí)三個(gè)層級(jí)中展開(kāi)［2］。其中，像素級(jí)融合是核心也是基礎(chǔ)。

在圖像融合的諸多方法中，基于多尺度分解的圖像融合尤為重要。其中，小波變換的時(shí)－頻特性優(yōu)良，展現(xiàn)出很好的多分辨率特性?？尚枰f(shuō)明的是，其分解出的方向特性信息有限(橫向、縱向和對(duì)角線方向)。因此，在研究者們通過(guò)不斷的努力下，新的圖像尺度分解方法不斷被提出(如脊波變換、曲波變換)這些圖像變換方法都有各自的優(yōu)點(diǎn)，可是應(yīng)用效果總是不盡如人意。Do等人在2002年提出了Contourlet變換［3］，解決了方向性和多分辨率特性的問(wèn)題，是一種有效的圖像多尺度表示方法。研究證明基于Contourlet變換的融合算法是優(yōu)于上述那些算法的。但是下采樣被應(yīng)用在變換過(guò)程中，使其沒(méi)有體現(xiàn)出平移不變性。這會(huì)使得偽吉布斯現(xiàn)象出現(xiàn)，從而影響融合效果。由A.L.Cunha于2006年等提出的NSCT(Nonsubsample Contourlet Transform)改變了這一局面，它不但與Contourlet變換一樣，擁有多尺度、多方向特性，它還具有平移不變性，這樣從根本上消除了偽吉布斯現(xiàn)象。

PCNN是上世紀(jì)末Eehorn等提出的第三代人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，它是模擬貓大腦皮層的生物學(xué)特性提出的，它具有全局耦合性和脈沖同步性，對(duì)圖像的每個(gè)像素的特性與全局特性能夠做到兼顧。本文在分析NSCT的基礎(chǔ)上，針對(duì)多聚焦圖像在融合時(shí)需要著重考慮清晰度的問(wèn)題，將NSCT和PCNN組合應(yīng)用，在NSCT變換域提出基于PCNN和清晰度融合規(guī)則相結(jié)合的多聚焦融合方法。

1 非下采樣Contourlet變換(NSCT)

NSCT是由Contourlet變換改進(jìn)衍生而來(lái)的，它具有Contourlet變換所見(jiàn)長(zhǎng)的多尺度、多方向特性。與此同時(shí)，為了防止偽吉布斯現(xiàn)象的出現(xiàn)，NSCT采用非下采樣金字塔(NSP)分解和非下采樣方向?yàn)V波器組(NSDFB)來(lái)實(shí)現(xiàn)逐層的圖像分解。NSP分解在低通分量上進(jìn)行，每一級(jí)都獲得一對(duì)子帶圖像(低通子帶圖像和高通子帶圖像)。由此，圖像在通過(guò)級(jí)NSP分解之后，一共得到了1個(gè)低通和k個(gè)高通圖像，共k+1個(gè)子帶圖像被分解出來(lái)，這組子帶圖像的尺寸和大小與源圖像相同。NSDFB是一組二通道非采樣濾波器組，頻率響應(yīng)特性為扇形。它的構(gòu)建基礎(chǔ)是在Bamberger所設(shè)計(jì)的扇形方向?yàn)V波器組。與后者不同的是，前者移除了方向?yàn)V波器組中的下采樣部分。如果對(duì)某子帶圖像做n級(jí)方向分解，2n個(gè)方向子帶圖像可以被得到，這些圖像的尺寸和大小同樣與源圖像相同，如圖1所示。

圖1 NSCT分解示意圖

2 脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)

PCNN是一個(gè)神經(jīng)網(wǎng)絡(luò)，它是由多個(gè)神經(jīng)元組成的。由于PCNN相對(duì)復(fù)雜，人們提出了一些簡(jiǎn)化模型。但是，無(wú)論如何簡(jiǎn)化，接收域、制域調(diào)和脈沖產(chǎn)生器是每個(gè)神經(jīng)元必須包括的3個(gè)部分。本文采用的是其中一種簡(jiǎn)化模型［4］

式中:I為輸入激勵(lì)，通常是點(diǎn)(i，j)的像素灰度值，每個(gè)像素對(duì)應(yīng)一個(gè)神經(jīng)元;F是神經(jīng)元的輸入部分，L是連接輸出;U對(duì)應(yīng)神經(jīng)元內(nèi)部活動(dòng)項(xiàng);Y是輸出;E為動(dòng)態(tài)閾值;W是神經(jīng)元的內(nèi)部連接矩陣。在此簡(jiǎn)化模型中，有4個(gè)參數(shù) W，β，aE，VE，其中，神經(jīng)元 (i，j)同神經(jīng)元 (k，l)的連接權(quán)Wijkl取值為

PCNN的整個(gè)工作過(guò)程為:脈沖輸出在某個(gè)神經(jīng)元發(fā)生時(shí)，這個(gè)神經(jīng)元的動(dòng)態(tài)門限會(huì)突然增大，這樣脈沖輸出不會(huì)在第二次輸入時(shí)產(chǎn)生，于是門限開(kāi)始衰減。一旦其內(nèi)部活動(dòng)項(xiàng)大于不斷衰減的門限值時(shí)，就會(huì)再次產(chǎn)生脈沖和周期變化。這里脈沖產(chǎn)生被研究者稱為點(diǎn)火。

3 基于清晰度和PCNN的NSCT多聚焦圖像融合

3.1 融合步驟

首先，通過(guò)NSCT分解對(duì)待融合圖像進(jìn)行處理，然后對(duì)低頻信息和高頻信息分別融合處理。融合規(guī)則充分考慮到多聚焦圖像的特點(diǎn)，最大限度地保留待融合圖像的互補(bǔ)信息以及特有信息，可以得到更高的融合質(zhì)量。最后在NSCT反變換后得到融合圖像(見(jiàn)圖2)。

圖2 本文算法流程圖

具體融合過(guò)程如下:

3)對(duì)融合后的系數(shù)進(jìn)行NSCT逆變換，算法結(jié)束，獲得融合結(jié)果F。

3.2 低頻子帶系數(shù)融合規(guī)則

圖像的低頻部分集中了圖像的主要能量。目前的低頻子帶融合規(guī)則一般包含簡(jiǎn)單的平均法、絕對(duì)值取大法、區(qū)域能量法等。由于這些方法沒(méi)有同時(shí)考慮到圖像的清晰度信息和邊緣信息，所以就會(huì)在一定程度上損失圖像的信息，降低圖像的清晰度和對(duì)比度，影響融合圖像的視覺(jué)效果。因此，本文對(duì)低頻子帶系數(shù)提出一種結(jié)合文獻(xiàn)［5］和文獻(xiàn)［6］的融合規(guī)則。

1)對(duì)源圖像A的低頻子帶系數(shù)定義一個(gè)變量EA，稱之為邊緣區(qū)域能量

同時(shí)，對(duì)圖像B定義變量EB，變量E反映了圖像的邊緣綜合信息，其方向?yàn)樗?、垂直和?duì)角線方向。

2)根據(jù)清晰度的概念給出局部清晰度G(m，n)。

式中:?Cj0(i，j)/?x，?Cj0(i，j)/?y)分別表示點(diǎn) (m，n)處沿x，y方向的微分，在圖像中表示為相鄰像素系數(shù)的變化率。l×l為以點(diǎn)(i，j)為中心的區(qū)域大小，本文取3×3的正方形區(qū)域。

3)經(jīng)過(guò)下式判別得到融合后的判別因子

式中:W1，W2為大于0的常數(shù)，用來(lái)調(diào)整兩項(xiàng)指標(biāo)的權(quán)重，本文取W1=0，W1=1 。

本文低頻子帶系數(shù)選用判別因子D較大的尺度系數(shù)，讓邊緣和清晰度信息得以最大程度地在融合圖像中體現(xiàn)。融合函數(shù)表達(dá)為

3.3 高頻子帶系數(shù)融合規(guī)則

高頻系數(shù)在圖像中所對(duì)應(yīng)的是細(xì)節(jié)信息(如邊緣和紋理)，人眼對(duì)這部分的信息識(shí)別最敏感，所以高頻融合規(guī)則的選取顯得尤為重要。為了使源圖像的特征信息得以充分保留，本文應(yīng)用基于自適應(yīng)PCNN的融合方法對(duì)高頻系數(shù)進(jìn)行處理。融合過(guò)程如下:

1)分解最高層分尺度J以外的其他J－1層，本文選用高頻系數(shù)作為PCNN的觸發(fā)神經(jīng)元?？臻g頻率與圖像的活躍程度有著成正比的關(guān)系，也就是說(shuō)，圖像越清晰，那么它的空間頻率也就越大。本文對(duì)對(duì)應(yīng)的神經(jīng)元的鏈接強(qiáng)度采取應(yīng)用拓延后的空間頻率［7］方式。這種空間頻率定義為

式中:RF為行頻率，CF為列頻率，MDF表示主對(duì)角頻率，SDF表示次對(duì)角頻率。

在PCNN系數(shù)中，鏈接強(qiáng)度β對(duì)于圖像融合起到關(guān)鍵的作用，其余參數(shù)的影響不大。鏈接強(qiáng)度表示為

式中:η為大于零的常數(shù)，用于調(diào)節(jié)β的取值。

2)分解最高層分尺度J的高頻系數(shù)，本文采用系數(shù)絕對(duì)值取大法

4 實(shí)驗(yàn)結(jié)果分析

4.1 融合實(shí)驗(yàn)

本文在MATLAB7.0環(huán)境下，實(shí)驗(yàn)數(shù)據(jù)采用PEPSI左右聚焦測(cè)試卡的圖像，圖像灰度為256級(jí)，大小為512×512，對(duì)本文提出的融合方法進(jìn)行融合實(shí)驗(yàn)，其中a=0.1，V=20，N=2 000。同時(shí)與目前常用的幾種融合方法進(jìn)行了對(duì)比實(shí)驗(yàn)，以證明本文方法的優(yōu)越性。方法一為小波變換融合，方法二為Contuorlet變換融合，方法三為NSCT簡(jiǎn)單融合，其主要融合方法為簡(jiǎn)單的系數(shù)取大法、均值法、區(qū)域方差法。公式實(shí)驗(yàn)結(jié)果見(jiàn)圖3。

4.2 融合結(jié)果評(píng)價(jià)

主觀評(píng)價(jià):從視覺(jué)效果來(lái)看，方法一視覺(jué)效果模糊，不能分辨出右上角字跡，右邊條形碼嚴(yán)重失真;方法二視覺(jué)效果明顯提高，字跡依稀可見(jiàn)，但是不夠清晰;方法三可以很容易地辨認(rèn)出右上角與罐體上字跡，但是字跡邊角不夠圓滑。本文方法實(shí)驗(yàn)效果最好，罐體上和測(cè)試卡清晰可見(jiàn)，字跡圓滑，條形碼可以清晰辨認(rèn)。

圖3 融合圖像實(shí)驗(yàn)圖

客觀評(píng)價(jià):本文選用信息熵、清晰度、交叉熵、平均梯度4個(gè)評(píng)價(jià)參數(shù)對(duì)以下幾種方法的圖像融合性能做出了定量的比較，如表1所示。

表1 多聚焦圖像不同融合算法性能比較

表1可以看出，本文算法大部分指標(biāo)優(yōu)于對(duì)比融合算法。其中，平均梯度、信息熵和清晰度越大，圖片質(zhì)量越好，交叉熵越小，圖片損失的信息越少，圖片質(zhì)量越好。從4種評(píng)價(jià)指標(biāo)來(lái)看，本文方法是4種方法中最好的。

結(jié)合主觀和客觀兩個(gè)方面，說(shuō)明本文算法是一種可行的融合方案。

4.3 與近年研究比較

近年來(lái)有許多文獻(xiàn)對(duì)以NSCT－PCNN為基礎(chǔ)的圖像融合方法進(jìn)行了研究［8－10］，它們都有自己的特點(diǎn)和不足，其中文獻(xiàn)［8］的方法沒(méi)有采用拓延的空間頻率，不能體現(xiàn)對(duì)角線方向的圖像信息;文獻(xiàn)［9］的方法在低頻分量沒(méi)有兼顧邊緣信息和清晰度;文獻(xiàn)［10］的方法沒(méi)有對(duì)PCNN作自適應(yīng)處理，使得PCNN參數(shù)需要憑經(jīng)驗(yàn)配置。

5 結(jié)束語(yǔ)

針對(duì)清晰度的高低反映了多聚焦圖像融合的融合效果好壞的特性，在NSCT變換域提出了一種基于清晰度和PCNN的融合算法。在對(duì)2幅圖像進(jìn)行NSCT變換之后，應(yīng)用本文的算法對(duì)不同的子帶系數(shù)進(jìn)行融合處理。然后對(duì)上述處理后的系數(shù)進(jìn)行NSCT逆變換，得到最終的融合結(jié)果。最后對(duì)本文提出的算法進(jìn)行主客觀的分析。實(shí)驗(yàn)表明，本文算法無(wú)論從主觀還是客觀，均比常用算法的融合質(zhì)量好，使得融合后的圖像清晰度提高。

:

［1］敬忠良，肖剛，李振華.圖像融合理論與應(yīng)用［M］.北京:高等教育出版社，2007.

［2］吳仰玉，紀(jì)峰，常霞，等.圖像融合研究新進(jìn)展［J］.科技創(chuàng)新導(dǎo)報(bào)，2013(1):49－54.

［3］DO M N，VETTERLI M.The contourlet transform:an efficient directional multiresolutionimage representation［J］.IEEE Transactions on Image Processing，2005，14(12):2091－2106.

［4］苗啟廣，王寶樹(shù).一種自適應(yīng)PCNN多聚焦圖像融合新方法［J］.電子與信息學(xué)報(bào)，2006，28(3):466－470.

［5］晁銳，張科，李言俊.一種基于小波變換的圖像融合算法［J］.電子學(xué)報(bào)，2004，32(5):750－753.

［6］王俊文，劉光杰，戴躍偉，等.基于非抽樣Contourlet變換的圖像模糊取證［J］.計(jì)算機(jī)研究與發(fā)展，2009(9):1549－1555.

［7］ZHENG Y，ESSOCK E A，HANSEN B C，et al.A new metric based on extended spatial frequency and its application to DWT based fusion algorithms［J］.Information Fusion，2007，8(2):177－179.

［8］傅圣雪，林忠宇.基于NSCT_PCNN算法的雷達(dá)圖像融合研究［J］.現(xiàn)代電子技術(shù)，2012，35(12):82－86.

［9］符強(qiáng)，任風(fēng)華，紀(jì)元法，等.基于NSCT和自適應(yīng)PCNN的遙感圖像融合方法［J］.計(jì)算機(jī)測(cè)量與控制，2012，20(5):1344－1346.

［10］李紅，吳粉俠，趙薔.基于NSCT與PCNN的圖像融合［J］.航空計(jì)算技術(shù)，2013，43(1):58－64.