基于剪切波變換與直覺模糊PCNN模型的圖像融合方法

E-mail:trusen@qq.com

基于剪切波變換與直覺模糊PCNN模型的圖像融合方法

張耀軍，栗磊，吳桂玲

(信陽農(nóng)林學院計算機系，河南信陽464000)

摘要：針對傳統(tǒng)圖像融合方法計算復(fù)雜度高、運行機制過于機械的問題，提出了一種基于剪切波變換(ST)與直覺模糊-脈沖耦合神經(jīng)網(wǎng)絡(luò)(IF-PCNN)模型的新型圖像融合方法.利用ST優(yōu)越的圖像信息捕捉性能對源圖像進行多尺度多方向分解，對經(jīng)典PCNN模型進行改進，賦予IF性能形成IF-PCNN新型模型，并對低頻子帶圖像和一系列高頻子帶圖像進行融合，最后采取ST反變換獲得最終融合結(jié)果圖像.仿真結(jié)果表明，同現(xiàn)有的幾種經(jīng)典融合方法相比，文中提出的方法在主客觀評價過程中均具有顯著的優(yōu)勢.

關(guān)鍵詞：剪切波變換；脈沖耦合神經(jīng)網(wǎng)絡(luò)；直覺模糊；圖像融合

收稿日期：2014-12-20;修改稿收到日期:2015-02-13

基金項目:河南省基礎(chǔ)與前沿技術(shù)研究計劃資助項目(132300410452)

作者簡介：張耀軍(1979—)，男，河南信陽人，講師，碩士.主要研究方向為網(wǎng)絡(luò)信息安全與圖像智能信息處理.

中圖分類號：TP 391.41文獻標志碼：A

Technique for image fusion based on shearlet transform and

intuitionistic fuzzy pulse coupled neural networks

ZHANG Yao-jun，LI Lei，WU Gui-ling

(Department of Computer Science,Xinyang College of Agriculture and Foresty,Xinyang 464000,Henan,China)

Abstract:In order to settle the drawbacks including high computational complexities and the unreasonable mechanism of traditional image fusion methods,a novel technique for image fusion based on shearlet transform(ST) and intuitionistic fuzzy pulse coupled neural networks(IF-PCNN) is proposed in this paper.Due to the better competence of image information capturing,ST is utilized to conduct the multi-scale and multi-directional decompositions of source images.In addition,by combining the IF characteristic,the classic PCNN model is improved to be IF-PCNN,which is responsible for the fusion of low-frequency sub-images and a series of high-frequency ones,respectively.Finally,the final fused image can be obtained by using inverse ST.Compared with current typical techniques,the results demonstrate that the proposed one has remarked superiorities in terms of both subjective and objective evaluations.

Key words:shearlet transform;pulse coupled neural network;intuitionistic fuzzy;image fusion

由多傳感器獲取的關(guān)于同一場景的不同圖像，通常擁有大量的互補信息和冗余信息[1-2].對條件不佳場景下的可見光圖像和紅外圖像來說，可見光圖像擅長對場景中的環(huán)境和背景信息加以描述，畫面紋理清晰；而紅外圖像則側(cè)重于對場景中的熱源信息進行描述，著重把握和捕捉紅外輻射信息突出的目標.因此，對不同類型圖像傳感器獲取的關(guān)于同一場景的不同圖像進行融合是非常有必要的.

與小波變換[3]、脊波變換[4]和輪廓波變換[5-6]等幾種經(jīng)典的變換域方法相比，剪切波變換(Shearlet transform, ST)[7-9]無論在圖像信息捕捉能力，還是算法計算復(fù)雜度方面均具有顯著的優(yōu)勢，并逐漸成為圖像融合領(lǐng)域的主流方法和研究熱點，并且ST也已被廣泛應(yīng)用于圖像融合、圖像特征提取等領(lǐng)域.而作為第三代人工神經(jīng)網(wǎng)絡(luò)模型中的典型代表，脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse coupled neural networks,PCNN)[10]因具有優(yōu)越的同步脈沖發(fā)放特性，也被廣泛應(yīng)用于圖像處理領(lǐng)域.

目前，PCNN模型已大量應(yīng)用于圖像去噪、圖像分割和圖像融合等領(lǐng)域中，PCNN模型中大量待定參數(shù)的存在和異常復(fù)雜的運行機制成為其性能提升的瓶頸.針對此問題，國內(nèi)外大量學者對經(jīng)典PCNN模型進行了結(jié)構(gòu)上的改進，產(chǎn)生了一系列新型圖像處理方法[11-15].然而，PCNN模型中的非0即1的機械式脈沖輸出方式的改進卻鮮有報道.針對此問題，文中將直覺模糊(Intuitionistic fuzzy, IF)[16]機制引入PCNN模型，構(gòu)建IF-PCNN模型.另外，將ST引入文中提出的圖像融合方法，利用其完成源圖像的多尺度和多方向分解，各生成一幅低頻微觀子帶圖像和一系列高頻微觀子帶圖像.然后，由IF-PCNN完成對應(yīng)微觀子帶圖像的融合過程.最后，采用ST反變換生成最終融合結(jié)果圖像.

1ST基本模型

Guo等構(gòu)造了合成膨脹下的仿射系統(tǒng)模型，并提出在維數(shù)n=2條件下的系統(tǒng)表達公式[17]299：

令φ∈L2(R2)滿足下列條件[17]300：

其中，φ*為函數(shù)φ的傅氏變換;ξ,ξ1,ξ2為自變量;φ1和φ2分別滿足[17]300：

每一個剪切波位于近似大小為22j×2j、線方向斜率為2-jl的梯形對上(圖1(a)).根據(jù)小波理論，由一維小波張成的二維小波基具有正方形的支撐區(qū)間，在尺度j，其近似邊長為2j(圖1(b)).當尺度j變大時，小波支撐基的面積隨之變大，但是由于其無方向性，非零的小波系數(shù)以指數(shù)形式增長，導致大量不可忽略的系數(shù)出現(xiàn).小波逼近奇異曲線最終表現(xiàn)為“點”逼近過程，而非原曲線最優(yōu)的稀疏表示.剪切波以近似長條形即梯形對去逼近曲線，當尺度j變大時，其支撐基的線方向斜率2-jl也隨之變化，使得這種近似長條形的支撐基具有各向異性，能夠有效捕獲方向信息，它是圖像中邊緣等特征的真正的稀疏表示.圖2給出了剪切波變換中的頻率分割示意.

( a) ST的梯形支撐區(qū)間

( b)二維離散小波的支撐區(qū)間

圖2　 ST頻率分割示意

2直覺模糊PCNN模型

經(jīng)典PCNN模型擁有大量的待定參數(shù)和復(fù)雜的運行機制，雖然該模型具有豐富的生物學背景，但在很大程度上，圖像處理的最終效果仍然主要取決于待定參數(shù)的設(shè)置是否合理，而參數(shù)的設(shè)置又常常需要依靠研究者的主觀經(jīng)驗和多次實驗調(diào)試結(jié)果來實現(xiàn)，因此，對經(jīng)典的PCNN模型進行適當?shù)母倪M是非常有必要的.文中提出一種直覺模糊PCNN(IF-PCNN)模型，該模型主要進行3個方面的改進：① 對饋送域輸入F進行改進，由綜合空間頻率(Spatialfrequency,SF)來決定；② 對鏈接強度β進行改進，變換為由改進型拉普拉斯算子(ImprovedLaplacianoperator, OIL)來確定；③ 徹底改變以往模型中神經(jīng)元輸出狀態(tài)非0即1的極端狀態(tài)，取而代之的是一種以直覺模糊隸屬度和非隸屬度自適應(yīng)決定的動態(tài)輸出機制[11].

2.1饋送域輸入F的改進

由于圖像中重要目標信息的像素灰度值，往往與其周圍的像素點信息存在明顯的差異，而圖像的FS[18]反映了一幅圖像中像素點的活潑指數(shù)，F(xiàn)S數(shù)值越大表明像素點越活潑突出.因此，可以考慮由每個像素點對應(yīng)的綜合FS數(shù)值來代替饋送域輸入.FS的數(shù)學表達式為

針對圖像I(i,j)，F(xiàn)R,FC,FMD與FSD的表達式分別為

顯然，根據(jù)(6)～(9)式，可以很容易計算出圖像中每一個像素點的FS值，F(xiàn)S越大表示對應(yīng)點相對周圍4個方向的像素點更為活躍和突出，即該像素點具有更為豐富的信息.

輸入F改進后具有以下優(yōu)勢：① 傳統(tǒng)經(jīng)典PCNN模型饋送域輸入項目過多，涉及到大量參數(shù)，而用綜合FS來代替原始的饋送域輸入，不僅可以更直接、更精確地描述像素點內(nèi)在特征信息，而且可以減少參數(shù)的設(shè)置；② 綜合FS收集了像素點水平方向、垂直方向、主對角線方向與副對角線方向的梯度信息，摒棄了以往僅考慮單個像素點灰度值的情況，評價更加客觀；③ 高頻微觀子帶圖像中通常涉及大量負系數(shù)，傳統(tǒng)PCNN模型無法處理饋送輸入域為負數(shù)的情況，而綜合FS的結(jié)果始終為非負，避免了傳統(tǒng)模型的缺陷.

2.2鏈接強度β的改進

傳統(tǒng)PCNN模型中的參數(shù)β，決定了內(nèi)部連接項U中饋送輸入域F與鏈接輸入域L的成分之比.β的數(shù)值越大，鏈接輸入L在U中所占的比例就越大.將鏈接強度β賦予一個常數(shù)的方法雖然較為簡單，但忽視了相鄰神經(jīng)元之間的相互聯(lián)系，未能充分利用鏈接輸入域為神經(jīng)元提供的信息.因此，文中提出采用改進型拉普拉斯算子OIL來確定鏈接強度β.

OIL的數(shù)學表達式為

OIL記錄了中心像素點的拉普拉斯能量，OIL的數(shù)值越大，代表該像素點的能量越高;反之，則代表相應(yīng)能量越低.因此，可以用OIL的數(shù)值作為鏈接強度β的數(shù)值，即

其中r為鄰域半徑，通常鄰域取作一個正方形區(qū)域，且n為一個不小于3的奇數(shù).

鏈接強度β改進后具有以下優(yōu)勢：① 摒棄了以往鏈接強度值設(shè)置較為隨意的問題；② 通過收集中心像素點與相鄰像素點間的灰度值差異，自適應(yīng)地確定鏈接強度的數(shù)值.

2.3輸出機制的改進

傳統(tǒng)經(jīng)典PCNN模型的輸出機制僅將神經(jīng)元的狀態(tài)劃分為點火與不點火兩種狀態(tài)，這種劃分方式過于粗糙，僅僅考慮了兩種極端情況，未能清晰地描述未點火神經(jīng)元未來的點火趨勢.為了精確地刻畫每個神經(jīng)元的點火趨勢，文中提出采用直覺模糊集中的隸屬度函數(shù)加以描述.其中，隸屬度函數(shù)定義為

其中，i,j表示每個神經(jīng)元對應(yīng)的空間位置;μ為隸屬度函數(shù);U為內(nèi)部連接項;θ表示閾值；n為迭代次數(shù).當內(nèi)部連接項U小于閾值θ時，隸屬度函數(shù)μij等于Uij/θij，顯然，隸屬度函數(shù)μ小于1，此時神經(jīng)元不點火，但隸屬度函數(shù)μij的大小反映了該神經(jīng)元的點火趨勢，輸出值Yij=Uij/θij；反之，當內(nèi)部連接項U大于等于閾值θ時，神經(jīng)元將立即點火，此時隸屬度函數(shù)μ為1，且輸出值Yij=1.

改進后具有以下優(yōu)勢：傳統(tǒng)經(jīng)典PCNN模型只能區(qū)分點火和不點火兩種狀態(tài)，而改進輸出機制后的模型,可以清晰表達和度量神經(jīng)元距離點火狀態(tài)的潛在差距，在描述上更加細化.

3基于Shearlet與IF-PCNN模型的圖像融合算法

通過改進傳統(tǒng)經(jīng)典PCNN模型，IF-PCNN模型的數(shù)學表達式如下：

其中，Lij為鏈接域輸入；Wijkl為權(quán)值矩陣；αθ為衰減系數(shù)；Vθ為瞬變閾值.

與經(jīng)典PCNN模型相比，IF-PCNN模型的運行機制更為直觀、簡潔，待定參數(shù)也由以前的9個縮減為3個，大大簡化了運行機制，減少了運行過程中主觀不確定因素的干擾.

① 采用ST理論獲得一系列多尺度、多方向下的微觀子圖像；② 利用構(gòu)建的IF-PCNN模型實現(xiàn)對應(yīng)尺度、對應(yīng)方向的微觀子圖像的融合過程；③ 進行ST反變換獲得最終結(jié)果.這里，以2幅待融合源圖像A和B為例，其中A和B為關(guān)于同一場景的不同圖像傳感器獲取的已完成配準的源圖像.圖像融合過程如圖3所示.

圖3　基于 ST與 IF- PCNN模型的圖像融合過程

圖3中,low和high分別代表低頻微觀融合子圖像和高頻微觀融合子圖像部分;ST表示剪切波變換;I表示最終融合圖像.

基于Shearlet與IF-PCNN的圖像融合算法具體步驟如下：

1)ST將源圖像A,B分解為低頻微觀系數(shù){AS,0,BS,0}和高頻微觀系數(shù){AS,L,BS,L}，其中，尺度級數(shù)為S，L是S下的方向分解級數(shù).

2)分別計算低頻微觀系數(shù)和高頻微觀系數(shù)的綜合FS數(shù)值，并將其作為IF-PCNN模型中的饋送域輸入F的數(shù)值.

3)分別將高、低頻微觀系數(shù)子帶圖像的OIL作為鏈接強度β的數(shù)值.

4)根據(jù)(13)～(17)式運行IF-PCNN模型，并依據(jù)點火次數(shù)完成高、低頻微觀子圖像的融合過程：

其中Nfire為點火次數(shù).

5)利用ST反變換對融合后的低頻微觀子帶融合圖像和一系列高頻微觀子帶融合圖像進行處理,獲取結(jié)果圖像I.

圖4給出了文中算法關(guān)于多聚焦圖像的仿真實例.從圖4可以看出，基于文中算法的仿真圖像對原始圖像具有很好的融合性能.

圖4　仿真實例

4仿真實驗

選取2組已配準圖像作為待融合源圖像進行文中方法的性能驗證實驗,以Windows 7系統(tǒng)和Matlab 2012為平臺，仿真、比較與分析包括文中方法在內(nèi)的幾種融合方法的融合效果.

2組源圖像分別為一對多聚焦圖像和一對多波段遙感圖像(圖5)，這2組圖像均含有256級灰度級，且圖片大小均為512×512像素.在多聚焦圖像組，第一幅圖像中左側(cè)區(qū)域較為清晰，可以清楚地看見“FOR BEST TASTE”的標識，但右側(cè)區(qū)域較為模糊，憑肉眼已經(jīng)無法辨識其中的信息；在第二幅圖像中，情況完全相反，右側(cè)區(qū)域中的“ES Magnifier Quality”標識非常清晰，而左側(cè)區(qū)域的標識卻無法辨清.在多波段遙感圖像組中可以發(fā)現(xiàn)，2幅源圖像分別側(cè)重于不同信息的描述和表達，兩者均擁有相當豐富的冗余和互補信息.

在融合仿真實驗中，文中方法的參數(shù)設(shè)置為：ST多尺度分解級數(shù)為3層，方向分解級數(shù)由粗至細分別為10,10和18，鄰域空間半徑r=3，

圖5　仿真源圖像

αθ=0.2,Vθ=20,迭代次數(shù)n=200.為了與文中方法作比較，選取了另外3種方法，分別為多通道PCNN方法(方法1)[19]、ST方法(方法2)[20]與拉普拉斯變換方法(方法3)[21].為了保證融合效果的公正客觀性，方法1～3中的參數(shù)仍沿用相關(guān)文獻中的設(shè)置模式.融合結(jié)果除采取主觀評價外，還選取了信息熵(EI)、互信息量(IM)[22]、空間頻率(fS)以及加權(quán)融合質(zhì)量指數(shù)(QWF)[23]4種客觀評價指標作為評價依據(jù).EI數(shù)值表征圖像中包含信息量的大小，數(shù)值越大，融合圖像信息越豐富.IM數(shù)值反映了最終融合圖像與源圖像間的交互信息，IM數(shù)值越大，表征融合圖像中涉及到源圖像的原始信息越豐富.fS可以在一定程度上反映融合圖像中各像素點的活躍程度，fS數(shù)值越大，代表融合圖像包含的顯著信息越豐富.QWF反映了最終融合圖像相對原始圖像的信息保留程度，QWF的數(shù)值與信息保留程度成正比.圖6和圖7給出了2組待融合源圖像的融合效果.

圖6　多聚焦圖像融合結(jié)果

圖7　多波段遙感圖像融合結(jié)果

實驗結(jié)果表明，基于方法1的融合圖像在直觀效果上顯得“較黑”，且沒有能夠?qū)υ磮D像中的細節(jié)信息進行充分描述，整體效果較差；方法2和方法3生成的最終融合效果圖像雖然在整體亮度水平上較為理想，但在細節(jié)信息表達能力上表現(xiàn)不佳，甚至不如方法1的效果.例如，在圖6中的右上方標識“ES Maginifier Quality”的描述上，方法2和方法3的仿真效果較為模糊，相對而言，方法1的細節(jié)信息較為清晰，但遠遠不及文中方法得出的結(jié)果；在圖7右下方的白色建筑物描述上，方法1的結(jié)果較方法2和方法3顯得更有層次感，而文中方法的表現(xiàn)則更令人滿意.

表1以EI,IM,fS,QWF4種客觀評價指標為例，給出了兩組仿真實驗中4種對比方法的比較結(jié)果.結(jié)果表明，文中方法較其他3種融合方法擁有更理想的客觀指標結(jié)果，無論在信息量、交互信息量、空間頻率還是加權(quán)融合質(zhì)量指數(shù)指標上均具有顯著優(yōu)勢.因此，客觀指標數(shù)據(jù)與直觀評價結(jié)果是大致吻合的.

表1　4種融合方法的客觀指標值比較

5結(jié)束語

文中將IF理論模型與PCNN相結(jié)合構(gòu)成一種新型模型，并綜合Shearlet變換理論的優(yōu)勢，提出一種新型的圖像融合方法，針對經(jīng)典PCNN模型的缺陷進行了改進，提出了IF-PCNN理論模型，并將其作為高、低頻微觀子帶圖像的融合方法.仿真實驗驗證了文中方法的有效性.

參考文獻:

[1]馬東輝,薛群,柴奇,等.基于圖像信息的紅外與可見光圖像融合方法研究[J].紅外與激光工程,2011,40(6):1168.

[2]劉斌,彭嘉雄.基于非下采樣三通道不可分對稱小波的多光譜圖像融合[J].電子學報,2011,39(5):1094.

[3]陳浩，王延杰.基于小波變換的圖像融合技術(shù)研究[J].微電子學與計算機，2010,27(5):39.

[4]趙子沂,鄭永果.基于脊波的多光譜和全色圖像融合方法研究[J].計算機工程與應(yīng)用,2012,48(15):164.

[5]王斐,梁曉庚,崔彥凱,等.非負矩陣分解和新輪廓波變換的圖像融合方法[J].計算機工程與應(yīng)用,2013,49(5):150.

[6]莫建文,馬愛紅,首照宇,等.基于Brenner函數(shù)與新輪廓波變換的多聚焦融合算法[J].計算機應(yīng)用,2012,32(12):3353.

[7]王雷,李彬,田聯(lián)房.基于平移不變剪切波變換的醫(yī)學圖像融合[J].華南理工大學學報(自然科學版),2011,39(12):13.

[8]LIU X,ZHOU Y,WANG J J.Image fusion based on shearlet transform and regional features[J].InternationalJournalofElectronicsandCommunications,2014,68(6):471.

[9]SHI C,MIAO Q G,XU P F.A novel algorithm of remote sensing image fusion based on Shearlets and PCNN[J].Neurocomputing,2013,117(6):47.

[10]ECKHORN R.Neural mechanisms of scene segmentation:recordings from the visual cortex suggest basic circuits or linking field models[J].IEEETransactionsonNeuralNetwork,1999,10(3):464.

[11]El-TAWEEL G S,HELMY A K.Image fusion scheme based on modified dual pulse coupled neural network[J].IETImageProcessing,2013,7(5):407.

[12]ZHUANG H L,LOW K S,YAU W Y.Multichannel pulse-coupled-neural-network-based color image segmentation for object detection[J].IEEETransactionsonIndustrialElectronics,2012,59(8):3299.

[13]CHEN Y L,PARK S K,MA Y D,et al.A new antomatic parameter setting method of a simplified PCNN for image segmentation[J].IEEETransactionsonNeuralNetworks,2011,22(6):880.

[14]CHOU N,WU J R,BAI B R,et al.Robust automatic rodent brain extraction using 3-D pulse-coupled neural networks[J].IEEETransactionsonImageProcessing,2011,20(9):2554.

[15]ZHONG Y F,LIU W F,ZHAO J,et al.Change detection based on pulse-coupled neural networks and the NMI feature for high spatial resolution remote sensing imagery[J].IEEEGeoscienceandRemoteSensingLetters,2015,12(3):537.

[16]ATANASSOV K.Intuitionistic fuzzy sets[J].FuzzySetsandSystems,1986,20(1):87.

[17]GUO K,LABATE D.Optimally sparse multidimensional representation using shearlets[J].SIAMJournalofMathematicalAnalysis,2008,39(1):298.

[18]ZHENG Y,ESSOCK E A,HANSEN B C,et al.A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J].InformationFusion,2007,8(2):177.

[19]WANG Z B,MA Y D.Medical image fusion usingm-PCNN[J].InformationFusion,2008,9(2):176.

[20]MIAO Q G,SHI C,XU P F,et al.A novel algorithm of image fusion using shearlets[J].OpticsCommunication,2011,284(6):1540.

[21]BURT P,ADELSON E.The Laplacian pyramid as a compact image code[J].IEEETransactionsonCommunications,1983,31(4):532.

[22]LIU Z,BLASCH E,XUE Z Y,et al.Fusion algorithms for context enhancement in night vision:a comparative study[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(1):94.

[23]苗啟廣.多傳感器圖像融合方法研究[D].西安：西安電子科技大學,2005.

(責任編輯惠松騏)