基于改進PCNN的壓縮感知域圖像融合

劉 斌，田中佳

(燕山大學電氣工程學院，河北秦皇島066004)

1 引言

傳統(tǒng)的圖像融合算法對源圖像直接處理，需要較大存儲空間，這對于圖像傳感器規(guī)模擴大和實時性要求提高是一個巨大的挑戰(zhàn)。具有低采樣率、低能耗、低計算復雜度的壓縮感知理論(Compressive sensing，CS)［1］為圖像融合的研究提出了新思路。CS圖像融合，不需要獲得源圖像的全部像素信息，僅需在CS域?qū)D像的壓縮觀測值進行融合計算，得到融合觀測值進行重構(gòu)即可得到融合圖像。

選取待融合圖像之中絕對值較大的觀測值進行融合的算法［2］取得了一定的成功。融合策略簡單，但是背景較復雜圖像融合結(jié)果存在大量圖像細節(jié)丟失，并伴有明顯的條紋出現(xiàn)。文獻［3］提出一種傅里葉稀疏基的星型采樣模式，融合策略使用手動調(diào)節(jié)加權(quán)參數(shù)取得較好的效果，但是權(quán)值手動調(diào)節(jié)操作繁瑣。Luo等人提出基于信息熵加權(quán)觀測值融合［4］，根據(jù)不同觀測值所占信息比例作為權(quán)值對信息重新分配的融合方法較好，但對觀測值中圖像結(jié)構(gòu)信息挖掘不充分影響融合效果。基于CS的圖像融合算法得到的觀測數(shù)據(jù)不能百分之百地獲得源圖像的全部像素信息，現(xiàn)有融合策略得到的融合結(jié)果出現(xiàn)圖像信息結(jié)構(gòu)改變或細節(jié)丟失，需要研究一種基于CS圖像融合盡可能保留完整圖像結(jié)構(gòu)信息和細節(jié)算法。

脈沖耦合神經(jīng)網(wǎng)絡(Pulse Coupled Neural Network，PCNN)作為一種模擬動物視覺神經(jīng)的新型神經(jīng)網(wǎng)絡，是應用于圖像領域的一種全局算法，對圖像信息的處理原理更符合人類視覺神經(jīng)系統(tǒng)的生理學基礎，保留更多的細節(jié)信息［5］，提高目標識別率［6－9］。為了充分利用CS理論和PCNN網(wǎng)絡的技術(shù)優(yōu)點，提高融合效率的同時獲得紋理細節(jié)更加豐富的圖像，本文提出了一種壓縮感知域基于改進PCNN的圖像融合算法(簡稱CS－PCNN算法)。首先對源圖像進行壓縮采樣得到對應的壓縮觀測值，根據(jù)其物理意義建立改進PCNN模型，即利用壓縮觀測值的物理意義對PCNN中連接系數(shù)、加權(quán)矩陣和特征參數(shù)進行自適應設定，并作為改進PCNN神經(jīng)元輸入獲取點火映射圖作為融合算子對觀測值進行融合，重構(gòu)后得到融合結(jié)果。實驗證明本算法克服現(xiàn)有CS圖像融合中圖像細節(jié)丟失的缺陷，優(yōu)于現(xiàn)有CS圖像融合算法。

2 基于CS的圖像融合

在CS理論中，如果一個長度為N的一維信號x可以在一組稀疏基ψ下稀疏表示，則此信號可以采用一個滿足有限等距性準則(Restricted isometry property，簡稱RIP)的測量矩陣Φ對信號進行投影觀測［10］，即:

式中，Φ ∈ RM×N，M ≤ N，y ∈ RM×1

其中，矩陣Φ滿足約束等距性。根據(jù)等距性進行如下推導，取T=N，c取信號的稀疏表示x=ψTf時，有:

基于CS的圖像融合的核心思想是在CS域?qū)τ^測值進行融合，對融合得到的觀測值進行重構(gòu)，已達到減小計算量的目的。重構(gòu)算法是從M維隨機測量值y中重構(gòu)出長度為N(NM)的稀疏信號x的過程。

3 脈沖耦合神經(jīng)網(wǎng)絡

PCNN網(wǎng)絡是由若干個神經(jīng)元互相連接所構(gòu)成的反饋型網(wǎng)絡。每個神經(jīng)元由三部分組成:接收部分、調(diào)制部分和脈沖產(chǎn)生部分。在原始神經(jīng)元網(wǎng)絡中，存在大量非線性和漏電容積分處理操作，在圖像處理實際過程中，通常使用圖1所示的簡化模型。

圖1 PCNN神經(jīng)元的簡化模型Fig.1 Simplied PCNN model

該模型的離散數(shù)學迭代方程如下:

內(nèi)部活動項的連接系數(shù)為β，神經(jīng)元強制激發(fā)的外部激勵為Iij，反饋輸入域中放大系數(shù)和衰減時間常數(shù)分別為VF和αL，動態(tài)門限的放大系數(shù)和衰減時間常數(shù)分別為VE和αE，權(quán)值矩陣Mijkl和Wijkl為別為反饋輸入域和耦合連接域的連接矩陣。傳統(tǒng)PCNN算法中，放大系數(shù)、衰減時間系數(shù)、連接系數(shù)矩陣、連接系數(shù)需要根據(jù)具體應用環(huán)境手動確定，進行多次實驗才能得到最佳結(jié)果，獲取理想信息特征值。

4 壓縮感知域的改進PCNN圖像融合

本文的算法基本結(jié)構(gòu)流程如圖2所示，CSPCNN算法具體實現(xiàn)流程如下:

膽結(jié)石在臨床是比較常見的疾病，該病的形成原因比較復雜，導致患者的身體以及心理產(chǎn)生不適感。人性化護理模式秉承著“以人為本”的理念在臨床中的運用越來越多[1]，采用人性化護理可以全方位的對患者的身體以及心理狀態(tài)進行改善。本研究將深入探討人性化護理對于膽結(jié)石患者術(shù)前焦慮的改善效果，現(xiàn)報道如下。

圖2 CS－PCNN結(jié)構(gòu)流程圖Fig.2 CS－PCNN structure flowchart

1)壓縮采樣:設置采樣點數(shù)k，對輸入圖像源圖像I1，I2進行向量化，使用隨機置亂分塊哈達瑪矩陣對向量進行觀測采樣，獲取觀測值y1，y2;

2)融合:利用獲得的觀測值y1，y2對CS－PCNN網(wǎng)絡進行參數(shù)自適應設定，同時輸入改進PCNN獲取對應觀測值的點火映射圖并進行整合，獲得融合觀測數(shù)據(jù)yD;

3)重構(gòu)圖像:使用離散小波變換進行硬閾值收縮進行重構(gòu)得到融合后圖像。

針對PCNN進行參數(shù)自適應設定如下:

1)連接系數(shù)。圖像的標準偏差(SD)反應圖像灰度相對于灰度均值的偏離程度，標準偏差越大，說明圖像亮度變化大，所包含的信息量越多，目視效果越好。其定義為:

利用圖像標準偏差可以判定圖像所含信息量大小。PCNN網(wǎng)絡中連接系數(shù)β表示神經(jīng)元之間的相互耦合強度，與該處神經(jīng)元所保留的特征信息有一定的關系。在文獻［11］中，利用圖像標準偏差作為加權(quán)平均融合算子取得了較好的效果。選擇標準差作為PCNN中相應神經(jīng)元的連接強度。為了保證融合圖像之間關聯(lián)性，對應源圖像輸入PCNN連接系數(shù)設定為:

2)加權(quán)矩陣。傳統(tǒng)PCNN算法中通常計算相鄰四個方向神經(jīng)元的加權(quán)值，考慮輸入壓縮觀測值并非簡單地灰度值輸入，每個觀測值都包含了圖像結(jié)構(gòu)信息，為了保證在PCNN網(wǎng)絡中盡可能捕獲觀測值中的圖像信息，計算相鄰8個方向的加權(quán)系數(shù)。

3)閾值放大系數(shù)VE。在傳統(tǒng)PCNN網(wǎng)絡中，閾值放大系數(shù)VE對神經(jīng)元的點火周期起著重要調(diào)節(jié)作用。為了保證CS－PCNN算法的計算效率，需要提高PCNN網(wǎng)絡點火效率。除了自適應調(diào)節(jié)參數(shù)外，應使PCNN網(wǎng)絡輸入中歸一化后第2次就點火。根據(jù)神經(jīng)元離散公式推導，可得神經(jīng)元第n次循環(huán)點火［12］:

初始神經(jīng)元設定值為0，故第一次點火并不計算在實際點火次數(shù)內(nèi)，為了保證PCNN網(wǎng)絡高效點火即理論值滿足n=2:

解得:

在VE滿足式(8)的條件下能夠保證CS－PCNN網(wǎng)絡以最高效率進行點火。為了確保在改進PCNN網(wǎng)絡中對觀測值中蘊含的圖像信息的盡可能完整的提取，作為CS－PCNN網(wǎng)絡的神經(jīng)元輸入，每一個壓縮觀測值最少進行一次捕獲(即進行點火操作，非第一次)。根據(jù)離散公式推導如下［13］:

其中，c=(1－e－2αF)/(1－e－αF)。

綜上所述，保證改進PCNN進行高效點火同時最大限度提取圖像信息，閾值放大系數(shù)需同時滿足式(8)和式(9)。取:

其中，β根據(jù)對應圖像選擇式(5)。

基于改進PCNN的融合步驟如下:

1)對源圖像I1，I2獲得壓縮采樣后觀測值 y1，y2。令y1作為第一個PCNN1和第二個PCNN2中各神經(jīng)元的反饋輸入;

2)計算 y1，y2的SD，根據(jù)公式(7)獲得 PCNN1和PCNN2連接系數(shù);并根據(jù)獲得的連接系數(shù)根據(jù)公式(13)獲得閾值放大系數(shù)VE;同時設定PCNN1和PCNN2的加權(quán)矩陣;

3)設PCNNi的輸出為di，得到觀測值 y1，y2的點火映射圖d1，d2;

4)采用如下規(guī)則選取融合系數(shù):

5 實驗結(jié)果及分析

為了驗證算法的有效性，選用同源傳感器圖像(clock圖像)融合和非同源傳感器圖像(ship圖像)進行融合試驗。與現(xiàn)有CS圖像融合算法中常用的絕對值最大融合算法(簡稱MAX法)和Luo的基于熵加權(quán)平均融合算法(簡稱E－WEIGH法)在融合后圖像質(zhì)量進行對比。在MAX法中采用的融合規(guī)則是選取待融合圖像中絕對值較大的觀測值作為融合觀測值進行融合。在E－WEIGH法中，根據(jù)待融合圖像觀測值所占信息比例作為加權(quán)算子對觀測值進行融合。采樣率50%。實驗平臺為matlab2012a，仿真計算機主頻為2.40GHz，內(nèi)存2GB。

同源傳感器clock圖像以及各種融合算法的融合結(jié)果如圖3所示。圖3(a)、圖3(b)為待融合的左聚焦和右聚焦clock圖像。圖3(c)～(e)分別是clock圖像采用MAX法、E－WEGH法和CS－PCNN法得到的融合圖像。從視覺效果上看，CS－PCNN法較好地保留了圖像整體結(jié)構(gòu)信息，細節(jié)突出。相比之下，MAX法融合圖像存在明顯失真和虛假輪廓，在邊緣位置上出現(xiàn)失真并有條紋出現(xiàn)。E－WEIGH法細節(jié)信息有所改善，但圖像清晰度沒有CS－PCNN法高。相對前兩種方法，CS－PCNN法所得的融合圖像邊緣更為清晰。

圖3 clock圖像融合結(jié)果Fig.3 The fusion result of the clock image

圖4為不同波段傳感器獲取的ship圖像以及各融合算法的融合結(jié)果。圖4(a)是紅外圖像，只能看見海面上船的基本輪廓，但能清晰顯示倒影部分;同一場景的圖4(b)可見光圖像中，海面船只很清晰，由于光線較暗對倒影部分不能很清晰辨認。圖4(c)～(e)分別是 ship圖像采用 MAX法、EWEGH法和CS－PCNN法得到的融合圖像。融合效果中，CS－PCNN法保留了海面船只的同時顯示出倒影，較好地整合源圖像中的信息。相比之下，MAX法和E－WEIGH法存在明顯失真。在MAX法得到的融合圖像中出現(xiàn)黑白夾雜的類似噪聲的“干擾”，但這并不是噪聲，而是由于源圖像亮度差異較大，源圖像的觀測值包含的圖像信息差異較大，MAX法融合策略獲得融合觀測值為兩幅圖像觀測值信息交雜的結(jié)果，在重構(gòu)圖像的過程中分別按對應源圖像信息恢復像素點，以至于出現(xiàn)“噪聲”現(xiàn)象。相對前兩種方法，CS－PCNN法所得的融合圖像能夠更好的捕獲并整合更多圖像信息。

除了主觀評價，采用結(jié)構(gòu)相似性、圖像相關系數(shù)、互信息、峰值信噪比客觀評價指標進行比較。圖5給出了三種算法在不同采樣率下，clock和ship圖像客觀評價指標的對比曲線。

圖4 ship圖像融合結(jié)果Fig.4 The fusion result of the ship image

圖5 幾種方法不同采樣率下的圖像客觀評價指標對比Fig.5 Evalutions constrast under different sampling rate of several method

結(jié)構(gòu)相似性是衡量圖像結(jié)構(gòu)相似性的指標，圖像相關系數(shù)反應圖像之間的相關性，互信息是計算源圖像中有多少信息包含到了融合圖像，峰值信噪比反應圖像質(zhì)量的客觀評價質(zhì)量。四者越大，說明融合效果越好。從圖5可以看出CS－PCNN算法得到的重構(gòu)圖像客觀評價指標高于MAX和EWEIGH算法。

6 結(jié)束語

根據(jù)CS理論和PCNN的特點，提出一種基于壓縮觀測值的改進PCNN圖像融合算法，該方法最大的特點是充分利用壓縮觀測值的物理意義改進PCNN模型，并對觀測值采用改進PCNN進行圖像融合。通過同源傳感器和不同波段傳感器圖像進行仿真實驗表明，本文方法融合結(jié)果優(yōu)于其他CS融合算法，包含更多圖像整體結(jié)構(gòu)信息，改善現(xiàn)有CS融合算法融合結(jié)果細節(jié)丟失的問題。

［1］ Donoho D.Compressed sensing［J］.IEEE Transactions on Information Theory，2006，52(4):1289－1306.

［2］ Wan T，Canagarajah N，Achim A.Compressive Image Fusion［C］.Proceedings of the International Conference of Image Processing，2008:1308－1311.

［3］ HE Guodong，SHI Jianping，F(xiàn)ENG Youhong，et al.Fusion alogtithm for infrared and visible image based on compressive sensing［J］.Laser ＆ Infrared，2014，44(5):582－584.(in Chinese)何國棟，石建平，馮友宏，等.基于壓縮感知的紅外與可見光圖像融合算法［J］.激光與紅外，2014，44(5):582－584.

［4］ Luo X，Zhang J，J Y，et al.Image fusion in compressive sensing［C］.IEEE International Conference on Image Processing，2009:2205－2208.

［5］ Eckhorn R，Reiboeck H J，Arndt M，et al.Feature linking via synchronization among distributed assemblies:simulation of results from cat visual cortex［J］.Neural Computation.1990，2(3):293－307.

［6］ Broussard R，Reitboeck H J，Arndt.Physiologically motivated image fusion for object detection using a pulse coupled neural network［J］.IEEE Transactions on Neural Networks，1999，10(3):554－563.

［7］ YANG Yanchun，DANG Jianwu，WANG Yangping.A medical image fusion methed based on lifting wavelet transform and adaptive PCNN［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2012，24(4):494－499.(in Chinese)楊艷春，黨建武，王陽萍.基于提升小波變換與自適應PCNN的醫(yī)學圖像融合方法［J］.計算機輔助設計與圖形學學報，2012，24(4):494－499.

［8］ ZHAO Jingchao，QU Shiru.Infrared and color visible image fusion algorithm based on Curvelet transform and adaptive PCNN［J］.Journal of Northwestern Polytechnical University，2011，29(6):849－853.(in Chinese)趙景朝，曲世茹.基于Curvelet變換與自適應PCNN的紅外與可見光圖像融合［J］.西北工業(yè)大學學報，2011，29(6):849－853.

［9］ LI Xin’e，REN Jianyue，L Zengming，et al.Fusion method of multispectral and panchromatic images based on improved PCNN and region energy in NSCT domain［J］.Infrared and Laser Engineering，2013，42(11):3096－3102.(in Chinese)李新娥，任建岳，呂增明，等.NSCT域內(nèi)基于改進PCNN和區(qū)域能量的多光譜和全色圖像融合方法［J］.紅外與激光工程，2013，42(11):3096－3102.

［10］ Candes E，Tao T.Robust uncertainty principles:exact signal reconstruction from highly incomplete information［J］.IEEE Transactions on Information Theory，2006，52(2):489－509.

［11］ LI Xin，QIN Shiyin.A new image fusion method based on compressive sensing principl［J］.Chinese High Technology Letters，2012，22(1):35－41.(in Chinese)李新，秦世引.基于壓縮感知的圖像融合的新方法［J］.高技術(shù)通訊，2012，22(1):35－41.

［12］ DENG Xiangyu，MA Yide.PCNN model automatic parameters determination and its modified model［J］.Acta Electronica Sinica，2012，40(5):955－964.(in Chinese)鄧翔宇，馬義德.PCNN參數(shù)自適應設定及其模型的改進［J］.電子學報，2012，40(5):955－964.

［13］ MA Yide，LI Lian，ZHAN Kun，et al.Pulse coupled neural network and digital image processing［M］.Beijing:Science Press，2008:11－17(in Chinese)馬義德，李廉，綻琨，等.脈沖耦合神經(jīng)網(wǎng)絡與數(shù)字圖像處理［M］.北京:科學出版社，2008:11－17.

［14］ Lu Gan，Do T，Tran D.Fast Compressive Imaging Using Scrambled Block Hadamard Ensemble［C］.Proceedings of European Signal Processing Conf，2008.