采用DCT稀疏表示與Dual-PCNN的圖像融合算法

宋 斌，吳樂華，唐曉杰，文玉強，牟宇飛

采用DCT稀疏表示與Dual-PCNN的圖像融合算法

宋 斌，吳樂華，唐曉杰，文玉強，牟宇飛

（重慶通信學院，重慶 400035）

針對已有圖像融合方法會導致融合圖像亮度不均勻，與原圖像對比度不一致，不適合人眼視覺效果的缺點，提出將DCT稀疏表示與雙通脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的壓縮感知域圖像融合算法。首先結(jié)合圖像DCT稀疏表示的特點，設(shè)計射線采樣矩陣；再對測量值采用基于測量值的信息熵加權(quán)平均融合；最后經(jīng)過全變分優(yōu)化算法對融合測量值重構(gòu)得到融合圖像。通過對多組不同類型傳感器所獲圖像融合實驗的主觀視覺分析和客觀評價表明，該算法所得的融合圖像能從原始圖像中獲取更多有用信息，更好地保持原圖像的邊緣信息，從而獲得更好的視覺效果。

壓縮感知；雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)；信息熵；全變分優(yōu)化算法

0 引言

圖像融合技術(shù)是在不引入額外信息的前提下，將包含在多幅源圖像中的重要信息融合起來，得到一幅包含信息更豐富的圖像的技術(shù)[1]，它在計算機視覺、遙感、醫(yī)學以及軍事領(lǐng)域都有著廣泛的應(yīng)用前景。伴隨著多媒體通信技術(shù)的發(fā)展及各種類型傳感器的使用，圖像融合所需處理的數(shù)據(jù)量越來越大，對傳輸硬件提出了更高的要求，同時也給圖像融合技術(shù)本身的發(fā)展帶來不利影響。2006年，E. Candse，D. L. Donoho以及T. Tao等人提出了一種新的信息獲取指導理論——壓縮感知理論（Compressed Sensing，CS）[2-4]，該理論表明：若信號在某個變換域是稀疏的或可壓縮的，就可以利用與變換矩陣非相干的測量矩陣將變換系數(shù)投影為低維觀測向量，這種投影保持了重建信號所需的信息，通過進一步求解稀疏最優(yōu)化問題就能夠從低維觀測向量精確地或高概率精確地重建原始高維信號。CS理論提出以后就被迅速應(yīng)用于圖像融合領(lǐng)域，有效地解決了多傳感器所獲取的大量圖像信息，給存儲和傳輸硬件設(shè)備所帶來壓力的問題，同時也讓圖像融合算法能使用盡可能少的數(shù)據(jù)完成圖像融合，大大提高融合算法的效率。

脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Networks，PCNN）是Eckhorn等人通過模擬貓的大腦視覺皮層中同步脈沖現(xiàn)象提出的模型[5]，該神經(jīng)網(wǎng)絡(luò)具有全局耦合性和脈沖同步性的特征。Broussard等人[6]首先將PCNN應(yīng)用于圖像融合中，證實了PCNN無需經(jīng)過訓練，就能夠從復雜的背景下提取有效信息。文獻[7]針對圖像DCT的頻譜特性，提出了一種放射狀的采樣模式，通過新采樣模式構(gòu)造測量矩陣，并在此基礎(chǔ)上提出了一種基于DCT稀疏的壓縮感知域圖像融合方法，該方法將得到的測量值進行小波變換，通過加權(quán)平均計算得到近似系數(shù)和細節(jié)系數(shù)，再經(jīng)過IDWT變換得到融合測量，最后采用梯度投影稀疏算法（Gradient Projection For Sparse, GPSR）重構(gòu)得到融合圖像，該算法取得一定的效果，但是算法復雜度過高，而且對原圖像的信息獲取不夠充分。

融合規(guī)則的選取同樣嚴重影響融合效果。文獻[8]采用基于測量值最大的融合規(guī)則，該方法在融合過程中帶入較多的噪聲，重構(gòu)后的圖像出現(xiàn)明顯的條紋現(xiàn)象；文獻[9]采用基于測量值平均的融合規(guī)則，文獻[10]采用基于測量值標準差的融合規(guī)則，這些融合規(guī)則都沒有充分考慮CS測量值的數(shù)據(jù)特點。

綜合CS理論和PCNN的特點，提出一種基于CS理論和Dual-PCNN的圖像融合算法。采用DCT變換對多傳感器圖像進行稀疏表示，并針對DCT變換后的數(shù)據(jù)特點，設(shè)計了射線（Radial）采樣矩陣，結(jié)合測量值的特點提出基于測量值信息熵（Information Entropy，IE）的加權(quán)融合規(guī)則，最后通過更加適合二維圖像重構(gòu)的全變分優(yōu)化（Total Variation，TV）算法[11]實現(xiàn)對融合后圖像的重構(gòu)。仿真實驗結(jié)果的主觀分析和客觀評價表明：本文的融合方法能夠從原圖像中獲取更多信息，使融合圖像更加適合人眼的觀察。

1 基礎(chǔ)知識

1.1 壓縮感知理論

設(shè)一個實值、有限長的一維離散信號，可視為()∈R中的一個×1列向量（＝1, 2, …,）。假設(shè)信號可表示為：

＝(1)

式中：是×基向量矩陣。若只包含個非零向量，則稱是稀疏[4]。通過＝得到壓縮測量值，其中∈R，是×測量矩陣，可得：

＝＝Q(2)

雖然從＜的測量值中恢復是一個病態(tài)問題，但是若滿足限制性等距特性，則可以通過優(yōu)化過程精確恢復稀疏信號。

1.2 Dual-PCNN模型

雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)（Dual-channel Pulse Coupled Neural Network, Dual-PCNN）模型是PCNN的一種改進模型，克服了單通道PCNN模型只能對單張圖像進行特征提取的不足，能有效實現(xiàn)對多幅圖像的同時融合[13]。

若把圖像中某像素的坐標記為(,)，則Dual-PCNN模型可作如下描述：

式中：H,j（＝1, 2）代表從外部輸入的對稱神經(jīng)元通道；(×)和(×)代表從周圍神經(jīng)元到當前神經(jīng)元的導入函數(shù)；U,j代表內(nèi)部狀態(tài)神經(jīng)元；∈[0, 1]是權(quán)重參數(shù)，用來表示第個通道的重要性，通常情況下取1＝2＝0.5；是一個水平因子；T,j是決定觸發(fā)的動態(tài)閾值；和V分別為時間常數(shù)及歸一化常數(shù)；表示迭代的次數(shù)。

Dual-PCNN模型如圖1所示，主要由3個部分組成：信息采集、信息融合和脈沖發(fā)生器。信息采集部分能夠接收來自神經(jīng)元的2個以上的信息觸發(fā)，信息融合部分主要進行待融合圖像信息的融合，脈沖發(fā)生器則負責產(chǎn)生對信息采集單元的觸發(fā)脈沖。

2 采用DCT稀疏表示和Dual-PCNN的CS圖像融合

2.1 DCT稀疏和雙射線采樣矩陣

采樣矩陣的設(shè)計對圖像重構(gòu)的質(zhì)量十分重要，由于多傳感器圖像經(jīng)過DCT稀疏變換后，其信息主要集中在左上角部位，如圖2(b)所示。本文針對多傳感器圖像經(jīng)過DCT稀疏變換后的這一特點設(shè)計Radial采樣矩陣，該矩陣明亮的地方為采樣部分，數(shù)值為1；黑暗的地方為舍棄部分，數(shù)值為0。該采樣矩陣與隨機采樣矩陣相比，在采樣獲取相同數(shù)據(jù)量的同時，能夠獲得更多有用信息。

圖1 Dual-PCNN模型

圖2 原圖、DCT稀疏表示及Radial采樣矩陣圖

2.2 基于測量值IE加權(quán)融合規(guī)則

基于測量值的信息熵加權(quán)融合，是通過計算測量值的信息熵來確定融合的權(quán)重系數(shù)。其數(shù)學表達式如下：

據(jù)此，測量值的融合權(quán)重系數(shù)可以用下列數(shù)學表達式：

這樣構(gòu)造融合權(quán)重系數(shù)，可以充分發(fā)揮各個測量值的信息熵以及互信息熵，在融合權(quán)重中的作用。

2.3 全變分優(yōu)化（Total Variation, TV）算法

重構(gòu)算法同樣是CS理論的核心之一，即從維測量值恢復維原始信號的過程，

其中遠大于。目前，常用的重構(gòu)算法主要有匹配追蹤（matching pursuit, MP）系列算法和最小L1范數(shù)法等。MP系列算法包括正則正交匹配算法、正交匹配算法、壓縮采樣匹配追蹤算法等，該系列算法對于小尺度信號重構(gòu)較為理想，但對于大信號特別是有噪聲存在的情況下，重構(gòu)結(jié)果不夠準確，而且算法本身的魯棒性不強[14-15]；最小L1范數(shù)法比較適合一維信號的重構(gòu)[16]。Candes E、Tao T和Schmidt M等人從大量的自然圖像離散梯度都是稀疏的這一事實出發(fā)，總結(jié)出如下更加適合二維圖像重構(gòu)的TV算法[11,17]，其算法模型為：

MinTV()

Subject to||－||≤(14)

式中：函數(shù)TV()為圖像離散梯度的和，該方法對二維圖像的重構(gòu)質(zhì)量更高，算法本身的魯棒性更好。

2.4 算法實現(xiàn)

本文具體算法的實現(xiàn)主要分為以下幾步：

Step1：將原圖像、及經(jīng)過Dual-PCNN的信號進行DCT稀疏變換

＝(1,2, …,a)(15)

＝(1,2, …,b)(16)

＝(1,2, …,c)(17)

Step2：對經(jīng)過DCT變換后的系數(shù)采用雙射線采樣矩陣計算、、的測量值

＝(1,2, …,x)＝(18)

＝(1,2, …,y)＝(19)

＝(1,2, …,z)＝(20)

Step3：計算融合后的測量值＝(1,2, …,f)

＝1×＋2×＋3×(21)

Step4：利用通過最小全變分方法重構(gòu)融合圖像￠

MinTV(￠)

Subject to||￠－||2≤(22)

3 仿真實驗及結(jié)果分析

為驗證本文算法的有效性，采用3組不同類型傳感器獲取的已經(jīng)配準好的大小為256×256的圖像進行融合實驗，并與基于小波變換的融合方法（Wavelet），文獻[8]的融合方法（CS-Max），文獻[9]的融合方法（CS-Mean）以及文獻[10]的融合方法（CS-SD）進行對比。為了方便表述，將本文方法記為CS-PCNN-IE。試驗中，Dual-PCNN模型的參數(shù)選取如下：＝1，T,j為與輸入圖像大小相同的單位矩陣，、V分別取為0.012與3000，迭代次數(shù)為10，采樣率均采用30%。第一組實驗針對可見光圖像與紅外圖像進行融合，結(jié)果如圖3所示；第二組實驗針對計算機X線斷層掃描（Computed Tomography，CT）圖像和磁共振（Magnetic Resonance Imaging，MRI）圖像進行融合，結(jié)果如圖4所示；第三組實驗針對多焦點圖像clock A、clock B進行融合，結(jié)果如圖5所示。

由圖3～圖5可以看出，在3組實驗所得的融合圖像中，用Wavelet方法融合后的圖像輪廓不是很清晰，特別是在對醫(yī)學圖像及多焦點圖像進行融合時，存在明顯的邊緣模糊現(xiàn)象；CS-Max算法融合后所得圖像有明顯的條紋現(xiàn)象，尤其是對醫(yī)學圖像進行融合后圖像有明顯的白色陰影，這是由于采用最大值融合規(guī)則時帶入的噪聲較多引起的；CS-Mean算法和CS-SD算法所得的融合圖像質(zhì)量差別不大，均有效提高了融合圖像的清晰度，并有效抑制了噪聲，但與原圖像相比，融合圖像明顯太亮；與CS-Mean算法、CS-SD算法相比，本文提出的CS-PCNN-IE算法所得融合圖像的亮度分布更加均勻，更加適合人眼的視覺感受。

表1為信息熵（Information Entropy，IE）、互信息（Mutual Information，MI）[17]以及相關(guān)系數(shù)（Correlation Coefficient，CC）[18]3個客觀評價指標的對比結(jié)果。其中，熵越大說明融合圖像所含的信息量越多，圖像的融合效果越好；互信息越大說明從原圖像中獲得的信息越多，圖像融合效果越好；相關(guān)系數(shù)越接近1說明圖像融合越好。

圖4 第二組圖像仿真結(jié)果

圖5 第三組圖像仿真結(jié)果

從表1的統(tǒng)計數(shù)據(jù)可知，CS-Max融合算法由于在融合過程中帶入較多噪聲，所以IE值在每組實驗中都是最大，排除CS-Max融合算法，則實驗結(jié)果中IE最大值第一組和第三組是CS-Mean融合算法；第二組是CS-SD融合算法。實驗結(jié)果中MI最大值第一組和第三組是本文算法CS-PCNN-IE，第二組是CS-SD融合算法。實驗結(jié)果中CC最大值第一組是CS-Mean融合算法，第二組是CS-SD融合算法，第三組是本文算法CS-PCNN-IE。主客觀評價表明：本文算法結(jié)合CS與Dual-PCNN模型，能夠有效地從原圖像中獲得更多的信息，特別是在對多焦點的圖像進行融合時，在很好保持圖像邊緣信息的同時大大豐富了融合后圖像所獲得的信息。

表1 各融合方案的評價參數(shù)統(tǒng)計

4 結(jié)束語

本文提出了一種結(jié)合Dual-PCNN模型與CS理論的不同傳感器獲取圖像的融合方法，該方法針對DCT稀疏表示的系數(shù)特點，采用一種在射線采樣模式下基于測量值信息熵的測量值加權(quán)融合方法，通過最小全變分（TV）算法實現(xiàn)融合后測量值的圖像重構(gòu)。仿真實驗表明：本文提出的融合算法能夠有效實現(xiàn)圖像融合，融合后的圖像更加適合人眼的觀察，為進一步研究CS域的圖像融合方法提供了參考。

[1] Parmar K, Kher R. A. Comparative analysis of multimodality image fusion methods[C]//(),, 2012: 93-97.

[2] E. Candes, T. Tao. Near optimal signal recovery from random projections：universal encoding strategies[J]., 2006, 52(12): 5406-5425.

[3] E. Candes. Compressive sampling[C]//P, 2006: 1433-1452.

[4] D. L. Donoho. Compressed sensing[J]., 2006, 52(4): 1289-1306.

[5] Eckhorn R., Reiboeck H. J., Arndt M., et al. Feature linking via synchornization among distributed assemblies:simulation of results from cat cortex[J]., 1990(2): 293-307.

[6] Broussard R. P., Pogers S. K., Oxley M. E., et al. Physiologically motivated image fusion for object detection using apulsecoupled network[J]., 1999, 10(3): 554-563.

[7] Juanjuan Han, Otmar Loffeld, Klaus Hartmann, et al. Multi image fusion based on compressive sensing[C]//(),, 2010: 1463-1469.

[8] T. Wan, Zengchang Qin. An application of compressive sensing for image fusion[C]//(2010), 2010: 3-9.

[9] X. Li, S. Y. Qin. Efficient fusion for infrared and visible images based on compressive sensing principle[J]., 2011, 5(2): 141-147.

[10] Xiaoyan Luo, Jun Zhang, Jingyu Yang, et al. Image fusion in compressed sensing[C]//(’07), 2009: 2205-2208.

[11] Schmidt M, Fung G, Rosales R. Fast optimization methods for Llregularization[C]//(), 2007: 286-297.

[12] Wang Z. B, Ma Y. D. Medical image fusion using m-PCNN[J]., 2008, 9(2): 176-185.

[13] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[14] Haupt J., Nowak R. Signal reconstruction from noisy random projections[J]., 2006, 52(9): 4036-4048.

[15] E Candes. The restricted isometry property and its implications for compressed sensing[C]//, 2008: 589-592.

[16] Candes E , Romberg J，Tao T. Robust uncertainty principles; exact signal reconstruction from highly incomplete frequency information[J]., 2006, 52(2): 489-509.

[17] Xydeas C, Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[18] Yang Senlin, GaoJinghuai. Seismicquality factors estimation from spectral correlation[J]., 2008, 5(4): 740-744.

An Image Fusion Algorithm Based on DCT Sparse Representation and Dual-PCNN

SONG Bin，WU Le-hua，TANG Xiao-jie，WEN Yu-qiang，MOU Yu-fei

(,400035,)

The existing image fusion method results in uneven image brightness, not agreeing with the original image contrast, not suitable for the human eye visual defects. To solve this problem, a new algorithm based on compressive sensing, which combined the DCT sparse representation with the Dual-channel pulse coupled neural network mode, is offered in this paper. First, for the character of the DCT sparse representation, Radial Sampling Matrix is designed. Second, the measurements based on the weighted average is fused with the information entropy of measurements. Finally, the total variation algorithm is used tore construct the fusion image. Experiments have been done to fuse multiple sets of different types of sensor image. Both subjective visual analysis and objective evaluation criteria show that the proposed algorithm can obtain more useful information from the original image, keep the edge information of original image, and get a better visual effect.

compressive sensing，dual-channel pulse coupled neural network，information entropy，the total variation algorithm

TP391

A

1001-8891(2015)04-0283-06

2014-12-23；

2015-02-05.

宋斌（1984-），男，湖北通山人，碩士研究生，主要研究方向為圖像處理。

重慶市基礎(chǔ)與前沿研究計劃項目，編號：cstc2013jcyjA40045）；重慶市高校創(chuàng)新團隊建設(shè)計劃項目，編號：KJTD201343。