一種自適應PCNN圖像融合方法

李建鋒 ，鄒北驥，辛國江，李玲芝，蔡美玲

(1. 中南大學 信息科學與工程學院，湖南 長沙，410083；2. 吉首大學 數(shù)學與計算機科學學院，湖南 吉首，416000)

圖像融合是圖像分析與處理的基礎工作,傳統(tǒng)方法大多通過對圖像進行多尺度分解，然后，以一定的融合規(guī)則獲取融合圖像，涉及的算法主要有多分辨率金字塔和小波變換等方法[1-2]。目前，仿生物視覺機理的脈沖耦合神經(jīng)網(wǎng)絡[3-4]在邊緣檢測、圖像增強、圖像分割、圖像檢索、圖像融合等領域應用廣泛[5-8]。基于該技術的圖像融合主要有2種：一是與其他算法相結(jié)合的自適應PCNN融合算法[9-10], 這類方法以文獻[9]中基于標準差和拉普拉斯能量結(jié)合的自適應方法以及文獻[10]中以圖像的能量梯度作為 PCNN(Pulse coupled neural network)參數(shù)自適應；另一類是利用PCNN自身的特性融合圖像[11-15]?；赑CNN的圖像融合技術算法最大的問題是PCNN的參數(shù)必須事先確定，此外，參數(shù)眾多也是 PCNN圖像處理中的難題。針對上述2個問題，許多研究者提出多種解決辦法[9-15]。在此，本文作者在簡化PCNN模型的基礎上采用另一種自適應調(diào)整PCNN參數(shù)的方法，提出基于局部均值和局部方差的PCNN圖像融合技術。實驗中與多種金字塔融合方法(如拉普拉斯算子金字塔法、對比度金字塔法、梯度金字塔法、FSD、金字塔法、比率金字塔法、形態(tài)學金字塔法)、小波方法(包括平移不變小波(Shift invariance discrete wavelet transform,SIDWT)、小波變換法(Wavelet decompose transform,DWT)、主成分分析法(Principal component analysis,PCA))等多種融合算法在同源傳感器圖像融合以及異源傳感器圖像融合2個方面進行比較，對融合結(jié)果進行主觀和客觀評價。

1 方法概述

圖像融合是提取待融合圖像的顯著區(qū)域，通過融合規(guī)則形成一幅包含源圖像顯著特征的圖像處理技術。圖1所示為本文方法圖像融合方法的算法結(jié)構(gòu)圖。

圖1 本文圖像融合算法結(jié)構(gòu)Fig.1 Algorithm structure of the image fusion

據(jù)圖1，本文方法主要包括以下3步。

步驟 1：待融合圖像通過直方圖線性增強技術進行增強處理。

步驟2：通過PCNN得到點火圖。若是灰度圖像，則直接通過PCNN得到圖像的點火圖；若是彩色圖像，則將圖像分解為紅(R)，綠(G)和藍(B)3個色彩分量，通過PCNN得到各個分量的點火圖。

步驟3：以各個點火圖形成的顯著性區(qū)域為依據(jù)，通過融合規(guī)則融合源圖像得到結(jié)果。其中：灰度圖像的融合直接以待融合圖像的點火圖為依據(jù)；彩色圖像以步驟2得到的各個分量的點火圖為依據(jù)，通過融合規(guī)則得到各個分量的融合圖像，最后整合形成結(jié)果。

2 基于直方圖線性增強和 PCNN的圖像融合方法

2.1 PCNN原理及改進模型

脈沖耦合神經(jīng)網(wǎng)絡單個神經(jīng)元由接收域、調(diào)制部分和脈沖產(chǎn)生器3部分組成，數(shù)學方程描述為[3-4]：

式中：Fij為反饋輸入；Lij為鏈接輸入；Uij為內(nèi)部活動項；Eij為動態(tài)閾值；Yij為脈沖輸出；ij為神經(jīng)元的標號；n為迭代次數(shù)；Sij為外部刺激；Wijkl和 Mijkl為神經(jīng)元的突觸連接權(quán)，代表神經(jīng)元i和神經(jīng)元j之間反饋域和輸入域的連接強度；aL，aF和aE為時間衰減常數(shù)；VF，VL和 VE為放大系數(shù)；β為內(nèi)部活動連接系數(shù)。在具體應用中，一個神經(jīng)元對應圖像中的一個像素，像素的灰度作為神經(jīng)元的外部刺激輸入，接收域部分的反饋輸入F接受來自外界的刺激S和相鄰神經(jīng)元的輸出Y，連接輸入接受相鄰神經(jīng)元的輸出刺激Y，內(nèi)部活動項將輸入域和連接域的信號進行相乘調(diào)制得到信號 U，脈沖產(chǎn)生部分比較 U和動態(tài)閾值 E，若U＞E，則脈沖發(fā)生器啟動，神經(jīng)元點火輸出 Yij=1，否則，神經(jīng)元不點火，輸出Yij=0。重復上述過程，直到滿足條件為止。

通過上述分析可知PCNN在實際應用中存在以下問題：一是參數(shù)多,自適應地確定這些參數(shù)非常困難；二是計算量大，效率低，迭代次數(shù)也多。本文對原模型進行簡化(見式(6)～(9))：

待融合圖像經(jīng)過式(6)～(9)的計算得到圖像中各個像素連接強弱的關系，為計算圖像的顯著性區(qū)域做準備。與基本PCNN相比，本文方法簡化了PCNN的參數(shù)，提高了算法執(zhí)行的效率。

2.2 基于均值和方差的 PCNN連接強度自適應調(diào)整原則

目前，自適應調(diào)整PCNN參數(shù)主要是針對連接系數(shù) β，調(diào)整的依據(jù)主要基于人眼視覺系統(tǒng)對特征明顯的物體和區(qū)域更加關注的直觀表現(xiàn)，進而推測在微觀層面神經(jīng)元之間具有不同的連接強度。文獻[9]以像素之間的拉普拉斯能量和標準差，文獻[10]以像素的梯度能量作為PCNN神經(jīng)元連接強度設置的依據(jù)。這2種確定神經(jīng)元連接強度的方法在應用中都取得了較好的效果。在圖像處理中，對比度和亮度是評價圖像效果的2個重要評價指標，若均值越大，則圖像的亮度越大；若方差越大，則圖像的對比度越強。為此，本文提出一種基于局部均值和方差的連接強度自適應調(diào)整規(guī)則，均值Eg和方差σg的計算公式分別為：

基于局部均值和方差的連接系數(shù)調(diào)整方案如下：對于圖像 f，以任意像素(i, j)為中心的 N×N鄰域g(i, j)，計算該像素在鄰域g(i, j)內(nèi)的局部均值和方差。均值和方差反映該像素與鄰接像素間的關系，將該值作為PCNN相應點的連接強度系數(shù)。

2.3 圖像直方圖線性增強

圖像融合主要有2類：一類是同源傳感器產(chǎn)生的多焦點圖像，將聚焦區(qū)域融合于1幅圖像中；另一類是異源傳感器圖像，將各個傳感器得到的圖像顯著特征融合于1幅圖像。這2類融合的目的都是提取源圖像的顯著性區(qū)域中置于1幅圖像中。

根據(jù)韋伯-費赫涅爾可知：人眼感受物體的主觀亮度不是有物體自身的客觀亮度決定。主觀亮度感覺M與客觀亮度B之間存在如下對數(shù)關系[16]：

由此可以得到視覺相對對比度R為：

其中：B和B0分別為物體中主體的客觀亮度以及背景的客觀亮度；M和 M0分別為物體中主體的主觀亮度以及背景的主觀亮度。由式(13)可以推斷：要提高視覺對比度 R，必須使圖像中主體的主觀亮度增大的同時，使圖像背景的主觀亮度盡量低。即在常數(shù)k不變的情況下，使主體的客觀亮度B進一步增加，同時使背景的客觀亮度B0降低或者不變。

結(jié)合圖像融合的特點以及上述推斷，通過直方圖線性增強技術增強圖像，進一步強化源圖像的顯著性區(qū)域。這主要基于2個方面的考慮：一是直方圖增強技術與同類算法相比簡單，它對圖像的增強方式是線性調(diào)整，沒有破壞原始圖像像素的整體布局，處理結(jié)果更加自然。同類技術中的均衡化技術對圖像的像素進行重排，破壞了源圖像的一致性，會導致圖像變換后灰度級減少、細節(jié)丟失以及對比度不自然增強等問題；二是同源多焦點傳感器以及異源傳感器產(chǎn)生圖像的目的都是為了突出物體某一方面的特征或性質(zhì)，因此，散焦區(qū)域(非顯著區(qū)域)相對于聚焦區(qū)域(顯著區(qū)域)在圖像中就相當于背景，而聚焦區(qū)域(顯著區(qū)域)則是圖像中的主體。通過大量的實驗發(fā)現(xiàn)：對這些圖像進行直方圖線性增強，圖像的主體增強很明顯，而背景區(qū)域增強的效果并不明顯。圖2(a)和(e)所示為同源傳感器在同一角度不同焦距獲得的2幅圖像。圖2(b)和(f)是源圖像(圖 2(a)和(e))經(jīng)過直方圖線性增強處理后得到的圖像?？梢钥闯觯壕劢箙^(qū)域?qū)Ρ榷雀用黠@，細節(jié)更加突出，而各個圖像的散焦區(qū)域的對比度沒有提高。從增強后圖像點火圖(圖 2(d)和(h))也可發(fā)現(xiàn)圖像的聚焦區(qū)域邊緣更加清晰，輪廓更加完整，而散焦區(qū)域在圖像增強前、后的邊緣增強并不明顯。這正符合韋伯-費赫涅爾發(fā)現(xiàn)的人眼感受物體的特征以及本文想要達到的效果。

2.4 圖像融合規(guī)則

對于待融合圖像I1和I2，各自的點火圖I1F和I2F以像素(i, j)為中心的局部區(qū)域I1F(i, j)和I2F(i, j)以及融合結(jié)果F，本文的融合規(guī)則具體如下。

步驟1：取出點火圖I1F和I2F各個像素的局部區(qū)域 I1F(i, j)和 I2F(i, j)。

步驟 2：計算 I1F(i, j)和 I2F(i, j)的最大值，即max(I1F(i, j))和 max(I2F(i, j))。

步驟 3：設定閾值φ，進行如下判斷得到融合圖像F。

圖2 圖像增強處理前后以及相應點火圖效果對比Fig.2 Image enhancement effects and corresponding ignition figures before and after treatment

3 實驗及討論

為了驗證算法的有效性，進行仿真實驗，將該方法與對比度金字塔、梯度金字塔、拉普拉斯金字塔、FSD金字塔、形態(tài)學金字塔法、比率金字塔法以及SIDW 等方法進行比較，以驗證上述算法在同源傳感器多焦點圖像融合以及異源傳感器在同一位置產(chǎn)生的不同圖像融合的性能。金字塔算法將圖像分解為4層，小波方法中均進行4層小波分解，其中DWT采用Db4小波基，SIDWT采用Haar基。本文方法的鏈接矩陣為常用的W=[0.707, 1.000, 0.707; 1.000, 0, 1.000; 0.707,1.000, 0.707]。對融合結(jié)果，本文給出主觀和客觀的評判。主觀評價主要是觀察融合圖像的直觀效果，客觀評價主要是針對融合圖像的分辨率以及融合圖像包含信息的程度2個方面進行定量分析，并從融合圖像的均值(Mean，VA)、標準差(Standard deviation，DS)、熵(Entropy, E)、互信息(Mutual information, MI)等具體指標進行評估。其中：MI_A，MI_B，MI_C和MI_AVG分別為融合結(jié)果與源圖像A、源圖像B、合成標準圖像以及上述結(jié)果的平均互信息等指標。上述評價指標均值反映融合結(jié)果的亮度，其值越大，說明亮度越大；標準差用于評價圖像的細節(jié)紋理以及圖像均值的離散等情況，其值越大，說明細節(jié)紋理信息越多，灰度分布越分散；熵用于評價圖像攜帶信息的情況，其值越大，說明融合后圖像從原始圖像中提取的信息越多,融合效果越好；互信息是評價融合圖像對標準參考圖像不確定性的減少量，其值越大越好；平均互信息量表征了融合圖像從源圖像中獲取信息的豐富程度，對于大小為M×N的圖像，各公式定義如下[17]：

式中：L為圖像的灰度等級；Pi為灰度 i在圖像中出現(xiàn)的概率；N為圖像大小；f為融合圖像；fv為標準圖像；E(A,B)為圖像A和B的聯(lián)合熵。

3.1 同源傳感器圖像融合

在同源傳感器圖像融合中采用文獻[13]中的測試圖像。各個算法的融合效果由于從主觀視覺上的差別不大，因此文中沒有列出?？陀^評價方面從表1的評價結(jié)果看，本文方法性能均比其他方法的優(yōu)。

3.2 異源傳感器圖像融合實驗

圖3(a)和(e)所示為不同傳感器在同一位置拍攝的2幅不同圖像，它們反映出的地物信息各有側(cè)重。源圖像圖3(a)突出了地物的顏色信息，目標的細節(jié)比較模糊；源圖像圖 3(e)則突出了目標的細節(jié)，如何使融合圖像既具有顏色信息，又不丟失各個目標的細節(jié)信息是本次融合的目的。圖 3(b)～(d)以及 3(f)～(l)所示為各種方法融合的結(jié)果，表2所示為各種算法融合的客觀評價結(jié)果。

表1 不同融合算法在同源傳感器多聚焦圖像融合結(jié)果的均值、標準差、熵、平均互信息情況Table 1 Performance of different fusion methods on VA, DS, E and MI_AVG

圖3 異源傳感器圖像各種融合算法直觀效果Fig.3 Fusion algorithm direct effects for inhomogeneous sensor and different focal distance images

表2 不同融合算法在異源傳感器圖像融合結(jié)果均值、標準差、熵、平均互信息比較Table 2 Performance comparison of different fusion methods for different source sensors on VA, DS, E and MI_AVG

從直觀效果來看，SIDWT，PCA和比率金字塔3種算法得到的融合圖像比較模糊，其他算法以及本文方法得到的融合圖像比較清晰，而由本文方法得到的結(jié)果不但具有豐富的顏色信息，而且結(jié)果中包含的細節(jié)信息、紋理信息更多目標區(qū)域更加突出，如源圖像中的橋梁、公路、碼頭以及河流中的船只的刻畫更加顯著。在客觀評價指標方面：本文方法所得均值、標準差、熵、平均互信息的排名分別為1，2，3和1，其綜合評價結(jié)果靠前。

3.3 討論

通過比較可知：本文方法在同源傳感器圖像融合中無論是主觀視覺評價還是客觀評價均優(yōu)于其他方法。在異源傳感器圖像融合中，本文方法在融合結(jié)果的細節(jié)以及還原各源圖像的顯著區(qū)域方面優(yōu)勢明顯，在客觀評價中本文方法各項指標綜合評價較優(yōu)。但該方法存在一些不足，如：盡管SIDW，PCA和比率金字塔的融合結(jié)果明顯存在模糊不清的情況，但是其客觀評價結(jié)果較好；此外，在異源傳感器圖像融合的結(jié)果中，雖然本文方法的直觀效果很好，但融合結(jié)果的圖像熵和標準差不是最優(yōu)，主觀視覺感受與客觀評價不能完全一一對應。因此，對圖像融合進行評價時，需要結(jié)合實際情況，將主觀評價和客觀評價相結(jié)合，以便得到與實際相符的評價結(jié)果。

4 結(jié)論

(1) 提出了一種基于PCNN的自適應圖像融合方法。在具體操作中，前期通過直方圖線性增強預處理使得源圖像中的顯著性區(qū)域得到加強；在自適應參數(shù)選擇上，利用方差和均值作為連接強度的計算依據(jù)進一步強化了圖像的對比度和亮度。

(2) 實驗結(jié)果的主觀效果以及客觀評價指標證明了本文方法的可行性。怎樣使圖像融合效果主觀評價與客觀評價之間進一步統(tǒng)一，從而提高融合效果評價的精準度有待進一步探討。

[1] Redondo R, ?roubek F, Fischer S, et al. Multifocus image fusion using the log-Gabor transform and a multi-size windows technique[J]. Information Fusion, 2009, 10(2): 163-171.

[2] WANG An-na, YANG Ming-ru, LIU Zuo-qian, et al. Medical image fusion based on wavelet and SOM network[J]. Computer Engineering, 2009, 35(21): 200-202, 205.

[3] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Comp, 1990, 2(3):293-307.

[4] WANG Zhao-bin, MA Yi-de, CHENG Fei-yan, et al. Review of pulse-coupled neural networks[J]. Image and Vision Computing,2010, 28(1): 5-13.

[5] CHENG Fei-yan, WANG Zhao-bin, MA Yi-de, et al. A new approach for edge detection of color microscopic image using modified pulse coupled neural networks[C]//ICBBE 2009: 3rd International Conference on Bioinformatics and Biomedical Engineering. Beijing, 2009: 1-4.

[6] ZHANG Yu-dong, WU Le-nan, WANG Shui-hua, et al. Color image enhancement based on HVS and PCNN[J]. Science China Information Sciences, 2010, 53(10): 1963-1976.

[7] LU Yun-feng, MIAO Jun, DUAN Li-juan, et al. A new approach to image segmentation based on simplified region growing PCNN[J]. Applied Mathematics and Computation, 2008, 205(2):807-814.

[8] Johnson J L, Padgett M L S. PCNN models and applications[J].IEEE Transaction on Neural Networks, 1999, 10(3): 480-498.

[9] 李美麗, 李言俊, 王紅梅, 等. 基于自適應脈沖耦合神經(jīng)網(wǎng)絡圖像融合新算法[J]. 光電子激光, 2010, 21(5): 779-782.LI Mei-li, LI Yan-jun, WANG Hong-mei. A new image fusion algorithm based on adaptive PCNN[J]. Journal of Optoelectronics Laser, 2010, 21(5): 779-782.

[10] 苗啟廣, 王寶樹. 一種自適應 PCNN多聚焦圖像融合新方法[J]. 電子與信息學報, 2006, 28(3): 466-470.MIAO Qi-guang, WANG Bao-shu. A novel algorithm of multi-focus image fusion using adaptive PCNN[J]. Journal of Electronics & Information Technology, 2006, 28(3): 466-470.

[11] WEI Li, ZHU Xue-feng. A new algorithm of multi-modality medical medical image based on pulse coupled neural networks[C]//Advances in Natural Computation: First International Conference. ICNC. Berlin: Springer, 2005:995-1001.

[12] WEI Huang, ZHONG Liang-jing. Multi-focus image fusion using pulse coupled neural network[J]. Pattern Recognition Letters, 2007, 28(9): 1123-1132.

[13] 李敏, 蔡騁, 談正. 基于修正PCNN的多傳感器圖像融合方法[J]. 中國圖象圖形學報, 2008, 13(2): 284-290.LI Min, CAI Cheng, TAN Zheng. Modified PCNN based multisensor image fusion scheme[J]. Journal of Image and Graphics, 2008, 13(2): 284-290.

[14] WANG Zhao-bin, MA Yi-de. Dual-channel PCNN and its application in the field of image fusion[C]//Proc of the 3rd International Conference on Natural Computation. Washington DC, 2007: 755-759.

[15] QU Xiao-bo, YAN Jing-wen. Multi-focus Image fusion algorithm based on regional firing characteristic of pulse coupled neural networks[C]//3rd International Conference on Bio-Inspired Computing: Theories and Applications, 2008.BICTA 2008. Zhengzhou, China, 2007: 62-66.

[16] 俞斯樂, 侯正信, 馮啟明, 等. 電視原理[M]. 北京: 國防工業(yè)出版社, 2000: 4-18.YU Si-le, HOU Zheng-xin, FENG Qi-ming. TV principle[M].Beijing: Defense Industry Press, 2000: 4-18.

[17] ZHOU Wang, Bovik A C. A universal image quality index[J].IEEE Signal Processing Letters, 2002, 9(3): 81-84.