一種新的基于圖像增強的融合算法

張 雷，李 婧，李根全，楊興強，仲志國，王肖霞

(1.南陽師范學院，河南南陽473061;2.中北大學，山西太原030051)

1 引言

隨著傳感器技術(shù)的發(fā)展和成熟，傳感器在各個領(lǐng)域得到廣泛地應用，對同一目標可以獲得來自多個不同傳感器傳回的數(shù)據(jù)，圖像融合作為綜合處理多傳感器圖像數(shù)據(jù)的有效技術(shù)途徑日益得到重視［1］，圖像融合是指綜合和提取兩個或多個多源圖像信息，獲得對同一場景或者目標更為準確、全面和可靠的圖像，使之更加適合于人眼感知或計算機后續(xù)處理。目前圖像融合技術(shù)被廣泛的應用于計算機視覺、自動目標識別等領(lǐng)域［2］。

圖像融合通?？梢苑譃橄袼丶壢诤稀⑻卣骷壢诤虾蜎Q策級融合［3］，融合算法也很多，主要有像素加權(quán)平均算法、PCA算法、金字塔算法［4］、小波變換算法［5］、曲波變換算法等，每種融合算法都是先對來自不同傳感器的圖像進行各種變換，對變換后的圖像采用不同的融合規(guī)則進行融合，一般在融合過程中很少對待融合圖像做進一步處理，一般的處理主要是圖像增強技術(shù)，主要包括［6］:擴展對比度、增強圖像中對象的邊緣、消除或者抑制噪聲或者保留圖像中感興趣的某些特征，在增強某些信息的同時會造成圖像中一些信息的缺失，忽略了融合算法本身就是通過對多幅圖像間互補信息的處理來提高圖像的清晰度，更全面地反應目標信息的特點?；谝陨蠁栴}，本文提出一種新的融合算法，在圖像預處理過程中，除了對待融合圖像增強外，將圖像融合算法引入圖像增強中，將增強后的圖像與源圖像進行融合，不僅可以保留圖像完整的信息，同時對圖像進行了二次增強，最后在對二次增強后的圖像再進行融合，使圖像更加清晰符合人類視覺。

2 圖像增強

CSSN(on-Center off-Surround Shunting Network)是根據(jù)人眼的幾種視覺能力提出的動態(tài)方程，首先是能提取邊緣的拮抗特性，二是即使人眼面對刺激強度范圍很大的光照，均能自動適應的壓縮動態(tài)范圍特性，因此能夠增強圖像對比度、突出邊緣和壓縮動態(tài)范圍，復合人的視覺特性［7］，因此本文首先采用視覺中心－環(huán)繞對抗受域神經(jīng)網(wǎng)絡(luò)模型增強圖像的對比度，其公式如下:

式中，C1和C2為高斯核;常數(shù)A是向零值衰減的速率;I1和I2為輸入圖像;Ei，j為處理后的圖像。對于單一圖像來講I1=I2。圖1為源圖像，圖2為增強對比度的圖像。

圖2與圖1相比較圖像邊緣信息和對比度得到增強，但是細節(jié)信息有所損失，為了使圖像在增強對比度的同時不損失細節(jié)信息，將源圖像與處理后的圖像進行融合，從式(1)可以推斷出 Ei，j＜1，因此可以采用頻率調(diào)制的方法將源圖像和增強后的圖像進行融合，公式如下 :

式(2)中，h(i，j)為融合后的圖像;f(i，j)為歸一化后的源圖像;g(i，j)為增強后的圖像，圖像歸一化的公式為:

式(3)中，I(i，j)為源圖像;Imin為源圖像最小灰度值;Imax為源圖像最大灰度值。圖3為融合后的圖像。

圖3 融合后的增強圖像

從視覺效果上看，圖1整體較暗，視覺效果較差，圖3獲得了較為清晰的圖像，更適應人的視覺特性。為了更好地說明增強后的圖像效果，采用標準差、平均梯度、熵對圖像進行評價，標準差越大，則灰度級越分散，平均梯度越大，圖像越清晰，熵反映了圖像的平均信息量［9］。公式分別如下:

表1 圖像評價指標

從表1可以看出融合增強后的圖像在清晰度和信息量上都比源圖像高。

3 圖像融合

多分辨率分析融合算法能夠很好的保留圖像的細節(jié)信息取得了比較好的效果，多分辨率分析算法主要有金字塔、小波分析、Contourlet變換、非采樣Contourlet變換，非采樣Contourlet變換克服了小波變換方向性和各向異性差的缺點，不僅具有多尺度性、良好的空域和頻域局部特性和方向特性，還具有了平移不變性，同時克服Contourlet變換中頻率混疊的缺點［10］，因此本文采用非采樣 Contourlet變換對在增強后的圖像進行融合。圖4為非采樣Contourlet變換的實現(xiàn)框圖。

圖4 非采樣Contourlet變換的實現(xiàn)

4 融合規(guī)則

圖像融合規(guī)則的選取一般要求能夠最大限度地保留圖像的重要信息，減少虛假信息，同時還要保證算法的可靠性和穩(wěn)定性，低頻系數(shù)主要反應圖像的整體信息，其差異遠小于高頻分量的小波系數(shù)的差異，所以采用平均的方法能夠有效地融合圖像［11］，高頻系數(shù)保留圖像的細節(jié)信息，因此高頻系數(shù)采用選取最大值的方法進行融合。公式如下:

式中，Cak(i，j)和 Cak(i，j)分別為非采樣 Contourlet變換的低頻系數(shù);Hak(i，j)和Hbk(i，j)分別為非采樣Contourlet變換的高頻系數(shù)。

5 融合結(jié)果及分析

為了驗證本文算法的有效性，采用非采樣Contourlet變換直接融合和本文算法對多聚焦圖像進行融合，圖5為前視圖像，圖6為后視圖像，圖7為直接融合圖像，圖8為本文算法融合圖像。

圖5 前視圖像

從視覺效果上看，本文融合算法與源圖像和直接融合融合圖像相比較整體更加清晰，且具有適合人眼特性的對比度優(yōu)點。

表2 圖像評價指標

從表2上看，本文融合算法比源圖像和直接融合圖像標準差、平均梯度、熵更高，說明采用本文融合算法圖像的動態(tài)范圍、清晰程度、細節(jié)信息以及所含信息量更高。

5 結(jié)論

本文在分析一般融合算法在單一圖像預處理上存在的不足，將圖像融合算法引入圖像預處理中，對需要融合的圖像采用融合的方法進行增強，在增強圖像邊緣以及對比度的同時，不損失其他細節(jié)信息，達到既增強圖像特征又不損失圖像信息的效果，為最后融合奠定更好的基礎(chǔ)，實驗結(jié)果表明，本文算法的融合結(jié)果在標準差、平均梯度、熵等方面都優(yōu)于直接對圖像進行融合的算法得到的融合結(jié)果，達到了預期效果。

［1］ Xue Qin，F(xiàn)an Yong，Li Huizhuo，et al．Infrared and visible images fusion algorithm based on curvelet transform［J］，Computer Engineering，2011，37(3):224 －226．(in Chinese)薛琴，范勇，李繪卓，等．基于曲波變換的紅外與可見光圖像融合算法［J］．計算機工程，2011，37(3):224－226．

［2］ Chen Hao，Liu Yanying．An infrared image fusion algorithm based on lifting wavelet transform［J］．Laser＆ Infrared，2009，39(1):97 －100．(in Chinese)陳浩，劉艷瀅．基于提升小波變換的紅外圖像融合算法研究［J］．激光與紅外，2009，39(1):97 －100．

［3］ Li Yufeng，F(xiàn)eng Xiaoyun，F(xiàn)an Yong，et al．A fast multisensor image mutual modulation fusion algorithm［J］．Opto-Electronic Engineering，2011，38(8):117 － 123．(in Chinese)李郁峰，馮曉云，范勇，等．多傳感器圖像互調(diào)制快速融合［J］．光電工程，2011，38(8):117 －123．

［4］ Tote A.Image fusion by ratio of low － pass pyramid［J］．Patter Recognition Letter，1989，9(4):245 －253．

［5］ Mallat SATheory for multi-resolution signal decomposition:the wavelet representation［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence 1989，11(7):674－693．

［6］ Zhang Hong．Digital image processing and analysis［M］．Beijing:China machine press，2007，4．(in Chinese)張弘．數(shù)字圖像處理與分析［M］．北京:機械工業(yè)出版社，2007，4．

［7］ Wang Xueling，Jin Qinwei，Shi Junsheng，et al．Research on fusion schemes of MULTI－BAND color night vision images based on － opponent vision property［J］．Journal of Infrared and Millimeter Waves，2006，25(6):455 － 459．(in Chinese)王嶺雪，金偉其，石俊生，等．基于拮抗視覺特性的多波段彩色夜視融合方法研究［J］．紅外與毫米波學報，2006，25(6):455 －459．

［8］ Fan Changxin，et al．Principle of communication［M］．Beijing:National Defense Industry Press，2001，5．(in Chinese)樊昌信，等．通信原理［M］．北京:國防工業(yè)出版社，2001．5．

［9］ Wang Xuewei，Wang Shili．Novel method of image fusion［M］．Laser＆ Infrared．2012，42(9):1055 －1057．(in Chinese)王學偉，王世立．一種圖像融合的新方法［J］．激光與紅外，2012，42(9):1055 －1057．

［10］ Chen Musheng．Image fusion based on contourlet transform and fuzzy theory［J］．Laser ＆ Infrared，2012，42(6):695 －698．(in Chinese)陳木生．基于Contourlet變換和模糊理論的圖像融合算法［J］．激光與紅外，2012，42(6):695 －698．

［11］ Wang Xiaojun，He Tongdi．Multisensor image fusion using wavelet based on contourlet transform［J］．Laser＆ Optoelectronics Progress，2009，9:68 －72．(in Chinese)王小軍，何同弟．基于小波－Contourlet變換的多傳感器圖像融合［J］．激光與光電子學進展，2009，9:68－72．