夜視環(huán)境下激光助視成像與紅外熱像的融合

蔣 濤，左 昉，郝延福

(北京科技大學(xué)自動(dòng)化學(xué)院，北京100083)

1 引言

圖像融合［1］是指將多個(gè)圖像傳感器或同一圖像傳感器在不同工作模式下獲取的關(guān)于同一場(chǎng)景的圖像信息加以綜合，充分利用待融合圖像的冗余和互補(bǔ)信息，得到關(guān)于此場(chǎng)景更準(zhǔn)確的描述。近年來，關(guān)于對(duì)可見光與紅外熱像的融合研究比較多，融合方法也是層出不窮。針對(duì)夜視環(huán)境下圖像融合的研究則比較少，主要有微光圖像與紅外圖像的融合［2］、微光圖像與激光助視成像的融合［3］。對(duì)于激光助視成像與紅外熱像的融合幾乎是空白。由于不同波長(zhǎng)的傳感器成像原理不相同，導(dǎo)致其成像特點(diǎn)也不盡相同，很難有一種通用的融合算法適合所有的圖像融合，必須針對(duì)不同的融合圖像采取相應(yīng)的融合算法。因此，本文將根據(jù)夜視環(huán)境下激光助視成像的特點(diǎn)和紅外熱成像的特點(diǎn)對(duì)其進(jìn)行融合算法優(yōu)化研究。

2 基于NSCT的圖像分解

NSCT(Nonsubsampled Contourlet Transform)［4］是一種基于Contourlet變換的多尺度、多方向的圖像分解重構(gòu)框架，與Contourlet變換類似，NSCT包括非下采樣塔形濾波器組(Nonsubsampled Pyramid Filter Bank，NSPFB)和非下采樣方向?yàn)V波器組(Nonsubsampled Directional Filter Bank，NSDFB)兩部分，NSPFB對(duì)信號(hào)進(jìn)行多尺度分解，NSDFB對(duì)信號(hào)進(jìn)行多方向分解。由于NSCT利用Z變換的等效位移特性，去掉了Contourlet變換中信號(hào)進(jìn)入分解濾波器后的下采樣和進(jìn)入重構(gòu)濾波器之前的上采樣，而是改為對(duì)分解濾波器進(jìn)行上采樣，對(duì)重構(gòu)濾波器進(jìn)行下采樣，所以具有平移不變性。避免了Contourlet變換由于采樣所引起的吉布斯(Gibbs)效應(yīng)。圖1為NSCT分解過程示意圖。

圖1 NSCT分解過程示意圖Fig．1 NSCT decomposition process

如果對(duì)圖像進(jìn)行N級(jí)NSCT變換，li為在尺度i(其中i=1，2，…，N)下的方向分解級(jí)數(shù)，則圖像經(jīng)過N級(jí)NSP分解，會(huì)得到(N+1)個(gè)與原圖像一樣大小的子帶圖像，對(duì)NSP分解后尺度下的子帶圖像進(jìn)行l(wèi)i級(jí)方向分解，則得到2li個(gè)與源圖像相同尺度的方向自帶圖像，所以對(duì)一幅圖像進(jìn)行N級(jí)非下采樣Contourlet變換，會(huì)得到個(gè)與源圖像尺度相同的子帶系數(shù)［5］。

3 脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)

PCNN［6］起源于20世紀(jì)60年代，該網(wǎng)絡(luò)模型通過模擬貓的大腦皮層細(xì)胞對(duì)信號(hào)的處理機(jī)制而產(chǎn)生的，有著重要的生物學(xué)背景。PCNN是由若干個(gè)神經(jīng)元互相連接而構(gòu)成的反饋性網(wǎng)絡(luò)，每個(gè)神經(jīng)元由三部分組成:接受部分(receptive field)、調(diào)制部分(modulation field)和脈沖產(chǎn)生部分(pulse generator)，如圖2所示。

用PCNN對(duì)M×N的圖像進(jìn)行處理時(shí)，把圖像中每個(gè)像素的灰度值作為神經(jīng)元的輸入，因此M×N的圖像對(duì)應(yīng)著M×N個(gè)PCNN神經(jīng)元，每個(gè)神經(jīng)元的離散數(shù)學(xué)表達(dá)式如下:

圖2 神經(jīng)元模型Fig．2 neural cell model

其中，n表示迭代次數(shù);Fij(n)，Lij(n)表示第(i，j)個(gè)神經(jīng)元的反饋輸入和連接輸入;Iij(n)表示外部輸入信號(hào)。Mijpq，Wijpq分別是反饋輸入和鏈接輸入中神經(jīng)元之間的連接權(quán)系數(shù)矩陣，β表示神經(jīng)元之間的連接強(qiáng)度常數(shù)，Uij(n)為內(nèi)部活動(dòng)項(xiàng)，Tij(n)為動(dòng)態(tài)門限，Yij(n)表示脈沖耦合神經(jīng)網(wǎng)絡(luò)的輸出，VF，VL，VT表示輸入反饋放大系數(shù)、連接放大系數(shù)和動(dòng)態(tài)門限放大系數(shù)，αF，αL，αT分別表示輸入反饋函數(shù)、連接函數(shù)與動(dòng)態(tài)門限函數(shù)的時(shí)間常數(shù)。

4 圖像融合規(guī)則

本文所采用的融合規(guī)則思路:根據(jù)激光助視成像上的光斑分布和紅外熱成像的目標(biāo)信息提取圖像分割模板，利用圖像分割模板對(duì)NSCT分解系數(shù)進(jìn)行分區(qū)域處理［7］，得到融合圖像的帶通方向子帶系數(shù)和低通方向子帶系數(shù)，最后經(jīng)過NSCT逆變換得到融合圖像。其融合規(guī)則如圖3所示。

圖3 基于NSCT的圖像融合框圖Fig．3 Schematic diagram of image fusion based on the NSCT

4．1 基于PCNN的圖像分割模板提取

二維圖像矩陣M×N可以理解為M×N個(gè)PCNN神經(jīng)元模型，當(dāng)內(nèi)部連接矩陣Mijpq，Wijpq所在鄰域內(nèi)有灰度值相似的像素存在時(shí)，則其中某個(gè)像素激發(fā)產(chǎn)生的脈沖輸出將會(huì)引起附近相似灰度值像素對(duì)應(yīng)的神經(jīng)元激發(fā)，產(chǎn)生脈沖輸出序列Yij(n)，輸出序列Yij(n)就構(gòu)成了分割的二值圖像［8］。

根據(jù)分割的二值圖像將原圖像分為前景A和背景B兩部分，計(jì)算A，B兩部分之間的類內(nèi)方差σα與類間方差σβ:

其中，μA，μB分別為A，B的均值，σ2A，σ2B分別為A，B的方差，μ=PAμA+PBμB均值。則其方差比為:

δ反應(yīng)了圖像中目標(biāo)與背景之間的差別，δ越大說明類與類之間的差別比較大，類內(nèi)部的差別比較小。所以δ越大表明分割效果越好［9］。

對(duì)輸入的激光助視成像和紅外熱像進(jìn)行分割融合得到融合模板M。將紅外熱像的目標(biāo)區(qū)域記為M1，激光照射到的區(qū)域去除紅外熱像的目標(biāo)區(qū)域記為M2，激光照射不到的區(qū)域去除紅外熱像的目標(biāo)區(qū)域記為M3。

4．2 低通系數(shù)融合規(guī)則

圖像的低通子帶集中了圖像的主要能量，決定圖像的輪廓。對(duì)于激光助視成像和紅外熱像的融合，主要目的是為了在激光助視成像上體現(xiàn)出紅外目標(biāo)，并且能夠用紅外信息來彌補(bǔ)激光照射的盲區(qū)。由此可以歸納出低通系數(shù)融合規(guī)則如下:

其中，AF(i，j)為融合圖像的低通系數(shù);AI(i，j)為紅外熱像經(jīng)過N級(jí)NSCT變換后的低通系數(shù);AL(i，j)為激光助視成像經(jīng)過N級(jí)NSCT變換后的低通系數(shù)。

4．3 帶通系數(shù)融合規(guī)則

帶通子帶系數(shù)包含了原圖像中邊緣、區(qū)域輪廓等細(xì)節(jié)，反映的是圖像突變特性。激光助視成像中激光照射到的區(qū)域細(xì)節(jié)信息比較豐富，應(yīng)多反映在圖像中，從而有如下規(guī)則［10］:

其中，DKil(i，j)表示圖像在尺度i、方向l、點(diǎn)(i，j)處NSCT的帶通方向子帶系數(shù);K分別代表融合圖像、激光助視成像、紅外熱像;NM1表示區(qū)域M1中像素的數(shù)目;fKM1(i，j)表示圖像K在區(qū)域M1中像素(i，j)處的灰度值。

5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文融合算法的融合效果，在Matlab2013環(huán)境下進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中采用了兩組圖像，一組是在夜間采集某小區(qū)露天停車場(chǎng)的激光助視成像和紅外熱像的照片，如圖4(a)和圖4(b)所示;另一組停車場(chǎng)邊有行人路過的照片，如圖5(a)和圖5(b)所示。兩組圖像已經(jīng)經(jīng)過嚴(yán)格配準(zhǔn)。選取兩種不同的融合算法與本文的融合算法進(jìn)行比較，分別是方法A:經(jīng)NSCT分解后，低頻系數(shù)選取紅外信息，高頻融合系數(shù)選取方差最大法;方法B:采用OSTU提取分割模板，其余步驟與本文方法相同。方法A是為了表明簡(jiǎn)單融合算法對(duì)激光助視成像和紅外熱像的融合效果，方法B是為了對(duì)比OSTU與PCNN提取不同分割模板，對(duì)融合效果的影響。此外還需說明的是本文算法中NSCT分解級(jí)數(shù)為4級(jí)，方向分解級(jí)數(shù)依次為3，2，2，2。金字塔分解濾波器為“pyrexc”，方向分解濾波器為“dmaxflat7”。在PCNN中連接因子為0．4，衰減因子為0．3，閾值為240。所用圖像大小均為352×288。兩組圖像經(jīng)不同算法融合后結(jié)果如圖6所示。

圖4 第一組激光助視與紅外熱像Fig．4 First set of laser assistant vision image and infrared image

圖5 第二組激光助視與紅外熱像Fig．5 Second set of laser assistant vision image and infrared image

圖6 融合結(jié)果比較Fig．6 Comparison of fusion results

從主觀評(píng)價(jià)的角度來看，方法A雖然既能反映紅外信息，又能體現(xiàn)出激光助視成像中的細(xì)節(jié)信息。但在激光可以照射到的區(qū)域反映的圖像信息失真，不符合人眼的視覺習(xí)慣，且弱化了小物體的紅外目標(biāo)信息。在方法B中，由于OSTU不能反映某個(gè)像素與其鄰域之間的關(guān)系，無法使分割后的二值圖像盡量形成連通區(qū)域，這樣對(duì)分割后的紅外圖像影響很大，從而使提取到的分割模板不夠準(zhǔn)確，導(dǎo)致融合圖像中很多細(xì)節(jié)信息被紅外圖像覆蓋。而在本文方法中，PCNN每次形成的脈沖都要受到該像素自身與其鄰域像素值的影響。然后再選取前景和背景類間方差最大的分割圖像作為分割模板，這樣就使分割模板兼具兩者優(yōu)良特性，可以準(zhǔn)確的提取到夜間熱成像中的紅外信息。在激光照射到的位置能清楚地看到符合人類視覺習(xí)慣的景物，在激光照射弱的區(qū)域可以選擇性的顯示更多細(xì)節(jié)信息。同時(shí)也能在融合圖像中準(zhǔn)確地反映出紅外信息。

從客觀評(píng)價(jià)角度來看，本文采用信息熵(IE)，標(biāo)準(zhǔn)差(SD)，平均梯度(AG)三項(xiàng)指標(biāo)評(píng)價(jià)三準(zhǔn)方法的融合效果。它們的定義如下:

其中，pk為灰度k的分布概率，其范圍為［0，1，…，K－1］;ΔFx、ΔFy分別為融合圖像F在x和y方向上的方差。評(píng)價(jià)結(jié)果見表1和表2。從表中可以看出本文方法的信息熵和標(biāo)準(zhǔn)差明顯優(yōu)于方法A和方法B，平均梯度也明顯優(yōu)于方法B，與方法A和激光助視成像的平均梯度不差上下，表明本文方法一方面能充分反映兩幅源圖像的信息量，另一方面又能夠體現(xiàn)激光助視成像的細(xì)節(jié)信息即清晰度。

表1 第一組實(shí)驗(yàn)結(jié)果對(duì)比表Tab．1 Experimental results comparison fo first set

表2 第二組實(shí)驗(yàn)結(jié)果對(duì)比表Tab．1 Experimental results comparison fo second set

6 結(jié)束語

由于成像機(jī)理和波譜接受頻段的不同，夜視環(huán)境下，激光助視成像和紅外熱像所反映的信息差異很大，圖像之間的相關(guān)性弱，但互補(bǔ)明顯。本文根據(jù)二者成像特點(diǎn)引入了分區(qū)域融合的思想。實(shí)驗(yàn)證明本文方法能夠在融合圖像中最大程度保留激光助視成像細(xì)節(jié)信息和紅外熱像目標(biāo)信息。不論從視覺效果方面還是客觀指標(biāo)方面來看，本文算法都要好于其他算法。但是本文算法運(yùn)行時(shí)間過長(zhǎng)，圖像亮度分布不均勻，分割連接處不夠自然。這些都是下一步研究的內(nèi)容。

［1］ JING Zhongliang，XIAO Gang，LI Zhenhua．Image fusion:theory and application［M］．Beijing:China Higher Education Press，2007．(in Chinese)敬忠良，肖剛，李振華．圖像融合—理論與應(yīng)用［M］．北京:高等教育出版社，2007．

［2］ BO Lianfa，CHEN Qian，SUN Jie，et al．Study on the fusion technology of infrared and low light level image［J］．Journal of Infrared and Millimeter Waves，1999，(1):47－52．(in Chinese)柏連發(fā)，陳錢，孫婕，等．紅外與微光圖像融合技術(shù)研究［J］．紅外與毫米波學(xué)報(bào)，1999，(1):47－52．

［3］ SUN Shaoyuan，ZHANG Baomin，WANG Liping，et al．Fusion of low light level image and laser assistant vision image based on contrast modulation［J］．Infared and Laser Engineering，2003，32(2):171－172，190．(in Chinese)孫韶媛，張保民，王利平，等．微光圖像與激光助視圖像的對(duì)比度調(diào)制融合［J］．紅外與激光工程，2003，32(2):170－172，190．

［4］ Arthur L da Cunha，Zhou Jianping，Minh N Do．The nonsubsampled contourlet transform:theory，design and applications［J］．IEEE Transactions on Image Processing，2006，15(10):3089－3101．

［5］ XU Yuemei．Study on multi－focus image fusion based on multi－scale transform［D］．Xuzhou:China University of Mining＆Technology，2012．(in Chinese)徐月美．多尺度變換的多聚焦圖像融合算法研究［D］．徐州:中國(guó)礦業(yè)大學(xué)，2012．

［6］ Deng Zhang，Shingo Mabu，Kotaro Hirasawa．Image denoising using pulse coupled neural network with an adaptive pareto genetic algorithm［J］．IEEE Transactions on Electrical and Electronic Engineering，2011，6(5):474－482．

［7］ YANG Yuetao，ZHU Ming，HE Baigen，et al．Fusion algorithm for infrared and visible light images based on region segmentation and NSCT［J］．Laser＆Infrared，2010，40(11):1250－1257．(in Chinese)楊粵濤，朱明，賀柏根，等．基于區(qū)域分割和非采樣Contourlet變換的紅外和可見光圖像融合［J］．激光與紅外，2010，40(11):1250－1257．

［8］ YU Ruixing，ZHU Bing，ZHANG Ke．New image fusion algorithm based on PCNN［J］．Opto－Electronic Engineering，2008，35(1):126－130．(in Chinese)余瑞星，朱冰，張科．基于PCNN的圖像融合新方法［J］．光電工程，2008，35(1):126－130．

［9］ XIN Guojiang，ZOU Beiji，et al．Image segmentation with PCNN model and maximum of variance ratio［J］．Journal of Image and Graphics，2011，16(7):1310－1316．(in Chinese)辛國(guó)江，鄒北驥，等．結(jié)合最大方差比準(zhǔn)則和PCNN模型的圖像分割［J］．中國(guó)圖象圖形學(xué)報(bào)，，2011，16(7):1310－1316．

［10］ZHANG Jinglei，ZHAO Eying．Fusion method for infrared and visible light images based on NSCT［J］．Laser＆Infrared，2013，43(3):319－323．(in Chinese)張?bào)@雷，趙俄英．基于NSCT的紅外和可見光圖像融合方法［J］．激光與紅外，2013，43(3):319－323．