基于MSTO的含噪聲多傳感器圖像融合算法

沈 瑜 黨建武 王陽萍 王小鵬 郭 瑞

(蘭州交通大學(xué)電子與信息工程學(xué)院, 蘭州 730070)

基于MSTO的含噪聲多傳感器圖像融合算法

沈 瑜 黨建武 王陽萍 王小鵬 郭 瑞

(蘭州交通大學(xué)電子與信息工程學(xué)院, 蘭州 730070)

為了解決在含噪聲多源傳感器圖像融合中,常規(guī)濾波存在圖像邊緣缺失、對比度差的缺點(diǎn),提出了一種基于多尺度順序開關(guān)算子(multi-scale sequential toggle operator, MSTO)和Beamlet保邊濾波算子的含噪聲紅外與可見光圖像融合算法．首先，將多源圖像通過MSTO進(jìn)行多尺度分解,得到能量分量和細(xì)節(jié)分量．對于細(xì)節(jié)分量采用Beamlet保邊濾波算子進(jìn)行處理,保持圖像邊緣細(xì)節(jié)的同時(shí)濾除噪聲,采用MSTO計(jì)算出能量圖像的亮邊緣和暗邊緣并融合疊加到細(xì)節(jié)分量中,進(jìn)一步增強(qiáng)融合圖像的邊緣．對于能量分量采用基于灰度值取大的融合規(guī)則．最后根據(jù)MSTO反變換對融合后的能量分量和細(xì)節(jié)分量進(jìn)行重構(gòu),得到結(jié)果圖像．實(shí)驗(yàn)結(jié)果表明,融合后的圖像不但濾除了噪聲,而且對輪廓和邊緣細(xì)節(jié)得到較完整的提取和增強(qiáng)．該圖像融合算法在含噪聲多源傳感器的融合中取得較好的效果．

多尺度順序開關(guān)算子;Beamlet算子;融合;多傳感器圖像

圖像融合指的是不同模態(tài)的傳感器在同一場景下,或者同一傳感器在不同時(shí)間或條件下捕獲的2幅或多幅圖像,合成一幅包含感興趣信息圖像的處理方法[1]．其中,紅外與可見光圖像融合算法是多源傳感器融合技術(shù)的重要分支之一,它能夠?qū)⒓t外圖像的目標(biāo)獲取與可見光圖像的背景保持相結(jié)合,克服可見光圖像傳感器對于光照的依賴,也可以克服紅外傳感器背景捕捉不清晰的缺點(diǎn)．該技術(shù)在醫(yī)學(xué)、軍事、安保、消防等領(lǐng)域有著重要的作用[2]．從色彩的角度,紅外與可見光圖像的融合算法可分為灰度圖像融合方法和彩色圖像融合方法[3]．其中灰度圖像融合方法以基于空間域的融合方法和基于變換域的融合方法為主[4];彩色圖像融合方法包括直接映射融合方法、MIT融合方法和色彩遷移融合方法等．

Mahbubur等[5]基于噪聲源圖像內(nèi)部的依賴關(guān)系,按照噪聲的長度修正小波系數(shù)的幅值,在降噪的同時(shí)進(jìn)行了有效的圖像融合．Wang等[6]對小波變換二次分解后的高頻子帶和低頻子帶圖像進(jìn)行處理,得到較好的濾波和融合效果．Cao 等[7]利用Contourlet變換捕獲方向信息,采用方向窗函數(shù)計(jì)算融合權(quán)重,該方法在濾除噪聲的同時(shí)能夠得到較好的融合效果．Bekhtin 等[8]提出了一種基于小波變換和空間方向樹邏輯處理的含噪聲多光譜圖像融合算法,融合結(jié)果表明融合后的圖像在PSNR和SSIM參數(shù)上表現(xiàn)很好．Srivastava 等[9]提出了一種基于Contourlet變換和水平依賴閾值(level dependent threshold)的含噪聲多聚焦圖像融合算法,根據(jù)特征的系數(shù)變化調(diào)整水平依賴閾值．王昕等[10]采用圖像分塊結(jié)合局部加權(quán)信息熵的方法對紅外圖像進(jìn)行目標(biāo)區(qū)域分割,對已配準(zhǔn)的紅外與可見光源圖像利用文獻(xiàn)[11]提出的新融合規(guī)則僅在目標(biāo)區(qū)域進(jìn)行融合,該算法在抑制噪聲的同時(shí)能更好地實(shí)現(xiàn)2類源圖像的優(yōu)勢互補(bǔ)．沈瑜等[11]基于非下采樣輪廓波變換和Beamlet變換,提出一種全新的醫(yī)學(xué)圖像融合方法,在高頻成分使用Beamlet變換進(jìn)行邊緣檢測,能夠有效減少噪聲對融合圖像的干擾,增強(qiáng)了融合的線性細(xì)節(jié)表達(dá)能力,提高了信息量．胡清平等[12]將噪聲參數(shù)與TNO彩色映射系數(shù)相聯(lián)系,有效地降低了微光圖像中的噪聲,提高了融合結(jié)果的質(zhì)量．嚴(yán)春滿等[13]采用正交小波變換構(gòu)建塔型結(jié)構(gòu),通過偽逆重構(gòu)方法重構(gòu)得到融合圖像,該方法在濾除加性白噪聲和系統(tǒng)噪聲中得到較好的效果,融合結(jié)果較理想．2011年,Bai等[14]首次提出了一種數(shù)學(xué)形態(tài)學(xué)開關(guān)算子(toggle operator,TO),該算子能夠?qū)D像進(jìn)行多層分解得到不同尺度的細(xì)節(jié)圖像和能量圖像,其中細(xì)節(jié)圖像是圖像的高頻成分,包含圖像的大部分輪廓、邊緣等線性細(xì)節(jié)特征,通常圖像的噪聲也包含在細(xì)節(jié)圖像中;其能量圖像包含了圖像的大部分的能量,圖像的低頻成分都包含在這部分圖像中．2015年,Bai[15]首次提出了一種多尺度數(shù)學(xué)形態(tài)學(xué)順序開關(guān)算子,用以計(jì)算圖像的亮邊緣和暗邊緣．

此外,含噪聲多源傳感器圖像融合算法對于邊緣、輪廓等線性特征的描述要求很高,傳統(tǒng)的濾波算法在濾除噪聲的同時(shí)常常把線性細(xì)節(jié)濾除,造成邊緣模糊、圖像特征損失．為了解決這個(gè)問題,本文提出了Beamlet保邊濾波算子．Beamlet變換域中線段類似于點(diǎn)在小波分析中的地位,它能夠提供基于二進(jìn)組織的線段的局部尺度、位置和方向表示,可以很容易實(shí)現(xiàn)對線的精確定位,而算法具有比較低的復(fù)雜度．同時(shí),Beamlet變換具有優(yōu)越的線奇異性,而對點(diǎn)特征不敏感．因此,借助Beamlet變換的這個(gè)特征,對圖像在濾除噪聲點(diǎn)的同時(shí)能夠更好地提取圖像的線特征．在此基礎(chǔ)上,本文提出了一種基于形態(tài)學(xué)TO算子和Beamlet保邊濾波算子的含噪聲紅外與可見光圖像融合算法．

1 數(shù)學(xué)形態(tài)學(xué)分解算子

1.1 數(shù)學(xué)形態(tài)學(xué)開關(guān)算子

在數(shù)學(xué)形態(tài)學(xué)中,定義f(x,y)和E(u,v)為2個(gè)數(shù)組,分別代表源圖像和結(jié)構(gòu)元素．將開運(yùn)算°和閉運(yùn)算·作為基元,那么開關(guān)算子的定義如下:

(1)

TO算子運(yùn)算的結(jié)果是將選中的像素從開運(yùn)算和閉運(yùn)算的結(jié)果像素中提取出來,提取出來的圖像包含了源圖像的大部分能量,記為能量圖像;提取出能量圖像后,源圖像中剩下部分表示源圖像的細(xì)節(jié)特征,記為細(xì)節(jié)圖像．一次TO運(yùn)算的結(jié)果t1(f)記為一階能量圖像s1(f),同時(shí)得到一階細(xì)節(jié)圖像d1(f);然后再次對一階能量圖像s1(f)作TO運(yùn)算,得到二階能量圖像s2(f)和二階細(xì)節(jié)圖像d2(f),以此類推,直到n階．TO算子經(jīng)過多尺度結(jié)構(gòu)元素的分解，得到不同尺度的能量圖像和細(xì)節(jié)圖像．這樣的TO算子被稱為多尺度順序開關(guān)算子(multi-scale sequential toggle operator,MSTO),即

si(f)=ti(si-1(f))

(2)

si(f)=t1(f)

(3)

s0(f)=f

(4)

式中,i為分解的尺度．

對Lena圖像作三階多尺度分解后的圖像如圖1所示．

(a) 一次分解能量圖(b) 一次分解細(xì)節(jié)圖(c) 二次分解能量圖

(d) 二次分解細(xì)節(jié)圖(e) 三次分解能量圖(f) 三次分解細(xì)節(jié)圖

1.2 亮邊緣和暗邊緣

數(shù)學(xué)形態(tài)學(xué)多尺度順序開關(guān)算子能夠在能量圖像中提取出紅外圖像和可見光圖像的亮邊緣bi(f)(x,y),bi(g)(x,y)和暗邊緣ai(f)(x,y),ai(g)(x,y),即

bi(f)(x,y)=max(si-1(f)(x,y)-si(f)(x,y), 0)

(5)

bi(g)(x,y)=max(si-1(g)(x,y)-si(g)(x,y), 0)

(6)

ai(f)(x,y)=max(si(f)(x,y)-si-1(f)(x,y), 0)

(7)

ai(g)(x,y)=max(si(g)(x,y)-si-1(g)(x,y), 0)

(8)

三階Lena圖的亮邊緣和暗邊緣的提取圖像如圖2所示．

(a) 亮邊緣(b) 暗邊緣

2 基于MSTO的含噪聲多傳感器圖像融合算法

2.1 算法流程

基于MSTO的含噪聲多傳感器圖像融合算法流程如下：

① 將嚴(yán)格配準(zhǔn)過的紅外圖像和可見光圖像進(jìn)行MSTO多尺度分解,分別得到紅外圖像和可見光圖像的能量分量s(f),s(g)和細(xì)節(jié)分量d(f)和d(g)．

② 采用改進(jìn)的Beamlet保邊濾波算子對紅外圖像和可見光圖像的細(xì)節(jié)分量進(jìn)行濾波,得到濾波后的細(xì)節(jié)分量dF(f),fF(g)．

③ 采用MSTO計(jì)算紅外和可見光能量圖像的亮邊緣b(f)(x,y),b(g)(x,y)和暗邊緣圖像a(f)(x,y),a(g)(x,y),并采用加權(quán)融合方法將亮邊緣和暗邊緣圖像分別進(jìn)行融合．

④ 采用融合公式的細(xì)節(jié)融合規(guī)則對亮邊緣、暗邊緣與紅外和可見光圖像的細(xì)節(jié)分量進(jìn)行融合．

⑤ 采用灰度值取大的低頻融合規(guī)則,對紅外和可見光圖像的能量分量進(jìn)行融合．

⑥ 采用MSTO反向變換對融合后的能量分量和細(xì)節(jié)分量進(jìn)行反向重構(gòu),得到融合結(jié)果Fs．

本文算法的流程圖如圖3所示．

圖3 算法流程圖

2.2 Beamlet保邊濾波算子

紅外圖像與可見光圖像中的邊緣、輪廓等細(xì)節(jié)分量屬于高頻成分,但是高頻噪聲也屬于高頻成分,如何“保邊”同時(shí)“去噪”是含噪聲紅外與可見光圖像在融合處理中的關(guān)鍵步驟之一．為了解決這個(gè)問題,對高頻系數(shù)的處理采用Beamlet算子對含噪聲的高頻圖像進(jìn)行濾波保邊處理,Beamlet變換對線奇異性很敏感,卻對點(diǎn)奇異性的檢測效果較差,因此形成Beamlet的保邊濾波算子．Beamlet變換方法是圖像函數(shù)對Beamlet基的積分,設(shè)u(x1,x2)為每個(gè)二進(jìn)塊上的連續(xù)函數(shù),則u(x1,x2)的Beamlet變換定義為如下的線積分:

(9)

2.3 亮邊緣和暗邊緣的融合

從紅外圖像的能量圖中提取出亮邊緣圖像,同時(shí)從可見光圖像的能量圖中也提取出亮邊緣圖像,將2幅亮邊緣圖像進(jìn)行融合處理．為了得到紅外與可見光圖像的突出特征,進(jìn)行加權(quán)融合．若圖像中某點(diǎn)的灰度值大,則認(rèn)為其對應(yīng)的權(quán)值就大,所以采用基于方差的方法得到增強(qiáng)圖像Bi(x,y):

Bi(x,y)=wfibi(f)(x,y)+wgibi(g)(x,y)

(10)

式中,紅外圖像的權(quán)值wfi和可見光圖像的權(quán)值wgi為

(11)

(12)

i級MSTO分解后,得到i個(gè)亮邊緣圖像．為了增強(qiáng)邊緣效果,將i級亮邊緣圖疊加,得到融合增強(qiáng)圖像Rb(x,y)為

(13)

對紅外圖像和可見光圖像的暗邊緣也進(jìn)行相應(yīng)的融合處理,得到處理后的暗邊緣信息為Ra(x,y)．

2.4 細(xì)節(jié)圖像融合

細(xì)節(jié)圖像是源圖像的高頻成分,包含了圖像的邊緣、輪廓等細(xì)節(jié)信息,反映為圖像突變,屬于圖像較重要的特征．為了凸顯圖像的邊緣特征,將濾波后的紅外與可見光圖像的細(xì)節(jié)圖像進(jìn)行融合,融合后的圖像取紅外細(xì)節(jié)圖像和可見光細(xì)節(jié)圖像中對應(yīng)像素點(diǎn)大的灰度值,然后和融合后的亮邊緣、暗邊緣的絕對值進(jìn)行疊加處理,這樣能夠增強(qiáng)圖像邊緣特征,即

(14)

2.5 能量圖像融合

紅外與可見光圖像的能量圖像是源圖像中的低頻成分,包含了源圖像中的大部分能量.為了將源圖像中較顯著的信息提取到融合圖像中,采用對應(yīng)點(diǎn)的灰度值取大值的融合規(guī)則,即

sFu=max{s(f(x,y)),s(g(x,y))}

(15)

2.6 MSTO逆變換

通過上述處理，紅外圖像和可見光圖像的2幅細(xì)節(jié)圖像與2幅能量圖像分別融合，得到1幅細(xì)節(jié)圖像和1幅能量圖像，將得到的2幅圖像進(jìn)行反向MSTO變換，得到融合后的圖像Fs，即

(16)

3 實(shí)驗(yàn)結(jié)果與分析

為了對算法進(jìn)行驗(yàn)證,采用經(jīng)過嚴(yán)格配準(zhǔn)過的3組紅外與可見光圖像進(jìn)行融合．將本文的方法與離散小波變換(discrete wavelet transform,DWT)、 Contourlet和NSCT方法的結(jié)果進(jìn)行對比．

圖4、圖5和圖6分別為Light,Man和Street三組含噪聲紅外與可見光圖像．其中,圖4(a)、 圖5(a)和圖6(a)為每組圖中的可見光圖像,看不到一些關(guān)鍵目標(biāo),但是場景清晰．圖4(b)、 圖5(b)和圖6(b)為每組圖中的為紅外圖像,關(guān)鍵目標(biāo)可見,但周圍環(huán)境可視效果很差．圖4(c)～(f)、 圖5(c)～(f)和圖6(c)～(f)分別為每組圖采用4種融合方法的結(jié)果.比較后發(fā)現(xiàn):DWT方法的融合清晰度低,部分關(guān)鍵細(xì)節(jié)丟失,對比度差,存在偽影,部分區(qū)域還呈現(xiàn)塊效應(yīng);Contourlet方法的融合結(jié)果在細(xì)節(jié)的呈現(xiàn)上有一定的效果,但整體上仍然很模糊;NSCT方法的融合效果較好,能夠表現(xiàn)出大部分的細(xì)節(jié)信息,但是在一些微小細(xì)節(jié)信息的捕捉能力上還有一定的限制;本文方法融合結(jié)果中的邊緣和輪廓線條清晰,并且還能很好地保留局部細(xì)節(jié)信息,效果最佳．

(a) 含噪可見光圖像(b) 含噪紅外圖像(c) DWT

(d) Contourlet(e) NSCT(f) MSTO

(a) 含噪可見光圖像(b) 含噪紅外圖像(c) DWT

(d) Contourlet(e) NSCT(f) MSTO

在客觀評價(jià)上,本文從熵(EN)、互信息(MI)、平均梯度(AvG)、QAB/F四個(gè)方面進(jìn)行比較．熵主要反映融合圖像包含的信息量;互信息反映融合圖像從源圖像獲取的信息;平均梯度反映了圖像對微小細(xì)節(jié)反差的表達(dá)能力,表明了圖像的清晰度;QAB/F值越大,表明融合后的圖像邊緣信息越豐富．對圖4、圖5、圖6三幅標(biāo)準(zhǔn)圖像采用4種方法進(jìn)行融合,結(jié)果見表1、表2和表3．

(a) 含噪可見光圖像(b) 含噪紅外圖像(c) DWT

(d) Contourlet(e) NSCT(f) MSTO

表1 Light圖各種融合結(jié)果的量化比較

表2 Man圖各種融合結(jié)果的量化比較

表3 Street圖各種融合結(jié)果的量化比較

通過對客觀指標(biāo)的計(jì)算可知,對于EN指標(biāo),MSTO方法的融合結(jié)果比Contourlet方法和NSCT方法的信息量少,這是由于加入了強(qiáng)噪聲,而本文算法對噪聲的抑制能力較強(qiáng),對于圖像在濾除噪聲時(shí),信息量也會(huì)降低．MSTO方法的融合結(jié)果比DWT方法的信息量多,這是由于MSTO在去噪的同時(shí)能盡可能多地保持和增強(qiáng)邊緣信息,DWT的濾波效果雖然很好,但它把一些關(guān)鍵的細(xì)節(jié)信息也當(dāng)作噪聲濾除了,所以信息量低．本文方法在MI,AvG和QAB/F三個(gè)指標(biāo)上表現(xiàn)都最好,表明本文方法在信息量提取、微小細(xì)節(jié)的表達(dá)能力和邊緣信息的保持方面具有優(yōu)勢．本文方法在時(shí)間上不具有優(yōu)勢,而以犧牲一定的運(yùn)行效率來提升融合質(zhì)量在特定的場合也是必需的．

綜上所述,本文方法充分利用Beamlet保邊濾波算子在線檢測上的優(yōu)越性以及抗噪性能,使得現(xiàn)狀邊緣和細(xì)節(jié)更加清晰．

4 結(jié)論

1) 通過將本文算法與離散小波變換、 Contourlet變換和NSCT算法的實(shí)驗(yàn)結(jié)果對比分析可知,本文算法在4種算法中的濾波效果最好,在濾波的同時(shí)對邊緣有增強(qiáng)作用,比其他3種算法能更清晰地提取微小細(xì)節(jié)和邊緣信息．

2) 本文將MSTO方法和Beamlet保邊濾波算子相結(jié)合,借助Beamlet在圖像線特征檢測上的優(yōu)異表現(xiàn),有效提取圖像的邊緣信息,從含有較強(qiáng)噪聲的圖像中分析出目標(biāo)的線性特征,將Beamlet檢測到的邊緣信息加入到圖像的融合過程中,有效減少噪聲對融合圖像的干擾,增強(qiáng)了融合的線性細(xì)節(jié)表達(dá)能力,提高了信息量．

)

[1] Ardeshir Goshtasby A, Nikolov S. Image fusion: Advances in the state of the art[J].InformationFusion, 2007,8(2): 114-118. DOI:10.1016/j.inffus.2006.04.001.

[2] Toet A, Hogervorst M A, Nikolov S G, et al. Towards cognitive image fusion[J].InformationFusion, 2010,1(2): 95-113. DOI:10.1016/j.inffus.2009.06.008.

[3] 李光鑫, 徐抒巖, 董吉洪. 結(jié)構(gòu)優(yōu)化型顏色傳遞融合方法[J]. 電子學(xué)報(bào), 2011, 39(1): 213-218.

Li Guangxin, Xu Shuyan, Dong Jihong. Architecture optimized version color transfer based fusion method[J].ActaElectronicaSinica, 2011,39(1): 213-218.(in Chinese)

[4] 郭峰, 楊靜, 史健芳. 基于可控濾波器和空間頻率的圖像融合算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2016,37(8): 2165-2169. DOI:10.16208/j.issn1000-7024.2016.08.035.

Guo Feng, Yang Jing, Shi Jianfang. Image fusion algorithm based on steerable filters and spatial frequency[J].ComputerEngineeringandDesign, 2016,37(8): 2165-2169. DOI:10.16208/j.issn1000-7024.2016.08.035.(in Chinese)

[5] Mahbubur Rahman S M, Omair Ahmad M, Swamy M N S. Contrast-based fusion of noisy images using discrete wavelet transform[J].IETImageProcessing, 2010,4(5): 374-384. DOI:10.1049/iet-ipr.2009.0163.

[6] Wang Xin, Wang Ying. A new focus measure for fusion of multi-focus noisy images[C]//InternationalConferenceonComputer,Mechatronics,ControlandElectronicEngineering. Changchun, China, 2010:251-254.

[7] Cao J Z, Zhou Z F, Wang H, et al. Multifocus noisy image fusion algorithm using the contourlet transform[C]//2010InternationalConferenceonMultimediaTechnology. Ningbo, China, 2010: 1-4. DOI:10.1109/icmult.2010.5631461.

[8] Bekhtin Y S, Bryantsev A A, Malebo D P. Wavelet-based fusion of noisy multispectral images using Spatial Oriented Trees[C]// 2ndMediterraneanConferenceonEmbeddedComputing. Budva, Montenegro, 2013: 113-116. DOI:10.1109/meco.2013.6601332.

[9] Srivastava R, Singh R, Khare A. Fusion of multifocus noisy images using contourlet transform[C]//2013SixthInternationalConferenceonContemporaryComputing. Noida, India, 2013: 497-502. DOI:10.1109/ic3.2013.6612246.

[10] 王昕, 魏有利, 李高略,等. 多源視頻序列噪聲抑制融合算法[J]. 中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,44(S2):391-395.

Wang Xin, Wei Youli, Li Gaolie, et al. Multi-source video sequence fusion algorithm restraining noise[J].JournalofCentralSouthUniversity(ScienceandTechnology), 2013,44(S2): 391-395. (in Chinese)

[11] 沈瑜, 黨建武, 王陽萍,等. 一種新的基于多尺度幾何分析的圖像融合方法[J]. 光電子·激光, 2013, 24(12): 2446-2451.

Shen Yu, Dang Jianwu, Wang Yanping, et al. A novel medical image fusion method based on the multi-scale geometric analysis tool [J].JournalofOptoelectronices·Laser, 2013,24(12): 2446-2451. (in Chinese)

[12] 胡清平, 張曉暉, 劉超. 基于噪聲評價(jià)的微光紅外圖像自適應(yīng)融合方法[J]. 海軍工程大學(xué)學(xué)報(bào), 2017, 29(1):102-106. DOI:10.7495/j.issn.1009-3486.2017.01.020.

Hu Qingping, Zhang Xiaohui, Liu Chao. Adaptive fusion method of low light level and infrared image based on noise analysis[J].JournalofNavalUniversityofEngineering, 2017,29(1): 102-106. DOI:10.7495/j.issn.1009-3486.2017.01.020. (in Chinese)

[13] 嚴(yán)春滿, 郭寶龍, 楊秀紅. 一種抗噪聲的高效多聚焦圖像融合算法[J]. 西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2011, 38(3): 63-68. DOI:10.3969/j.issn.1001-2400.2011.03.011.

Yan Chunman, Guo Baolong, Yang Xiuhong. High efficiency algorithm with antinoise properties for multi-focus image fusion[J].JournalofXidianUniversity(NaturalScience), 2011,38(3): 63-68. DOI:10.3969/j.issn.1001-2400.2011.03.011.(in Chinese)

[14] Bai Xiangzhi, Zhou Fugen, Xue Bindang. Edge preserved image fusion based on multiscale toggle contrast operator[J].ImageandVisionComputing, 2011,29(12): 829-839. DOI: 10.1016/j.imavis.2011.09.003.

[15] Bai Xiangzhi. Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives[J].InfraredPhysics&Technology, 2015,68:143-151. DOI: 10.1016/j.infrared.2014.11.015.

Fusionalgorithmwithmulti-sensornoisyimagebasedonMSTO

Shen Yu Dang Jianwu Wang Yangping Wang Xiaopeng Guo Rui

(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

In the multi-sensor noisy image fusion, it was easy to obtain the fused images with loss of image edges and low image contrast based on the general filter methods. A novel fusion algorithm with noisy infrared and visible light images was proposed based on a multi-scale sequential toggle operator (MSTO) and an improved bilateral filter method. First, the energy component and the detail component were obtained by MSTO multi-scale decomposition. The detail component was processed by Beamlet operator to filter noises while keeping edge information on the images. Then, the bright edge image and dark edge image with the energy image were calculated by MSTO, and added to the detail component to enhance edges. The maximum rule was used in the energy component fusion. MSTO inverse transform was used to decompose the fused detail component and the energy component. The experimental results show that method filters the noise, and extracts and enhances the contour and the edge details. The image fusion algorithm is effective in the multi-sensor noisy image fusion.

multi-scale sequential toggle operator; Beamlet operator; fusion; multi-sensor image

10.3969/j.issn.1001-0505.2017.06.004

TP391

A

1001-0505(2017)06-1101-06

2017-06-10.

沈瑜(1982—)，女，博士生，副教授；黨建武(聯(lián)系人)，男，教授，博士生導(dǎo)師，dangjw@mail.lzjtu.cn.

國家自然科學(xué)基金資助項(xiàng)目(61562057, 61761027，51541902, 51669010, 61202314)、甘肅省自然科學(xué)基金資助項(xiàng)目(17JR5RA101)、長江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助項(xiàng)目(IRT_16R36)、甘肅省“十三五”教育科學(xué)規(guī)劃課題資助項(xiàng)目(GS[2016]GHB0217)、蘭州交通大學(xué)教學(xué)改革資助項(xiàng)目(101004 JGY201615).

沈瑜，黨建武，王陽萍，等.基于MSTO的含噪聲多傳感器圖像融合算法[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,47(6):1101-1106.

10.3969/j.issn.1001-0505.2017.06.004.