基于FGF與VGGNet19的紅外可見(jiàn)光圖像融合

楊艷春,閆 巖,王 可

(蘭州交通大學(xué)電子與信息工程學(xué)院,甘肅 蘭州 730070)

1 引 言

圖像融合的目的是為了將不同的圖像融合在一起生成更適于人類(lèi)觀察的圖像,從而方便得到兩幅圖像中的有用信息[1]。紅外圖像中,物體熱輻射與其對(duì)應(yīng)在圖像中的灰度值成正比關(guān)系,熱輻射越高的物體,灰度值也就越高,能夠較好地突出發(fā)熱目標(biāo);可見(jiàn)光圖像中,主要突出反射亮度較高的物體,具有豐富紋理細(xì)節(jié)信息,符合人類(lèi)視覺(jué)感知[2-6]。將紅外與可見(jiàn)光圖像進(jìn)行融合之后的圖像既能夠凸顯紅外圖像中的熱輻射較高的目標(biāo),也能夠保持可見(jiàn)光圖像中的紋理細(xì)節(jié)以及邊緣信息,提高在視覺(jué)效果不佳時(shí)(如降水、大霧或有遮擋情況下)對(duì)發(fā)熱目標(biāo)的檢測(cè)和識(shí)別的能力[7-10]。目前在電力設(shè)備監(jiān)測(cè)、軍事目標(biāo)識(shí)別與自動(dòng)駕駛等領(lǐng)域有廣泛應(yīng)用[11]。

目前大多數(shù)學(xué)者廣泛認(rèn)可的圖像融合方法可分為兩類(lèi):傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。多尺度變換方法是傳統(tǒng)方法的一個(gè)重要分支,其中包括有金字塔變換方法[12]、小波變換[13]以及非下采樣剪切波變換(Non-Subsampled Shearlrt Transform,NSST)[14]等。近年來(lái),由于深度學(xué)習(xí)具有較強(qiáng)的非線性特征學(xué)習(xí)和復(fù)雜特征表達(dá)能力,因此在圖像融合領(lǐng)域中得到了深入研究。Ma等人[15]利用兩個(gè)神經(jīng)網(wǎng)絡(luò)同步訓(xùn)練的模式,訓(xùn)練出的生成器負(fù)責(zé)向紅外圖像中添加紋理細(xì)節(jié),鑒別器負(fù)責(zé)識(shí)別生成器生成的融合圖像,有效提升了融合質(zhì)量;Zhang等人[16]提出了將多個(gè)融合問(wèn)題轉(zhuǎn)化為梯度和強(qiáng)度信息的提取和重建,并據(jù)此設(shè)計(jì)了一種由強(qiáng)度項(xiàng)和梯度項(xiàng)組成的通用形式的損失函數(shù)的一種壓縮分解網(wǎng)絡(luò)(SDNet);Tang等人[17]提出了一種基于光照感知的漸進(jìn)式圖像融合網(wǎng)絡(luò)(PIAFusion),自適應(yīng)地保持顯著目標(biāo)的強(qiáng)度分布,并保留背景中的紋理信息;Xu等人[18]提出的U2Fusion通過(guò)特征提取和信息測(cè)量,自動(dòng)估計(jì)相應(yīng)源圖像的重要性,并提出自適應(yīng)信息保留度。目前利用深度學(xué)習(xí)工具進(jìn)行融合取得了較好的融合效果,然而紅外與可見(jiàn)光圖像在融合過(guò)程中存在不能很好地結(jié)合尺度信息,出現(xiàn)紅外目標(biāo)不夠突出,邊緣模糊及細(xì)節(jié)丟失等問(wèn)題。

為了解決上述問(wèn)題,由于快速引導(dǎo)濾波的邊緣保護(hù)特性,在平滑操作中不丟失基礎(chǔ)層的邊緣信息,本文提出了一種基于FGF和VGGNet19的紅外與可見(jiàn)光圖像融合方法。首先,利用快速引導(dǎo)濾波器有效實(shí)現(xiàn)源圖像雙尺度分解。其次,利用VGGNet19網(wǎng)絡(luò)得到初步融合權(quán)重圖,采用最大類(lèi)間方差法提取前景與背景,進(jìn)行二值化。然后,對(duì)得到的二值圖像再次使用快速引導(dǎo)濾波器得到最終融合權(quán)重矩陣,利用加權(quán)融合重建各層的融合圖像以獲得初步融合圖像。最后,重構(gòu)再利用FGF和增強(qiáng)處理實(shí)現(xiàn)圖像最終融合。通過(guò)對(duì)比實(shí)驗(yàn),本文方法能夠有效保留顯著熱目標(biāo),邊緣細(xì)節(jié)清晰,融合圖像具有較好的可視性。

2 相關(guān)工作介紹

2.1 快速引導(dǎo)濾波器

快速引導(dǎo)濾波器(Fast Guided Filter,FGF)[19]是一種保邊平滑濾波器,是對(duì)引導(dǎo)濾波器(Guided Filter)[20]的一個(gè)改進(jìn)方法。

引導(dǎo)濾波器的局部線性關(guān)系為:

qi=ajIi+bj,?i∈ωj

(1)

在公式(1)、(2)和(3)中Ii,pi與qi分別為引導(dǎo)圖像、輸入圖像與輸出圖像對(duì)應(yīng)像素點(diǎn)的值。對(duì)給定的輸入圖像p,使p與q之間的重構(gòu)誤差最小,因此可將aj與bj的求解問(wèn)題轉(zhuǎn)化為如下兩式:

(2)

(3)

其中,λj與?j是濾波窗口j中的均值與方差;δ為防止當(dāng)輸入圖像p和引導(dǎo)圖像I相同時(shí)導(dǎo)致aj=1的正則化參數(shù)。

快速引導(dǎo)濾波進(jìn)行了針對(duì)性的改進(jìn),在(1)式中aj和bj為兩個(gè)系數(shù)圖,q中的邊緣與結(jié)構(gòu)主要通過(guò)引導(dǎo)圖像I給出,但引導(dǎo)濾波器的主要計(jì)算是針對(duì)aj和bj,不需要以全分辨率執(zhí)行。所以對(duì)輸入圖像p和引導(dǎo)圖像I進(jìn)行下采樣(最近鄰下采樣或雙線性下采樣)。所有的盒式濾波器都在低分辨率圖像上執(zhí)行,這是引導(dǎo)濾波器的核心計(jì)算過(guò)程。在得到最終輸出圖像之前,將兩個(gè)系數(shù)圖aj和bj雙線性上采樣到原始大小。輸出q仍然由qi=ajIi+bj計(jì)算。在最后一步中,圖像I是未經(jīng)下采樣的全分辨率引導(dǎo)圖像,所以引導(dǎo)圖像分辨率沒(méi)有變化。

2.2 VGGNet19網(wǎng)絡(luò)框架

因?yàn)椴捎酶嗟姆蔷€性層可以增加網(wǎng)絡(luò)深度,有效提取圖像特征,而且生成的參數(shù)還相對(duì)較少,提高網(wǎng)絡(luò)性能,所以VGGNet19網(wǎng)絡(luò)設(shè)計(jì)利用多個(gè)小卷積核代替單一大卷積核[21],在相同感受野的前提下,效果得到提升。更深一層的神經(jīng)網(wǎng)絡(luò)都會(huì)利用上一層輸出的參數(shù)來(lái)更加精確的提取特征,所以,可以認(rèn)為每層神經(jīng)網(wǎng)絡(luò)都是由多個(gè)不同卷積核所組成的多個(gè)局部特征提取器。與此同時(shí),也驗(yàn)證了在一定程度上,增加網(wǎng)絡(luò)卷積層的數(shù)量,可以提升網(wǎng)絡(luò)最終的特征提取結(jié)果。VGGNet19網(wǎng)絡(luò)包括16個(gè)卷積層與3個(gè)全連接層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 VGGNet19網(wǎng)絡(luò)結(jié)構(gòu)模型圖

3 本文方法

本文提出的方法如圖2所示,具體步驟如下:

圖2 所提方法處理流程

(1)將紅外圖像I1與可見(jiàn)光圖像I2通過(guò)使用快速引導(dǎo)濾波器,得到相應(yīng)的基礎(chǔ)圖B1和B2與細(xì)節(jié)圖D1和D2;

(2)將I1、I2輸入到VGGNet19預(yù)訓(xùn)練模型中得到得分圖S,將S經(jīng)過(guò)最大類(lèi)間方差法(OTSU),分割圖像前景與背景并且二值化,得到特征圖T,基礎(chǔ)層與細(xì)節(jié)層權(quán)重圖(WB1,WB2)、(WD1,WD2)由FGF得到;

(3)將得到B和D求和,再經(jīng)過(guò)快速引導(dǎo)濾波和圖像增強(qiáng)得到融合圖像。

3.1 雙尺度分解

均值濾波通常作為傳統(tǒng)的雙尺度圖像分解方法,但是由于均值濾波器的特性,它不僅消除了高頻噪聲,還使圖像邊緣模糊,同時(shí),細(xì)節(jié)層的邊緣會(huì)產(chǎn)生冗余信息,這對(duì)融合結(jié)果產(chǎn)生不利影響。因此,本文使用快速引導(dǎo)濾波器對(duì)源圖像進(jìn)行雙尺度分解?？焖僖龑?dǎo)濾波器具有更好的邊緣保護(hù)特性,可以在不模糊圖像邊緣的情況下獲得圖像的基礎(chǔ)層,通過(guò)源圖像減去基礎(chǔ)層得到細(xì)節(jié)層不會(huì)生成冗余信息,并且比傳統(tǒng)方法更真實(shí)地恢復(fù)圖像細(xì)節(jié)。通過(guò)快速引導(dǎo)濾波得到的可表示為:

Bn=FGF(In,pn,r,eps,s)

(4)

其中,In為引導(dǎo)圖像,pn為輸入圖像,將源圖像作為引導(dǎo)圖像此處引導(dǎo)圖像與輸入圖像為同一組紅外與可見(jiàn)光圖像,r為FGF窗口尺寸,eps為正則化參數(shù),s為子采樣率。細(xì)節(jié)層Dn如下所示:

Dn=In-Bn

(5)

3.2 特征圖與權(quán)重矩陣

VGGNet19網(wǎng)絡(luò)最大的特點(diǎn)是源圖像通過(guò)預(yù)訓(xùn)練框架得到的特征圖能夠充分提取圖像特征,得到有用的部分,去除冗余數(shù)據(jù)與偽影,使得后續(xù)得到的融合權(quán)重圖更加精準(zhǔn)。因此將紅外圖像I1與可見(jiàn)光圖像I2輸入VGGNet19預(yù)訓(xùn)練框架,可表示為:

(6)

(7)

(8)

其中,r確定平均算子窗口大小。在本文的方法中r=1。

(9)

(10)

(11)

選取得到的四個(gè)初始得分圖中每個(gè)對(duì)應(yīng)像素點(diǎn)的最大值,輸出有且僅有一個(gè)的最終得分圖S:

S(x,y)=max[Si(x,y)|i∈{1,2,3,4}]

(12)

最大類(lèi)間方差法[22](OTSU)其自適應(yīng)性強(qiáng),在任何前景與背景灰度值差異較大的情況下都可以取得很好的效果,且計(jì)算簡(jiǎn)單。

將得分圖S通過(guò)OTSU算法得到初始特征圖T′,可由式(13)表示:

T′(x,y)=OTSU[S(x,y)]

(13)

然后將T′進(jìn)行二值分割,得到最終特征圖T可由式(14)表示:

(14)

由于快速引導(dǎo)濾波器可以通過(guò)引導(dǎo)圖像中的邊緣部分將輸入圖像的邊緣進(jìn)行平滑,去除噪聲與冗余,因此利用FGF對(duì)特征圖T進(jìn)行處理,特征圖T分別由In與Dn作為引導(dǎo)圖像,基礎(chǔ)層和細(xì)節(jié)層的融合權(quán)重圖(WB1,WB2)、(WD1,WD2)是利用FGF后得到,可由式(15)、(16)表示:

WBn=FGF(In,T,r,eps,s)

(15)

WDn=FGF(Dn,T,r,eps,s)

(16)

3.3 圖像重構(gòu)

對(duì)應(yīng)于紅外和可見(jiàn)光雙尺度分解的基礎(chǔ)層Bn和細(xì)節(jié)層Dn乘以相應(yīng)的權(quán)重矩陣,以獲得基礎(chǔ)層和細(xì)節(jié)層的融合圖像,其公式如下:

B=WB1×B1+WB2×B2

(17)

D=WD1×D1+WD2×D2

(18)

初步的融合圖像FC如下:

FC=B+D

(19)

初步融合圖像FC只保留了紅外和可見(jiàn)光圖像的細(xì)節(jié)部分,而并沒(méi)有突出融合圖像中的紅外目標(biāo)。為了得到細(xì)節(jié)豐富、目標(biāo)突出的融合圖像,利用快速引導(dǎo)濾波具有圖像增強(qiáng)的特性,對(duì)初步融合圖像進(jìn)行增強(qiáng):

G=FGF(FC,FC,r,eps,s)

(20)

F=(FC-G).*n+G

(21)

其中,G是以FC作為引導(dǎo)圖像與輸入圖像的快速引導(dǎo)濾波結(jié)果;n是增強(qiáng)系數(shù);F是最終融合圖像,其中n=2。由于快速引導(dǎo)濾波對(duì)灰度值變化較大的邊緣區(qū)域作用明顯,所以通過(guò)式(21)增強(qiáng)圖像邊緣信息,然后將其疊加在G上以達(dá)到提取圖像邊緣信息的目的。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)說(shuō)明

本文紅外與可見(jiàn)光源圖像選取公共數(shù)據(jù)集TNO中的42組圖像進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)仿真平臺(tái)采用AMD Ryzen 7 5800H CPU,RTX 3060 GPU編程環(huán)境為Matlab2016a。為驗(yàn)證算法性能,本文選定6組已配準(zhǔn)圖像進(jìn)行實(shí)驗(yàn)分析,其大小分別為768×576 pixel、596×328 pixel、620×450 pixel、768×576 pixel、768×576 pixel、632×496 pixel。本文快速引導(dǎo)濾波器參數(shù)為r=32;eps=0.3;s=4。

本文使用在ImageNet上訓(xùn)練的固定VGGNet19來(lái)提取特征。硬件平臺(tái)為四個(gè)NVIDIA Titan Black GPU,訓(xùn)練時(shí)網(wǎng)絡(luò)設(shè)置Batch size為32,學(xué)習(xí)率為10-3,訓(xùn)練輪數(shù)為150次,訓(xùn)練過(guò)程在Caffe框架上實(shí)現(xiàn)。

為驗(yàn)證本文算法的可行性與有效性,將本文方法的融合結(jié)果與引導(dǎo)濾波[20](GFF)、梯度濾波[23](GRFF)、壓縮分解網(wǎng)絡(luò)[16](SDNet)、基于融合網(wǎng)絡(luò)體系結(jié)構(gòu)[24](RFN-Nest)和漸進(jìn)式圖像融合網(wǎng)絡(luò)[17](PIAFusion)五種方法進(jìn)行了對(duì)比。

4.2 主觀評(píng)價(jià)

通過(guò)6組實(shí)驗(yàn)的融合結(jié)果如圖3所示,Img 1中GRFF右上角出現(xiàn)偽影,GFF與RFN-Nest中樹(shù)木與背景分界輪廓不清,SDNet中樹(shù)木與房屋輪廓不夠清晰,PIAFusion包含一定紋理信息,但是不如OURS豐富,本文算法中樹(shù)木細(xì)節(jié)清晰,紅外人像突出;Img 2中GRFF紅外目標(biāo)不夠清晰,GFF中樹(shù)木上方出現(xiàn)白色偽影,SDNet中森林與天空分界輪廓不清,RFN-Nest與PIAFusion紅外圖像部分細(xì)節(jié)丟失,本文算法中紅外目標(biāo)輪廓與森林細(xì)節(jié)明顯;Img 3中GRFF中人物部分沒(méi)有體現(xiàn)紅外細(xì)節(jié),GFF中背景出現(xiàn)紋理缺失,SDNet中手持雨傘與背景無(wú)法區(qū)分,RFN-Nest人物雖顯示出來(lái),但是并不十分明顯,PIAFusion中人物亮度過(guò)高,易于背景混淆,本文算法既突出了紅外圖像中的人物,又使得可見(jiàn)光圖像中的雨傘與背景相區(qū)分;Img4中GRFF中道路護(hù)欄部分細(xì)節(jié)缺失,GFFusion中道路中間的細(xì)節(jié)無(wú)法區(qū)分,SDNet與RFN-Nest左下角紋理細(xì)節(jié)缺失,PIAFusion中道路與兩旁輪廓不清,不易區(qū)分,本文算法對(duì)紅外圖像中的護(hù)欄部分細(xì)節(jié)提取完整,可見(jiàn)光圖像中的草木紋理信息最為凸顯;Img 5中GRFF中水域部分紅外細(xì)節(jié)缺失,GFFusion圖像水域中細(xì)節(jié)無(wú)法區(qū)分,SDNet圖像大部分紋理信息缺失,RFN-Nest圖像中心水草部分細(xì)節(jié)明顯缺失,PIAFusion圖像左側(cè)明顯缺失紅外圖像細(xì)節(jié),本文算法將可見(jiàn)光圖像中的水草紋理信息完整保留,同時(shí)與紅外圖像中的水域相區(qū)分;Img 6中GRFF圖像右上角紅外細(xì)節(jié)缺失,GFFusion圖像人物邊緣出現(xiàn)偽影,SDNet圖像整體偏暗,細(xì)節(jié)區(qū)分不清,RFN-Nest圖像紅綠燈無(wú)法分辨,PIAFusion圖像燈牌細(xì)節(jié)無(wú)法區(qū)分,本文算法既保留了可見(jiàn)光圖像中的發(fā)光目標(biāo),如燈牌、路燈等,又突出了紅外圖像中的車(chē)輛、行人等發(fā)熱目標(biāo)。在所選取的六組圖像中,本文方法能夠有效保留顯著熱目標(biāo),細(xì)節(jié)邊緣清晰,更加符合人類(lèi)視覺(jué)感知,均優(yōu)于其他五種對(duì)比方法。

圖3 實(shí)驗(yàn)結(jié)果圖

圖4 指標(biāo)對(duì)比折線圖

4.3 客觀評(píng)價(jià)指標(biāo)

為驗(yàn)證算法性能及圖像融合質(zhì)量,本文采用反映灰度變化情況的SF(空間頻率)、衡量圖像清晰程度的AG(平均梯度)、體現(xiàn)圖像失真和噪聲的PSNR(峰值信噪比)、評(píng)估融合圖像和源圖像差異的MSE(均方誤差)和表達(dá)圖像所含信息的EN(信息熵)進(jìn)行客觀地分析[25]。其中只有MSE為數(shù)值越小,說(shuō)明圖像融合質(zhì)量越好,其余五個(gè)指標(biāo)均為數(shù)值越大,融合質(zhì)量越好。

6組實(shí)驗(yàn)圖像的客觀評(píng)價(jià)指標(biāo)值如表1所示。通過(guò)實(shí)驗(yàn)指標(biāo)值可以看出本文方法的Img4在本文選定的五種指標(biāo)中都處于最優(yōu),其余五幅圖像絕大多數(shù)指標(biāo)處于最優(yōu)。表明本文方法所獲得的融合圖像包含的圖像細(xì)節(jié)更豐富,融合質(zhì)量更好與源圖像差異程度小。綜上,本文方法具有更優(yōu)的融合效果。

表1 客觀評(píng)價(jià)指標(biāo)對(duì)比

5 結(jié) 語(yǔ)

本文提出了一種基于快速引導(dǎo)濾波器與VGGNet19的紅外與可見(jiàn)光圖像融合算法,不僅能夠在進(jìn)行圖像平滑的過(guò)程中保留邊緣信息,而且有效提取目標(biāo)信息,使得融合圖像同時(shí)具有豐富的紋理細(xì)節(jié)和較高的目標(biāo)識(shí)別能力。利用FGF算法進(jìn)行圖像的雙尺度變換,有效保留邊緣細(xì)節(jié);使用VGGNet19提取得分圖,再使用OTSU算法進(jìn)行前景與背景分割,進(jìn)一步提取紅外目標(biāo);再次利用FGF算法得到融合權(quán)重圖;最后將初步融合圖像經(jīng)過(guò)FGF進(jìn)行圖像平滑和圖像增強(qiáng)得到最終的融合圖像。與其他方法相比,本文方法得到的融合圖像具有更豐富的紋理細(xì)節(jié)與突出的紅外目標(biāo),更加符合人類(lèi)視覺(jué)感知,是一種有效的融合方法。為了更好地提取源圖像特征信息,今后將進(jìn)一步改進(jìn)網(wǎng)絡(luò)的具體架構(gòu)、融合規(guī)則、嘗試使用其他深度學(xué)習(xí)網(wǎng)絡(luò),來(lái)提高融合效果。