基于潛在低秩表示及導(dǎo)向?yàn)V波的紅外與可見(jiàn)光圖像融合方法①

朱亞輝

(陜西學(xué)前師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,西安 710100)

紅外與可見(jiàn)光圖像融合技術(shù)在軍事和民用領(lǐng)域中占有重要地位,如目標(biāo)檢測(cè)、監(jiān)控和情報(bào)收集等.其中,可見(jiàn)光圖像含有豐富的細(xì)節(jié)和紋理信息,但易受光線和天氣等因素的影響,難以捕捉到場(chǎng)景內(nèi)的所有信息;紅外圖像是經(jīng)紅外成像傳感器獲得的圖像,易丟失許多空間細(xì)節(jié)信息,視覺(jué)感受不自然.紅外與可見(jiàn)光圖像融合的目的是充分利用紅外圖像和可見(jiàn)光圖像的優(yōu)勢(shì),生成一幅含有豐富細(xì)節(jié)背景和熱目標(biāo)的高質(zhì)量圖像,便于計(jì)算機(jī)視覺(jué)任務(wù)[1].

由于成像機(jī)理的不同,同一空間位置的紅外和可見(jiàn)光圖像的像素強(qiáng)度往往差異很大,為了得到具有良好視覺(jué)感知的融合結(jié)果,引入多尺度變換(Multi-Scale Transformation,MST).常用的MST 方法包括:Curvelet[2]、Contourlet[3]、DTCWT[4]等,這些方法能將圖像分解為低頻子帶和高頻子帶,但它們不具有平移不變性,容易造成偽Gibbs 現(xiàn)象.雖然NSCT 變換[5]、NSST 變換[6]等增強(qiáng)了圖像的平移不變性,但在融合過(guò)程中未考慮空間一致性,也容易引起亮度失真.隨著機(jī)器學(xué)習(xí)的發(fā)展,稀疏表示具有良好的去噪能力和空間一致性等特征,但仍存在捕獲全局結(jié)構(gòu)的能力有限以及細(xì)節(jié)信息不足的缺點(diǎn).為了解決稀疏表示的問(wèn)題,Liu 等[7,8]提出的潛在低秩表示法(Latent Low-Rank Representation,LatLRR),該方法能夠提取源圖像的全局結(jié)構(gòu)信息和局部結(jié)構(gòu)信息.已有學(xué)者[9-11]將其應(yīng)用到紅外與可見(jiàn)光圖像融合中,并取得較好的融合結(jié)果.但僅使用潛在低秩方法分解源圖像,存在高頻信息提取不完全的問(wèn)題,導(dǎo)致融合效果不佳.

本文針對(duì)紅外與可見(jiàn)光圖像融合過(guò)程中出現(xiàn)的細(xì)節(jié)損失嚴(yán)重等問(wèn)題,提出了潛在低秩表示和導(dǎo)向?yàn)V波的紅外與可見(jiàn)光圖像融合方法.該方法將潛在低秩表示方法和導(dǎo)向?yàn)V波相結(jié)合,較充分地挖掘源圖像的基礎(chǔ)信息、細(xì)節(jié)信息和顯著信息,并應(yīng)用各信息的特征進(jìn)行融合.實(shí)驗(yàn)結(jié)果表明本文方法能保留較多的源圖像的細(xì)節(jié)信息.

1 相關(guān)理論

1.1 潛在低秩表示方法

LatLRR 方法具有較好的空間一致性,能有效提取原始數(shù)據(jù)中的全局結(jié)構(gòu)和局部結(jié)構(gòu).它將圖像分解為基礎(chǔ)子帶與顯著子帶,其表達(dá)式為:

式中,X是輸入圖像,B是低秩系數(shù),D是顯著系數(shù);XB,DX分別表示低秩圖層和顯著圖層;N表示稀疏噪聲.

將LatLRR 問(wèn)題進(jìn)行最優(yōu)化求解,其表達(dá)式為:

式中,‖·‖*表示核范數(shù),‖·‖1表示l1范數(shù),α ＞0表示平衡系數(shù).為便于分析,令低秩圖層=BX,顯著圖層=DX.

1.2 導(dǎo)向?yàn)V波

He 等[12]提出了導(dǎo)向?yàn)V波(Guided Filtering,GF)的概念,通過(guò)引導(dǎo)圖像完成濾波過(guò)程,不僅能夠?yàn)V除圖像噪聲,而且能夠平滑邊緣、保持其梯度特性.

設(shè)輸入圖像I,導(dǎo)向圖J,導(dǎo)向?yàn)V波過(guò)程表示為:

其中,wk為半徑為r的正方形窗口,系數(shù)ak,bk為常數(shù),可直接通過(guò)線性回歸求出,即:

式中,|w|為wk內(nèi)的像素點(diǎn)個(gè)數(shù),,分別為圖像I和圖像J在窗口wk的均值,σ2k為方差,ε為正則化參數(shù).

2 融合方法及融合規(guī)則

已知紅外圖像I,可見(jiàn)光圖像V,設(shè)融合結(jié)果為F,圖1給出了本文融合方法的流程圖,具體融合步驟為:

圖1 本文融合方法流程圖

Step 1.應(yīng)用LatLRR和導(dǎo)向?yàn)V波將源圖像分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層.

Step 2.各圖層融合規(guī)則:基礎(chǔ)圖層、細(xì)節(jié)圖層、顯著圖層分別以視覺(jué)顯著度加權(quán)法、梯度顯著度加權(quán)法、絕對(duì)值最大選擇法為融合規(guī)則,考慮到初始權(quán)重具有噪聲且不與物體邊界對(duì)齊,應(yīng)用導(dǎo)向?yàn)V波優(yōu)化初始權(quán)重.

Step 3.將基礎(chǔ)融合圖層、細(xì)節(jié)融合圖層和顯著融合圖層疊加,得到融合圖像.

2.1 圖層分解

首先,采用LatLRR 方法分解紅外圖像I和可見(jiàn)光圖像V,分別得到紅外低秩圖層、紅外顯著度圖層、可見(jiàn)光低秩圖層、可見(jiàn)光顯著圖層;再分別以低秩圖層,為輸入圖,以紅外圖像I和可見(jiàn)光圖像V為導(dǎo)向圖,應(yīng)用導(dǎo)向?yàn)V波將低秩圖像,分解為基礎(chǔ)圖層和細(xì)節(jié)圖層.

其中,GF表示導(dǎo)向?yàn)V波器;IBased,VBased分別為紅外圖像的基礎(chǔ)圖層和可見(jiàn)光圖像的基礎(chǔ)圖層;IDetail,VDetail分別為紅外圖像的細(xì)節(jié)圖層和可見(jiàn)光圖像的細(xì)節(jié)圖層.r,ε分別為導(dǎo)向?yàn)V波的濾波大小和正則化參數(shù).圖2給出了源圖像的圖層分解示意圖,將源圖像依次分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層.

圖2 源圖像分解

由圖2可以看出,基礎(chǔ)圖層包含著基本信息,結(jié)構(gòu)信息較少,例如可見(jiàn)光圖像中的文字基本已經(jīng)模糊不清;細(xì)節(jié)圖層包含著圖像結(jié)構(gòu)信息,例如紅外圖像中行人的輪廓、汽車等輪廓信息;顯著圖層包含著源圖像的顯著信息,例如行人、車輛、紅綠燈、招牌等信息.因此,將LatLRR和導(dǎo)向?yàn)V波相結(jié)合,可充分地分解源圖像信息.

2.2 融合規(guī)則及融合圖像重建

可見(jiàn)光圖像和紅外圖像均被分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層,該節(jié)分別針對(duì)每層的特征,采用視覺(jué)顯著度加權(quán)法、梯度顯著度加權(quán)法、絕對(duì)值最大選擇法作為每層的融合規(guī)則.具體介紹如下:

(1)基礎(chǔ)圖層融合規(guī)則

基礎(chǔ)圖層包含著圖像大部分信息,尤其以顯著性目標(biāo)為主.因此,該層以視覺(jué)顯著度加權(quán)法作為融合規(guī)則,其融合公式為:

其中,FBased,IBased,VBased分別為基礎(chǔ)融合圖層、紅外基礎(chǔ)圖層、可見(jiàn)光基礎(chǔ)圖層;權(quán)重分別為Guided filtering 及其濾波大小和正則化參數(shù);,分別為紅外顯著圖和可見(jiàn)光顯著圖.

(2)細(xì)節(jié)圖層融合規(guī)則

細(xì)節(jié)圖層包含著源圖像大量的邊緣信息和結(jié)構(gòu)信息,采用Scharr 算子[13]En和拉普拉斯能量和[14]Em分別衡量邊緣信息和結(jié)構(gòu)信息,結(jié)合這兩個(gè)特征,定義梯度顯著度,即為:

其中,EI,EV分別為紅外梯度顯著度和可見(jiàn)光梯度顯著度;EmI,EnI分別為紅外圖像的邊緣信息和拉普拉斯能量和;EmV,EnV分別為可見(jiàn)光圖像的邊緣信息和拉普拉斯能量和.

融合圖像的細(xì)節(jié)層融合公式為:

其中,FDetail,IDetail,VDetail分別為細(xì)節(jié)融合圖層、紅外圖像的細(xì)節(jié)圖層、可見(jiàn)光圖像的細(xì)節(jié)圖層;權(quán)重wDetail=GF(0.5+0.5(EI-EV),I,r,ε).

(3)顯著圖層融合規(guī)則

由圖2可以看出,紅外與可見(jiàn)光顯著圖信息相輔相成,故采用絕對(duì)值最大為權(quán)重圖.即:

其中,權(quán)重w=GF(w′,I,r,ε),w′(i,j)=分別為顯著融合圖層、紅外顯著圖層和可見(jiàn)光顯著圖層.

(4)融合圖像重建

將基礎(chǔ)融合層FBased、細(xì)節(jié)融合層FDetail和顯著融合層疊加,得到融合圖像F為:

3 實(shí)驗(yàn)及結(jié)果分析

在本節(jié)中,通過(guò)主、客觀評(píng)價(jià)多組融合圖像的效果,分析本文融合方法的有效性.其中,3 組紅外與可見(jiàn)光源圖像對(duì)分別是“Camp”、“Road”和“Kaptein”,它們均來(lái)自于TNO Image Fusion Dataset;采用的融合方法包括:DTCWT[4]、GCF[15]、VSM[16]、LatLRR[9]和本文方法.其中,DTCWT和GCF 屬于多尺度分解,DTCWT 濾波器參數(shù)為“l(fā)egall”、“qshift_06”,分解級(jí)數(shù)為2 級(jí);GCF 采用高斯曲率濾波迭代分解源圖像,其迭代次數(shù)為20 次;VSM 融合方法通過(guò)滾動(dòng)引導(dǎo)濾波器分解源圖像,其中σS=2,σr=0.05,迭代分解4 次.LatLRR融合方法中的參數(shù)α=0.8;在本文融合方法中,導(dǎo)向?yàn)V波器的參數(shù)設(shè)置為σS=5,σr=100,潛在低秩表示方法中參數(shù) α=0.1.圖3給出了多組紅外與可見(jiàn)光圖像融合結(jié)果.

圖3 多組紅外與可見(jiàn)光融合結(jié)果

3.1 融合圖像的主觀評(píng)價(jià)

對(duì)比第1 組的融合結(jié)果可以看出,在基于DTCWT融合結(jié)果中,雖然左側(cè)樹(shù)杈的紋理較為清晰,但行人周邊存在明顯的光暈.這是因?yàn)榛贒TCWT不具有平移不變性;在基于GCF和VSM 融合結(jié)果中,無(wú)論左側(cè)樹(shù)杈的紋理還是行人的邊緣都存在模糊性,說(shuō)明它們未能充分提取源圖像的細(xì)節(jié)信息;在基于LatLRR 融合結(jié)果中,左側(cè)樹(shù)杈紋理明顯模糊不清,房頂細(xì)節(jié)不清晰.基于本文融合方法的融合結(jié)果較好地保留了左側(cè)樹(shù)杈紋理信息,且行人邊緣較為清楚,熱目標(biāo)亮度適中,符合人眼視覺(jué)效果.

對(duì)比第2 組融合結(jié)果可以看出,在基于DTCWT融合結(jié)果中,整幅圖像較為模糊、偏暗,行人周邊存在明顯光暈,紅綠燈亮度不明顯;在基于GCF 融合結(jié)果中,行人邊緣存在鋸齒狀;在基于VSM 融合結(jié)果中,整幅圖像較為模糊,例如招牌上的文字、行人邊緣等;雖然基于LatLRR 融合方法提高了圖像亮度,但也存在細(xì)節(jié)信息挖掘不充分的問(wèn)題,例如,招牌上的文字、窗戶的邊緣、車身的邊緣等;基于本文方法的融合結(jié)果不僅保留了可見(jiàn)光場(chǎng)景的細(xì)節(jié)信息,且行人、車輛、紅綠燈等紅外熱目標(biāo)邊緣清晰,接近自然場(chǎng)景.

對(duì)比第3 組融合結(jié)果可以看出,在基于DTCWT融合結(jié)果中,整幅圖像亮度偏暗,熱目標(biāo)邊緣存在光暈;在基于GCF和VSM 融合結(jié)果中,地面紋理不清晰,左側(cè)草叢紋理不清晰,且路燈周邊存在明顯的偽邊緣;基于LatLRR 融合方法導(dǎo)致整幅圖像較為模糊,且熱目標(biāo)亮度不均勻;基于本文方法的融合結(jié)果保留了可見(jiàn)光場(chǎng)景的細(xì)節(jié)信息,如地面紋理信息、草叢紋理信息,且行人和窗戶等邊緣清晰.

3.2 融合圖像的客觀評(píng)價(jià)

為了更加客觀地評(píng)價(jià)本文融合方法的有效性,應(yīng)用互信息MI[17]、邊緣信息傳遞量QAB|F[18]、結(jié)構(gòu)相似度SSIM[19]和特征相似度FSIM[20]分別從互信息、邊緣信息保留程度、結(jié)構(gòu)相似度和特征相似度評(píng)價(jià)融合圖像質(zhì)量.這4 個(gè)指標(biāo)數(shù)值越大,則融合效果越好.表1給出了3 組融合圖像的客觀評(píng)價(jià)值.

由表1可以看出:1)對(duì)比“Camp”,本文方法的融合結(jié)果具有較高的MI 值、QAB|F值、SSIM 值和FSIM值,表明本文融合方法在互信息、邊緣保留度、結(jié)構(gòu)相似度和特征相似度上均優(yōu)于其他融合方法;2)對(duì)比“Road”,本文方法的融合結(jié)果具有較高的MI 值、QAB|F值、SSIM 值,表明本文融合方法較好地保留了源圖像的邊緣信息、結(jié)構(gòu)信息等;在FSIM 指標(biāo)上,5 種融合方法的FSIM 值基本接近,表明這5 種融合方法都較好地保留了源圖像的特征信息;3)對(duì)比“Kaptein”,本文方法的融合結(jié)果具有較高的MI 值、QAB|F值、SSIM值和FSIM 值,也表明本文融合方法較好地保留了源圖像的灰度信息、邊緣信息、結(jié)構(gòu)信息和特征信息.

表1 多組融合結(jié)果評(píng)價(jià)指標(biāo)值

表2給出了3 組融合圖像的客觀評(píng)價(jià)均值.

表2 融合方法客觀評(píng)價(jià)均值

由表2可以看出,本文融合方法在互信息、邊緣保持度、結(jié)構(gòu)相似度和特征相似度均優(yōu)于其他融合方法,尤其是MI 指標(biāo)和QAB|F指標(biāo).這4 個(gè)評(píng)價(jià)指標(biāo)均反映了融合圖像與源圖像間的細(xì)節(jié)保留程度,因此,本文融合方法能有效保留源圖像的細(xì)節(jié)信息.

4 結(jié)論與展望

針對(duì)紅外與可見(jiàn)光圖像融合過(guò)程中出現(xiàn)的細(xì)節(jié)損失嚴(yán)重等問(wèn)題,提出一種基于潛在低秩表示與導(dǎo)向?yàn)V波的紅外與可見(jiàn)光圖像融合方法.該方法結(jié)合潛在低秩表示方法和導(dǎo)向?yàn)V波的優(yōu)勢(shì),將源圖像分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層,并分別以視覺(jué)顯著度加權(quán)法、梯度顯著度加權(quán)法、絕對(duì)值最大選擇法作為融合規(guī)則.最后通過(guò)疊加3 個(gè)圖層獲得最終融合結(jié)果.通過(guò)對(duì)多組融合結(jié)果的主、客觀評(píng)價(jià),分析了本文方法是切實(shí)可行的,能夠得到具有豐富信息且較為清晰的融合圖像,在視覺(jué)質(zhì)量和客觀評(píng)價(jià)方法較優(yōu)于其他方法.但本文方法的融合結(jié)果的FSIM 評(píng)價(jià)值較其他融合方法略高,優(yōu)勢(shì)不是很明顯,其主要原因可能在于導(dǎo)向?yàn)V波的參數(shù)設(shè)置.因此,后續(xù)將對(duì)本文方法的靈敏度進(jìn)行分析,優(yōu)化參數(shù)設(shè)置.