基于FRGF和改進(jìn)PCNN的紅外可見光圖像融合

楊艷春,王 可,閆 巖

(蘭州交通大學(xué)電子與信息工程學(xué)院,甘肅 蘭州 730070)

1 引 言

由于傳感器技術(shù)的迅速發(fā)展,紅外和可見光圖像融合越來越成為了研究者們的研究重點(diǎn)。紅外傳感器得到的紅外圖像具備較大的反差和明顯的目標(biāo),但其空間清晰度較低,并且容易受到噪聲和紋理的影響,可見光傳感器在紋理細(xì)節(jié)方面有較高的空間清晰度,分辨率較高,但圖像的質(zhì)量容易受到光照條件、天氣及遮擋等環(huán)境因素的制約。故綜合這兩種圖像的互補(bǔ)特征,就可以得到一個(gè)紅外物體突出、紋理、邊界細(xì)節(jié)特征等豐富的圖像,此類圖像在電力設(shè)備監(jiān)測(cè)、人類視覺感知、軍事應(yīng)用、遙感、醫(yī)學(xué)成像、目標(biāo)識(shí)別和跟蹤等方面得到了廣泛的應(yīng)用[1-4]。

目前,多尺度變換是一個(gè)廣為學(xué)者們認(rèn)可的方法[5-6],比如有拉普拉斯金字塔[7]、小波變換[8]、非下采樣輪廓波變換(Non-Subsampled Contourlet Transform,NSCT)[9]和非下采樣剪切波變換(Non-Subsampled Shearlet Transform,NSST)[10]等。近年來,由于保邊濾波器在邊緣保留、噪聲平滑等方面的效果突出,因此得到了廣泛運(yùn)用。為解決目標(biāo)不突出、背景信息容易丟失等問題,Jiang等人采用改進(jìn)引導(dǎo)濾波和雙通道脈沖發(fā)放皮層相結(jié)合的方法[11]。Liu等人在NSST域中進(jìn)行多尺度分解,利用了不可拆分小波的冗余提升特性,同時(shí)采用引導(dǎo)濾波器生成顯著圖和加權(quán)圖,從而有效地提高了細(xì)節(jié)和邊緣捕獲能力[12]。為了較好保留圖像的紋理信息,提高對(duì)比度,Chen等人提出一種基于顯著性的多尺度分解的融合方法[13]。目前,多數(shù)保邊濾波器在圖像的邊界和圖像細(xì)節(jié)上都已經(jīng)獲得了比較優(yōu)秀的成績(jī),但是在尺寸感知上卻存在著一些缺陷。隨之,Zhang等人利用滾動(dòng)引導(dǎo)濾波器(Rolling Guidance Filter,RGF)的尺寸感知和邊緣保持特性,在圖像融合中有效提高了融合質(zhì)量[14]。Jian等人利用RGF對(duì)圖像進(jìn)行多尺度分解,且通過聯(lián)合雙邊濾波和最優(yōu)校正優(yōu)化來得到最終的權(quán)重圖,從而有效地控制了偽影[15]。Lin等人提出了一種基于RGF和顯著性檢測(cè)的方法,使得有效的增強(qiáng)了對(duì)比度[16]?，F(xiàn)階段,利用濾波器方法在紅外與可見光圖像融合方面取得了有效成果,然而紅外與可見光圖像在融合過程中存在部分多尺度變換復(fù)雜以及方向數(shù)受到限制等問題,從而導(dǎo)致融合算法目標(biāo)不突出,邊緣不夠清晰、對(duì)比度低。

根據(jù)上述問題,本文在滾動(dòng)引導(dǎo)濾波器的基礎(chǔ)上提出了一種更快速的滾動(dòng)引導(dǎo)濾波器,可以較好地保留邊緣、細(xì)節(jié)紋理信息的同時(shí)有效提高運(yùn)行效率。首先,對(duì)配準(zhǔn)的源圖像通過快速滾動(dòng)引導(dǎo)濾波和高斯濾波器實(shí)現(xiàn)分解;對(duì)已分解的基礎(chǔ)層采取通過相似性匹配融合規(guī)則進(jìn)行融合,從而突出圖像的顯著特點(diǎn),以滿足人眼的視覺觀察;針對(duì)細(xì)節(jié)層能夠更好地保存源圖像細(xì)節(jié)紋理信息,可以通過基于改進(jìn)后的參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)融合方式實(shí)現(xiàn)融合;最后采用多尺度重構(gòu)方法來得到最終的融合結(jié)果。所提方法在可以較好地保留源圖像的紋理細(xì)節(jié)特征的同時(shí),對(duì)所得的融合圖像也具有較好的視覺效果,大大提高了融合算法運(yùn)行效率。

2 相關(guān)工作介紹

2.1 滾動(dòng)引導(dǎo)濾波器

滾動(dòng)引導(dǎo)濾波器是一種非常高效的大尺度感知濾波器[17],它分為兩步。首先,第一步通過高斯濾波去除小結(jié)構(gòu),描述為:

G=Gaussian(I,σs)

(1)

其中,I為輸入源圖像;標(biāo)準(zhǔn)差σs為尺度參數(shù),并設(shè)置σs=2。通過大尺度空間[18]消除了小于σs的大尺度結(jié)構(gòu)。第二步是邊緣恢復(fù),以第一步的高斯濾波的計(jì)算結(jié)果G為引導(dǎo)圖像,迭代地還原已被模糊的大尺度結(jié)構(gòu)邊緣。由于引導(dǎo)濾波器復(fù)雜度較小具有保邊特性,被選作聯(lián)合濾波。對(duì)邊緣恢復(fù)的Jt進(jìn)行了迭代更新,迭代過程如下式:

(2)

其中,Jt為上一次迭代輸出圖像;t為迭代次數(shù);σr控制權(quán)值,設(shè)定為σr=0.05,I,σs同上。通過上述兩式得到RGF,描述如下:

U=RGF(I,σs,σr,T)

(3)

I,σs和σr同上,U表示濾波器的輸出,T表示迭代次數(shù)。

2.2 改進(jìn)的快速滾動(dòng)引導(dǎo)濾波器

在RGF的基礎(chǔ)上,提出了快速滾動(dòng)引導(dǎo)濾波器(Fast Rolling Guided Filter,FRGF)。引導(dǎo)濾波器是幾種流行的邊緣保持平滑算法之一,它能夠很有效地抑制梯度反轉(zhuǎn)偽影并形成更清晰的邊界輪廓,但注意到濾波器的加速?zèng)]有被利用,希望這種加速能夠提高融合算法性能,并進(jìn)一步普及這個(gè)濾波器,于是在引導(dǎo)濾波器的基礎(chǔ)上提出快速引導(dǎo)濾波器(Fast Guided Filter,FGF)[19],使得運(yùn)行效率更高。FRGF結(jié)構(gòu)模型見圖1:

圖1 FRGF結(jié)構(gòu)模型

1)第一步利用高斯濾波器去除小結(jié)構(gòu)信息,如式(1)。

2)第二步是邊緣恢復(fù),首先對(duì)上一步得到的結(jié)果G應(yīng)用到快速引導(dǎo)濾波器中作為引導(dǎo)圖像,公式如下:

(4)

3) FRGF通過公式(1)和(4)所得出:

U=FRGF(I,σs,σr,T,s)

(5)

T,I,s,σs和σr同上;U表示快速滾動(dòng)引導(dǎo)濾波器的輸出。

在第二步中,快速引導(dǎo)濾波的本質(zhì)是通過下上采樣使得算法的時(shí)間復(fù)雜度由O(N)降低到O(N/s2)。其中下采樣就是采用最近領(lǐng)域插值算法對(duì)尺寸為M×N輸入圖像和引導(dǎo)圖像進(jìn)行比率為s的下采樣操作,使得圖像成為M×N分別縮小s倍的圖像。上采樣是指通過選擇適當(dāng)?shù)牟逯涤?jì)算在原有圖像相鄰像素點(diǎn)中間置入新的元素,進(jìn)而使新圖像的像素點(diǎn)和原有圖像中相鄰像素點(diǎn)的位置一一對(duì)應(yīng),最后通過系數(shù)映射進(jìn)行線性上采樣到原始大小。

為了檢驗(yàn)快速滾動(dòng)引導(dǎo)濾波器的有效性,本文選擇圖6(原始圖像)進(jìn)行仿真,圖2是RGF和FRGF對(duì)分解圖像的運(yùn)行時(shí)間對(duì)比,運(yùn)算時(shí)間平均減少58.87 %,運(yùn)行速度有效提升。

圖2 FRGF運(yùn)行時(shí)間對(duì)比折線圖

以上分析可知,FRGF方法的計(jì)算效率遠(yuǎn)遠(yuǎn)高于RGF方法,所需的運(yùn)行時(shí)間最短。

圖3為當(dāng)?shù)螖?shù)Iteration=4時(shí),RGF,FRGF的濾波結(jié)果以及各自對(duì)應(yīng)的三維截面圖和細(xì)節(jié)放大圖。在三維圖像中可以看到像素的大小及分布情況,可以看出在三維圖中RGF逐漸平滑大尺度邊緣的曲率邊緣,而FRGF保持整體圖像亮度以及對(duì)比度的情況下恢復(fù)了大尺度邊緣。從放大圖中可以看出,FRGF在平滑曲率和保持局部圖像對(duì)比度的情況下恢復(fù)了大尺度邊緣,保持了邊緣的區(qū)域。

圖3 RGF,FRGF濾波結(jié)果分析

2.3 FRGF和高斯濾波器相結(jié)合的多尺度分解

對(duì)源圖像通過FRGF分解得到基礎(chǔ)層和細(xì)節(jié)層。僅通過設(shè)置參數(shù)σs和σr進(jìn)行分解,此過程不僅浪費(fèi)時(shí)間,而且無法充分分解出基礎(chǔ)層。為了提高效率,采用FRGF和高斯濾波器結(jié)合的方法對(duì)圖像進(jìn)行分解。過程如下:

(6)

Dj=Uj-1-Uj,j=1,…,N-1

(7)

(8)

Bj=Uj-1-Uj,j=N

(9)

2.4 簡(jiǎn)化PCNN模型

脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network,PCNN)是一種反饋型網(wǎng)絡(luò)[20-21]。PCNN最大的特點(diǎn)是不需要任何的訓(xùn)練直接可以使用,并且采用一種基于迭代的運(yùn)算,然而PCNN基本模型參數(shù)過多,難以控制,導(dǎo)致其性能受到限制。因此本文使用圖4的PCNN簡(jiǎn)化模型,且第(i,j)個(gè)簡(jiǎn)化神經(jīng)元的數(shù)學(xué)表達(dá)式如式(10)所示:

圖4 簡(jiǎn)化的PCNN

(10)

其中,Iij表示輸入信號(hào)的灰度值;Lij[n]和Fij[n]分別表示神經(jīng)元的鏈接和反饋信號(hào);Yij[n]和Uij[n]分別表示神經(jīng)元的脈沖輸出和內(nèi)部閾值;VL和Wijkl分別表示鏈接信號(hào)的放大系數(shù)和鏈接矩陣元素;αf表示指數(shù)式衰減系數(shù),β為鏈接強(qiáng)度。PCNN的輸出Yij[n]分為兩種狀態(tài):點(diǎn)火狀態(tài)(Yij[n]=1)和未點(diǎn)火狀態(tài)(Yij[n]=0)。其中PCNN簡(jiǎn)化模型初始化為Yij[0]=0,Uij[0]=0和θij[0]=0。

2.5 改進(jìn)PCNN模型

傳統(tǒng)的PCNN模型的性能在一定程度上由PCNN的參數(shù)設(shè)置來決定,參數(shù)自適應(yīng)PCNN模型中的參數(shù)分別是αf,β,VL,αθ,Vθ。本文將參數(shù)β和VL視為一個(gè)整體,但由于標(biāo)準(zhǔn)差能夠很好地反映圖像的紋理信息,故設(shè)λ=(βVL)STD為加權(quán)鏈接強(qiáng)度。因此在經(jīng)過改進(jìn)的自適應(yīng)PCNN模型中,實(shí)際上只有4個(gè)參數(shù)。其中δ(s)代表了輸入信號(hào)I的標(biāo)準(zhǔn)差和平均梯度的區(qū)間,s′為歸一化Otsu閾值,Smax代表輸入信號(hào)的最大強(qiáng)度,通過無參數(shù)和無監(jiān)督方式自動(dòng)進(jìn)行選擇Otsu的閾值。其中:

(11)

基于參數(shù)自適應(yīng)PCNN模型進(jìn)行圖像融合,迭代次數(shù)n通常都可以由人工選擇和決定,它的選擇會(huì)影響PCNN模型的同步脈沖性。PCNN簡(jiǎn)化模型的輸出幅度常由線性函數(shù)表示,導(dǎo)致神經(jīng)元內(nèi)部層次被削弱,點(diǎn)火幅度差異無法充分顯示出來。本文使用Tanh函數(shù)計(jì)算每次迭代過程中子帶系數(shù)的點(diǎn)火輸出幅度,Tanh函數(shù)具有非線性特性,通過其非線性可以充分體現(xiàn)每次迭代過程中點(diǎn)火幅度的差異性。改進(jìn)后的定義為:

(12)

(13)

3 本文融合方法

如圖5所示,為本文算法流程圖,本方法主要包含以下4個(gè)步驟:

圖5 本文算法流程圖

(2)對(duì)于基礎(chǔ)層BI和BV,采用相似性匹配規(guī)則進(jìn)行融合,從而得到融合后的基礎(chǔ)層圖像;

(4)最后進(jìn)行多尺度重構(gòu)得到融合結(jié)果圖。

3.1 基礎(chǔ)層融合

源圖像經(jīng)過FRGF分解后,將主要的輪廓信息集中在基礎(chǔ)層圖像上,用以調(diào)節(jié)融合圖像的外觀和對(duì)比度。所以,如何選擇基礎(chǔ)層的融合規(guī)則就十分重要。對(duì)于基礎(chǔ)層圖像BI和BV,計(jì)算BI和BV的局部能量圖(小窗口內(nèi)的系數(shù)平方和),表達(dá)式為:

(14)

(15)

式中,BI(x,y)表示在(x,y)處BI的基礎(chǔ)層系數(shù);BV(x,y)表示在(x,y)處BV的基礎(chǔ)層系數(shù);i表示特征層數(shù)。

由于紅外圖像與可見光圖像在同一環(huán)境下有不同的成像特點(diǎn),因此需要通過區(qū)域相似性匹配規(guī)則來比較其異同。將區(qū)域相似性匹配規(guī)則應(yīng)用在基礎(chǔ)層圖像的融合,使最終的融合圖像更好地體現(xiàn)輪廓和邊緣信息?；A(chǔ)層圖像I和V的區(qū)域相似性可表示為:

(16)

L(x,y)即對(duì)應(yīng)像素點(diǎn)的能量相似性系數(shù),它反映了紅外和可見光圖像中對(duì)應(yīng)像素點(diǎn)能量值的相似程度,差值越大,兩幅圖像所對(duì)應(yīng)的兩個(gè)區(qū)域差異越小,否則相反,其度量范圍為[-1,1],越接近1值說明存在著更大的相似性。設(shè)置閾值k′,來決定使用的融合模式,k′=0.6效果最優(yōu)。如果L(x,y)≥k′,那么使用基于權(quán)重G的加權(quán)平均融合模式,其中G可表示為:

(17)

由(17)式可得到加權(quán)平均融合后的系數(shù)BF(x,y),如式(18)所示:

BF(x,y)=G(x,y)·BI(x,y)+[1-G(x,y)]·BV(x,y)

(18)

如果L(x,y)

(19)

最終的融合規(guī)則為:

BF(x,y)=

(20)

3.2 細(xì)節(jié)層融合

(1)對(duì)Fij,I[n]和Fij,V[n]進(jìn)行歸一化處理;

(2)采用改進(jìn)的參數(shù)自適應(yīng)的PCNN模型,其參數(shù)根據(jù)式(11)計(jì)算;

(3)計(jì)算式(10)～式(13),在每次迭代結(jié)束時(shí)添加以下步驟,可以累計(jì)觸發(fā)次數(shù):

Tij[n]=Tij[n-1]+Yij[n]

(21)

因此,每個(gè)神經(jīng)元總的觸發(fā)次數(shù)為Tij[N],其中N表示總迭代次數(shù),DI、DV分別是紅外與可見光圖像的細(xì)節(jié)層系數(shù),TDI、TDV分別是改進(jìn)PCNN紅外與可見光圖像的觸發(fā)次數(shù),通過以下規(guī)則得到融合系數(shù):

(22)

然后,將融合后的基礎(chǔ)層與細(xì)節(jié)層相結(jié)合進(jìn)行重構(gòu),如下:

(23)

4 實(shí)驗(yàn)結(jié)果與分析

為了進(jìn)一步分析本文算法的有效性,對(duì)4組其大小分別為320 pixel×251 pixel、320 pixel×240 pixel、256 pixel×189 pixel和620 pixel×450 pixel的紅外與可見光圖像進(jìn)行融合。其中,將本文算法(FRGF)和另外5種算法加以比較,結(jié)果如圖6所展示,其中其他5種算法分別為RGF方法[22]、BRG方法[23]、GSF方法[24]、GF方法[25]、PIAFusion方法[26]。其中,RGF方法使用了滾動(dòng)引導(dǎo)濾波和高斯濾波器實(shí)現(xiàn)了多尺度分解,利用視覺顯著性圖和加權(quán)最小二乘進(jìn)行優(yōu)化;BRG方法是一種通過紅外特征提取和視覺信息保存的簡(jiǎn)單、快速的紅外與視覺圖像融合算法;GSF方法是一種基于結(jié)構(gòu)相似性的梯度濾波方法,能夠解決計(jì)算平均源梯度時(shí)受到的抵消效應(yīng)影響,并突出源圖像的顯著特征與主要源梯度;GF方法是一種新的基于模糊梯度閾值函數(shù)和全局優(yōu)化的濾波器,克服了傳統(tǒng)基于局部加權(quán)平均的濾波器在分解過程中由于亮度的色散而導(dǎo)致的邊緣模糊問題,保證圖像的整體亮度和邊緣信息;PIAFusion方法是一種基于光照感知的漸進(jìn)式圖像融合網(wǎng)絡(luò),通過利用光照概率構(gòu)建光照感知損失來指導(dǎo)融合網(wǎng)絡(luò)的訓(xùn)練,從而能夠自適應(yīng)地保持顯著目標(biāo)的強(qiáng)度分布并保留背景中的紋理信息。

圖6 實(shí)驗(yàn)結(jié)果

本文方法參數(shù)的設(shè)置,設(shè)置T=4,σs=2,σr=0.05,s=2,自適應(yīng)PCNN參數(shù)設(shè)置W=[0.03121,0.0312;1,0,1;0.0312,1,0.707],迭代次數(shù)n通過Tanh函數(shù)來設(shè)定。本文所有的實(shí)驗(yàn)均在win10系統(tǒng)上的Matlab2016a環(huán)境中實(shí)現(xiàn)的,仿真區(qū)域窗口設(shè)置為3×3。

從圖6中可以看到,在第一組實(shí)驗(yàn)中,RGF方法與PIAFusion方法的整體融合效果良好,只是對(duì)比度和清晰度都不高;BRG方法、GF方法和GSF方法的總體融合效果比較模糊,細(xì)節(jié)紋理信息也都不清晰;而FRGF方法的總體視覺效果比較良好,紋理清晰,對(duì)比度高。第二組實(shí)驗(yàn)中,RGF方法和PIAFusion方法的視覺效果好、目標(biāo)突出,但對(duì)比度低;BRG方法可以很好的保存目標(biāo)信息,但細(xì)節(jié)信息丟失嚴(yán)重;GF方法邊緣細(xì)節(jié)紋理保存較好,消除小梯度噪聲信息,但目標(biāo)對(duì)象不突出;GSF方法對(duì)比度高,但邊緣有虛影產(chǎn)生,細(xì)節(jié)信息丟失較多;FRGF方法保留特征信息的同時(shí),目標(biāo)人物突出顯著,紋理細(xì)節(jié)清晰,視覺效果最佳。第三組和第四組實(shí)驗(yàn)中,RGF方法、PIAFusion方法和GF方法的總體融合效果都很好,但場(chǎng)景圖像不豐富,細(xì)節(jié)圖像也不清晰;而GSF方法的總體融合效果較模糊,且存在過多的噪聲信號(hào),總體對(duì)比度也不高;BRG方法效果相對(duì)顯著,但場(chǎng)景信息不夠豐富,且邊緣細(xì)節(jié)信息丟失嚴(yán)重;相比之下,FRGF方法的總體視覺效果比較良好,不但可以防止融合目標(biāo)的邊緣部分出現(xiàn)虛影,而且也更好的保存了源圖象的總體輪廓和圖像細(xì)節(jié)信息,從而增加了對(duì)比度和亮度。

由于人眼視覺差異,主觀評(píng)價(jià)方法存在一定的局限性。因此本文引入了空間頻率(SF)、平均梯度(AG)、視覺保真度(VIFF)、信息熵(EN)以及標(biāo)準(zhǔn)差(STD)這5個(gè)客觀評(píng)價(jià)指標(biāo)定量的評(píng)估圖像的質(zhì)量,如圖7所示。這5種評(píng)價(jià)指標(biāo)數(shù)值越高,說明融合效果就越好。

圖7 客觀評(píng)價(jià)指標(biāo)折線圖

通過觀察圖7客觀評(píng)價(jià)指標(biāo)的折線圖走向趨勢(shì),可看出FRGF方法的指標(biāo)值整體較高。因此,綜合上述所得,本文方法優(yōu)于其他對(duì)比方法。

5 結(jié) 論

傳統(tǒng)紅外可見光圖像在融合過程中存在邊緣及紋理細(xì)節(jié)不夠清晰、對(duì)比度降低等問題,提出一種FRGF和改進(jìn)PCNN的紅外與可見光圖像融合方法。結(jié)果表明本文方法與傳統(tǒng)方法相比,在主觀上,本文方法能夠避免在目標(biāo)物體的邊緣區(qū)產(chǎn)生虛影,且細(xì)節(jié)豐富對(duì)比度高;在客觀上,該方法的指標(biāo)均高于其它5種方法,是一個(gè)非常高效的融合算法。為了進(jìn)一步豐富融合圖像的紋理和細(xì)節(jié),在今后的研究中也將繼續(xù)研究具有更好特征提取能力的融合規(guī)則。