基于NSCT域平均梯度能量驅(qū)動(dòng)紅外與可見光圖像融合算法

賈 鑫

(北華大學(xué) 機(jī)械工程學(xué)院,吉林 吉林 132021)

隨著信息化時(shí)代的到來,集成電路、電子信息、計(jì)算機(jī)等技術(shù)的飛速發(fā)展,單傳感器在信息采集方面具有單一性,無法滿足實(shí)際生產(chǎn)生活需要,多傳感器構(gòu)成圖像采集系統(tǒng)能夠?qū)崿F(xiàn)信息互補(bǔ),可見光圖像能夠提供觀察域場(chǎng)景信息[1],但無足夠支撐光源時(shí),進(jìn)行觀察域目標(biāo)提取較為困難,紅外光能夠在極端溫度下觀察目標(biāo),能夠用于可見光源不足時(shí)目標(biāo)信息提取,進(jìn)行完整場(chǎng)景描述,可見光圖像和紅外圖像優(yōu)勢(shì)互補(bǔ)[2],能夠得到細(xì)節(jié)豐富、特征明顯、目標(biāo)突出、對(duì)比度高的圖像,廣泛應(yīng)用于航天航空、電子產(chǎn)品檢測(cè)、資源勘測(cè)等多個(gè)領(lǐng)域[3]。

近些年來,紅外與可見光圖像融合領(lǐng)域研究中,涌現(xiàn)出許多具有創(chuàng)新意義的研究成果,但仍然存在目標(biāo)信息提取不完善或細(xì)節(jié)處理不完整等問題。如Ma[4]等人提出了一種通過細(xì)節(jié)保留對(duì)抗學(xué)習(xí)的紅外與可見光圖像融合方法,得到細(xì)節(jié)保留較為完整的融合圖像,但紅外圖像對(duì)比度較低。葉坤濤[5]等人提出了一種改進(jìn)顯著檢測(cè)與NSST的紅外與可見光圖像融合算法,能夠保留豐富背景信息,提高圖像清晰度,但紅外目標(biāo)顯示不夠突出。Li[6]等人提出了一種基于潛在低秩表示的多級(jí)圖像分解方法,通過平均融合策略很好地融合圖像細(xì)節(jié),但融合圖像失去可見光部分細(xì)節(jié)背景。閔莉等人[7]提出了一種改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的紅外與可見光圖像融合方法,能夠解決傳統(tǒng)對(duì)抗網(wǎng)絡(luò)不易訓(xùn)練問題,同時(shí)提升融合精度,但融合圖像存在較大噪聲干擾。

針對(duì)以上問題,本文提出了一種基于NSCT域平均梯度能量驅(qū)動(dòng)的紅外與可見光圖像融合算法,通過NSCT變換對(duì)紅外圖像和可見光圖像進(jìn)行分解,得到三頻段信息,通過各個(gè)頻段融合規(guī)則對(duì)三頻段進(jìn)行融合處理,最后通過INSCT變換得到最終融合圖像。通過三組對(duì)比實(shí)驗(yàn)證明本文提出的方法能夠獲得圖像分辨率高、細(xì)節(jié)完整、圖像邊緣高度清晰的融合圖像。

1 相關(guān)理論

1.1 非下采樣輪廓波變換

非下采樣輪廓波(Nonsubsampled Contourlet,NSCT)分解過程通過非下采樣金字塔濾波器(Nonsubsampled Pyramid Filter Bank,NBPFB)和非下采樣方向?yàn)V波器(Nonsubsampled Direction Filter Bank,NBDFB)實(shí)現(xiàn)。NSCT分解先通過NBPFB將輸入圖像一級(jí)分解,得到低頻子帶圖像和高頻子帶圖像(又稱帶通子帶圖像),高頻子帶圖像經(jīng)過NBDFB進(jìn)行多方向分解,獲得帶通方向子帶圖(Bandpass Directional Subpass,BDS),對(duì)于相同高頻子帶的奇異點(diǎn)進(jìn)行融合,獲得高頻子帶系數(shù)。一級(jí)低頻子帶圖像通過NBPFB繼續(xù)分解,以此類推可以獲得1+∑X2K個(gè)子帶系數(shù)(其中1為低頻系數(shù);2K為高頻系數(shù);X為分解級(jí)數(shù))[8-9],NSCT分解過程見圖1(a),圖1(b)為帶通方向子帶。

(a) NSCT分解

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)理論

脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network,PCNN)是對(duì)哺乳動(dòng)物視覺皮層神經(jīng)元的同步振蕩現(xiàn)象進(jìn)行模擬[10],使用 PCNN 進(jìn)行分割處理對(duì)參數(shù)的選擇較為重要[11],單脈沖耦合神經(jīng)元的組成部分包括接收域、調(diào)制域、脈沖產(chǎn)生器。單個(gè)PCNN神經(jīng)元模型見圖2。

圖2 單PCNN神經(jīng)元

PCNN數(shù)學(xué)描述:

Fij(n)=Sij(n) ,

(1)

Lij(n)=e-αLLij(n-1)+VL∑klWij,klYij,kl(n-1) ,

(2)

Uij(n)=Fij(n)[1+βLij(n)] ,

(3)

θij(n)=e-αθθij(n-1)+VθYij(n-1) ,

(4)

(5)

(i,j)為網(wǎng)絡(luò)當(dāng)中神經(jīng)元所處位置;Sij為外部刺激輸入;Fij為反饋輸入;Uij為內(nèi)部活動(dòng)項(xiàng);θij為動(dòng)態(tài)閾值;Lij為鏈接輸入;β所表示的是耦合的鏈接強(qiáng)度系數(shù);Wij,kl表示權(quán)重系數(shù)矩陣;α、αL為衰減系數(shù);Vθ為輸出閾值的幅值系數(shù);VL為鏈接域;Yij為脈沖輸出。

閾值θ高于U時(shí),關(guān)閉脈沖生成器,隨后進(jìn)行θ指數(shù)衰減;當(dāng)閾值θ低于U時(shí),打開脈沖生成,神經(jīng)元會(huì)形成周期性點(diǎn)火,通常情況下只產(chǎn)生一次脈沖的神經(jīng)元點(diǎn)火,單位階躍函數(shù)類似于神經(jīng)模擬器的工作原理,點(diǎn)火次數(shù)數(shù)學(xué)表達(dá)式見公式(6)。

Tij(n)=Tij(n-1)+Yij(n) ,

(6)

其中Tij為點(diǎn)火次數(shù)。

2 本文方法

本研究提出了一種基于NSCT域AVGE驅(qū)動(dòng)的紅外與可見光圖像的融合算法。首先使用NSCT變換對(duì)IFR和VBI分別進(jìn)行分解,得到低頻、中頻、高頻三個(gè)頻段信息,再對(duì)IFR和VBI相同頻段進(jìn)行融合,低頻段采用AVGE取最大進(jìn)行融合處理,中頻段采用STF取最大進(jìn)行融合處理,高頻部分采用AVGE-PCNN進(jìn)行融合,最后經(jīng)逆非下采樣輪廓波變換(INSCT)得到最終融合圖像,該融合方法流程圖見圖3。

圖3 本文圖像融合方法流程圖

2.1 低頻融合規(guī)則

低頻子帶圖包含較多源圖像能量,帶有信息與原圖相近,低頻融合采用平均梯度能量進(jìn)行融合,平均梯度(Average Gradient,AVG)是指圖像[12]的邊緣或者是影像兩側(cè)相鄰范圍內(nèi)有較為顯著深度不同的灰色(即灰度的改變程度率顯著增加),灰度改變程度率的大小能夠體現(xiàn)圖像的清晰程度,表示圖像在細(xì)微細(xì)節(jié)上差別調(diào)度的變化速率,是圖像多個(gè)維度、多個(gè)方向上密度改變的速率,體現(xiàn)圖像的相對(duì)清晰程度。平均梯度所表示的是圖像的真切程度,反映圖像細(xì)微處的呈現(xiàn)能力。

對(duì)于低頻區(qū)域采用平均梯度取最大的原則來獲得非下采樣輪廓波融合系數(shù),對(duì)IFR和VBI以區(qū)域大小為M×N進(jìn)行分解,圖像分別以位置(i,j)像素點(diǎn)為中心,得到區(qū)域大小為M×N的平均梯度Ga(i,j)和Gb(i,j),選取源圖中平均梯度較大的子帶系數(shù)用來對(duì)應(yīng)融合后的子帶系數(shù)進(jìn)行融合,融合規(guī)則如下:

(7)

像素點(diǎn)(i,j)位置子帶系數(shù)用A(i,j)與B(i,j)所表示,Ga(i,j)、Gb(i,j)表示原圖像以中心為(i,j)區(qū)域大小M×N的平均梯度值。平均梯度值越大,圖像在細(xì)節(jié)反映上越豐富,圖像的清晰程度越高,圖像融合質(zhì)量越好。圖像邊緣信息的強(qiáng)弱由平均梯度所反映,平均梯度定義如下:

(8)

(9)

(10)

平均梯度能量數(shù)學(xué)定義如下:

(11)

本文采用平均梯度能量取最大平均梯度能量融合規(guī)則如下:

(12)

其中AVGEa(i,j)、AVGERb(i,j)表示平均梯度能量值;LFA(i,j)、LFB(i,j)表示平均梯度能量在區(qū)域M×N像素中心點(diǎn)(i,j)位置子帶系數(shù)。選取平均梯度能量較大的子帶系數(shù)作為重構(gòu)后的NSCT低頻子帶系數(shù)。

2.2 中頻融合規(guī)則

STF表示指定波形在一個(gè)單位時(shí)間內(nèi)重復(fù)的次數(shù),是以梯度為基礎(chǔ)的表征圖像質(zhì)量的指標(biāo),STF包含空間行頻、列頻(SRF、SCF)。STF用來測(cè)量成像梯度分布,能夠有效處理圖像成像信息,如圖像紋理、細(xì)節(jié)等,依據(jù)對(duì)紋理和邊緣的敏感特性,融合STF越大表示效果越好。

函數(shù)表達(dá)為

(13)

(14)

(15)

本文對(duì)于中頻段區(qū)域所采用的是STF取最大的方式進(jìn)行處理,對(duì)于紅外與可見光圖像分解設(shè)定區(qū)域大小M×N,以(i,j)為像素中心點(diǎn),將紅外圖像和可見光圖像分解系數(shù)代入公式(13)得到IFR和VBI兩幅圖像空間頻率,選取空間頻率子帶系數(shù)較大的對(duì)應(yīng)為融合后子帶系數(shù)進(jìn)行融合,融合規(guī)則如下:

(16)

其中MSFA(i,j)、MSFB(i,j)表示空間頻率值;MFA(i,j)、MFB(i,j)為空間頻率子帶系數(shù)。

2.3 高頻融合規(guī)則

本文在高頻段采用以平均梯度能量作為驅(qū)動(dòng)的脈沖耦合神經(jīng)網(wǎng)絡(luò)(AGE-PCNN)進(jìn)行融合,選取源圖中經(jīng)平均能量驅(qū)動(dòng)脈沖耦合神經(jīng)網(wǎng)絡(luò)子帶系數(shù)較大的用來對(duì)應(yīng)融合后的子帶系數(shù)進(jìn)行融合,其數(shù)學(xué)表達(dá)式如下:

(17)

(18)

(19)

(20)

紅外與可見光圖像點(diǎn)火次數(shù)n,當(dāng)n=nmax時(shí),高頻系數(shù)融合規(guī)則如下:

(21)

2.4 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)采用的是Win10系統(tǒng),使用的軟件是MATLAB R2019a,64位操作系統(tǒng),處理器為Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz 2.40 GHz,RAM (16.0GB),為了更好地呈現(xiàn)本文所使用的方法,將會(huì)與另外三種方法進(jìn)行對(duì)比,對(duì)比方法分別是DWT算法、DTCWT算法、NSCT算法。本文采用低頻平均能量取最大,中頻平均梯度能量取最大,高頻AGE-PCNN,經(jīng)過INSCT得到最終融合圖像,將對(duì)比實(shí)驗(yàn)進(jìn)行主觀評(píng)價(jià),客觀評(píng)價(jià)。

2.4.1 主觀分析

主觀分析是通過人類視覺直接觀察融合圖像后的感受,圖像融合效果評(píng)估和分析是根據(jù)圖像表達(dá)的完整性、圖像細(xì)節(jié)表達(dá)、圖像失真等標(biāo)志對(duì)經(jīng)過融合后的圖像進(jìn)行評(píng)價(jià),滿足人類生物意義上的視覺特性。主觀評(píng)價(jià)具有直接、可靠等特性可以對(duì)融合圖像效果有較為直觀的評(píng)估。人眼的視覺差異性會(huì)消耗成本、時(shí)間等,具有片面性。圖4～6為本文選取的三組紅外與可見光源圖,對(duì)三組源圖像做相同處理,并進(jìn)行對(duì)比實(shí)驗(yàn)分析。

圖4 第一組紅外圖像和可見光圖像

圖5 第二組紅外圖像和可見光圖像

圖6 第三組紅外圖像和可見光圖像

圖7的第一組紅外與可見光融合算法對(duì)比圖像可以看出本文所提出的融合算法融合效果最好,例如:汽車、路燈、欄桿、山、墻壁等物體能夠很好地進(jìn)行融合,圖像對(duì)比度、紋理、清晰度、細(xì)節(jié)等方面的信息都能夠很好地進(jìn)行保留。DWT融合圖像成像的可讀性明顯降低,從實(shí)驗(yàn)中可以明顯看出汽車成像較為模糊。DTCWT和NSCT圖像雖然在成像清晰度方面有所改善,但對(duì)山、墻壁等表達(dá)缺乏可見光信息,較為模糊。

圖7 第一組紅外與可見光融合算法對(duì)比圖

圖8的第二組紅外與可見光融合算法圖可以看出本文所提出的融合算法效果最好,例如:樹枝、灌木叢、草地等物體能夠很好地融合,在圖像對(duì)比度、紋理、清晰度、細(xì)節(jié)等方面的信息都能夠很好地進(jìn)行保留。DWT、DTCWT、NSCT在對(duì)比度方面有所改進(jìn),DWT、DTCWT、NSCT在圖像邊緣丟失信息較多,細(xì)節(jié)表達(dá)不完整。

圖8 第二組紅外與可見光融合算法對(duì)比圖

圖9的第三組紅外與可見光融合算法圖可以看出本文所提出的融合算法效果較好,對(duì)樹葉、樹枝等能夠很好地融合,在對(duì)圖像細(xì)節(jié)、紋理、清晰程度、對(duì)比度等方面的信息能夠很好地進(jìn)行保留。DWT成像圖像較為模糊,DTCWT對(duì)比度偏低,NSCT圖像細(xì)節(jié)模糊,可見光不能很好地進(jìn)行融合。

圖9 第三組紅外與可見光融合算法對(duì)比圖

2.4.2 客觀分析

為了更好地說明本文融合的優(yōu)勢(shì),在客觀對(duì)融合圖像評(píng)價(jià)方面,借助四個(gè)數(shù)據(jù)指標(biāo)評(píng)估圖像融合效果[13]:標(biāo)準(zhǔn)差(Standard Deviation,STD)、互信息(Mutual Information,MI)、AVG、邊緣信息傳遞因子QAB/F。

STD[14]所表示的是圖像平均灰度值與灰度值的離散情況。圖像的灰度級(jí)越分散則離散值越大,圖像質(zhì)量越好。MI表示被融合A、B圖像有效信息的相關(guān)程度。融合圖像之間的差異性越小則融合圖像越清晰,有效信息越多,MI的值越大。AVG是描述周圍像素和圖像紋理之間的差別。AVG越大則圖像質(zhì)量越好,圖像越清晰。QAB/F表示的是原圖A、B的邊緣細(xì)節(jié)信息有多少被融合后圖像所保留,取值范圍為[0,1],圖像質(zhì)量越好則其值越大。

由表1可以看出,本文平均梯度、互信息、標(biāo)準(zhǔn)差均高于其他融合算法據(jù),則表明本文融合圖像灰度等級(jí)分散,融合后圖像有效信息多,包含較多源圖像邊緣信息。

表1 第一組融合結(jié)果客觀評(píng)估

由表2可以看出,DWT標(biāo)準(zhǔn)差上較優(yōu)于DTCWT和NSCT,在邊緣紋理細(xì)節(jié)的保留和邊緣細(xì)節(jié)信息保留上不如DWT和DTCWT,本文方法所得數(shù)據(jù)在標(biāo)準(zhǔn)差、互信息等都高于其他方法。

表2 第二組融合結(jié)果客觀評(píng)估

由表3可以看出,DWT在對(duì)圖像分層上比起DTCWT和NSCT來說要細(xì)致,在有效信息相關(guān)程度和邊緣細(xì)節(jié)信息保留上有所不足,通過對(duì)比,本文融合方法要優(yōu)于其他方法。

表3 第三組融合結(jié)果客觀評(píng)估

3 結(jié) 論

針對(duì)多改進(jìn)紅外與可見光圖像融合,提出了一種基于NSCT域平均梯度能量驅(qū)動(dòng)的紅外與可見光圖像融合算法。在融合過程中,首先采用NSCT變換對(duì)傳感器采集圖像進(jìn)行分解,得到三頻段信息,再通過各頻段融合規(guī)則進(jìn)行融合,最后采用INSCT變換獲得最終融合圖像。通過三組對(duì)比實(shí)驗(yàn)證明,本文方法在主觀視覺評(píng)估方面效果顯著,通過與離散小波變化、雙數(shù)復(fù)小波變換、非下采樣輪廓波變換進(jìn)行對(duì)比,本文方法在客觀實(shí)驗(yàn)指標(biāo)上表現(xiàn)出較好的融合效果,證實(shí)了該融合方法能夠提高圖像邊緣清晰度,獲得分辨率高、對(duì)比度清晰、邊緣細(xì)節(jié)輪廓明顯的融合圖像,同時(shí)具有很好的自適應(yīng)性。