基于圖像特征的紅外與低照度圖像融合

王慧贏, 王春平, 付 強(qiáng),*, 韓子碩, 張冬冬

(1. 陸軍工程大學(xué)石家莊校區(qū)電子與光學(xué)工程系, 河北 石家莊 050003;2. 中國(guó)人民解放軍32356部隊(duì), 青海 西寧 710003)

0 引 言

紅外與低照度圖像融合技術(shù)在軍事和民用領(lǐng)域中占有重要地位,其應(yīng)用涉及現(xiàn)代軍事監(jiān)控、目標(biāo)跟蹤、生物監(jiān)測(cè)、自動(dòng)駕駛等[1]。低照度圖像是指在光照條件差的環(huán)境下所采集的圖像,特殊的成像環(huán)境導(dǎo)致其存在能見度低、信噪比低、細(xì)節(jié)易丟失等缺點(diǎn)[2]。紅外圖像是指紅外傳感器通過(guò)利用場(chǎng)景中背景與目標(biāo)的輻射強(qiáng)度差異而形成的熱感圖像,其僅僅突出了目標(biāo)的輪廓信息[3-4]。隨著多源圖像融合技術(shù)的發(fā)展,紅外與低照度圖像融合成為圖像處理領(lǐng)域的研究熱點(diǎn)。紅外圖像能夠突出環(huán)境中的熱目標(biāo),并且抗干擾能力強(qiáng),將其與低照度圖像融合,可以清晰地反映出圖像中的目標(biāo)信息及場(chǎng)景細(xì)節(jié)。

目前,針對(duì)多源圖像融合的研究已經(jīng)取得了很多成果。多尺度幾何變換的圖像融合方法得到了廣泛的應(yīng)用[5-6]。具有多分辨率特征的小波變換可以較好地反映圖像的局部變化特征[7-9],但并不適用于處理具有各向異性的奇異性特征圖像,且不具備移位不變性,易導(dǎo)致融合圖像的邊緣或紋理信息不連續(xù)。因此,文獻(xiàn)[10]提出非下采樣輪廓變換(non-subsampled contourlet transform, NSCT)方法,該方法不僅繼承了之前算法的優(yōu)點(diǎn),同時(shí)還具有平移不變性,將其應(yīng)用到紅外與可見光圖像的融合中,既突出了圖像中的熱目標(biāo),又可以豐富紋理信息,但融合后圖像仍存在邊緣模糊及紋理不清晰的問題。為解決上述問題,文獻(xiàn)[11]應(yīng)用NSCT結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulsecoupled neural network, PCNN)的圖像融合方法進(jìn)行研究,使融合效果取得了一定程度的改善,但NSCT算法計(jì)算量大,運(yùn)行速度慢。

為了解決NSCT計(jì)算復(fù)雜度高的缺點(diǎn),文獻(xiàn)[12]應(yīng)用非下采樣剪切波變換(non-subsampled shearlet transform, NSST)代替NSCT對(duì)源圖像進(jìn)行分解。NSST不僅具備了NSCT的所有優(yōu)點(diǎn),同時(shí)算法更加簡(jiǎn)單、計(jì)算耗時(shí)更短,因此在多源圖像融合方法中得到了廣泛的應(yīng)用。文獻(xiàn)[13-15]對(duì)融合規(guī)則進(jìn)行改進(jìn),融合效果被進(jìn)一步改善,但仍存在邊緣模糊、紋理信息丟失的問題。文獻(xiàn)[16]提出了應(yīng)用NSST與導(dǎo)向?yàn)V波相結(jié)合的圖像融合方法,去除了源圖像上的部分噪聲,增強(qiáng)了圖像邊緣細(xì)節(jié)信息,融合效果較好,但該方法在對(duì)清晰度差的圖像進(jìn)行融合時(shí),會(huì)導(dǎo)致大量的細(xì)節(jié)信息丟失,融合效果不佳。

以上各種融合算法雖然在融合效果及融合速度上取得了一定的成果,但并沒有考慮到源圖像的自身特征,未能充分利用源圖像的目標(biāo)及場(chǎng)景信息,導(dǎo)致融合圖像易受噪聲影響,且存在對(duì)比度差、清晰度不佳等問題。針對(duì)上述問題,本文提出了一種針對(duì)紅外與低照度圖像特征的融合算法。首先,通過(guò)紅外與低照度圖像的三維分布圖、直方圖,對(duì)比分析其圖像表現(xiàn)出的特征信息,根據(jù)其特征信息對(duì)圖像進(jìn)行處理。為了凸顯紅外圖像目標(biāo)信息,采用各向異性導(dǎo)向?yàn)V波對(duì)其進(jìn)行去噪、平滑處理。為了增強(qiáng)低照度圖像場(chǎng)景細(xì)節(jié)信息,采用改進(jìn)的廣義全變分去噪算法結(jié)合巴特沃斯高通濾波,對(duì)其進(jìn)行去噪、增強(qiáng)處理。在此基礎(chǔ)上,采用NSST對(duì)紅外圖像與低照度圖像進(jìn)行分解,分別得到低頻子帶圖像和高頻子帶圖像。在融合規(guī)則上,為了保留低頻子帶圖像中的高頻信息,采用改進(jìn)的拉普拉斯加權(quán)算法結(jié)合圖像區(qū)域能量來(lái)融合低頻系數(shù)。為了獲得圖像多個(gè)方向的梯度能量,采用改進(jìn)的空間頻率作為PCNN神經(jīng)元的外部激勵(lì)融合高頻系數(shù)。最后,利用非下采樣剪切波逆變換得到融合后的圖像。

1 紅外圖像與低照度圖像的特征分析

紅外傳感器通過(guò)探測(cè)物體發(fā)出的紅外輻射,將人眼不可見的輻射信息轉(zhuǎn)換為人眼可見、清晰的紅外圖像。紅外圖像中目標(biāo)(行人、車輛等)與背景(樹木、道路等)的輻射亮度差異較大,利于目標(biāo)的識(shí)別,但紅外圖像缺少細(xì)節(jié)信息,無(wú)法對(duì)目標(biāo)所處的環(huán)境以及目標(biāo)本身的細(xì)節(jié)進(jìn)行進(jìn)一步的識(shí)別。低照度圖像是指在光照不佳的環(huán)境或夜晚拍攝的圖像,相對(duì)于紅外圖像,可以較為清晰地反映圖像中場(chǎng)景的細(xì)節(jié)信息,但目標(biāo)特征不突出,易被背景掩蓋。

圖1是配準(zhǔn)好的紅外與低照度圖像。通過(guò)對(duì)比觀察可知,紅外圖像中目標(biāo)(行人、車輛)較為突出,但場(chǎng)景細(xì)節(jié)信息(路燈、廣告牌上的文字)缺失;低照度圖像包含豐富的場(chǎng)景細(xì)節(jié)信息,但目標(biāo)被背景所掩蓋。從這兩組圖像可以看出,紅外與低照度圖像所包含的信息具有一定的互補(bǔ)性,將兩者融合既有利于對(duì)目標(biāo)的識(shí)別,也有利于提高目標(biāo)周圍環(huán)境的辨識(shí)度。為了有效利用紅外圖像的目標(biāo)信息及低照度圖像的場(chǎng)景細(xì)節(jié)信息,需要從紅外與低照度圖像的特性上進(jìn)行深入研究。紅外與低照度圖像的三維分布圖如圖2所示。

圖1 紅外與低照度圖像Fig.1 Infrared and low illumination images

圖2 紅外與低照度圖像三維分布圖Fig.2 Three-dimensional distribution diagram of infrared and low illumination images

由圖2(a)可以看出:

(1) 噪聲(圖中較小波動(dòng)部分)對(duì)與環(huán)境溫差較小的目標(biāo)(較高凸起部分)影響較大;

(2) 像素值集中在50～250之間,說(shuō)明相對(duì)于低照度圖像,紅外圖像亮度較高,因此若對(duì)紅外圖像進(jìn)行去噪、平滑處理,可以有效提升融合圖像的亮度與清晰度。

由圖2(b)可以看出:

(1) 圖中較高凸起對(duì)應(yīng)圖像中路燈、車燈等被燈光照亮的部分;

(2) 像素多集中在0～50的范圍,說(shuō)明低照度圖像亮度差、清晰度不佳,相比于紅外圖像而言無(wú)法區(qū)分目標(biāo)與背景;

(3) 圖中的較小波動(dòng)說(shuō)明低照度圖像也受到了噪聲的影響,由于低照度圖像中目標(biāo)、背景、噪聲反映在三維分布圖中沒有明顯的區(qū)分,因此在對(duì)低照度圖像去噪的同時(shí)還需保留和增強(qiáng)圖像中的邊緣細(xì)節(jié)。

從直方圖可以直觀地看出圖像對(duì)比度的大小,圖3分別給出場(chǎng)景A紅外圖像和低照度圖像的直方圖。

圖3 紅外與低照度圖像直方圖Fig.3 Infrared and low illumination image histogram

從圖3可以看出,紅外圖像的灰度值范圍相較于低照度圖像灰度值范圍更大。此外,紅外圖像會(huì)出現(xiàn)表示目標(biāo)和背景的兩個(gè)峰值,而低照度圖像往往只存在一個(gè)較為明顯的峰值。在圖像融合中,需要紅外圖像來(lái)反映目標(biāo),低照度圖像反映場(chǎng)景細(xì)節(jié),因此,需要提高低照度圖像的動(dòng)態(tài)范圍,增加對(duì)比度。

2 基于圖像特征的紅外圖像與低照度圖像融合算法

2.1 融合算法原理

本文首先通過(guò)紅外與低照度圖像的三維分布圖、直方圖對(duì)比分析圖像表現(xiàn)出的特征信息,根據(jù)其特征信息對(duì)圖像進(jìn)行處理。為了凸顯紅外圖像目標(biāo)信息、提高紅外圖像清晰度,消除噪聲、虛影等干擾成分,需要采用各向異性導(dǎo)向?yàn)V波對(duì)其進(jìn)行去噪、平滑處理。為了增強(qiáng)低照度圖像場(chǎng)景細(xì)節(jié)信息,消除噪聲,采用改進(jìn)的廣義全變分去噪算法結(jié)合巴特沃斯高通濾波對(duì)其進(jìn)行去噪、增強(qiáng)處理。在此基礎(chǔ)上,采用NSST對(duì)紅外圖像與低照度圖像進(jìn)行分解,分別得到低頻子帶圖像和高頻子帶圖像。在融合規(guī)則下,為了保留低頻子帶圖像中的高頻成分,采用改進(jìn)的拉普拉斯加權(quán)算法結(jié)合圖像區(qū)域能量來(lái)融合低頻系數(shù)。為了保留高頻子帶中的細(xì)節(jié)分量,采用改進(jìn)的空間頻率作為PCNN神經(jīng)元的外部激勵(lì)融合高頻系數(shù),算法原理圖如圖4所示。

圖4 基于圖像特征的紅外圖像與低照度圖像融合算法原理圖Fig.4 Principle schematic diagram of infrared image and low illumination image fusion algorithm based on image features

2.2 圖像預(yù)處理

2.2.1 紅外圖像預(yù)處理

受環(huán)境、紅外傳感器自身缺陷以及信號(hào)處理方式的影響,紅外圖像中存在多種噪聲。目前,維納濾波、自適應(yīng)中值濾波、高斯濾波、均值濾波等方法常被用于圖像去噪,但以上方法大多假設(shè)圖像中的噪聲為高斯噪聲,對(duì)紅外圖像中實(shí)際噪聲的處理效果并不理想。文獻(xiàn)[17]應(yīng)用各向異性導(dǎo)向?yàn)V波方法用于紅外圖像與可見光圖像的融合過(guò)程,但由于其只針對(duì)權(quán)重圖進(jìn)行去噪處理,仍有部分噪聲對(duì)融合圖像產(chǎn)生影響。為了給更多紅外圖像中的目標(biāo)信息去除干擾,本文對(duì)源圖像應(yīng)用各向異性導(dǎo)向?yàn)V波進(jìn)行去噪、平滑處理。

給定一幅含有噪聲的圖像I(x,y),應(yīng)用各向異性導(dǎo)向?yàn)V波對(duì)圖像的處理過(guò)程為

(1)

4個(gè)散度在4個(gè)方向上對(duì)當(dāng)前像素求偏導(dǎo)為

(2)

4個(gè)方向上的導(dǎo)熱系數(shù)為

(3)

(4)

圖5是利用不同的去噪方法對(duì)紅外圖像進(jìn)行去噪后的效果圖。從圖5中可以看出,維納濾波、自適應(yīng)濾波、高斯濾波、均值濾波處理后的圖像仍然會(huì)受到噪聲的影響,并且圖像中存在不同程度的模糊;應(yīng)用各向異性導(dǎo)向?yàn)V波處理后的紅外圖像,目標(biāo)被有效地從背景中凸顯出來(lái),場(chǎng)景中的細(xì)節(jié),如房屋的邊緣、路燈、公路兩邊的護(hù)欄等,均清晰可見,背景噪聲實(shí)現(xiàn)有效去除。

圖5 各種去噪方法效果比較Fig.5 Effect comparison of various denoising methods

2.2.2 低照度圖像預(yù)處理

通過(guò)前文對(duì)低照度圖像的三維分布圖、直方圖分析可知,低照度圖像存在對(duì)比度低、噪聲強(qiáng)等問題。為了得到更好的融合結(jié)果,需要對(duì)低照度圖像進(jìn)行去噪、增強(qiáng)處理。目前自適應(yīng)直方圖均衡化、灰度變換、基于Retinex的圖像增強(qiáng)算法等方法常被用于圖像增強(qiáng)處理,這些方法在白天拍攝的圖像處理上具有較好的效果,但在應(yīng)用于夜晚拍攝的圖像時(shí)處理效果不佳。文獻(xiàn)[18]提出廣義全變分去噪算法,該算法既可保留圖像低頻信息,又可增強(qiáng)圖像高頻信息,但其對(duì)圖像邊緣細(xì)節(jié)的增強(qiáng)效果不佳。因此,提出改進(jìn)廣義全變分去噪算法結(jié)合巴特沃斯高通濾波,進(jìn)一步增強(qiáng)圖像的邊緣細(xì)節(jié)信息。

假設(shè)g(x,y)為無(wú)噪聲圖像,z(x,y)為含噪聲圖像,μ(x,y)為零均值,隨機(jī)噪聲信號(hào)方差為δ2,則有

z(x,y)=g(x,y)+μ(x,y)

(5)

利用廣義全變分去噪模型可以將圖像去噪看作最小化問題:

(6)

其導(dǎo)出的歐拉—拉格朗日方程為

(7)

改進(jìn)的巴特沃斯高通濾波的傳遞函數(shù)為

(8)

式中:D0表示截止頻率;Rh、Rl分別表示高頻增益與低頻增益,且Rh>1、Rl<1;C為常數(shù);D(u,v)是從點(diǎn)(u,v)到頻率平面原點(diǎn)的距離,D(u,v)=(u2+v2)1/2。

設(shè)f1(x,y)為經(jīng)廣義全變分算法去噪后的圖像,f2(x,y)為經(jīng)改進(jìn)的巴特沃斯高通濾波器去噪后的圖像,f(x,y)為兩種方法結(jié)合去噪后的圖像。3種圖像的關(guān)系如下:

f(x,y)=kf1(x,y)+f2(x,y)

(9)

式中:k為比例系數(shù),且k>1。

經(jīng)過(guò)去噪后的低照度圖像再由巴特沃斯高通濾波器提取其高頻分量,其傳遞函數(shù)為

(10)

式中:D1為截止頻率;n為階數(shù)。

圖6為低照度圖像增強(qiáng)過(guò)程可視化圖,從圖6(b)可以看出噪聲被有效的去除,但去噪后圖像中的場(chǎng)景細(xì)節(jié)信息不夠清晰,如圖像中紅色框中的汽車與車道線較為模糊,疊加高頻信息后,圖6(d)可以明顯的看到汽車,車道線等場(chǎng)景細(xì)節(jié)。

2.3 紅外圖像與低照度圖像融合

2.3.1 NSST方法

NSST方法是由Easley等[19]提出的一種結(jié)合幾何與多尺度分析的方法,其變換過(guò)程主要分為兩步:多尺度分解與方向局部化。多尺度分解由非下采樣金字塔(non-subsampled pyramid, NSP)實(shí)現(xiàn),保證平移不變性,從而抑制偽吉布斯現(xiàn)象;方向局部化由剪切波濾波器(shearlet filter, SF)實(shí)現(xiàn)。

源圖像首先經(jīng)NSP分解為1個(gè)低頻子帶圖像和k個(gè)大小相同但尺度不同的高頻子帶圖像。高頻子帶圖像再經(jīng)SF進(jìn)行l(wèi)級(jí)多方向分解,形成2l個(gè)高頻方向子帶,其過(guò)程如圖7所示。

圖7 NSST分解過(guò)程圖Fig.7 NSST decomposition process diagram

2.3.2 PCNN方法

PCNN方法由Eckhorn等[20]提出,其同時(shí)具備脈沖同步性及全局耦合性,因此被廣泛用于圖像融合。圖8為PCNN神經(jīng)元的基本模型。

圖8 PCNN神經(jīng)元基本模型Fig.8 Basic model of PCNN neuron

PCNN的每一個(gè)神經(jīng)元由三部分組成:接受域、調(diào)制部分、脈沖產(chǎn)生部分。

接受域負(fù)責(zé)接收外部輸入,然后經(jīng)由L通道和F通道輸出信號(hào)。調(diào)制部分由L通道輸出信號(hào)Ljk疊加一個(gè)正偏移量后與F通道輸出信號(hào)Fjk相乘調(diào)制。脈沖產(chǎn)生部分由閾值比較器和脈沖產(chǎn)生器組成,當(dāng)閾值θjk超過(guò)閾值Ujk時(shí),脈沖產(chǎn)生器將停止發(fā)送脈沖;反之,則神經(jīng)元點(diǎn)火,輸出脈沖。

脈沖神經(jīng)網(wǎng)絡(luò)的工作過(guò)程為:如果神經(jīng)元有脈沖輸出,動(dòng)態(tài)門限會(huì)突然增大,當(dāng)增大到不能產(chǎn)生脈沖輸出時(shí),動(dòng)態(tài)門限會(huì)呈指數(shù)衰減。當(dāng)動(dòng)態(tài)門限衰減到小于內(nèi)部活動(dòng)項(xiàng)時(shí),脈沖又再次產(chǎn)生,周而復(fù)始。脈沖的輸入輸出狀態(tài)影響神經(jīng)元的激發(fā)狀態(tài),神經(jīng)元之間通過(guò)m和w進(jìn)行信息互連。脈沖神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí),神經(jīng)元之間按照如下計(jì)算過(guò)程循環(huán)計(jì)算。

(1) 通過(guò)兩個(gè)通道接收的輸入信號(hào)、上一時(shí)刻的點(diǎn)火矩陣、連接系數(shù)等計(jì)算Fij(n)及Lij(n):

Fij(n)=exp(-aF)Fij(n-1)+VF∑mijklYkl(n-1)+Sij

(11)

Lij(n)=exp(-aL)Lij(n-1)+VL∑wijklYkl(n-1)

(12)

(2) 兩個(gè)通道的結(jié)果被送到調(diào)制部分,加權(quán)相乘調(diào)制得到狀態(tài)信號(hào)Uij(n):

Uij(n)=Fij(n)(1+βLij(n))

(13)

(3) 在脈沖產(chǎn)生部分,將Uij(n)與動(dòng)態(tài)閾值θij(n)進(jìn)行比較。當(dāng)Uij(n)大于θij(n)時(shí),脈沖產(chǎn)生器打開,神經(jīng)元點(diǎn)火輸出脈沖;當(dāng)Uij(n)小于θij(n)時(shí),脈沖產(chǎn)生器關(guān)閉。輸出脈沖為

(14)

(4) 神經(jīng)元點(diǎn)火時(shí),閾值迅速升高,然后衰減至再次點(diǎn)火,θij(n)為

θij(n)=exp(-aθ)θij(n-1)+VθYij(n-1)

(15)

式中:i,j,k,l為下標(biāo)號(hào);Sij表示外部刺激;mijkl、wijkl表示鏈接權(quán)矩陣;αF、αL、αθ表示衰減系數(shù);VF、VL、Vθ表示幅度常數(shù);β表示鏈接強(qiáng)度;n表示迭代次數(shù)。

2.3.3 融合算法

(1) 低頻融合規(guī)則

低頻系數(shù)的融合往往采用取平均的融合規(guī)則[21],但這樣會(huì)導(dǎo)致融合圖像中高頻能量的損失[22]。為了保留低頻子帶圖像中的高頻信息,采用改進(jìn)的拉普拉斯加權(quán)算法結(jié)合圖像區(qū)域能量來(lái)融合低頻系數(shù)。

定義八鄰域改進(jìn)拉普拉斯加權(quán)和(weighted sum of eight-neighbor modified Laplacian, WSEML),結(jié)合區(qū)域能量E來(lái)選擇低頻系數(shù),其公式如下:

(16)

(17)

(18)

式中:p∈{V,L},V和L分別為紅外圖像與低照度圖像,其區(qū)域大小為(2r+1)·(2r+1);DLp(i,j)為低頻系數(shù);w(m+r+1,n+r+1)為各點(diǎn)權(quán)重;EMLp(i,j)表示改進(jìn)的拉普拉斯加權(quán)算法。

(2) 高頻融合規(guī)則

高頻子帶會(huì)帶有圖像中重要的輪廓邊緣信息,為了更好地保留高頻子帶中的細(xì)節(jié)分量,如邊緣、直線、邊界信息等,應(yīng)用改進(jìn)的空間頻率作為PCNN神經(jīng)元的外部激勵(lì)融合高頻系數(shù)。傳統(tǒng)的空間頻率只能計(jì)算一個(gè)方向的梯度能量,為了獲得圖像多個(gè)方向的梯度能量,特采用改進(jìn)空間頻率作為PCNN神經(jīng)元的外部激勵(lì),對(duì)于大小為M×N的圖像,改進(jìn)的空間頻率MSF為

(19)

(20)

(21)

(22)

(23)

式中:RF、CF分別表示行頻率和列頻率;MDF、SDF分別表示主對(duì)角頻率和副對(duì)角頻率。

(3) 融合流程

針對(duì)紅外圖像與低照度圖像特點(diǎn),基于圖像特征、NSST、區(qū)域能量、PCNN等進(jìn)行融合規(guī)則的制定,可以有效保留融合圖像邊緣輪廓等細(xì)節(jié)信息,提高融合圖像清晰度。

具體步驟如下。

步驟 1用各向異性導(dǎo)向?yàn)V波對(duì)紅外圖像進(jìn)行濾波。

步驟 2利用改進(jìn)的廣義全變分去噪算法結(jié)合巴特沃斯高通濾波對(duì)低照度圖像進(jìn)行去噪和細(xì)節(jié)增強(qiáng)。

步驟 3對(duì)預(yù)處理后的紅外圖像和低照度圖像分別進(jìn)行NSST分解,獲得高頻子帶圖像和低頻子帶圖像。

步驟 4對(duì)于低頻子帶圖像,遍歷每個(gè)像素點(diǎn),選取區(qū)域能量E和WSEML乘積的較大值作為低頻融合系數(shù)。

步驟 5利用PCNN準(zhǔn)則選擇高頻系數(shù),其過(guò)程如下。

① 令Fij(0)=0、Lij(0)=0、Uij(0)=0、θij(0)=0、Yij(0)=0。

② 利用MSF值激勵(lì)PCNN。

③ 通過(guò)式(10)～式(14)計(jì)算Lij(n)、Uij(n)、θij(n)。

④ 重復(fù)以上步驟,直至n=N時(shí)停止迭代,選取較大點(diǎn)火次數(shù)的子帶系數(shù)作為高頻融合系數(shù)。

步驟 6對(duì)處理后的低頻分量及高頻分量進(jìn)行NSST逆變換,得到最終融合圖像。

3 實(shí)驗(yàn)結(jié)果及分析

為了測(cè)試所提算法的有效性,從由加拿大光學(xué)研究所發(fā)布的公開數(shù)據(jù)集(簡(jiǎn)稱為INO)[23]和由荷蘭組織應(yīng)用科學(xué)研究院發(fā)布的公開數(shù)據(jù)集(簡(jiǎn)稱為TNO)[24]中選取配準(zhǔn)的紅外圖像與低照度圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為:Matlab R2018b, 64位Windows10操作系統(tǒng),8 GB內(nèi)存,Intel(R) Core(TM) i7-7500U CPU @2.70 Hz 2.9 GHz處理器。實(shí)驗(yàn)參數(shù)首先分別根據(jù)文獻(xiàn)[20]、文獻(xiàn)[21]、文獻(xiàn)[25]、文獻(xiàn)[26]初步確定,然后根據(jù)紅外圖像與低照度圖像特點(diǎn)及應(yīng)用算法原理對(duì)參數(shù)進(jìn)行調(diào)整,并進(jìn)行大量實(shí)驗(yàn)。最后選擇的最優(yōu)參數(shù)組為:各向異性導(dǎo)向?yàn)V波算法中t=20、k=5、λ=0.15;改進(jìn)廣義全變分去噪算法中λ=0.5、p=0.5、D0=18、Rh=1.7、Rl=0.8、C=0.6、K=1.2、D1=0.1、n=15;多尺度分解選取“maxflat”濾波器,分解層數(shù)為4,方向數(shù)為{3,3,4,4};PCNN模型中N=200,aL=0.069 31,aθ=0.2,VL=1.0,Vθ=20,β=5。采用3種算法與本文算法進(jìn)行比較,分別為NSCT_PCNN[25]算法、PCNN[26]算法、NSST[27]算法。

3.1 主觀視覺評(píng)估

本節(jié)給出了各種方法對(duì)不同場(chǎng)景下的5幅圖像(夜間復(fù)雜馬路、凌晨走廊、夜間繁華街道、凌晨郊區(qū)、凌晨山區(qū))的融合結(jié)果。夜間復(fù)雜馬路圖像見圖9。

圖9 夜間復(fù)雜馬路圖像Fig.9 Complex road images at night

從圖9可以看出,對(duì)于夜間復(fù)雜馬路圖像,3種方法的融合圖像均受到了噪聲的影響,NSCT_PCNN算法的融合圖像對(duì)比度較低,場(chǎng)景細(xì)節(jié)模糊不清;PCNN算法的融合圖像雖然場(chǎng)景細(xì)節(jié)表現(xiàn)較好,但對(duì)比度過(guò)高,導(dǎo)致圖像中顏色深的區(qū)域變黑,紅外目標(biāo)偏亮;NSST算法的融合圖像較為灰暗,場(chǎng)景細(xì)節(jié)信息缺失;本文算法的融合圖像在亮度和細(xì)節(jié)提取上有很大提升,可以清晰地看出汽車、行人、車道線等細(xì)節(jié)信息,視覺效果提升明顯。凌晨走廊圖像見圖10。

圖10 凌晨走廊圖像Fig.10 Early morning corridor images

由圖10可以看出,對(duì)于凌晨走廊圖像,3種方法的融合圖像均存在不同程度的失真,NSCT_PCNN算法的融合圖像對(duì)于低照度圖像的場(chǎng)景細(xì)節(jié)信息完全缺失,只有紅外目標(biāo)信息;PCNN算法的融合圖像存在大量黑色斑塊、場(chǎng)景細(xì)節(jié)缺失、紅外目標(biāo)過(guò)亮;NSST算法的融合圖像對(duì)比度和清晰度較差、邊緣輪廓模糊、存在明顯的偽影現(xiàn)象;本文算法的融合圖像對(duì)比度適中、清晰度高、具有豐富的場(chǎng)景細(xì)節(jié)信息,例如走廊的地磚紋理、花草的細(xì)節(jié)和煙霧信息。這些場(chǎng)景信息輪廓清晰且亮度適中,更符合人眼的視覺感受。夜間繁華街道圖像見圖11。

圖11 夜間繁華街道圖像Fig.11 Busy street images at night

由圖11可以看出,對(duì)于夜間繁華街道圖像,NSCT_PCNN算法的融合圖像存在明顯的噪聲,場(chǎng)景細(xì)節(jié)信息缺失;PCNN算法的融合圖像存在大量黑色斑塊,圖像嚴(yán)重失真;NSST算法的融合圖像邊緣區(qū)域有明顯光暈偽影,圖像清晰度和對(duì)比度較低;本文算法的融合圖像很好地保留了低照度圖像的場(chǎng)景細(xì)節(jié),如圖像中人行道上的柱子、店鋪門口的細(xì)節(jié)在融合圖像中均能表現(xiàn)出來(lái),目標(biāo)亮度適中,符合人眼的視覺感受。凌晨郊區(qū)圖像見圖12。

圖12 凌晨郊區(qū)圖像Fig.12 Early morning suburban images

由圖12可以看出,對(duì)于凌晨郊區(qū)圖像,NSCT_PCNN算法的融合圖像存在大量的黑色斑塊,整體的視覺效果較灰暗;PCNN算法的融合圖像既缺少紅外圖像的場(chǎng)景信息(天空中的云彩)也缺少低照度圖像的場(chǎng)景信息(汽車車窗輪廓);NSST算法的融合圖像邊緣區(qū)域有明顯光暈偽影;本文算法的融合圖像既保留了低照度圖像的場(chǎng)景細(xì)節(jié),也保留了紅外圖像的場(chǎng)景細(xì)節(jié),天空中的云彩、車窗輪廓等場(chǎng)景信息均清晰可見。凌晨山區(qū)圖像見圖13。

圖13 凌晨山區(qū)圖像Fig.13 Early morning mountain images

由圖13可以看出,對(duì)于凌晨山區(qū)圖像,NSCT_PCNN算法的融合圖像效果較好,不足的是亮度和清晰度表現(xiàn)不佳;PCNN算法的融合圖像場(chǎng)景細(xì)節(jié)較為模糊,紅外目標(biāo)過(guò)亮;NSST算法的融合圖像場(chǎng)景細(xì)節(jié)信息嚴(yán)重缺失,存在光暈偽影;本文算法的融合圖像亮度和清晰度均表現(xiàn)較好,場(chǎng)景的細(xì)節(jié)信息清晰可見。

3.2 客觀評(píng)價(jià)結(jié)果

除了主觀視覺評(píng)估,本文還使用了客觀評(píng)價(jià)標(biāo)準(zhǔn),選用信息熵IE[28]、標(biāo)準(zhǔn)差SD[29]、平均梯度AG[30]、邊緣保留因子QAB/F[31]作為客觀評(píng)價(jià)標(biāo)準(zhǔn)。4種算法對(duì)5種不同場(chǎng)景下的紅外圖像和低照度圖像進(jìn)行融合的客觀評(píng)價(jià)指標(biāo)如表1所示。

表1 5組不同場(chǎng)景下的融合圖像客觀評(píng)價(jià)指標(biāo)

由表1可以看出,在第1組圖像中本文算法取得的信息熵、標(biāo)準(zhǔn)差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了16.8%、33.4%、16.7%、3.31%;在第2組圖像中,本文算法取得的信息熵、標(biāo)準(zhǔn)差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了7.49%、90.49%、49.99%、4.02%;在第3組圖像中,本文算法取得的信息熵、標(biāo)準(zhǔn)差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了11.52%、91.16%、39.07%、17.47%;在第4組圖像中,本文算法取得的信息熵、標(biāo)準(zhǔn)差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了3.41%、15.31%、30.02%、35.02%;在第5組圖像中,本文算法取得的信息熵、標(biāo)準(zhǔn)差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了3.72%、43.34%、4.24%、35.21%。通過(guò)客觀評(píng)價(jià)指標(biāo)的評(píng)測(cè)可知,本文算法在改善噪聲的同時(shí),能夠保留紅外圖像的熱目標(biāo)信息,以及增強(qiáng)低照度圖像的紋理細(xì)節(jié)信息。

4 結(jié) 論

針對(duì)單獨(dú)使用紅外圖像或低照度圖像難以對(duì)圖像中的目標(biāo)和背景信息進(jìn)行識(shí)別的問題,提出了基于圖像特征的紅外圖像與低照度圖像融合算法。首先,根據(jù)紅外圖像與低照度圖像的特征有針對(duì)性地分別進(jìn)行圖像處理,降低了噪聲對(duì)紅外圖像目標(biāo)信息的影響,增強(qiáng)了低照度圖像的場(chǎng)景細(xì)節(jié)信息。其次,利用NSST對(duì)紅外圖像與低照度圖像進(jìn)行分解,針對(duì)高頻子帶圖像特征與低頻子帶圖像特征構(gòu)建不同的融合規(guī)則。最后,經(jīng)NSST逆變換獲取融合圖像。在INO與TNO數(shù)據(jù)集上的仿真實(shí)驗(yàn)表明,所提算法能夠有效綜合紅外圖像的目標(biāo)信息和低照度圖像的場(chǎng)景細(xì)節(jié)信息,融合圖像清晰自然、對(duì)比度適中、符合人眼的視覺感知效果,可以很好地被應(yīng)用于軍事監(jiān)控、目標(biāo)追蹤、自動(dòng)駕駛等領(lǐng)域。