紅外與可見光圖像分解與融合方法研究

榮傳振 賈永興 吳 城 楊 宇 朱 瑩

（1.陸軍工程大學(xué)通信工程學(xué)院，南京，210007；2.國防科技大學(xué)信息通信學(xué)院試驗(yàn)訓(xùn)練基地，西安，710106）

引 言

圖像融合旨在生成一幅新的高質(zhì)量圖像。和源圖像相比，融合圖像綜合了多幅圖像的互補(bǔ)和冗余信息，比任何單一圖像更能有效地對場景進(jìn)行描述，也更加適合進(jìn)一步的圖像處理任務(wù)。目前，圖像融合在計(jì)算機(jī)視覺、醫(yī)學(xué)圖像處理、軍事、遙感等領(lǐng)域都扮演著重要的角色。紅外與可見光圖像融合是一個(gè)重要的研究方向[1]。

由于紅外傳感器能夠捕獲人眼不能直接看到的場景中的熱信息，因此可以在低光照、遮擋和惡劣天氣條件下檢測到目標(biāo)物體，但它對場景的亮度信息變化不敏感，導(dǎo)致圖像成像質(zhì)量較差，并且缺少場景的細(xì)節(jié)信息?？梢姽鈭D像包含豐富的場景細(xì)節(jié)信息，展現(xiàn)更自然的強(qiáng)度和對比度，更適合人類視覺感知。將紅外和可見光信息集成到融合圖像中能夠構(gòu)建更完整和準(zhǔn)確的場景描述，從而提高在復(fù)雜環(huán)境下正確進(jìn)行目標(biāo)檢測和識別的能力，更加適合后續(xù)的處理任務(wù)。

在以往的研究中，基于多尺度分解(Multi-scale decomposition,MSD)的圖像融合方法吸引了越來越多研究者的關(guān)注并成為研究的焦點(diǎn)。最常用的圖像融合多尺度分解方法是金字塔和小波變換，如拉普拉斯金字塔和離散小波變換等。Pajares和Cruz提供了一個(gè)基于小波變換的圖像融合方法的系統(tǒng)概括，包括和不同金字塔融合方法的比較，以及不同尺度和不同小波基下的圖像融合效果的比較[2]。文獻(xiàn)[3]對早期提出的基于多尺度分解的圖像融合方法進(jìn)行了分類，包括大量的基于金字塔分解和經(jīng)典小波變換的圖像融合方法。但離散小波變換存在一些根本性的缺陷，諸如缺乏平移不變性、頻率混淆，并且只有水平、垂直和對角3個(gè)方向可選。為解決這些問題，雙樹復(fù)小波變換(Dual-tree complex wavelet trans?form,DTCWT)被成功地應(yīng)用于圖像融合[4]。DTCWT的主要優(yōu)點(diǎn)是它的平移不變性和方向選擇性，可以減輕DWT引起的人工效應(yīng)。然而，基于小波變換的圖像融合方法的一個(gè)共同缺點(diǎn)是它們不能很好地表示圖像的曲線和邊緣。為了有效地描述圖像中的空間結(jié)構(gòu)，一些新的多尺度分解方法被應(yīng)用于圖像融合中。文獻(xiàn)[5]成功地利用曲波變換(Curvelet transform)融合遙感圖像。輪廓波變換(Contourlet transform,CT)是另外一種變換，可以捕捉圖像的內(nèi)在幾何結(jié)構(gòu)，其更適合于處理二維信號[6]。由于CT包含下采樣過程，不具備平移不變性。非下采樣輪廓波變換(Nonsubsampled contourlet transform,NSCT)是解決該問題的一個(gè)有效方法，但它需要耗費(fèi)大量的時(shí)間[7]。此外，CT中方向?yàn)V波器組是固定的，這意味著它不能很好地表示具有很多方向的復(fù)雜的空間結(jié)構(gòu)。

近年來，邊界保持濾波器被成功地應(yīng)用于構(gòu)造圖像的多尺度表示，并被成功地應(yīng)用于圖像融合領(lǐng)域。通常這類方法的優(yōu)點(diǎn)是它們能準(zhǔn)確地將圖像分解為小尺度紋理細(xì)節(jié)、大尺度邊緣和底層粗略尺度信息。這一優(yōu)點(diǎn)有助于減少融合過程中出現(xiàn)的光暈和混疊效應(yīng)，融合結(jié)果更加適于人類視覺感知。Farbman等利用加權(quán)最小二乘濾波器構(gòu)造邊界保持圖像多尺度分解方法，并將其應(yīng)用于多曝光圖像融合[8]，取得了較好的融合效果，但代價(jià)是昂貴的計(jì)算時(shí)間。Hu等結(jié)合雙邊和方向?yàn)V波器構(gòu)造圖像多尺度分解方法并將其應(yīng)用于醫(yī)學(xué)和多聚焦圖像融合[9]。Zhou等結(jié)合高斯和雙邊濾波器構(gòu)造圖像的多尺度分解方法并將其應(yīng)用于紅外與可見光圖像融合[10]，得到了更適合于人類視覺感知的融合結(jié)果。但是雙邊濾波器可能在圖像邊緣附近會(huì)出現(xiàn)不必要的梯度反轉(zhuǎn)效應(yīng)，同時(shí)其快速實(shí)現(xiàn)算法也是一個(gè)具有挑戰(zhàn)性的問題。相較于加權(quán)最小二乘濾波器和雙邊濾波器，引導(dǎo)濾波器的輸出是引導(dǎo)圖像的局部線性變換，一方面引導(dǎo)濾波器具有良好的平滑保邊能力，同時(shí)在邊界處不會(huì)出現(xiàn)梯度反轉(zhuǎn)效應(yīng)；另一方面引導(dǎo)濾波器基于局部線性模型，使得其也適用于諸如圖像摳圖、上采樣和著色等應(yīng)用，其計(jì)算時(shí)間只依賴于濾波器的大小，大大提高了運(yùn)行效率[11]。Li等首次將引導(dǎo)濾波應(yīng)用于圖像融合，首先將圖像分解為基本層和細(xì)節(jié)層，然后利用引導(dǎo)濾波來構(gòu)造各分解子信息的融合權(quán)重，并在幾種圖像融合應(yīng)用中都獲得了較優(yōu)的性能[12]。

和傳統(tǒng)的多尺度分解方法嘗試?yán)孟鄬?fù)雜的濾波器以獲取更多的圖像方向信息不同，本文提出一種基于引導(dǎo)濾波和高斯濾波的圖像多尺度混合信息分解方法，實(shí)現(xiàn)了圖像大尺度邊緣、小尺度紋理和底層粗略尺度信息的分離。為避免在融合階段出現(xiàn)的紅外和可見光圖像信息的混疊失真，采用了將大尺度邊緣信息進(jìn)行分割并依此確定各分解子信息的融合權(quán)重。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效提取圖像中的紅外目標(biāo)，實(shí)現(xiàn)在融合圖像中凸顯紅外目標(biāo)的同時(shí)保留盡可能多的可見光紋理細(xì)節(jié)信息。

1 高斯和引導(dǎo)濾波器

1.1 高斯濾波器

高斯濾波器是一種常用的圖像低通濾波器，主要用來進(jìn)行圖像的平滑模糊處理。通過高斯濾波能夠有效地濾除圖像中的高頻細(xì)節(jié)分量和噪聲。

對于圖像中一個(gè)像素點(diǎn)而言，經(jīng)過高斯濾波后的值為周圍像素點(diǎn)的值的加權(quán)平均，濾波公式為

1.2 引導(dǎo)濾波器

與高斯濾波器相比，引導(dǎo)濾波器能夠保持圖像的邊緣信息，其具體原理介紹如下：當(dāng)不希望通過求解公式得到一個(gè)復(fù)雜函數(shù)在某點(diǎn)處的取值時(shí)，可以通過無窮多個(gè)線性的函數(shù)來逼近該函數(shù)曲線，通過求解所有線性函數(shù)在該點(diǎn)處取值的平均來得到最終結(jié)果。對于待處理的圖像而言，可以將之視為表達(dá)式未知的二維函數(shù)，則利用上述模型可得到輸入圖像和濾波后的圖像在ωk窗口內(nèi)第i個(gè)像素點(diǎn)的局部線性表達(dá)式

為了求解ak和bk，在ωk窗口內(nèi)根據(jù)局部線性函數(shù)盡可能擬合原函數(shù)的條件，構(gòu)造方程式

式中：pi為原圖像在該點(diǎn)處的取值，?為調(diào)節(jié)因子，為了防止最后求解的結(jié)果中ak過大。利用最小二乘法求解該方程，可以得到

式中：μk,pˉk分別為原圖像和引導(dǎo)圖像在窗口ωk內(nèi)像素點(diǎn)值的均值；σ2k為引導(dǎo)圖像在窗口ωk內(nèi)像素點(diǎn)值的方差；|ω|為窗口ωk中包含像素點(diǎn)的個(gè)數(shù)。

在實(shí)際計(jì)算的過程中，單個(gè)像素點(diǎn)可能被多個(gè)窗口所包含，需要將初始的局部線性函數(shù)表征為多個(gè)窗口內(nèi)局部線性函數(shù)的均值，具體表示為

對局部線性函數(shù)qi=akIk+bk兩邊分別取梯度，得到?qi=aˉi?Ik，這表示輸出圖像與濾波圖像具有相同的邊緣梯度，這也是圖像經(jīng)過引導(dǎo)濾波處理后能保持邊緣的原因。

本文用Gr,?(I,P)表示引導(dǎo)濾波運(yùn)算，其中r和?分別是決定引導(dǎo)濾波器大小和模糊程度的參數(shù)。此外，I和P分別表示輸入圖像和引導(dǎo)圖像。則原始圖像I的引導(dǎo)濾波可寫為

2 圖像混合信息分解方法

設(shè)原圖像為I，I經(jīng)過高斯濾波過程表示為G(I)，I經(jīng)過引導(dǎo)濾波過程表示為Q(I)，則計(jì)算公式Q(I)可以得到圖像紋理細(xì)節(jié)信息It，通過計(jì)算公式Q(I)-G(I)可得到邊緣信息Ie。由此提取出了可以表征紅外圖像和可見光圖像特征的兩種尺度信息分量。這就是基于引導(dǎo)濾波和高斯濾波的圖像混合信息分解方式

通過上述分解方式可以得到小尺度的紋理細(xì)節(jié)信息It，大尺度邊緣信息Ie和圖像的底層粗略尺度信息Ib（Ib=G(I)），如圖 1所示。

在分解過程中，為了保證對紅外和可見光圖像特征信息的有效提取，一般采用多層分解的方式。為此，將上述混合信息分解方式推廣到多尺度分解方式，并且證明該分解方式可以更好地融合紅外與可見光圖像，從而獲得更好的視覺感知能力。圖像的多尺度混合信息分解方式如圖2所示。

圖1 圖像單層混合信息分解框圖Fig.1 Image single layer hybrid decomposi?tion diagram

圖2 圖像多尺度混合信息分解框圖Fig.2 Hybrid multi-scale image decomposition diagram

圖中

式中：I(0)=I，G(0)(I)=I由此可以得到相應(yīng)的紋理細(xì)節(jié)層，大尺度邊緣信息和，以及圖像的底層粗略尺度信息I。分解過程中相關(guān)參數(shù)設(shè)置如下：σ=2σ，r=r/2，?=bs,j+1s,jj+1jj+1?j/4，σs,0=2,r0=2,?0=0.01。從最終得到的分解結(jié)果看，大尺度邊緣圖層中更多反映了紅外目標(biāo)特征，小尺度的紋理細(xì)節(jié)更多反映了可見光的背景信息符合先前的猜想。

3 紅外與可見光圖像融合

在紅外和可見光圖像融合過程中，常見的問題是在融合圖像中注入過多的紅外信息導(dǎo)致融合圖像整體質(zhì)量的下降。如何有效提取出紅外圖像中的目標(biāo)信息，是避免出現(xiàn)上述問題的關(guān)鍵步驟。在本文中，采用將大尺度邊緣信息作為融合權(quán)重圖層，對其進(jìn)行圖像分割以確定各分解子信息的融合權(quán)重。即有效選取式(14)中紅外圖像IR和可見光圖像IV各分解子信息在對應(yīng)的融合圖像中的權(quán)重Cn。

然后進(jìn)行歸一化處理

式中b為分割權(quán)重圖層的閾值。

最后需要解決的是閾值b的確定問題。通過分析大尺度邊緣圖層，可以得出以下3個(gè)結(jié)論：

（1）紅外圖像與可見光圖像在紅外目標(biāo)處有著巨大的差異，這種差異在紅外目標(biāo)的邊緣處可以用對應(yīng)像素點(diǎn)的梯度來表征。

（2）Pn圖層中紅外目標(biāo)邊緣處具有梯度最大特性。

（3）由于后續(xù)分解層會(huì)做高斯濾波平滑處理，導(dǎo)致Pn的梯度急劇下降，只有第一分解層的梯度最具參考意義，其梯度計(jì)算按如下公式進(jìn)行

綜合上述結(jié)論，通過求解P1中各個(gè)像素點(diǎn)梯度的最大值作為閾值b。

為了將紅外信息有效地注入到融合圖像中，f(Pn(i,j))函數(shù)變換選取切比雪夫I型高通函數(shù)來逼近理想的權(quán)重系數(shù)Cn(i,j)[14]。階切比雪夫I型高通函數(shù)表達(dá)式為（ε為通帶波紋幅度參數(shù)）

分析該函數(shù)曲線，可得：

（1）在x＞b的通帶內(nèi)，曲線為等波紋，在通帶最大值和最小值之間擺動(dòng)；

（2）在x≤b的過渡帶即阻帶內(nèi)，Cn(x)隨著x的增加而上升，濾波器的階數(shù)M越大，過渡帶越窄；

圖3 切比雪夫I型濾波器函數(shù)曲線（M=10）Fig.3 Curve of Chebyshev filter（M=10）

（3）在阻帶范圍內(nèi)值接近于0，在通帶范圍內(nèi)值接近于1，選擇合適的M能使得過度帶非常窄，符合需要的函數(shù)特征。

在本文中，切比雪夫?yàn)V波器的參數(shù)設(shè)置為αp=0.01，M=10，b=max(g(i,j))。圖像融合具體步驟如下所述。圖像融合具體步驟如下所述。

3.1 紋理細(xì)節(jié)和邊緣信息融合

（1）根據(jù)式(16—20)計(jì)算各分解子信息的融合權(quán)重，為了防止由于過度帶過窄而在融合圖像中紅外目標(biāo)與可見光場景之間造成突兀變化，導(dǎo)致圖像質(zhì)量的下降，對上述權(quán)重進(jìn)行高斯濾波以消除噪聲和對相應(yīng)權(quán)重進(jìn)行局部平滑處理,可以得到最終的融合權(quán)重

式中：gσc表示高斯函數(shù)，這里設(shè)置 σc=2。

（2）按式(22,23)融合相應(yīng)的紅外圖像和可見光圖像信息

3.2 底層粗略尺度信息融合

對于底層信息而言，由于底層模糊，不適合作為融合權(quán)重圖層，可以直接利用權(quán)重CN(i,j)進(jìn)行信息融合。為了進(jìn)一步降低噪聲的影響同時(shí)盡可能地防止融合圖像突兀變化，對權(quán)重CN(i,j)進(jìn)行高斯濾波，其濾波器參數(shù)取值為σb=4σN。

則最后的融合圖像為

4 實(shí)驗(yàn)結(jié)果與分析

本文從主觀評價(jià)和客觀評價(jià)兩個(gè)方面對所提出的算法進(jìn)行測試驗(yàn)證。同時(shí)將本文方法與經(jīng)典的基于多尺度分解的融合方法和近來提出的表現(xiàn)優(yōu)越的圖像融合方法進(jìn)行比較?；诙喑叨确纸獾膱D像融合方法包括DWT、DTCWT和NSCT，在本文的對比實(shí)驗(yàn)中這3種方法的參數(shù)設(shè)置為文獻(xiàn)[14]給出的針對紅外與可見光圖像融合的最優(yōu)參數(shù)。另外，還將本文方法與文獻(xiàn)[15]提出的基于多尺度變換和稀疏表示的圖像融合方法(多尺度變換選為DTCWT，分解層數(shù)設(shè)置為4，本文將該方法簡記為DTC?WT-SR)和文獻(xiàn)[10]提出的基于雙邊和高斯濾波的混合多尺度分解的圖像融合方法(本文將該方法簡記為Hybrid-MSD)進(jìn)行比較。限于篇幅，本文僅給出3組實(shí)驗(yàn)結(jié)果，3組實(shí)驗(yàn)用圖像如圖4所示。

為了客觀評價(jià)不同方法的融合性能，本文采用4種不同的融合質(zhì)量評價(jià)指標(biāo)[16]，包括基于信息理論的評價(jià)指標(biāo)QMI、基于圖像特征的評價(jià)指標(biāo)QG、基于圖像結(jié)構(gòu)相似性的評價(jià)指標(biāo)QY和基于人類視覺感知啟發(fā)的評價(jià)指標(biāo)QCB。QMI衡量的是源圖像中的原始信息在融合圖像中的保留效果，其值越大表示融合圖像保留源圖像的信息越多，融合圖像質(zhì)量越好。QG計(jì)算的是源圖像的邊緣信息成功地注入到融合圖像中的效果，其值越大說明源圖像中的邊緣信息注入到融合圖像中的越多，圖像融合質(zhì)量越好。QY測量的是融合圖像保留源圖像結(jié)構(gòu)信息的效果，其值越大表明圖像融合質(zhì)量越好。QCB展示了人類視覺感知的良好預(yù)測性能，其值越大表示融合圖像越符合人類的視覺感知，融合圖像質(zhì)量越好。

圖4 紅外和可見光源圖像Fig.4 Infrared and visible source images

在本文提出的基于引導(dǎo)濾波和高斯濾波混合信息分解的圖像融合方法中，引導(dǎo)濾波的兩個(gè)參數(shù)r和?需合理設(shè)置，每一組圖像都應(yīng)該有一組合適的參數(shù)值。實(shí)驗(yàn)中，利用遺傳算法為每一組圖像設(shè)置合適的參數(shù)值，具體過程如下：

（1）以QG為遺傳算法目標(biāo)函數(shù)，運(yùn)用上述圖像分解與融合方法，計(jì)算得到融合圖像的評價(jià)指標(biāo)值。

（2）將參數(shù)r和?作為遺傳算法參量，確定其取值范圍、約束；確定初始種群大小以及進(jìn)化代數(shù)。

（3）運(yùn)用遺傳算法求解的一般過程進(jìn)行搜索得出評價(jià)指標(biāo)QG值最大時(shí)的r和?，此時(shí)獲得最佳融合圖像，即得到最優(yōu)的引導(dǎo)濾波器參數(shù)r和?。

以上 3組圖像的最優(yōu) r和 ?參數(shù)值分別為：(4,0.017 2)，(3,0.005)，(2,0.069 7)。

第一組關(guān)于“Un Camp”圖像的融合結(jié)果如圖5所示。從圖5可以看出，以上方法都成功地將紅外與可見光圖像融合，融合圖像包含目標(biāo)信息和場景信息。盡管如此，仔細(xì)觀察可以發(fā)現(xiàn)，DWT融合方法對比度低并且丟失了大量細(xì)節(jié)信息，行人目標(biāo)不突出，道路、灌木和柵欄等細(xì)節(jié)信息較模糊。從融合圖像中可以明顯看出一些虛影模糊，這是由于DWT缺少平移不變性會(huì)導(dǎo)致偽吉布斯現(xiàn)象造成的。相較于DWT方法，基于DTCWT和NSCT的融合方法效果更好。這是由于DTCWT和NSCT具有平移不變性，可以有效避免偽吉布斯現(xiàn)象，并且融合圖像更加清晰和自然。但是，仔細(xì)觀察可以發(fā)現(xiàn)這兩種方法仍然存在以下缺點(diǎn)，融合圖像丟失了大量的光譜信息，例如左側(cè)底部和右側(cè)底部的樹木部分?；贒TCWT-SR的圖像融合方法有效突出了紅外目標(biāo)信息，但是對可見光細(xì)節(jié)信息保留不是很好，導(dǎo)致融合圖像看起來不自然。很明顯，Hybrid-MSD和本文方法視覺效果更好，源圖像中幾乎所有的有用信息都被注入到融合圖像中，同時(shí)有效地去除了融合過程中產(chǎn)生的虛影效應(yīng)。比較發(fā)現(xiàn)本文方法不僅對比度高，目標(biāo)行人更突出，同時(shí)包含豐富的光譜信息，更好地保留了邊緣細(xì)節(jié)等信息。

第二組關(guān)于“Bristol Queens Road”圖像的融合結(jié)果如圖6所示。從圖6(e，f)可以看到Hybrid-MSD和本文方法通過將紅外信息注入到可見光圖像當(dāng)中有效地突出了紅外目標(biāo)，增強(qiáng)了夜晚可見光圖像的場景描述能力，看起來比較自然。從圖6(a—d)可以看出DWT，DTCWT，NSCT和DTCWT-SR這4種方法產(chǎn)生了嚴(yán)重的人工效應(yīng)，另外從圖6(a—c)可以發(fā)現(xiàn)紅外特征的亮度信息保留不充分，導(dǎo)致丟失重要的紅外特征，融合圖像看起來不自然。

圖5 “Un Camp”圖像融合結(jié)果Fig.5 Fusion results of the“Un Camp”source images

圖6 “Queens Road”圖像融合結(jié)果Fig.6 Fusion results of the“Queens Road”source images

圖7 “T rees4901”圖像融合結(jié)果Fig.7 Fusion results of the“Trees4901”source images

第三組關(guān)于“Trees4901”圖像的融合結(jié)果如圖7所示。如圖7(a—c)所示，DWT，DTCWT和NSCT融合方法通過不同的多尺度分解實(shí)現(xiàn)圖像信息融合，得到的融合結(jié)果中雖然都能夠突出目標(biāo)人物信息，但是原可見光圖像中的樹木、道路等背景與細(xì)節(jié)信息融合出現(xiàn)混亂，在融合結(jié)果中難以辨認(rèn)。如圖7(d)所示，DTCWT-SR方法也有同樣的問題，場景中的背景信息難以辨認(rèn)，導(dǎo)致融合圖像看起來不自然。如圖7(e—f)所示，基于Hybrid-MSD的圖像融合方法和本文方法得到的融合結(jié)果不僅能夠突出目標(biāo)人物信息還能辨認(rèn)出樹木、道路等背景細(xì)節(jié)信息。比較可以發(fā)現(xiàn)，本文方法具有更好的對比度，能更有效地突出目標(biāo)人物信息。

表1給出了以上3組實(shí)驗(yàn)的客觀評價(jià)指標(biāo)值。粗體和下劃線顯示的值分別表示所有方法中最好的和第二好的得分。從表中可以看出，本文方法在“Un Camp”和“Trees4901”兩組源圖像上都獲得了最佳性能。DTCWT-SR方法針對“Queens Road”源圖像在QMI，QY和QG3個(gè)指標(biāo)上獲得了最大值；QCB指標(biāo)獲得第二好的值，表現(xiàn)較好。而本文方法在QCB指標(biāo)上獲得了最優(yōu)值；在QMI和QY指標(biāo)上都獲得了第二好的值?？傮w來說，本文方法要優(yōu)于其他的圖像融合方法。

表1 基于不同方法的融合圖像客觀評價(jià)指標(biāo)Tab.1 Objective criteria of fused images based on different fusion methods

5 結(jié)束語

紅外圖像色差大、質(zhì)量差，傳統(tǒng)的分解方法無法在高頻部分有效提取其特征。為了能夠有效提取出可見光和紅外圖像的高頻分量，避免下一步融合時(shí)出現(xiàn)失真，本文提出基于高斯和引導(dǎo)濾波的圖像多尺度分解方法，有效提取出了代表紅外圖像特征分量的邊緣信息和代表可見光圖像特征分量的紋理細(xì)節(jié)信息。同時(shí)，為了避免在融合圖像中注入過多的紅外圖像信息，本文將紅外大尺度邊緣圖像進(jìn)行分割作為融合權(quán)重的圖像融合方法，有效提取了紅外圖像的目標(biāo)信息，同時(shí)保留了可見光圖像的背景和紋理細(xì)節(jié)信息。最后通過實(shí)驗(yàn)驗(yàn)證了本文方法的有效性和正確性。